特開2023-87608先制的及び反応的入力数量化基盤のユーザインターフェース装置及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023087608
(43)【公開日】2023-06-23
(54)【発明の名称】先制的及び反応的入力数量化基盤のユーザインターフェース装置及び方法
(51)【国際特許分類】
G06F 3/048 20130101AFI20230616BHJP
G06F 11/34 20060101ALI20230616BHJP
A63F 13/44 20140101ALI20230616BHJP
【ＦＩ】
G06F3/048
G06F11/34 138
A63F13/44
【審査請求】有
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2021215054
(22)【出願日】2021-12-28
(11)【特許番号】
(45)【特許公報発行日】2023-03-31
(31)【優先権主張番号】10-2021-0177277
(32)【優先日】2021-12-13
(33)【優先権主張国・地域又は機関】KR
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＷＩＮＤＯＷＳ
(71)【出願人】
【識別番号】514274672
【氏名又は名称】延世大学校 産学協力団
【氏名又は名称原語表記】ＹＯＮＳＥＩ ＵＮＩＶＥＲＳＩＴＹ，ＵＮＩＶＥＲＳＩＴＹ－ＩＮＤＵＳＴＲＹ ＦＯＵＮＤＡＴＩＯＮ（ＵＩＦ）
【住所又は居所原語表記】５０，ＹＯＮＳＥＩ－ＲＯ， ＳＥＯＤＡＥＭＵＮ－ＧＵ， ＳＥＯＵＬ ０３７２２， ＲＥＰＵＢＬＩＣ ＯＦ ＫＯＲＥＡ
(74)【代理人】
【識別番号】110000051
【氏名又は名称】弁理士法人共生国際特許事務所
(72)【発明者】
【氏名】イ，ビョン ジュ
(72)【発明者】
【氏名】キム，ヒョン チョル
【テーマコード（参考）】
5B042
5E555
【Ｆターム（参考）】
5B042MA08
5B042MA14
5B042MC35
5B042MC37
5E555AA48
5E555AA71
5E555BA03
5E555BA05
5E555BA06
5E555BA20
5E555BB03
5E555BB05
5E555BB06
5E555BB20
5E555BC04
5E555CA12
5E555CA22
5E555CB12
5E555CB33
5E555CC01
5E555CC03
5E555DB06
5E555DB20
5E555DC19
5E555DC21
5E555EA03
5E555EA19
5E555EA27
5E555FA00
(57)【要約】
【課題】ユーザの入力行動がどれくらい反応的または予測的であったかが定量化できる先制的及び反応的入力数量化基盤のユーザインターフェース装置及び方法を提供する。
【解決手段】装置は、ユーザの入力及び画面の出力を記録するデータ獲得部、ユーザの入力に対する入力タイミングを抽出する入力フィルタリング部、画面の出力に対する特定基準以上の視覚的変更を開示する出力タイミングを抽出する出力フィルタリング部、ユーザの入力及び前記画面の出力に対するタイミングを通じて入出力間隔の分布を生成する入出力間隔処理部、及び入出力間隔の分布を先制的分布及び反応的分布に調節して先制性及び反応性を推定するモデルフィッティング部を含む。
【選択図】図２
【解決手段】装置は、ユーザの入力及び画面の出力を記録するデータ獲得部、ユーザの入力に対する入力タイミングを抽出する入力フィルタリング部、画面の出力に対する特定基準以上の視覚的変更を開示する出力タイミングを抽出する出力フィルタリング部、ユーザの入力及び前記画面の出力に対するタイミングを通じて入出力間隔の分布を生成する入出力間隔処理部、及び入出力間隔の分布を先制的分布及び反応的分布に調節して先制性及び反応性を推定するモデルフィッティング部を含む。
【選択図】図２
【特許請求の範囲】
【請求項1】
ユーザの入力及び画面の出力を記録するデータ獲得部と、
前記ユーザの入力に対する入力タイミングを抽出する入力フィルタリング部と、
前記画面の出力に対する特定基準以上の視覚的変更を開示する出力タイミングを抽出する出力フィルタリング部と、
前記ユーザの入力及び前記画面の出力に対するタイミングを通じて入出力間隔の分布を生成する入出力間隔処理部と、
前記入出力間隔の分布を先制的分布及び反応的分布に調節して先制性及び反応性を推定するモデルフィッティング部と、を含むことを特徴とする先制的及び反応的入力数量化基盤のユーザインターフェース装置。
前記ユーザの入力に対する入力タイミングを抽出する入力フィルタリング部と、
前記画面の出力に対する特定基準以上の視覚的変更を開示する出力タイミングを抽出する出力フィルタリング部と、
前記ユーザの入力及び前記画面の出力に対するタイミングを通じて入出力間隔の分布を生成する入出力間隔処理部と、
前記入出力間隔の分布を先制的分布及び反応的分布に調節して先制性及び反応性を推定するモデルフィッティング部と、を含むことを特徴とする先制的及び反応的入力数量化基盤のユーザインターフェース装置。
【請求項2】
前記データ獲得部は、
特定区間に対して前記ユーザの時系列入力アクションを入力エンティティー別に記録し、前記画面の時系列出力をフレームイメージ別に記録することを特徴とする、請求項１に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。
特定区間に対して前記ユーザの時系列入力アクションを入力エンティティー別に記録し、前記画面の時系列出力をフレームイメージ別に記録することを特徴とする、請求項１に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。
【請求項3】
前記入力フィルタリング部は、
前記ユーザの入力が入力イベントの生成を基にして離散的タイミングを抽出することを特徴とする、請求項１に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。
前記ユーザの入力が入力イベントの生成を基にして離散的タイミングを抽出することを特徴とする、請求項１に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。
【請求項4】
前記出力フィルタリング部は、
（１）前記ユーザの入力により触発された画面上の視覚的変化、（２）前記ユーザの反応的入力を触発させる画面上の視覚的変化、（３）前記ユーザの先制的入力を触発させる画面上の視覚的変化、（４）前記ユーザの入力と全く関係のない画面上の視覚的変化を通じての前記画面の出力を基にして前記出力タイミングを抽出することを特徴とする、請求項１に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。
（１）前記ユーザの入力により触発された画面上の視覚的変化、（２）前記ユーザの反応的入力を触発させる画面上の視覚的変化、（３）前記ユーザの先制的入力を触発させる画面上の視覚的変化、（４）前記ユーザの入力と全く関係のない画面上の視覚的変化を通じての前記画面の出力を基にして前記出力タイミングを抽出することを特徴とする、請求項１に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。
【請求項5】
前記出力フィルタリング部は、
前記出力タイミングの抽出前に前記画面の出力を記録するフレームイメージの解像度またはフレームレートをダウンスケールすることを特徴とする、請求項１に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。
前記出力タイミングの抽出前に前記画面の出力を記録するフレームイメージの解像度またはフレームレートをダウンスケールすることを特徴とする、請求項１に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。
【請求項6】
前記出力フィルタリング部は、
前記ユーザの入力に対する平均間隔を基にして前記ダウンスケールの因子を設定することを特徴とする、請求項５に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。
前記ユーザの入力に対する平均間隔を基にして前記ダウンスケールの因子を設定することを特徴とする、請求項５に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。
【請求項7】
前記出力フィルタリング部は、
前記画面の出力を構成するフレームイメージ同士間の差に対するユーザ視覚認知性を基にして特定基準を設定することを特徴とする、請求項６に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。
前記画面の出力を構成するフレームイメージ同士間の差に対するユーザ視覚認知性を基にして特定基準を設定することを特徴とする、請求項６に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。
【請求項8】
前記入出力間隔処理部は、
前記ユーザの入力及び前記画面の出力に対するタイミング同士間の差を算出し、前記差を基にして複数の棒から構成された分布を生成することを特徴とする、請求項１に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。
前記ユーザの入力及び前記画面の出力に対するタイミング同士間の差を算出し、前記差を基にして複数の棒から構成された分布を生成することを特徴とする、請求項１に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。
【請求項9】
前記入出力間隔処理部は、
前記分布から陰の領域に存在する最頻度の棒を除去することを特徴とする、請求項８に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。
前記分布から陰の領域に存在する最頻度の棒を除去することを特徴とする、請求項８に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。
【請求項10】
前記モデルフィッティング部は、
前記入出力間隔の分布をガウシアン分布で生成して前記先制性を算出し、前記入出力間隔の分布をエックス－ガウシアン分布を含む反応的分布で生成して前記反応性を算出することを特徴とする、請求項１に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。
前記入出力間隔の分布をガウシアン分布で生成して前記先制性を算出し、前記入出力間隔の分布をエックス－ガウシアン分布を含む反応的分布で生成して前記反応性を算出することを特徴とする、請求項１に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。
【請求項11】
前記モデルフィッティング部は、
前記先制性及び前記反応性を基にしてユーザインターフェースの特性を調節することを特徴とする、請求項１０に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。
前記先制性及び前記反応性を基にしてユーザインターフェースの特性を調節することを特徴とする、請求項１０に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。
【請求項12】
前記モデルフィッティング部は、
前記ユーザインターフェースの視覚的レイアウト及び動作機能を調節することを特徴とする、請求項１１に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。
前記ユーザインターフェースの視覚的レイアウト及び動作機能を調節することを特徴とする、請求項１１に記載の先制的及び反応的入力数量化基盤のユーザインターフェース装置。
【請求項13】
ユーザの入力及び画面の出力を記録するデータ獲得ステップと、
前記ユーザの入力に対する入力タイミングを抽出する入力フィルタリングステップと、
前記画面の出力に対する特定基準以上の視覚的変更を開示する出力タイミングを抽出する出力フィルタリングステップと、
前記ユーザの入力及び前記画面の出力に対するタイミングを通じて入出力間隔の分布を生成する入出力間隔処理ステップと、
前記入出力間隔の分布を先制的分布及び反応的分布に調節して先制性及び反応性を推定するモデルフィッティングステップと、を含むことを特徴とする先制的及び反応的入力数量化基盤のユーザインターフェース方法。
前記ユーザの入力に対する入力タイミングを抽出する入力フィルタリングステップと、
前記画面の出力に対する特定基準以上の視覚的変更を開示する出力タイミングを抽出する出力フィルタリングステップと、
前記ユーザの入力及び前記画面の出力に対するタイミングを通じて入出力間隔の分布を生成する入出力間隔処理ステップと、
前記入出力間隔の分布を先制的分布及び反応的分布に調節して先制性及び反応性を推定するモデルフィッティングステップと、を含むことを特徴とする先制的及び反応的入力数量化基盤のユーザインターフェース方法。
【請求項14】
前記データ獲得ステップは、
特定区間に対して前記ユーザの時系列入力アクションを入力エンティティー別に記録し、前記画面の時系列出力をフレームイメージ別に記録することを特徴とする、請求項１３に記載の先制的及び反応的入力数量化基盤のユーザインターフェース方法。
特定区間に対して前記ユーザの時系列入力アクションを入力エンティティー別に記録し、前記画面の時系列出力をフレームイメージ別に記録することを特徴とする、請求項１３に記載の先制的及び反応的入力数量化基盤のユーザインターフェース方法。
【請求項15】
前記入力フィルタリングステップは、
前記ユーザの入力が入力イベントの生成を基にして離散的タイミングを抽出することを特徴とする、請求項１３に記載の先制的及び反応的入力数量化基盤のユーザインターフェース方法。
前記ユーザの入力が入力イベントの生成を基にして離散的タイミングを抽出することを特徴とする、請求項１３に記載の先制的及び反応的入力数量化基盤のユーザインターフェース方法。
【請求項16】
前記出力フィルタリングステップは、
前記出力タイミングの抽出前に前記画面の出力を記録するフレームイメージの解像度またはフレームレートをダウンスケールすることを特徴とする、請求項１３に記載の先制的及び反応的入力数量化基盤のユーザインターフェース方法。
前記出力タイミングの抽出前に前記画面の出力を記録するフレームイメージの解像度またはフレームレートをダウンスケールすることを特徴とする、請求項１３に記載の先制的及び反応的入力数量化基盤のユーザインターフェース方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はユーザインターフェース技術に係り、より詳しくは、コンピュータ画面ビデオとユーザの入力ログデータを分析してユーザの入力行動がどれくらい反応的（ｒｅａｃｔｉｖｅ）または予測的（ｐｒｏａｃｔｉｖｅ）であったかが定量化できる先制的及び反応的入力数量化基盤のユーザインターフェース装置及び方法に関する。
【背景技術】
【0002】
ＨＣＩ（Ｈｕｍａｎ－Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒａｃｔｉｏｎ）は人間（ユーザ）とコンピュータとの間の相互作用を意味し、ここで、相互作用はユーザとコンピュータとの間にあるユーザインターフェースで発現される作動を意味する。
【0003】
日常的な相互作用でコンピュータの数多い出力がユーザに提供され、ユーザも多数のボタン入力を生成する。この過程で、ユーザはコンピュータの出力に反応するか、またはコンピュータの出力を予想して能動的に行動する２つの戦略のうちの１つに従う。ユーザが反応または事前ボタン入力戦略に依存する程度を各々ユーザ反応及びユーザ事前対応により統計的に定量化する場合に、反応性の定量化は相互作用技術の効率性を示すことができる。時間経過に従う反応性の変化は習慣形成及び学習を示す役割をする。同様に、先制性は一般的な予測可能性と一貫性を示す。時間経過に従う主導性の変化は習慣形成及び学習を示す。この２つの構成に対する定量的分析方法は存在しないが、ＨＣＩの多くの質問と関連がある。例えば、インタラクションデザイナーはアニメーション転換が実際にユーザの今後の入力を計画し実行することに助けになるか気にすることがある。また、ゲームデザイナーはゲームの視覚的デザインがプレーヤーの性能にどんな影響を及ぼすか気にすることがある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】韓国公開特許第１０－２０２１－０００２７１３号
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の一実施形態はコンピュータ画面ビデオとユーザの入力ログデータを分析してユーザの入力行動がどれくらい反応的（ｒｅａｃｔｉｖｅ）または予測的（ｐｒｏａｃｔｉｖｅ）であったかが定量化できる先制的及び反応的入力数量化基盤のユーザインターフェース装置及び方法を提供しようとする。
【課題を解決するための手段】
【0006】
実施形態のうち、先制的及び反応的入力数量化基盤のユーザインターフェース装置はユーザの入力及び画面の出力を記録するデータ獲得部；前記ユーザの入力に対する入力タイミングを抽出する入力フィルタリング部；前記画面の出力に対する特定基準以上の視覚的変更を開始する出力タイミングを抽出する出力フィルタリング部；前記ユーザの入力及び前記画面の出力に対するタイミングを通じて入出力間隔の分布を生成する入出力間隔処理部；及び前記入出力間隔の分布を先制的分布及び反応的分布に調節して先制性及び反応性を推定するモデルフィッティング部を含む。
【0007】
前記データ獲得部は、特定区間に対して前記ユーザの時系列入力アクションを入力エンティティー別に記録し、前記画面の時系列出力をフレームイメージ別に記録することができる。
【0008】
前記入力フィルタリング部は、前記ユーザの入力が入力イベントの生成を基にして離散的タイミングを抽出することができる。
【0009】
前記出力フィルタリング部は、（１）前記ユーザの入力により触発された画面上の視覚的変化、（２）ユーザの反応的入力を触発させる画面上の視覚的変化、（３）前記ユーザの先制的入力を触発させる画面上の視覚的変化、（４）前記ユーザの入力と全く関係のない画面上の視覚的変化を通じての前記画面の出力を基にして前記出力タイミングを抽出することができる。
【0010】
前記出力フィルタリング部は、前記出力タイミングの抽出の前に前記画面の出力を記録するフレームイメージの解像度またはフレームレートをダウンスケールすることができる。
【0011】
前記出力フィルタリング部は、前記ユーザの入力に対する平均間隔を基にして前記ダウンスケールの因子を設定することができる。
【0012】
前記出力フィルタリング部は、前記画面の出力を構成するフレームイメージ同士の間の差に対するユーザ視覚認知性を基にして特定基準を設定することができる。
【0013】
前記入出力間隔処理部は、前記ユーザの入力及び前記画面の出力に対するタイミング同士の間の差を算出し、前記差を基にして複数の棒から構成された分布を生成することができる。
【0014】
前記入出力間隔処理部は、前記分布で陰の領域に存在する最頻度の棒を除去することができる。
【0015】
前記モデルフィッティング部は、前記入出力間隔の分布をガウシアン分布で生成して前記先制性を算出し、前記入出力間隔の分布をエックス－ガウシアン分布を含む反応的分布で生成して前記反応性を算出することができる。
【0016】
前記モデルフィッティング部は、前記先制性及び前記反応性を基にしてユーザインターフェースの特性を調節することができる。
【0017】
前記モデルフィッティング部は、前記ユーザインターフェースの視覚的レイアウト及び動作機能を調節することができる。
【0018】
実施形態のうち、先制的及び反応的入力数量化基盤のユーザインターフェース方法は、ユーザの入力及び画面の出力を記録するデータ獲得ステップ；前記ユーザの入力に対する入力タイミングを抽出する入力フィルタリングステップ；前記画面の出力に対する特定基準以上の視覚的変更を開始する出力タイミングを抽出する出力フィルタリングステップ；前記ユーザの入力及び前記画面の出力に対するタイミングを通じて入出力間隔の分布を生成する入出力間隔処理ステップ；及び前記入出力間隔の分布を先制的分布及び反応的分布に調節して先制性及び反応性を推定するモデルフィッティングステップを含む。
【0019】
前記データ獲得ステップは、特定区間に対して前記ユーザの時系列入力アクションを入力エンティティー別に記録し、前記画面の時系列出力をフレームイメージ別に記録することができる。
【0020】
前記入力フィルタリングステップは、前記ユーザの入力が入力イベントの生成を基にして離散的タイミングを抽出することができる。
【0021】
前記出力フィルタリングステップは、前記出力タイミングの抽出の前に前記画面の出力を記録するフレームイメージの解像度またはフレームレートをダウンスケールすることができる。
【発明の効果】
【0022】
開示する技術は、次の効果を有することができる。但し、特定の実施形態が次の効果を全部含まなければならないか、または次の効果のみを含まなければならないという意味ではないので、開示する技術の権利範囲はこれによって制限されるものとして理解されてはならない。
【0023】
本発明に従う先制的及び反応的入力数量化基盤のユーザインターフェース装置及び方法は、ユーザの入力タイミングと画面上の視覚的変化の間の時間間隔分布を測定し、該当分布を反応的分布、予測的分布、そして非相関分布の和としてどのように構成することができるかを推定して、ユーザの入力がどれくらい反応的であったか、または予測的であったかを知ることができ、それが画面の特定位置に対してどのように測定されるかも知ることができる。
【図面の簡単な説明】
【0024】
【図1】本発明に従うユーザインターフェース装置の物理的構成を説明する図である。
【図2】本発明に従う先制的及び反応的入力数量化基盤のユーザインターフェース方法を説明する順序図である。
【図3】特定基準以上の視覚的変更を開示する出力タイミングを説明する図である。
【図4】カーソル移動を伴ったボタン入力に従う画面の出力を説明する図である。
【図5】ユーザの入力及び画面の出力に対するタイミング同士間の差であるＩＯＩ算出及び分布を説明する図である。
【図6】ユーザのボタン入力戦略に従うＩＯＩ分布を説明する図である。
【図7】Ｍｏｎｔｅ Ｃａｒｌｏ方法を使用してＩＯＩ分布を得る方法を説明する図である。
【図8】各ピクセル－ゲーム類型組み合わせに対する平均ＷＩ（全ての参加者）をヒットマップで示す図である。
【図9】各ゲームに対する推定されたＩＯＩ分布媒介変数とゲーム点数との間の線形回帰結果を示す図である。
【図10】モデルフィッティングに対する実験結果を説明する図である。
【図11】研究２で、ユーザがクリックした自体拡張対象のデザインを説明する図である。
【図12】研究２の結果として施行完了時間及び誤り率を説明する図である。
【図13】研究２の結果として反応性及び先制性を説明する図である。
【図14】本発明に従うユーザインターフェース装置のシステム構成を説明する図である。
【図15】本発明に従うユーザインターフェースシステムを説明する図である。
【発明を実施するための形態】
【0025】
［この発明を支援した国家研究開発事業］
［課題固有番号］ １７１１１２６０８２
［課題番号］ ２０２０－０－０１３６１－００２
［省庁名］ 科学技術情報通信部
［課題管理（専門）機関名］ 情報通信企画評価院
［研究事業名］ 情報通信放送革新人材養成 （Ｒ＆Ｄ）
［研究課題名］ 人工知能大学院支援（延世大学校）
［寄与率］ １／３
［課題実行機関名］ 延世大学校産学協力団
［研究期間］ ２０２１．０１．０１～２０２１．１２．３１
［この発明を支援した国家研究開発事業］
［課題固有番号］ １３７５０２７２９２
［課題番号］ Ｒ２０２１０４０１０５－０００１
［省庁名］ 文化体育観光部
［課題管理（専門）機関名］ 韓国コンテンツ振興院
［研究事業名］ 文化技術研究開発 （Ｒ＆Ｄ）
［研究課題名］ Ｇａｍｅ Ｎｏｗ：ｅ－スポーツサービスのための人工知能ベースのリアルタイムゲーム分析技術の開発
［寄与率］ １／３
［課題実行機関名］ 韓国電子通信研究院
［研究期間］ ２０２１．０６．０１～２０２１．１２．３１
［この発明を支援した国家研究開発事業］
［課題固有番号］ １３７５０２７２７７
［課題番号］ Ｒ２０１９０２００１０－０００３
［省庁名］ 文化体育観光部
［課題管理（専門）機関名］ 韓国コンテンツ振興院
［研究事業名］ 文化技術研究開発 （Ｒ＆Ｄ）
［研究課題名］ シニアゲームプレイ支援技術とゲームサービスモデルの開発
［寄与率］ １／３
［課題実行機関名］ 延世大学校産学協力団
［研究期間］ ２０２１．０１．０１～２０２１．１２．３１
本発明に関する説明は構造的または機能的説明のための実施形態に過ぎないので、本発明の権利範囲は本文に説明した実施形態によって制限的に解析されてはならない。即ち、実施形態は多様な変更が可能であり、多様な形態を有することができるので、本発明の権利範囲は技術的思想を実現することができる均等物を含むものとして理解されなければならない。また、本発明で提示した目的または効果は、特定の実施形態がこれを全部含まなければならないとか、そのような効果のみを含まなければならないという意味ではないので、本発明の権利範囲はこれによって制限されるものとして理解されてはならない。
［課題固有番号］ １７１１１２６０８２
［課題番号］ ２０２０－０－０１３６１－００２
［省庁名］ 科学技術情報通信部
［課題管理（専門）機関名］ 情報通信企画評価院
［研究事業名］ 情報通信放送革新人材養成 （Ｒ＆Ｄ）
［研究課題名］ 人工知能大学院支援（延世大学校）
［寄与率］ １／３
［課題実行機関名］ 延世大学校産学協力団
［研究期間］ ２０２１．０１．０１～２０２１．１２．３１
［この発明を支援した国家研究開発事業］
［課題固有番号］ １３７５０２７２９２
［課題番号］ Ｒ２０２１０４０１０５－０００１
［省庁名］ 文化体育観光部
［課題管理（専門）機関名］ 韓国コンテンツ振興院
［研究事業名］ 文化技術研究開発 （Ｒ＆Ｄ）
［研究課題名］ Ｇａｍｅ Ｎｏｗ：ｅ－スポーツサービスのための人工知能ベースのリアルタイムゲーム分析技術の開発
［寄与率］ １／３
［課題実行機関名］ 韓国電子通信研究院
［研究期間］ ２０２１．０６．０１～２０２１．１２．３１
［この発明を支援した国家研究開発事業］
［課題固有番号］ １３７５０２７２７７
［課題番号］ Ｒ２０１９０２００１０－０００３
［省庁名］ 文化体育観光部
［課題管理（専門）機関名］ 韓国コンテンツ振興院
［研究事業名］ 文化技術研究開発 （Ｒ＆Ｄ）
［研究課題名］ シニアゲームプレイ支援技術とゲームサービスモデルの開発
［寄与率］ １／３
［課題実行機関名］ 延世大学校産学協力団
［研究期間］ ２０２１．０１．０１～２０２１．１２．３１
本発明に関する説明は構造的または機能的説明のための実施形態に過ぎないので、本発明の権利範囲は本文に説明した実施形態によって制限的に解析されてはならない。即ち、実施形態は多様な変更が可能であり、多様な形態を有することができるので、本発明の権利範囲は技術的思想を実現することができる均等物を含むものとして理解されなければならない。また、本発明で提示した目的または効果は、特定の実施形態がこれを全部含まなければならないとか、そのような効果のみを含まなければならないという意味ではないので、本発明の権利範囲はこれによって制限されるものとして理解されてはならない。
【0026】
一方、本出願で使用する用語の意味は、次のように理解されるべきである。
【0027】
“第１”、“第２”などの用語は１つの構成要素を他の構成要素から区別するためのものであって、これら用語により権利範囲が限定されてはならない。例えば、第１構成要素は第２構成要素として命名されることができ、同様に第２構成要素も第１構成要素として命名できる。
【0028】
ある構成要素が他の構成要素に“連結されて”いると言及された時には、該他の構成要素に直接的に連結されることもあるが、中間に他の構成要素が存在することもあると理解されるべきである。一方、ある構成要素が他の構成要素に“直接連結されて”いると言及された時には、中間に他の構成要素が存在しないことと理解されるべきである。一方、構成要素の間の関係を説明する他の表現、即ち“～間に”と“直ぐ～間に”または“～に隣り合う”と“～に直接隣り合う”なども同様に解析されるべきである。
【0029】
単数の表現は文脈上の明白に異なる意味を有しない限り、複数の表現を含むと理解されるべきであり、“含む”または“有する”などの用語は実施された特徴、数字、ステップ、動作、構成要素、部分品、またはこれらを組み合わせたものが存在することを指定しようとするものであり、１つまたはその以上の他の特徴や数字、ステップ、動作、構成要素、部分品、またはこれらを組み合わせたものの存在または付加可能性を予め排除しないものとして理解されるべきである。
【0030】
各ステップにおいて、識別符号（例えば、ａ、ｂ、ｃなど）は説明の便宜のために使われるものであって、識別符号は各ステップの順序を説明するものでなく、各ステップは文脈上の明白に特定順序を記載しない以上、明記した順序と異なるように起こることがある。即ち、各ステップは明記した順序と同一に起こることもあり、実質的に同時に遂行されることもあり、反対の順に遂行されることもある。
【0031】
本発明はコンピュータにより読取できる記録媒体にコンピュータにより読取できるコードとして具現されることができ、コンピュータにより読取できる記録媒体はコンピュータシステムにより読取できるデータが格納される全ての種類の記録装置を含む。コンピュータにより読取できる記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などがある。また、コンピュータにより読取できる記録媒体はネットワークにより連結されたコンピュータシステムに分散されて、分散方式でコンピュータにより読取できるコードが格納及び実行できる。
【0032】
ここに使う全ての用語は特に定義されない限り、本発明が属する分野で通常の知識を有する者により一般的に理解されるものと同一の意味を有する。一般的に使われる辞典に定義されている用語は、関連技術の文脈上の意味と一致するものとして解析されなければならず、本出願で明白に定義しない限り、理想的であるか、または過度に形式的な意味を有するものとして解析できない。
【0033】
本発明は５ステップに遂行できる。最初のステップは、ユーザの入力ログとコンピュータ画面を記録するデータ収集である。第２のステップは、入力フィルタリングで与えられた入力ログからユーザが意図したボタン入力タイミングを抽出する。第３のステップは、記録された画面ビデオの各フレームに対してユーザが感知可能な視覚的変化を識別する出力フィルタリングである。第４のステップは、ボタン入力及び出力対でＩＯＩ分布を得るＩＯＩ抽出である。最後のステップは、獲得したＩＯＩ分布に事後的分布と事前的分布をフィッティングして反応性と先制性を推定するモデルフィッティングである。
【0034】
図１は、本発明に従うユーザインターフェース装置の物理的構成を説明する図である。
【0035】
図１を参照すると、ユーザインターフェース装置１００は、データ獲得部１１０、入力フィルタリング部１２０、出力フィルタリング部１３０、入出力間隔処理部１４０、モデルフィッティング部１５０、及び制御部（図１に図示せず）を含むことができる。
【0036】
データ獲得部１１０は、ユーザの入力及び画面の出力を記録することができる。データ獲得部１１０は、特定区間に対してユーザの時系列入力アクションを入力エンティティー別に記録し、画面の時系列出力をフレームイメージ別に記録することができる。ここで、入力エンティティーはボタンに該当できる。
【0037】
一実施形態で、データ獲得部１１０はユーザの入力及び画面の出力を特定区間（Ｔ）の間記録することができる。記録された入力動作はボタン入力ｂｔｙｐｅ（押した場合は１、押していない場合は０）とカーソル座標ｘ及びｙ（使用可能な場合、ピクセル単位）の時系列である。ユーザが他のボタンを押すと、データが各ボタンに対して別途に記録できる。例えば、マウスの左側ボタンの場合はｂｍｌ、キー“ａ”の場合はｂａとして記録できる。ロギングされたコンピュータの出力はロギング期間の間、視覚的ディスプレイでユーザに表示される全てのフレームイメージ（ｖ）（ここでは、２４ビットＲＧＢ）でありえる。フレームイメージ（ｖ）のピクセル解像度は対象アプリケーション及びハードウェアによって異なることがある。
【0038】
入力ロギングのフレーム速度をｆ、ロギングされたフレーム数Ｎをｆ・Ｔとすると、最終ロギングデータは次の数式１として表現できる。
【0039】
【数1】
【0040】
ここで、ｔはタイムスタンプである。
【0041】
本実施形態では、ＯＢＳ（Ｏｐｅｎ Ｂｒａｄｃａｓｔｅｒ Ｓｏｆｔｗａｒｅ）（ｆ＝６０Ｈｚ）を用いて画面映像を記録しており、ｐｙｕｐｕｔライブラリを用いてＯＢＳコールバック関数が実行される瞬間、ボタン入力とカーソル座標を共に記録した。全体スクリプトはＰｙｔｈｏｎで具現され、ビデオはｍｐ４形式で記録され、ボタン入力及びカーソル座標はｃｓｖ形式で記録される。一般的な解像度、即ち、１６８０×１０５０で３０分間記録すると、原始データファイルは約３ＧＢとなる。
【0042】
入力フィルタリング部１２０はユーザの入力に対する入力タイミングを抽出することができる。入力フィルタリング部１２０はユーザが発生させた全ての入力イベントの生成を基にして離散的タイミングを抽出することができる。ここで、入力イベントの生成は特定アイコンをクリックして実行する行為を含み、空いている空間をクリックして何の入力イベントが発生しないことを除外することができる。
【0043】
一実施形態で、入力フィルタリング部１２０は特定類型のボタンｂｔｙｐｅの入力ログデータでユーザがボタン入力イベントを生成しようと意図した個別タイミングを抽出することができる。ユーザがボタンを押した瞬間から手を離す瞬間まで約数十ｍｓが必要とされ、その間ユーザが意図した入力タイミングに最も近い瞬間がある。ここでは、ボタン入力ログが０から１に変更される瞬間、即ちボタンを押し始める瞬間をユーザが意図したボタン入力活性化瞬間と仮定することができる。即ち、ユーザが意図したボタン入力タイミングは次の数式２のように決定できる。
【0044】
【数2】
【0045】
結果的に、特定類型のボタンｂｔｙｐｅを使用するユーザが意図した入力タイミングのタイムスタンプは次の数式３のように定義できる。
【0046】
【数3】
【0047】
ここで、ｔｔｙｐｅ
ｉｎｐｉｔは特定類型のボタンを使用するユーザが意図した入力タイミングであり、Ｂｔｙｐｅは該当ボタンにより感知された入力イベントの数である。
【0048】
出力フィルタリング部１３０は、画面の出力に対する特定基準以上の視覚的変更を開示する出力タイミングを抽出することができる。出力フィルタリング部１３０は、ユーザの入力により触発された画面上の視覚的変化、ユーザの反応的入力を触発させる画面上の視覚的変化、ユーザの先制的入力を触発させる画面上の視覚的変化、ユーザの入力と全く関係のない画面上の視覚的変化を通じての画面の出力を基にして出力タイミングを抽出することができる。出力フィルタリング部１３０は、出力タイミングの抽出前に画面の出力を記録するフレームイメージの解像度またはフレームレートをダウンスケールすることができる。出力フィルタリング部１３０は、ユーザの入力に対する平均間隔を基にしてダウンスケールの因子を設定することができる。例えば、出力フィルタリング部１３０は平均間隔が狭いと高解像度に、平均間隔が広いと低解像度にフレームイメージの解像度をダウンスケールすることができる。出力フィルタリング部１３０は、画面の出力を構成するフレームイメージの間の差に対するユーザ視覚認知性を基にして特定基準を設定することができる。
【0049】
記録した画面の解像度がＷ×Ｈであれば、総Ｗ・Ｈピクセルがユーザに情報を伝達する。出力フィルタリング部１３０は、より効率のよい分析のためにスケール因子Ｋを使用して画面の出力を記録するフレームイメージの解像度をダウンスケールして解像度を縮小することができる。この際、イメージの解像度はＷ／Ｋ×Ｈ／Ｋとなる。ダウンスケール因子Ｋは縮小後にも画面で重要な視覚的イベントが完全に認知できる値に設定することができ、ここでは３２と決定することができる。
【0050】
入出力間隔処理部１４０は、ユーザの入力及び画面の出力に対するタイミングを通じて入出力間隔の分布を生成することができる。入出力間隔処理部１４０はユーザの入力及び画面の出力に対するタイミングの間の差を算出し、差を基にして複数の棒から構成された分布を生成することができる。分布で、陰の領域に存在する最頻度の棒は一定で、短いレイテンシを有するユーザ入力により単純にトリガーされる視覚的出力に該当するので、入出力間隔処理部１４０は分布で陰の領域に存在する最頻度の棒を除去することができる。
【0051】
モデルフィッティング部１５０は、入出力間隔の分布を先制的分布及び反応的分布に調節して先制性及び反応性を推定することができる。モデルフィッティング部１５０は、入出力間隔の分布をガウシアン分布で生成して先制性を算出し、入出力間隔の分布をエックス－ガウシアン分布を含む反応的分布で生成して反応性を算出することができる。モデルフィッティング部１５０は、先制性及び反応性を基にしてユーザインターフェースの特性を調節することができる。ここで、モデルフィッティング部１５０はユーザインターフェースの視覚的レイアウト及び動作機能を調節することができる。
【0052】
制御部（図１に図示せず）はユーザインターフェース装置１００の全体的な動作を制御し、データ獲得部１１０、入力フィルタリング部１２０、出力フィルタリング部１３０、入出力間隔処理部１４０、及びモデルフィッティング部１５０の間の制御の流れ、またはデータの流れを管理することができる。
【0053】
図２は、本発明に従う先制的及び反応的入力数量化基盤のユーザインターフェース方法を説明する順序図である。
【0054】
図２を参照すると、ユーザインターフェース装置１００は、データ獲得部１１０をユーザの入力及び画面の出力を記録することができる（ステップＳ２１０）。ユーザインターフェース装置１００は、入力フィルタリング部１２０を通じてユーザの入力に対する入力タイミングを抽出することができる（ステップＳ２２０）。
【0055】
また、ユーザインターフェース装置１００は、出力フィルタリング部１３０を通じて画面の出力に対する特定基準以上の視覚的変更を開示する出力タイミングを抽出することができる（ステップＳ２３０）。ユーザインターフェース装置１００は、入出力間隔処理部１４０を通じてユーザの入力及び画面の出力に対するタイミングを通じて入出力間隔の分布を生成することができる（ステップＳ２４０）。
【0056】
ユーザインターフェース装置１００は、モデルフィッティング部１５０を通じて入出力間隔の分布を先制的分布及び反応的分布に調節して先制性及び反応性を推定することができる（ステップＳ２５０）。
【0057】
【0058】
本発明に従うユーザインターフェース方法は、相互作用で得たユーザの入力及び画面の出力間時間間隔（ＩＯＩ）を分析してユーザ反応性及び先制性を評価することができる。
【0059】
ボタンはユーザの持続的な動きを不連続的な信号に変換してコンピュータに転送する入力装置である。ユーザがボタンを押す目的はコンピュータに自身の意思を伝達することである。ボタンを押すためにはユーザが先にコンピュータの現在状態を認知し、ボタンを押す時期を決定しなければならない。ボタンを何時押すのかを決定した後、ボタン押し動作が実行される。コンピュータの状態を認知した後、決定を下す一連の過程に比べてボタンを押す動作自体は非常に短く、ユーザ性能にほとんど影響を及ぼさないので、一般的に無視することがある。
【0060】
コンピュータで予想していなかったフィードバックを受けた後、最大限速くボタンを押す作業を反応という。反応作業のＩＯＩは伝統的に応答時間または反応時間といい、ＩＯＩの分布は幾何級数的に修正されたガウシアン（ｅｘ－Ｇａｕｓｓｉａｎ）またはログ正規（ｌｏｇ－ｎｏｒｍａｌ）のように長い右側の尾を有する短棒分布に従うことと知られている。Ｈｉｃｋ－Ｈｙｍａｎｎ法則によれば、人間の情報処理能力は一定であるので、反応課題でＩＯＩの平均は押すことができる代替ボタン数のログに比例して増加する。一方、ドリフト－拡散モデルは反応を順次的サンプリングプロセスとして説明する。
【0061】
このモデルによれば、ユーザはリアルタイムに意思決定のための証拠を蓄積する。途中に蓄積された証拠の量が予め定まった決定境界を超過すれば、ユーザは該当ボタンを押す。Ｈｉｃｋ－Ｈｙｍａｎｎ法則とは異なり、ドリフト－拡散は反応ＩＯＩの分布をシミュレーションすることができる。
【0062】
ユーザにボタンを押す正確なタイミングを問うメッセージが表示されれば、作業を予想（事前ボタン入力）という。予想にはちらつく標的獲得及び動く標的獲得作業が含まれる。前者の作業はちらつく対象がまた表れる時を予想して、その瞬間にボタンを押すものである。後者の作業は動く標的が照準領域に入る時を予想して、その瞬間にボタンを押すものである。
【0063】
反応作業でユーザの目標は与えられた刺激にできる限り速く反応するものである。したがって、反応作業の主要性能マトリックはＩＯＩの平均であり、一般的に良いインターフェースは低い平均を可能にするインターフェース、即ち、ユーザが目標をより速く達成可能に助けるインターフェースである。ドリフト－拡散モデルによれば、ユーザの平均ＩＯＩが低いためには意思決定の証拠が蓄積される比率、即ち、ドリフト比率が高くなければならない。一方、予測作業でユーザのボタン入力タイミングは平均的な作業で必要とするボタン入力タイミングに近いので、ＩＯＩ分布の平均はこれ以上重要な性能マトリックでない。代わりに、ユーザは自分のボタン入力タイミングが作業で要求されるボタン入力タイミングに対して低い変動性を有することを希望する。即ち、予測作業の主要性能マトリックはＩＯＩ分布の分散（または、標準偏差）である。
【0064】
ＩＯＩ分布の分散が大きければ、ユーザはコンピュータが要求するボタン入力タイミングを推定し難い。例えば、ちらつく標的獲得でちらつき反復周期が長いほどユーザが次のボタン入力のタイミングを推定し難くなり、これをユーザ内部時計のスカラー属性という。一方、動く標的獲得作業では標的が観察できる時間、即ち、キュー視聴時間が短いほどユーザのボタン入力タイミング推定性能が低くなる。特に、システム待機時間が長いと、ユーザが終わりまで目標移動を観察しなくてボタンを押さなければならないので、キュー視聴時間が更に短縮できる。
【0065】
ユーザの２つの代表的なボタン入力戦略（反応型及び先制型）、数学的モデル及び各々の性能に影響を及ぼす要素は、次の表１として整理することができる。
【0066】
【表1】
【0067】
本発明では制御されていない刺激及び無制限ユーザボタン押しと関連した日常的な相互作用でユーザのボタン押し性能を定量化する技術を提案及び具現する。
【0068】
このための最初のステップはデータ獲得ステップで、ユーザの入力ログとコンピュータ画面を記録する。
【0069】
データ収集ステップで、ユーザ入力作業及びコンピュータ出力は特定期間の間記録される。記録された入力動作はボタン入力ｂｔｙｐｅ（押した場合は１、押していない場合は０）とカーソル座標及び（使用可能な場合、ピクセル単位）の時系列である。ユーザが他のボタンを押すと、データが各ボタンに対して別途に記録されなければならない（例：マウス左側ボタンの場合はｂｍｌ、キー“ａ”の場合はｂｎ）。ロギングされたコンピュータの出力はロギング期間の間視覚的ディスプレイでユーザに表示される全てのフレームイメージ（この研究では２４ビットＲＧＢ）である。ピクセル解像度は対象アプリケーション及びハードウェアによって異なることがある。
【0070】
入力ロギングのフレーム速度をｆ、ロギングされたフレーム数Ｎをｆ・Ｔとし、最終ロギングデータは次の通りである。
【0071】
【0072】
ここで、ｔはタイムスタンプである。本研究ではＯＢＳ（Ｏｐｅｎ Ｂｒｏａｄｃａｓｔｅｒ Ｓｏｆｔｗａｒｅ）（ｆ＝６０Ｈｚ）を用いて画面映像を記録しており、ｐｙｎｐｕｔライブラリを用いてＯＢＳコールバック関数が実行される瞬間、ボタン入力とカーソル座標を共に記録した。全体スクリプトはＰｙｔｈｏｎで具現される。ビデオはｍｐ４形式で記録され、ボタン入力及びカーソル軌跡はｃｓｖ形式で記録される。一般的な解像度（即ち、１６８０×１０５０）でこの方法により３０分間記録すれば原始データファイルは約３ＧＢとなる。
【0073】
第２のステップは、入力フィルタリングで与えられた入力ログからユーザが意図したボタン入力タイミングを抽出する。
【0074】
入力フィルタリングステップは、特定類型のボタンｂｔｙｐｅの入力ログデータでユーザがボタン入力イベントを生成しようと意図した個別タイミングを抽出しなければならない。先行研究によれば、ボタンを押した瞬間から手を離す瞬間まで約数十ｍｓが必要とされ、その間ユーザが意図した入力タイミングに最も近い瞬間がある。本研究ではボタン入力ログが０から１に変更される瞬間、即ちボタンを押し始める瞬間をユーザが意図したボタン入力活性化瞬間と仮定した。即ち、ユーザが意図したボタン入力タイミングは、次の通り決定される。
【0075】
【0076】
結果的に、ボタンを使用するユーザが意図した入力タイミングｔｔｙｐｅ
ｉｎｐｉｔ
のタイムスタンプは、次の通り書くことができる。
のタイムスタンプは、次の通り書くことができる。
【0077】
【0078】
ここで、Ｂｔｙｐｅは該当ボタンで感知された入力イベントの数である。
【0079】
第３のステップは、記録された画面ビデオの各フレームに対してユーザが感知することができる視覚的変化を識別する出力フィルタリングである。
【0080】
図３及び図４を参照すると、記録したディスプレイの解像度がＷ×Ｈであれば、総Ｗ・Ｈピクセルがユーザに情報を伝達する。より効率のよい分析のためにスケールファクターＫを使用してビデオの解像度を縮小した。すると、動映像の解像度はＷ／Ｋ×Ｈ／Ｋとなる。Ｋは縮小後にも画面で重要な視覚的イベントを完全に感知することができる値に設定しなければならない。この研究でＫの値は全ての後続研究で３２と決定された。次に、各フレームの各ピクセルの（Ｒ、Ｇ、Ｂ）値をＣＩＥＬＡＢ型式（Ｌ、ａ、ｂ）に変換する。ＣＩＥＬＡＢ空間で色相ベクトルの間の距離は人間が実際に認知する色相差に一層近いので、画面で発生する重要な視覚的イベントをよりよく感知することができる。本研究ではｃｏｌｏｒｍａｔｈライブラリのｃｏｎｖｅｒｔ＿ｃｏｌｏｒ関数を用いてＣＩＥＬＡＢ型式に変換した。
【0081】
今までＭ（＝Ｗ／Ｋ・Ｈ／Ｋ）ピクセルの各々に対する（Ｌ、ａ、ｂ）値の時系列がある。ｉ番目の時間ステップでｊ番目ピクセルの色相値を（Ｌｊ
ｉ、ａｊ
ｉ 、ｂｊ
ｉ ）。次に、隣接したフレーム間の色相差に対する時系列を次の数式４のように得る。
【0082】
【数4】
【0083】
この時系列ではＬ、ａ及びｂのうち、少なくとも１つのチャンネルで色相値が特定しきい値δ以上に変更される全ての瞬間を感知する。図３の場合、感知された各瞬間（ｉ／ｆ）でユーザのボタン押しが誘発できる重要な視覚的イベントが該当ピクセルからユーザに伝達される。本研究ではＣＩＥＬＡＢ空間で約５ユークリッド距離の色差を人間が十分に認知することができるといって、δを５に設定した。結果的に、各ｊ番目のピクセルに対して得た重要な視覚的出力ｔｏｕｔｐｕｔのタイムスタンプは、次の数式５のように表現できる。
【0084】
【数5】
【0085】
ここで、ｐｊはｊ番目ピクセルで感知された視覚的イベントの数である。
【0086】
前記数式４及び数式５は、ディスプレイの特定（絶対）位置で発生する視覚的イベントがユーザのボタン入力をトリガーすることができるという前提を基盤とする。しかしながら、この仮定が成立しない特別な状況がありえる。例えば、ユーザがコンピュータマウスを使用してディスプレイの左下段隅でカーソルを移動し、右上段隅に表れた対象をクリックする状況である。この際、ユーザのボタン入力が画面の右上段に対象が表れたイベントにより発生したと見ることは困難である。むしろ、カーソルがターゲットに到達するか、または相対的にターゲットがカーソルに近くなったので、ユーザのボタン入力が発生したと見ることがより自然である。したがって、マウスボタン入力をトリガーすることができる出力を抽出する過程でカーソル固定座標系を参照として使用した。より具体的に、これは前記数式４及び数式５の過程を遂行する前に、図４のように、スクリーンビデオの各フレームｖｉの中心をカーソル位置（ｘｉ、ｙｉ）に移すことによりなされる。変換により空いているピクセルの（Ｌ、ａ、ｂ）値は全て（０、０、０）で詰められる。
【0087】
第４のステップは、ボタン入力及び出力対でＩＯＩ分布を得る入出力間隔処理ステップである。
【0088】
本研究で、ＩＯＩは出力が発生した時間ｔｏｕｔとユーザが該当ボタン入力ｔｉｎｐｕｔを遂行した時間の差と定義できる。一般的に、多重入力と多重出力が観察され、これらの組み合わせにより多重ＩＯＩ、即ちＩＯＩ分布を定義することができる。しかしながら、特定ピクセルで観察される視覚的出力の数があまりに少なければＩＯＩ分布を得ることの意味がないので、ピクセルに対する分析を飛び越えることがある。より具体的に、本研究では全てのピクセルで視覚的出力数がＰｊの最大値の１／１０未満であるピクセルを飛び越えた。
【0089】
次に、飛び越えていないピクセルの場合、各ボタンｔｙｐｅ－ピクセル番号ｊ組み合わせを見ると、図５を参照して、１つのボタンｔｙｐｅ－ピクセル組み合わせの場合、ボタン入力タイミングｔｔｙｐｅ
ｉｎｐｉｔ
と視覚的出力タイミングｔｊ ｏｕｔｐｉｔ
軸に沿って整列することができる。この際、ＩＯＩはｔｔｙｐｅとｔｊ
（数式３及び数式５参照）の各組み合わせによって計算することができるが、人間のボタン入力過程に対して１つの仮定をしてサンプリングされたＩＯＩの数を減らした。結果的に、各ｑ番目の視覚的出力は時間軸に最も近いボタン入力ｔｔｙｐｅ Ｋ＊
と結合できる。ＩＯＩは次の数式６のように計算できる。
と視覚的出力タイミングｔｊ ｏｕｔｐｉｔ
軸に沿って整列することができる。この際、ＩＯＩはｔｔｙｐｅとｔｊ
（数式３及び数式５参照）の各組み合わせによって計算することができるが、人間のボタン入力過程に対して１つの仮定をしてサンプリングされたＩＯＩの数を減らした。結果的に、各ｑ番目の視覚的出力は時間軸に最も近いボタン入力ｔｔｙｐｅ Ｋ＊
と結合できる。ＩＯＩは次の数式６のように計算できる。
【0090】
【数6】
【0091】
次に、次の数式７のように１つのボタンｔｙｐｅ－ピクセル組み合わせに対する総（視覚的出力数）ＩＯＩから構成されたＩＯＩ分布を得ることができる。
【0092】
【数7】
【0093】
前記数式７を通じて図４の（ｂ）のように、確率質量関数に変化するように正規化できる。
【0094】
最後のステップは、獲得したＩＯＩ分布に事後的分布と事前的分布をフィッティングして反応性と先制性を推定するモデルフィッティングステップである。
【0095】
前記数式７で求めたＩＯＩ分布は多数の下位分布の和で表現できる。図６を参照すると、（ａ）はユーザが視覚的出力に対する応答としてボタンを能動的に押す時に観察されるＩＯＩ分布である。人間の能動的なボタン入力性能に対する以前の研究を参照すると、以下の数式８のようにガウス分布として仮定することができる。
【0096】
【数8】
【0097】
ここで、μｐは分布の平均であり、σｐは分布の標準偏差である。この２つは共にグループ化されて事前配布の媒介変数θｐとして定義できる。
【0098】
図６の（ｂ）は、ユーザが視覚的出力に対する応答としてボタンを反応的に押す時に観察されるＩＯＩ分布である。人間の反応時間に対する以前の研究を参照すると、以下の数式９のｅｘ－Ｇａｕｓｓｉａｎ分布として仮定できる。
【0099】
【数9】
【0100】
ここで、μＲ、σＲ、ＫＲ、は分布の形態を決定する母数である。この３種類は共にグループ化されて反応分布の母数θＲとして定義できる。反応分布の平均はμＲでなく、（μＲ＋σＲＫＲ ）である。以下、反応分布の実際平均を
として表示する。
【0101】
図７は、ユーザのボタン入力と関係のない視覚的出力から得たＩＯＩの分布を示す。ユーザのボタン入力と関係のない視覚的出力は時間軸に均一に分布していると仮定することができる。ユーザのボタン入力タイミングを既に知っているのでＭｏｎｔｅ Ｃａｒｌｏ方法を使用して均一に分布した関連のない出力からＩＯＩ分布を得る方法をシミュレーションすることができる。このように得た分布を正規化し、Ｉｉｒｒｅｌｅｖａｎｔ
として仮定した。
として仮定した。
【0102】
最後に、一部の出力はユーザ入力をトリガーしないが、単純にユーザ入力によりトリガーできる。例えば、ユーザが閉じボタンを押すと、アプリケーション窓が閉まり、シューティングゲームでユーザが敵を射てば敵が消える。分析を単純化するために、この研究ではユーザによりトリガーされたコンピュータ出力が短く、一定の待機時間に生成されると仮定する。これは、数式７で求めたＩＯＩ分布で陰の領域で最も高いピークとして観察できる。これは、ユーザの反応性及び先制性を推定することとは関係ｇａないので、分布からピークを除去し、後続分析を遂行する（図５参照）。
【0103】
本発明の最終の目標は次の数式１０のように、Ｉｉｒｒｅｌｅｖａｎｔ，
Ｉｒｅａｃｔｉｖｅｓ及びＩｉｒｒｅｌｅｖａｎｔの和でピーク除去ＩＯＩ分布を表現するものである。
Ｉｒｅａｃｔｉｖｅｓ及びＩｉｒｒｅｌｅｖａｎｔの和でピーク除去ＩＯＩ分布を表現するものである。
【0104】
【数10】
【0105】
ここで、ＷＲ、ＷＰ，ＷＩは各下位分布の加重値を示す。
【0106】
前記数式１０で、各分布の加重値（ＷＲ、ＷＰ，ＷＩ）と反応及び事前分布の媒介変数（θＲ、θＰ）を探さなければならない。これは、混合分布モデルを経験的分布に最適に合せる問題であり、ＥＭ（ｅｘｐｅｃｔａｔｉｏｎ－ｍａｘｉｍｉｚａｔｉｏｎ）方式を通じて遂行することができる。より具体的に、ＥＭを通じて与えられたＩＯＩ分布を観察する可能性を最大化する媒介変数と加重値を得ることができる。これは、次の数式１１として表現できる。
【0107】
【数11】
【0108】
この際、特定ＩＯＩｔｙｐｅ，ｊインスタンスがどの部分から由来するかを知らないので、前記の数式１１で可能度（ｌｉｋｅｌｉｈｏｏｄ）を計算することができない。ＥＭ体系で私達は各ＩＯＩインスタンスが特定分布で潜在的な変数Ｚとして来たものと信じられる確率を定義する。３個の下位分布があるのでＺはサイズが３×Ｐｊの行列である。ＥＭ技法は、θＲ、θＰ及びＺを推定するために交互に遂行される期待ステップと、最大化ステップの２つのステップで構成できる。各下位分布に対して推定されたＺを平均すると、該当下位分布の加重値である（即ちＷＲ、ＷＰ，ＷＩ）。飛び越えていない全てのボタンｔｙｐｅ－ピクセル組み合わせに対してこのプロセスを繰り返す。
【0109】
最後のモデルフィッティングステップまで完了すれば、手にある各ボタン類型ピクセルに対して次の情報がありえる。
【0110】
ＷＲは、ピクセルが他の類型の関連と比較してユーザの反応入力プロセスとどれくらい強く関連されているかを示す。
【0111】
ＷＰは、ピクセルが他の類型の連結と比較してユーザの事前入力プロセスとどれくらい強く連結されているかを示す。
【0112】
ＷＩは、ピクセルが他の類型の関連と比較してユーザの入力プロセスとどれくらい関連のないかを示す。
【0113】
θＲは、ユーザが試みた反応性入力の特性と性能を説明し、ユーザの反応性能を最もよく説明する値はＩｒｅａｃｔｉｖｅｓ分布の平均であるので
である。
が高いほどユーザが予想してなかったコンピュータ出力に速く反応することがより難しかった。
【0114】
Ｐは、ユーザが試みる能動的入力の特性と性能を説明し、σＰ に属する２つのパラメータ（μＰ、σＰ）のうち、σＰが最も重要である。σＰが高いほどユーザがコンピュータの出力を予想することがより難しかった。
【0115】
前記の解析によれば、ＷＲとＷＰはユーザの反応性と先制性を示すことができる。しかしながら、ＷＲ、ＷＰはＷＲ＋ＷＰ＋ＷＩ＝１、即ち、関連のない出力が多い時、ＷＩが増加するほど減少する。しかしながら、反応性及び先制性はユーザ性能を特性化することを目標とするので、関連のない出力の有無に関わらず計算できなければならない。したがって、対応するボタン類型－ピクセル組み合わせに対する反応性Ｒ及び先制性Ｐを次の数式１２のように定義し計算することができる。
【0116】
【数12】
【0117】
ここで、Ｒ及びＰは各ピクセルに対して得られるので、特定ボタン類型に対してＲ及びＰのヒットマップ（ｈｅａｔｍａｐ）を描くことができる。ヒットマップで参加者が更に反応的であるか、または能動的に反応した画面のピクセルを理解することができる。また、全てのピクセルで求めたＲとＰを平均して特定のボタン種類に対するＲとＰの代表値を求めることも可能である。
【0118】
研究（ＳＴＵＤＹ）１：リアルタイムビデオゲーム
研究１で参加者らは２つのリアルタイムビデオゲームをする。そのゲームはボタン入力により行うリズムゲームジャンルに属する。この際、本発明により提案された技法を通じて記録された画面映像とボタン入力ログを分析する。次に、推定した反応性Ｒ、先制性Ｐ、ＩＯＩ分布の媒介変数（θＲ及びθＰ）が各参加者のゲーム点数とどのように相関するかを調べる。
研究１で参加者らは２つのリアルタイムビデオゲームをする。そのゲームはボタン入力により行うリズムゲームジャンルに属する。この際、本発明により提案された技法を通じて記録された画面映像とボタン入力ログを分析する。次に、推定した反応性Ｒ、先制性Ｐ、ＩＯＩ分布の媒介変数（θＲ及びθＰ）が各参加者のゲーム点数とどのように相関するかを調べる。
【0119】
１．１ データ獲得
参加者２０人（女子７人、男子１３人）を募集した。これらの平均年齢は２３．９才（σ＝３．１６であった）。この中で、１８人の参加者はリズムゲームをした経験があった。
参加者２０人（女子７人、男子１３人）を募集した。これらの平均年齢は２３．９才（σ＝３．１６であった）。この中で、１８人の参加者はリズムゲームをした経験があった。
【0120】
実験は単一独立変数であるゲーム類型を使用して被験者内設計に従った。独立変数の３種類の水準は、次の通りである。
【0121】
ゲーム類型：Ｄｉｎｏ、Ｔａｂｓｏｎｉｃ １（サウンド付き）、Ｔａｂｓｏｎｉｃ ２（サウンド消し）
【0122】
参加者らはダイノ条件でグーグルクロムブラウザに基本に設置されるゲームであるクロムダイノをプレイした。ゲームで恐竜キャラクターは左側に配置される（図８参照）。障害物は右側から左側に来て、ゲームが進行されるにつれて、より速くなる。恐竜が障害物にぶつかると、ゲームが終わる。参加者がボタン（空白または上方の矢印）を押すと、恐竜がジャンプして障害物を避ける。実験で参加者らに単純性のためにスペースキーのみ使用してプレイするようにした。
【0123】
Ｔａｂｓｏｎｉｃ １及びＴａｂｓｏｎｉｃ ２の条件で参加者らはＮｅｏｗｉｚで開発したリズムゲームであるＴａｂｓｏｎｉｃ Ｂｏｌｄをプレイした。ゲームでプレイヤーは対象領域に落ちる音符がある時、該当ボタンを押さなければならない（図８参照）。プレイヤーが特定しきい値より多い音符を逃せば、ゲームが終了する。プレイヤーが終わりまで生きていればゲーム点数が提供される。音符が飛び立つことができる６個のレーンがあり、各々ｓ、ｄ、ｆ、ｊ、ｋ、及びｌキーにマッピングされる。音符の順序はゲームデザイナーが背景音楽と相和すように設計された。各参加者は実験者が選択した５曲（“Ｊｅｌｌｙ Ｆｉｓｈ”、“Ｄｏ Ｉｔ！”、“Ｅｍｏｊｉ Ｌｏｖｅ”、“Ｔｈｉｓ ｉｓ Ｙｏｕ”、“Ｉｒｉｄｅｓｃｅｎｔ”）を全て演奏した。しかしながら、参加者らはＴａｂｓｏｎｉｃ ２条件で背景音楽を消した状態で演奏した。全ての参加者はＤｉｎｏ条件を先にプレイした後、Ｔａｂｓｏｎｉｃ条件をプレイした。Ｔａｂｓｏｎｉｃ １とＴａｂｓｏｎｉｃ ２が与えられる順序と各条件内で５曲が与えられる順序はラテン方格を通じて均衡をなした。統計分析はα水準０．０５で反復測定ＡＮＯＶＡを通じて遂行された。球形度の仮定を違反した場合、Ｇｒｅｅｎｈｏｕｓｅ－Ｇｅｉｓｓｅｒ補正を適用した。
【0124】
参加者らはゲーム用椅子に座っており、モニターは参加者の目線に設置された。参加者らは事前設問紙を作成し、同意書に署名した。本実験の前に実験者は参加者らに課題を簡略に紹介した。私達は参加者らにできる限り高い点数を受けるために最善を尽くすことを要請した。最初に、参加者らは１０分以上ダイノ条件を行った。次に、参加者らは公式Ｔａｂｓｏｎｉｃチュートリアルをプレイした。次に、参加者らはＴａｂｓｏｎｉｃの各条件で５曲を演奏した。条件間の転換は実験者が手動で遂行した。再生前後に実験者は画面記録及び入力ロギングを実行し、中止した。各個人に対する実験は約６０分が必要とされた。
【0125】
全ての実験は単一Ｗｉｎｄｏｗｓデスクトップコンピュータ（３．６ＧＨｚ Ｉｎｔｅｌ Ｃｏｒｅ ｉ９－９９００ｋ， ３２ＧＢ ＲＡＭ， ＮＶＩＤＩＡ ＲＴＸ２０６０）で遂行された。２４インチモニター（Ｄｅｌｌ）を使用しており、解像度は１６８０×１０５０ピクセルであった。一般的な有線物理的キーボードが使われた。参加者らはＴａｐｓｏｎｉｃ １条件で声を聞くためにヘッドホン（ ＥＰＯＳ Ｓｅｎｎｈｅｉｓｅｒ ＧＳＰ ６００）を着用した。
【0126】
１．２ 分析
研究１の実験でボタン入力ログ（Ｄｉｎｏの場合ｂｓｐａｃｅは、Ｔａｂｓｏｎｉｃ １及び２の場合は、ｂｓ，ｂｄ，ｂｆ，ｂｊ，ｂｋ，ｂＩ）、及び３つのゲーム条件で参加者の画面記録（ｖ）を得る。この研究の目的は多様なボタンに対する反応性と事前対応性を推定するものでないので、各Ｔａｂｓｏｎｉｃ条件に対する６個の独立的なボタン入力ログを１つに集計した
（）。
研究１の実験でボタン入力ログ（Ｄｉｎｏの場合ｂｓｐａｃｅは、Ｔａｂｓｏｎｉｃ １及び２の場合は、ｂｓ，ｂｄ，ｂｆ，ｂｊ，ｂｋ，ｂＩ）、及び３つのゲーム条件で参加者の画面記録（ｖ）を得る。この研究の目的は多様なボタンに対する反応性と事前対応性を推定するものでないので、各Ｔａｂｓｏｎｉｃ条件に対する６個の独立的なボタン入力ログを１つに集計した
【0127】
先に、実験者は全てのビデオを１つずつ視聴し、各参加者が経験したゲームオーバー数と各参加者が得た点数を記録した。次に、本発明に提示されたステップを通じて反応性及び先制性を分析した。分析のためのＤｉｎｏ条件の縮小されたビデオは５３×３３解像度であり、分析のためのＴａｂｓｏｎｉｃ条件のビデオは５３×３３解像度であった。
【0128】
分析結果、各ゲーム類型条件に対する各ピクセルに対し、ＷＲ、ＷＰ、ＷＩ、θＲ及びθＰを得た。この値は参加者のボタン押しと該当ピクセルの視覚的刺激の間の連関性を示す。また、このような値は各参加者に対して得られる。
【0129】
全ての分析は単一Ｗｉｎｄｏｗｓワークステーションコンピュータ（２．９０ＧＨｚ ６４コア ＡＭＤ Ｒｙｚｅｎ Ｔｈｒｅａｄｒｉｐｐｅｒ ３９９０Ｘ， １２８ＧＢ ＲＡＭ， ＮＶＩＤＩＡ Ｑｕａｄｒｏ ＲＴＸ４０００）で遂行された。参加者がダイノ条件とタブソニック条件で１０分間再生したデータの分析には約１０分、５０分が必要とされた。Ｄｉｎｏ条件では充分の数の視覚的イベントが観察されない飛び越えたピクセルが多いので、少ない分析時間が必要とされた。
【0130】
１．３ 結果
ダイノ条件で参加者らは平均１０．１（σ＝４．９９４）ゲームオーバーを経験しており、平均１１０２．７５（σ＝６１８．４１５）ポイントを記録した。Ｔａｂｓｏｎｉｃ １の条件と Ｔａｂｓｏｎｉｃ ２の条件で参加者は各々平均３７０，１７８（σ＝３２，３８９）及び３５２，９６３（σ＝２３，３１６）の点数を得た（５曲全て考慮）。ゲーム類型がゲーム点数に及ぼす影響は留意した（Ｆ２．３８＝ ２３９７．７０５， ｐ＜０．００１，
＝ ０．９９２）。特に、Ｔａｂｓｏｎｉｃ １とＴａｂｓｏｎｉｃ ２との差はｐｏｓｔ－ｈｏｃ分析で有意味なことと表れた（ｐ＜０．０１）。
ダイノ条件で参加者らは平均１０．１（σ＝４．９９４）ゲームオーバーを経験しており、平均１１０２．７５（σ＝６１８．４１５）ポイントを記録した。Ｔａｂｓｏｎｉｃ １の条件と Ｔａｂｓｏｎｉｃ ２の条件で参加者は各々平均３７０，１７８（σ＝３２，３８９）及び３５２，９６３（σ＝２３，３１６）の点数を得た（５曲全て考慮）。ゲーム類型がゲーム点数に及ぼす影響は留意した（Ｆ２．３８＝ ２３９７．７０５， ｐ＜０．００１，
【0131】
ゲーム類型が平均ｗｌ（全てのピクセルに対して）に及ぼす影響は統計的に有意であった（Ｆ２．３８＝２３９７．７０５、ｐ＜０．００１、
＝０．９９２）。平均ｗｌはＤｉｎｏ条件の場合は０．３２８（σ＝０．０２７）、Ｔａｂｓｏｎｉｃ １の条件の場合は０．７６８（σ＝０．０２３）、Ｔａｂｓｏｎｉｃ ２の条件の場合は０．７８３（σ＝０．０２２）であった。事後の分析でＤｉｎｏのＷＩはＴａｂｓｏｎｉｃ １及びＴａｂｓｏｎｉｃ ２と格段に異なる（ｐ＝０．００１）。
【0132】
ゲーム類型が平均反応性Ｒ（全てのピクセル及びボタン類型に対して）に及ぼす影響は統計的に有意であった（Ｆ２．３８＝６１．４９３、ｐ＜０．００１、
＝０．７６５）。平均Ｒの平均はＤｉｎｏ条件の場合０．４５９（σ＝０．０２１）、Ｔａｂｓｏｎｉｃ １の条件の場合は０．５８９（σ＝０．０５０）、 Ｔａｂｓｏｎｉｃ ２の条件の場合は０．５７８（σ＝０．０５８）であった。 事後の分析でＤｉｎｏのＲはＴａｂｓｏｎｉｃ １及びＴａｂｓｏｎｉｃ ２と格段に異なる（ｐ＝０．００１）。
【0133】
次に、各ピクセルに対して得たθＲ媒介変数を分析した。特に、リアクティブボタン入力でユーザの性能を説明することに最も重要な値である
を分析した。ゲーム類型が平均
（全てのピクセルに対して）に及ぼす影響は統計的に有意であった（Ｆ２．３８＝５４．１４８、ｐ＜０．００１、
＝０．７４０）。平均
の平均はＤｉｎｏ条件の場合は０．３５７（σ＝０．０２２）、Ｔａｂｓｏｎｉｃ １の条件の場合は０．８３５（σ＝０．１９９）、 Ｔａｂｓｏｎｉｃ ２の条件の場合は０．８４７（σ＝０．２０４）であった。事後の分析でＤｉｎｏの
はＴａｂｓｏｎｉｃ １及びＴａｂｓｏｎｉｃ ２と格段に異なる（ｐ＜０．００１）。
【0134】
ピクセルに対して測定された反応性Ｒと積極性Ｐの和は常に１であるので、独立変数が積極性に及ぼす影響に対する追加統計分析を遂行する必要がない（反応性検定であれば充分である）。能動的なヒットマップも１から反応性値を引いて求めるので、別に描く必要がない。代わりに、各ピクセルに対して得たθｐ媒介変数を分析した。特に、能動的なボタン入力でユーザの性能を説明することに最も重要な媒介変数であるσＰを分析した。ゲーム類型が平均σＰ（全てのピクセルに対して）に及ぼす影響は統計的に有意であった（Ｆ２．３８＝８．５７７、ｐ＜０．０１、
＝０．３３３）。Ｄｉｎｏ、Ｔａｂｓｏｎｉｃ １、Ｔａｂｓｏｎｉｃ ２の平均σＰは０．０８８（σ＝０．００４）、０．１０１（σ＝０．０１６）、０．１０６（σ＝０．０１９）であった。事後の分析でＤｉｎｏのσＰはＴａｂｓｏｎｉｃ １及びＴａｂｓｏｎｉｃ ２と格段に異なる（ｐ＜０．０１）。
【0135】
各参加者の認知特性媒介変数θＲ及びθＰが参加者のゲーム点数をどれくらいよく説明するかの線形回帰分析を遂行した。先に、各ゲーム類型参加者の組み合わせで全てのピクセルのθＲ及びθＰを平均化した。次に、ｓｃｉｋｉｔ－ｌｅａｒｎライブラリを使用して結果５種類の媒介変数（μＲ、σＲ、ＫＲ、μＰ、σＰ）と参加者の点数の間の線形回帰分析を遂行した。その結果、参加者らのゲーム点数はＤｉｎｏ（Ｒ２＝０．５２）、Ｔａｂｓｏｎｉｃ １（Ｒ２＝０．７０）、Ｔａｂｓｏｎｉｃ ２（Ｒ２＝０．６５）の高い決定係数として５種類の媒介変数で予測された。各回帰方程式とプロットは図９に示す通りである。
【0136】
１．４ 討論
リアルタイムゲームを行う時、プレイヤーは多様な方法によりボタンを押すように要請を受ける。例えば、Ｄｉｎｏの場合、プレイヤーはボタンを押して恐竜が動く障害物にぶつかることを防止する。Ｔａｂｓｏｎｉｃの場合、プレイヤーは動く標的が特定獲得領域内に位置する時、ボタンを押さなければならない。しかしながら、決定的な事件（障害物が恐竜に触れるか、または標的が獲得領域にあること）が実際に発生する瞬間にプレイヤーが計画を立てて実行し始めればあまりに遅い場合が多い。したがって、プレイヤーはイベントが発生する前にプレイヤーに提供される感覚信号に依存しながらボタン押しをトリガーしなければならない。研究１では画面のピクセルで発生した視覚的イベントがＤｉｎｏ及びＴａｂｓｏｎｉｃ条件で参加者のボタン入力をどのようにトリガーしたかを知ることに成功した。
リアルタイムゲームを行う時、プレイヤーは多様な方法によりボタンを押すように要請を受ける。例えば、Ｄｉｎｏの場合、プレイヤーはボタンを押して恐竜が動く障害物にぶつかることを防止する。Ｔａｂｓｏｎｉｃの場合、プレイヤーは動く標的が特定獲得領域内に位置する時、ボタンを押さなければならない。しかしながら、決定的な事件（障害物が恐竜に触れるか、または標的が獲得領域にあること）が実際に発生する瞬間にプレイヤーが計画を立てて実行し始めればあまりに遅い場合が多い。したがって、プレイヤーはイベントが発生する前にプレイヤーに提供される感覚信号に依存しながらボタン押しをトリガーしなければならない。研究１では画面のピクセルで発生した視覚的イベントがＤｉｎｏ及びＴａｂｓｏｎｉｃ条件で参加者のボタン入力をどのようにトリガーしたかを知ることに成功した。
【0137】
先に、ダイノ状態のＷＩヒットマップを見ると（図８参照）、恐竜が上下に動く領域と画面の右側の終わり領域で発生した視覚的イベントはボタン入力とあまり関連のないことと見える。このような結果を得た理由は、次の通りである。（１）恐竜のジャンプ動作は参加者がボタン押しを計画し実行するようにする感覚キューでなく、参加者のボタン押しにより引き起こされるイベントである。（２）最右側領域に障害物が表れれば、恐竜と衝突するか、またはボタンを押すかを心配する程度の緊急な状況ではない。
【0138】
次に、ダイノ条件で反応性（または、能動的）のヒットマップを見ると、恐竜の前のピクセルで発生した視覚的イベントは参加者の能動的なボタン入力を引き起こし、もう少し離れたピクセルで発生した視覚的イベントは参加者の反応ボタン入力、障害物が恐竜に近づくほど参加者が障害物の接近のみに反応すれば、恐竜が障害物にぶつかることが防止できないためである。
【0139】
基本的に、ＴａｂｓｏｎｉｃとＤｉｎｏは全て動く標的（または、障害物）があるゲームであるので、ＴａｂｓｏｎｉｃのＷＩヒットマップとＲヒットマップでも類似している傾向が観察された。目標物が移動するレーンの外の領域ではＷＩの値が高かった。獲得領域の直ぐ前で発生した視覚的イベントは参加者の事前ボタン入力を引き起こし、もう少し離れた領域で発生した視覚的イベントは参加者の反応ボタン入力を引き起こした。
【0140】
一方、Ｔａｂｓｏｎｉｃ １条件とは異なり、Ｔａｂｓｏｎｉｃ ２条件は背景音楽が消えた。一般に、Ｔａｂｓｏｎｉｃのようなリズムゲームで背景音楽のビットは目標物が獲得領域に到達する瞬間と同期化される。したがって、背景音楽は参加者がボタン入力タイミングを推定することができる追加感覚信号を提供する。キュー統合理論によれば、追加感覚キューは常に参加者のボタン押し性能の信頼性を向上させる。実際に、Ｔａｂｓｏｎｉｃ １条件の参加者の点数はＴａｂｓｏｎｉｃ ２条件参加者の点数より格段に高かった。σＰの場合、本発明の技法で推定した能動的ボタン入力の品質を示す分布媒介変数であるＴａｂｓｏｎｉｃ ２がＴａｂｓｏｎｉｃ １より高い値を得たが、その差は統計的に有意でなかった。
【0141】
本発明の分析技法により推定された各参加者に対して総５個の分布媒介変数（ＫＲ、μＲ、σＲ、μＰ、及びσＰ）がある。各参加者の分布媒介変数は高い決定係数で参加者のゲーム点数と相関関係があった（図９参照）。
【0142】
図１０は、研究１及び研究２で一部の代表ピクセルに対するモデルフィッティング結果を示す図である。
【0143】
研究２：自己拡張目標を指す
研究２で、参加者は自らサイズが大きくなる対象をクリックし指す作業を遂行する。ここで、参加者らはトラックパッドでカーソルを制御する。カーソルの位置が中央になるようにビデオフレームを移動させた後、提案された技法を使用して参加者の反応性と主導性を分析する。ターゲット拡張の多様なパターンを与えて、参加者らの反応性と主導性、各ボタン入力の品質がどのように変わったかを探求する。
研究２で、参加者は自らサイズが大きくなる対象をクリックし指す作業を遂行する。ここで、参加者らはトラックパッドでカーソルを制御する。カーソルの位置が中央になるようにビデオフレームを移動させた後、提案された技法を使用して参加者の反応性と主導性を分析する。ターゲット拡張の多様なパターンを与えて、参加者らの反応性と主導性、各ボタン入力の品質がどのように変わったかを探求する。
【0144】
２．１ 方法
１２人の参加者（男子８人、女子４人）を募集しており、これらの平均年齢は２４．８３才（σ＝３．２４才）であり、この中で、９人の参加者は毎日トラックパッドを使用すると報告した。
１２人の参加者（男子８人、女子４人）を募集しており、これらの平均年齢は２４．８３才（σ＝３．２４才）であり、この中で、９人の参加者は毎日トラックパッドを使用すると報告した。
【0145】
研究２で、参加者らはトラックパッドでカーソルを制御して帯状の標的をクリックするようにした。参加者が予め定義された開始位置にカーソルを移動し、一定時間（０．５秒）の間留まれば、対象が一定の距離（９００ピクセル）に表れる。対象の初期幅は１ピクセルである。対象が表れる時ｔ＝０と仮定すると、対象がｔ＝ｔ１から幅方向に拡張され始める。ｔ＝ｔ２まで拡張が続いてから止める。参加者が目標物の内部または外部をクリックすると、試みが終了し、目標物が消える。対象が完全に拡張されると、幅は５０ピクセルである。
【0146】
対象拡張が終了する時間ｔ２は参加者毎に異なるように設定した。より具体的に、ｔ２は参加者が９００ピクセル距離で５０ピクセル幅で０．８を掛けた（即ち、ｔ２＝０．８
）一般対象を獲得することにかかる平均時間（
）に設定した。このために、各参加者に本実験前に目標物（５０ピクセル幅、９００ピクセル距離）を最大限速くて正確に６０回クリックするように要請した。本実験の課題と同様に、開始位置にカーソルが０．５秒間とどまった時のみに試みの対象が表れた。平均時間（
）を計算する時、失敗した試みと成功した試みを全て考慮した。
【0147】
主要実験は対象が拡張されるパターンと関連した２つの独立変数であるＥａｓｉｎｇ及びＤｕｒａｔｉｏｎがある３×４個体内の設計に従った。水準は、次の通りである。
・Ｅａｓｉｎｇ：Ｉｎ、Ｏｕｔ、Ｐｏｐ
・Ｄｕｒａｔｉｏｎ：０．２、０．４、０．６、０．８
・Ｅａｓｉｎｇ：Ｉｎ、Ｏｕｔ、Ｐｏｐ
・Ｄｕｒａｔｉｏｎ：０．２、０．４、０．６、０．８
【0148】
ここで、Ｄｕｒａｔｉｏｎはｔ１＝Ｄｕｒａｔｉｏｎ
のように対象が拡張され始める時間であるｔ１を決定する。即ち、対象が拡張されることに必要とされる時間は（ｔ２－ｔ１）＝（０．８－Ｄｕｒａｔｉｏｎ）
である。緩和は対象が拡張されるパターンを示す。各Ｅａｓｉｎｇ条件に対して時間関数としての目標幅Ｗは次の通り表現できる。
【0149】
【0150】
ｔがｔ１より小さければ対象の幅は全ての条件で１ピクセルであり、ｔがｔ２ より大きければ、対象の幅は全ての条件で５０ピクセルである。各条件も図１２に視角化されている。
【0151】
実験設計に関わらず全ての参加者にＢａｓｅｌｉｎｅ条件が与えられた。Ｂａｓｅｌｉｎｅ条件はＥａｓｉｎｇ変数がＰｏｐに設定され、Ｄｕｒａｔｉｏｎ変数が０に設定されることを意味する。Ｂａｓｅｌｉｎｅ条件の場合、時間の関数で対象幅Ｗは次の通り表現することができる。
【0152】
【0153】
Ｂａｓｅｌｉｎｅ条件を含んで各々の固有なＥａｓｉｎｇ－Ｄｕｒａｔｉｏｎ組み合わせに対して参加者は６０個の標的獲得試みを遂行した。全ての作業組み合わせはランダムに参加者に与えられた。統計分析はα水準０．０５で反復測定ＡＮＯＶＡを通じて遂行された。
【0154】
全ての実験は単一Ｗｉｎｄｏｗｓデスクトップコンピュータ（３．６ＧＨｚ Ｉｎｔｅｌ Ｃｏｒｅ ｉ９－９９００ｋ， ３２ＧＢ ＲＡＭ， ＮＶＩＤＩＡ ＲＴＸ２０６０）で遂行された。２４インチモニター（Ｄｅｌｌ）を使用しており、解像度は１６８０×１０５０ピクセルであった。Ａｐｐｌｅトラックパッド（Ｍａｇｉｃ Ｔｒａｃｋｐａｄ）をポインティング装置に使用した。作業応用プログラムはＰｙｔｈｏｎ言語（約６０Ｈｚで実行）で作成された。
【0155】
２．２ 分析
研究２の実験で基準条件を含んで各Ｅａｓｉｎｇ－Ｄｕｒａｔｉｏｎ組み合わせに対する参加者のマウスボタン入力ログ（ｂｃｌｉｃｋ）、画面記録（ｖ）、及びカーソル座標（ｘ及びｙ）を得た。全体データセットの大きさは約８５２ＭＢであった。
研究２の実験で基準条件を含んで各Ｅａｓｉｎｇ－Ｄｕｒａｔｉｏｎ組み合わせに対する参加者のマウスボタン入力ログ（ｂｃｌｉｃｋ）、画面記録（ｖ）、及びカーソル座標（ｘ及びｙ）を得た。全体データセットの大きさは約８５２ＭＢであった。
【0156】
研究１のように、本発明に説明されたステップに従ってデータセットの反応性と先制性を分析した。縮小された画面ビデオはピクセル単位で５５×３３解像度を有する。分析結果、各Ｅａｓｉｎｇ－Ｄｕｒａｔｉｏｎ組み合わせの各ピクセルに対し、ＷＲ、ＷＰ、ＷＩ、θＲ及びθＰを得た。この値は参加者のマウスボタン押しと該当ピクセルの視覚的刺激との間の連関性を示す。
【0157】
２．３ 結果
作業完了時間は対象が表れた時点とボタンをクリックした時点の時間差である。作業完了時間に対する緩和の効果は統計的に有意であった（Ｆ２．２２＝１５．５１５、ｐ＜０．００１、
＝０．５８５）。Ｉｎ、Ｏｕｔ、Ｐｏｐの試み完了時間平均は１．０７（Ｆ３．３３＝２０．６９０、ｐ＜０．００１、
＝０．６５３）。０．２、０．４、０．６、０．８に対する試み完了時間の平均は１．１０４（σ＝０．１３８）、１．０２１（σ＝０．１３５）、１．００２（σ＝０．１４３）、０．９６９（σ＝０．１１０）。作業時間完了に対するＥａｓｉｎｇ及びＤｕｒａｔｉｏｎの相互作用効果は統計的に有意でなかった（Ｆ６．６６＝１．１３５、ｐ＝０．３４７、
＝０．０９４）。
作業完了時間は対象が表れた時点とボタンをクリックした時点の時間差である。作業完了時間に対する緩和の効果は統計的に有意であった（Ｆ２．２２＝１５．５１５、ｐ＜０．００１、
【0158】
誤り率は失敗した試み回数を総試み回数で割った値である。誤り率に対する緩和の効果は統計的に有意でなかった（Ｆ２．２２＝２．３３３、ｐ＝０．１２１、
＝０）。また、Ｄｕｒａｔｉｏｎが誤り率に及ぼす影響は統計的に有意でなかった（Ｆ３．３３＝２．１１２、ｐ＝０．１１８、
＝０．２５）。誤り率に対するＥａｓｉｎｇ及びＤｕｒａｔｉｏｎの相互作用効果は統計的に有意でなかった（Ｆ６．６６＝１．３６９、ｐ＝０．２４０、
＝０）。
【0159】
関連性無しＷＩに対するＥａｓｉｎｇ効果は統計的に有意であった（Ｆ２．２２＝７．４９７、ｐ＜０．０１、
＝０．４０６）。平均Ｉｒｒｅｌｅｖａｎｃｅの平均はＩｎ状態の場合は０．１３４（σ＝０．０４８）、Ｏｕｔ状態の場合は０．１０３（σ＝０．０５４）、Ｐｏｐ状態の場合は０．１０８（σ＝０．０５０）であった。ＤｕｒａｔｉｏｎがＷＩに及ぼす影響は統計的に有意であった（Ｆ３．３３＝１０．０３２、ｐ＜０．００１、
＝０．４８０）。０．２、０．４、０．６、０．８の平均は０．１４１（σ＝０．０５４）、０．１２２（σ＝０．０４５）、０．１０６（σ＝０．０５４）、（σ＝０．０５４）、（σ＝０．４９）ＷＩ（Ｆ６．６６＝１．２２２、ｐ＝０．３０６、
＝０．０９９）でＥａｓｉｎｇとＤｕｒａｔｉｏｎとの間には有意味な相互作用効果がなかった。
【0160】
反応性Ｒに対するＥａｓｉｎｇの効果は統計的に有意であった（Ｆ２．２２＝５４．４０３、ｐ＜０．００１、
＝０．８３２）。Ｉｎ、Ｏｕｔ、Ｐｏｐの平均Ｒは０．６９０（σ＝０．０７２）、０．７７６（σ＝０．０９６）、０．８０２（σ＝０．０９０）であった。ＤｕｒａｔｉｏｎがＲに及ぼす影響は統計的に有意であった（Ｆ３．３３＝２９．７７７、ｐ＜０．００１、
＝０．７３１）。０．２、０．４、０．６、０．８の平均Ｒは０．６９０（σ＝０．０７１）、０．７１５（σ＝０．０８８）、０．７９１（σ＝０．０８２）、０．８２９（σ＝０．０８４）。Ｒに対する緩和及び持続時間の相互作用効果は統計的に有意であった（Ｆ６．６６＝３．３７３、ｐ＜０．０１、
＝０．２３６）。Ｐｏｓｔ－ｈｏｃ分析はＤｕｒａｔｉｏｎが０．４、０．６、０．８の時、ＩｎとＯｕｔの間に相当な差（ｐ＜０．０１）、全てのＤｕｒａｔｉｏｎ条件でＩｎとＰｏｐの間に有意差（ｐ＜０．０５）、期間は０．６（ｐ＜０．０５）であった。
【0161】
次に、各ピクセルに対して得たθＲ媒介変数を分析した。特に、リアクティブボタン入力でユーザの性能を説明することに最も重要な値である
を分析した。
に対するＥａｓｉｎｇ効果は統計的に有意であった（Ｆ２．２２＝２２．７９６、ｐ＜０．００１、
＝０．６７５）。イン、アウト、ポップの平均
は０．４４２（σ＝０．０９９）、０．５（σ＝０．０９２）、０．５１（σ＝０．１０５）であった。Ｄｕｒａｔｉｏｎが
に及ぼす影響は統計的に有意であった（Ｆ１，５８５，１７．４３３＝１４．５６９、ｐ＜０．００１、
＝０．５７０）。０．２、０．４、０．６、０．８に対する平均
の平均は０．４５１（σ＝０．１１７）、０．４５０（σ＝０．０７６）、０．４９８（σ＝０．０９５）＝７、０．０（σ＝０．０９５）、そして、０．０
に対する緩和及び持続時間の相互作用効果は統計的に有意であった（Ｆ６．６６＝０．０７３、ｐ＜０．０１、
＝０．２３６）。Ｐｏｓｔ－ｈｏｃ分析はＤｕｒａｔｉｏｎが０．６と０．８（ｐ＜０．００１）の時、ＩｎとＰｏｐの間に有意差があり、Ｄｕｒａｔｉｏｎが０．６と０．８の時（ｐ＜０．０１）ＩｎとＯｕｔの間に有意差があることと表れた。
【0162】
ピクセルに対して測定された反応性Ｒと積極性Ｐの和は常に１であるので、独立変数が積極性に及ぼす影響に対する追加統計分析を遂行する必要がない（反応性テストで充分である）。能動的なヒットマップも１から反応性値を引いて求めるので、別に描く必要がない。代わりに、各ピクセルに対して得たθＰ媒介変数を分析した。特に、事前ボタン入力でユーザの性能を説明することに最も重要な媒介変数であるσＰを分析した。σＰに対するＥａｓｉｎｇの効果は統計的に有意であった（Ｆ２．２２、ｐ＜０．０５、
＝０．２５）。Ｉｎ、Ｏｕｔ、Ｐｏｐの平均σＰは０．０４３（σ＝０．０１２）、０．０４５（σ＝０．０１４）、０．０３８（σ＝０．０１３）であった。このσＰに及ぼす影響は統計的に有意でなかった（Ｆ３．３３＝８．８４１、ｐ＝０．７３、
＝０．５）。０．２、０．４、０．６、０．８の平均σＰは０．０４０（σ＝０．００９）、０．０４３（σ＝０．０１４）、０．０４６（σ＝０．０１３）、０．０１３）、０．０１０である。 σＰに対するＥａｓｉｎｇ及びＤｕｒａｔｉｏｎの相互作用効果は統計的に有意であった（Ｆ６．６６＝３．３４８、ｐ＜０．０５、
＝０．２５）。Ｐｏｓｔ－ｈｏｃ分析ではＤｕｒａｔｉｏｎが０．８（ｐ＜０．０５）の時、ＩｎとＰｏｐの間に有意差があり、Ｄｕｒａｔｉｏｎが０．６の時、（ｐ＜０．０１）ＩｎとＯｕｔの間に有意差があり、Ｄｕｒａｔｉｏｎが０．６の時、ＯｕｔとＰｏｐの間に有意差があった。０．８（ｐ＜０．０５）。
【0163】
本発明に従うユーザインターフェース方法は、画面映像と入力ログのみを分析してユーザボタン入力の反応性と先制性を定量化することができる。ここで、反応性と先制性はコンピュータの与えられた出力によってユーザがボタン入力をどれくらい能動的に、または能動的に計画し実行するかを意味することができる。本発明は、ユーザのＩＯＩ（Ｉｎｐｕｔ－ｔｏ－Ｏｕｔｐｕｔ）分布が多様なボタン入力戦略によって固有に決定されるということを考慮して、ユーザの反応性と先制性だけでなく、各戦略に対するユーザの実行品質が測定できるようにする。
【0164】
図１４は、本発明に従うユーザインターフェース装置のシステム構成を説明する図である。
【0165】
図１４を参照すると、ユーザインターフェース装置１００は、プロセッサ１４１０、メモリ１４３０、ユーザ入出力部１４５０、及びネットワーク入出力部１４７０を含むことができる。
【0166】
プロセッサ１４１０は、本発明の実施形態に従う先制的及び反応的入力数量化基盤のユーザインターフェースプロシージャを実行することができ、このような過程で読取りまたは書込みされるメモリ１４３０を管理することができ、メモリ１４３０にある揮発性メモリと不揮発性メモリとの間の同期化時間をスケジュールすることができる。プロセッサ１４１０は、ユーザインターフェース装置１００の動作の全般を制御することができ、メモリ１４３０、ユーザ入出力部１４５０、及びネットワーク入出力部１４７０と電気的に連結されて、これらの間のデータの流れを制御することができる。プロセッサ１４１０は、ユーザインターフェース装置１００のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で具現できる。
【0167】
メモリ１４３０は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）またはＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）のような不揮発性メモリで具現されてユーザインターフェース装置１００に必要とするデータ全般を格納することに使われる補助記憶装置を含むことができ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性メモリで具現された主記憶装置を含むことができる。また、メモリ１４３０は電気的に連結されたプロセッサ１４１０により実行されることによって、本発明に従うユーザインターフェース方法を実行する命令の集合を格納することができる。
【0168】
ユーザ入出力部１４５０は、ユーザの入力を受信するための環境及びユーザに特定の情報を出力するための環境を含み、例えば、タッチパッド、タッチスクリーン、画像キーボード、またはポインティング装置のようなアダプタを含む入力装置及びモニターまたはタッチスクリーンのようなアダプタを含む出力装置を含むことができる。一実施形態で、ユーザ入出力部１４５０は遠隔接続を通じて接続されるコンピューティング装置に該当することができ、そのような場合、ユーザインターフェース装置１００は独立的なサーバとして遂行できる。
【0169】
ネットワーク入出力部１４７０は、ネットワークを介してユーザ端末１５１０と連結されるための通信環境を提供し、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、及びＶＡＮ（Ｖａｌｕｅ Ａｄｄｅｄ Ｎｅｔｗｏｒｋ）などの通信のためのアダプタを含むことができる。また、ネットワーク入出力部１４７０はデータの無線転送のためにＷｉＦｉ、ブルートゥース（登録商標）などの近距離通信機能や４Ｇ以上の無線通信機能を提供するように具現できる。
【0170】
図１５は、本発明に従うユーザインターフェースシステムを説明する図である。
【0171】
図１５を参照すると、ユーザインターフェースシステム１５００は、ユーザ端末１５１０、ユーザインターフェース装置１００、及びデータベース１５３０を含むことができる。
【0172】
ユーザ端末１５１０は、ユーザにより運用される端末装置に該当できる。本発明の実施形態で、ユーザは１つ以上のユーザとして理解されることができ、複数のユーザは１つ以上のユーザグループに区分できる。また、ユーザ端末１５１０はユーザインターフェースシステム１５００を構成する１つの装置としてユーザインターフェース装置１００と連動して動作するコンピューティング装置に該当することができる。例えば、ユーザ端末１５１０はユーザインターフェース装置１００と連結されて動作可能なスマートフォン、ノートブック、またはコンピュータで具現されることができ、必ずこれに限定されず、タブレットＰＣなどを含んで多様なディバイスでも具現できる。また、ユーザ端末１５１０はユーザインターフェース装置１００と連動するための専用プログラムまたはアプリケーション（または、アプリ、ａｐｐ）を設置して実行することができる。
【0173】
ユーザインターフェース装置１００は、本発明にユーザインターフェース方法を遂行するコンピュータまたはプログラムに該当するサーバで具現できる。また、ユーザインターフェース装置１００はユーザ端末１５１０と有線ネットワークまたはブルートゥース（登録商標）、ＷｉＦｉ、ＬＴＥなどの無線ネットワークにより連結されることができ、ネットワークを介してユーザ端末１５１０とデータを送受信することができる。
【0174】
また、ユーザインターフェース装置１００は関連動作を遂行するために独立した外部システム（図１に図示せず）と連結されて動作するように具現できる。例えば、ユーザインターフェース装置１００はポータルシステム、ＳＮＳシステム、クラウドシステムなどと連動して多様なサービスを提供するように具現できる。
【0175】
データベース１５３０は、ユーザインターフェース装置１００の動作過程で必要とする多様な情報を格納する格納装置に該当することができる。例えば、データベース１５３０はビデオに関する情報を格納することができ、学習データとモデルに関する情報を格納することができ、必ずこれに限定されず、ユーザインターフェース装置１００が本発明に従うユーザインターフェース方法を遂行する過程で多様な形態に収集または加工された情報を格納することができる。
【0176】
また、図１５で、データベース１５３０はユーザインターフェース装置１００と独立的な装置として図示されているが、必ずこれに限定されず、論理的な格納装置としてユーザインターフェース装置１００に含まれて具現できることは勿論である。
【0177】
前記では本発明の好ましい実施形態を参照して説明したが、該当技術分野の熟練した当業者は以下の特許請求範囲に記載された本発明の思想及び領域から逸脱しない範囲内で本発明を多様に修正及び変更させることができることを理解することができる。
【符号の説明】
【0178】
１００ ユーザインターフェース装置
１１０ データ獲得部
１２０ 入力フィルタリング部
１３０ 出力フィルタリング部
１４０ 入出力間隔処理部
１５０ モデルフィッティング部
１５００ ユーザインターフェースシステム
１１０ データ獲得部
１２０ 入力フィルタリング部
１３０ 出力フィルタリング部
１４０ 入出力間隔処理部
１５０ モデルフィッティング部
１５００ ユーザインターフェースシステム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】