特許 7226707 情報機器を用いて作業を行う作業者の作業内容及び集中状態の推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-13

(45)【発行日】2023-02-21

(54)【発明の名称】情報機器を用いて作業を行う作業者の作業内容及び集中状態の推定方法

(51)【国際特許分類】

   G06F 16/90 20190101AFI20230214BHJP

   G06F 3/01 20060101ALI20230214BHJP

   A61B 5/16 20060101ALI20230214BHJP

   A61B 5/11 20060101ALI20230214BHJP

   A61B 5/0245 20060101ALI20230214BHJP

【ＦＩ】

G06F16/90

G06F3/01 510

A61B5/16 110

A61B5/11 100

A61B5/0245 Z

【請求項の数】 2

(21)【出願番号】P 2018215752

(22)【出願日】2018-11-16

(65)【公開番号】P2020086592

(43)【公開日】2020-06-04

【審査請求日】2021-11-12

【新規性喪失の例外の表示】特許法第３０条第２項適用 １．刊行物に発表 発行者名：一般社団法人情報処理学会 刊行物名：情報処理学会第８０回全国大会講演論文集 第６６３～６６４頁 発行年月日：平成３０年３月１３日 ２．集会において発表 集会名：情報処理学会第８０回全国大会 開催日：平成３０年３月１３日 ３．刊行物に発表 発行者名：平成３０年度電気関係学会東北支部連合大会実行委員会 刊行物名：平成３０年度電気関係学会東北支部連合大会プログラム 講演番号２Ｅ１１ 発行年月日：平成３０年９月６日 ４．集会において発表 集会名：平成３０年度電気関係学会東北支部連合大会 開催日：平成３０年９月７日

(73)【特許権者】

【識別番号】504409543

【氏名又は名称】国立大学法人秋田大学

(73)【特許権者】

【識別番号】506429042

【氏名又は名称】日本ビジネスシステムズ株式会社

(74)【代理人】

【識別番号】100129838

【弁理士】

【氏名又は名称】山本 典輝

(72)【発明者】

【氏名】石沢 千佳子

(72)【発明者】

【氏名】景山 陽一

(72)【発明者】

【氏名】宇佐美 雄基

(72)【発明者】

【氏名】白須 礎成

(72)【発明者】

【氏名】清水 剛

【審査官】松尾 真人

(56)【参考文献】

【文献】特開２０１０－０７９６４５（ＪＰ，Ａ）

【文献】特開２００５－２２２１５５（ＪＰ，Ａ）

【文献】特開２０１６－０３５３６５（ＪＰ，Ａ）

【文献】特開２０１２－２３０５３４（ＪＰ，Ａ）

【文献】松本 佳昭，心拍揺らぎによる精神的ストレス評価法に関する研究，ライフサポート，第22巻 第3号，ライフサポート学会，2010年，p.105-111，Internet<https://www.jstage.jst.go.jp/article/lifesupport/22/3/22_105/_article/-char/ja>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｆ ３／０１

Ａ６１Ｂ ５／１６

Ａ６１Ｂ ５／１１

Ａ６１Ｂ ５／０２４５

(57)【特許請求の範囲】

【請求項1】

情報機器を使用して作業を行う作業者の集中状態をコンピューターソフトウエアによる情報処理によって推定する方法であって、
情報機器からアクティブウィンドウログ及び入力デバイス操作ログを取得する第１の工程と、
前記アクティブウィンドウログ及び前記入力デバイス操作ログを解析し、作業者の作業内容を推定する第２の工程と、
推定される作業内容ごとに予め入力デバイス操作ログ及び生体信号から選択される１以上の指標を選定しておき、第２の工程において推定された作業内容に従って作業者の集中状態の推定に使用する指標を決定する第３の工程と、
前記決定された指標についてデータを解析し、作業者の集中状態を推定する第４の工程と、
を有し、
前記第２の工程において、アクティブウィンドウログ及び入力デバイス操作ログを解析して、連続して同じソフトウェアが所定時間以上操作対象となっている時間帯を抽出するとともに、一定の時間毎に有効操作数の集計を行い、ソフトウェアの種類と、ソフトウェアの種類によって定められた、連続操作時間帯において有効操作数が所定値以上となる時間帯の有無又は割合とに基づいて、作業内容を推定し、
前記第３の工程において決定される指標が、キーボード打鍵数、脈拍、又は体動であり、
前記第４の工程において、第３の工程において決定される指標がキーボード打鍵数の場合は所定時間毎に集計したキーボード打鍵数の分散値を、脈拍の場合にはローレンツプロット解析によるＬ／Ｔの値を、体動の場合は（移動頻度の割合）×（移動量の分散）の値を、当該指標を使用する一連の作業時間全体と、前記作業時間全体のうちの任意の時間とについて算出し、前記作業時間全体について算出した値と、前記任意の時間について算出した値とを比較することにより、作業者の集中状態の推定を行う、
集中状態の推定方法。

【請求項2】

前記情報機器が入力デバイスとしてマウス及びキーボードを備え、第１の工程において取得される前記入力デバイス操作ログがキーボードログ及びマウスログである請求項１に記載の集中状態の推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、情報機器を用いて作業を行う作業者の作業内容及び集中状態の推定方法を開示する。

【背景技術】

【0002】

パーソナルコンピュータ（PC）などの情報機器を用いた業務や学習の機会が増加したことに伴い、作業者の作業状況、例えば順調に作業が進んでいるかどうかなどを把握したいという要望が増加している。これまでに、作業者の作業状況を把握する方法として、作業に要した時間とその時間内に行われたキーボード打鍵数から作業効率を推定する方法（特許文献１）、キーボードの打鍵間隔やマウスクリック間隔を用いて在席状況や多忙さを判定する方法（特許文献２）、キーボードとマウスを使用する頻度と椅子を動かす頻度を用いて集中度を推定する方法（特許文献３）、キーボード入力の入力ミスの割合からストレス量を推定する方法（非特許文献１）等が行われている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第４２５１３７３号公報

【文献】特開２００５－３３２３４４号公報

【文献】特開平１０－２５４８５１号公報

【非特許文献】

【0004】

【文献】鳥羽ら「PC操作ログの特徴量とオフィスワーカーのストレス量の相関分析」（電子情報通信学会論文誌，Vol.J95-D，No.4，pp.747-757，2012）

【発明の概要】

【発明が解決しようとする課題】

【0005】

情報機器で使用されるソフトウェアは多様であり、作業内容によっては殆どキー入力を行わない場合があるにもかかわらず、従来の作業状況を推定する方法においては、作業内容の違いについてはほとんど考慮されていない。作業者の集中状態の推定を正確に行うためには、例えば文書作成のようなキーボード操作が多く行われる作業と資料閲覧のようなキーボード操作が殆ど行われない作業とを区別し、作業内容に対応する適切な指標を用いて作業者の集中状態を推定する必要がある。

【課題を解決するための手段】

【0006】

本発明者は、作業者の集中状態を推定するに際し、情報機器からログを取得して解析することにより、作業者が行う作業内容を推定することが可能であることを見出した。更に、推定した作業内容に応じて適切な指標を選択し、指標データの解析を行うことにより、作業者の集中状態を推定することが可能であることを見出し、本発明を完成するに到った。

【0007】

上記課題を解決する本発明は、以下のとおりである。
〔１〕情報機器を使用して作業を行う作業者の作業内容の推定方法であって、情報機器からアクティブウィンドウログ及び入力デバイス操作ログを取得する第１の工程と、前記アクティブウィンドウログ及び前記入力デバイス操作ログを解析し、作業者の作業内容を推定する第２の工程と、を有する、作業内容の推定方法。

【0008】

〔２〕前記情報機器が入力デバイスとしてマウス及びキーボードを備え、前記入力デバイス操作ログとしてキーボードログ及びマウスログを取得する〔１〕に記載の作業内容の推定方法。

【0009】

〔３〕第２の工程が、前記アクティブウィンドウログに記録されているウィンドウハンドル又はウィンドウクラスから特定されるソフトウェアと、マウス及びキーボードの有効操作数とから作業者の作業内容を推定する〔２〕に記載の作業内容の推定方法。

【0010】

〔４〕情報機器を使用して作業を行う作業者の集中状態の推定方法であって、
情報機器からアクティブウィンドウログ及び入力デバイス操作ログを取得する第１の工程と、前記アクティブウィンドウログ及び前記入力デバイス操作ログを解析し、作業者の作業内容を推定する第２の工程と、推定される作業内容ごとに予め入力デバイス操作ログ及び生体信号から選択される１以上の指標を選定しておき、第２の工程において推定された作業内容に従って作業者の集中状態の推定に使用する指標を決定する第３の工程と、
前記決定された指標についてデータを解析し、作業者の集中状態を推定する第４の工程と、
を有する、集中状態の推定方法。

【0011】

〔５〕前記情報機器が入力デバイスとしてマウス及びキーボードを備え、第１の工程において取得される前記入力デバイス操作ログがキーボードログ及びマウスログである〔４〕に記載の集中状態の推定方法。

【0012】

〔６〕第３の工程において決定される指標が、キーボードログ、脈拍、又は体動である〔４〕又は〔５〕に記載の集中状態の推定方法。

【0013】

〔７〕第４の工程において、第３の工程において決定される指標がキーボードログの場合は所定時間毎に集計したキーボード打鍵数の分散値を、脈拍の場合にはローレンツプロット解析によるＬ／Ｔの値を、体動の場合は（移動頻度の割合）×（移動量の分散）の値を、当該指標を使用する一連の作業時間全体と、前記作業時間全体のうちの任意の時間とについて算出し、前記作業時間全体について算出した値と、前記任意の時間について算出した値とを比較することにより、作業者の集中状態の推定を行う〔６〕に記載の集中状態の推定方法。

【発明の効果】

【0014】

本発明によれば、情報機器を使用して作業を行う作業者の作業内容を推定し、作業内容に応じて適切な指標を選択して集中状態の推定を行うので、キーボードの使用頻度に関わらず作業者の集中状態を精度良く推定することができる。

【図面の簡単な説明】

【0015】

【図1】ＰＣから取得するログの一例を示す図である。

【図2】アクティブウィンドウログの解析の流れを示すフロー図である。

【図3】マウスログ及びキーボードログの解析の流れを示すフロー図である。

【図4】（Ａ）は操作対象となっているウィンドウの経時変化を示す図であり、（Ｂ）はログの解析により算出した有効操作数の経時変化を示す図である。

【図5】ウィンドウのクリック位置によりマウスログに記録されるウィンドウクラスの例を示す図である。

【図6】本発明の集中状態の推定方法を示すフロー図である。

【図7】（Ａ）はキーボードログの解析により集中状態を判別する方法を示すフロー図であり、（Ｂ）はキーボード打鍵数の経時変化の例を示す図である。

【図8】（Ａ）は加速度データの解析により集中状態を判別する方法を示すフロー図であり、（Ｂ）は計測した加速度データの経時変化の例を示す図である。

【図9】ローレンツプロットの一例を示す図である。

【図10】（Ａ）は脈拍データのローレンツプロット解析により集中状態を判別する方法を示すフロー図であり、（Ｂ）は計測した脈拍データの経時変化の例を示す図である。

【図11】（Ａ）は試験例１において被験者Ａが行った調査作業において操作対象となったウィンドウを示す図であり、（Ｂ）は被験者Ｂが同じ作業を行ったときの操作対象となったウィンドウを示す図である。

【図12】試験例１において、被験者Ａが操作したウィンドウと操作量との関係を示す図である。

【図13】試験例２において、被験者Ａが操作対象としたウィンドウの経時変化を示す図である。

【図14】実施例１において、被験者が操作したウィンドウ、有効操作数、及び推定された作業内容を示す図である。

【発明を実施するための形態】

【0016】

〔作業内容の推定方法〕
作業者の作業内容の推定は、情報機器からログを取得し、ログを解析することにより行う。情報機器としては、デスクトップ型ＰＣの他、ノートＰＣ、タブレット型端末等を挙げることができる。

【0017】

グラフィック表示による操作体系（ＧＵＩ：Graphical User Interface）を採用するＯＳ（Operating System）を搭載する情報機器の場合、例えばアクティブウィンドウ（操作対象となっているウィンドウ）などのウィンドウに関するログ、キーボード、マウスなどの入力デバイスの操作に関するログ等を取得することができる。通常、情報機器のＯＳにはＡＰＩ関数が用意されているので、ＡＰＩ関数を用いることにより、情報機器からこれらのログを取得することが可能である。情報機器から得られるログの一例を、図１に示す。

【0018】

アクティブウィンドウログは、操作対象となっているウィンドウに関するログであり、所定の間隔で、例えば１．５～２．０秒毎に記録される。図１に示すように、アクティブウィンドウログには、時刻、ウィンドウの座標、ウィンドウサイズ、ウィンドウタイトル、ウィンドウハンドル、ウィンドウクラス等が記録されている。ウィンドウハンドルは、個々のウィンドウに割り当てられる固有の識別番号である。ウィンドウクラスは、ウィンドウの種類を示す識別子であり、ソフトウェア毎に固有の名称が定められている。

【0019】

キーボードログは、キーボードのキーを押下時に記録されるログであって、押下時の時刻、キーの種類、キー入力を行ったウィンドウに関する情報（ウィンドウハンドル、ウィンドウタイトル、ウィンドウクラス）等が記録されている。

【0020】

マウスログは、マウスのクリック時に記録されるログであって、操作した時刻、クリックの種類（左クリック、右クリック、クリックダウン、クリックアップ）、座標、ダブルクリックの有無、クリックを行ったウィンドウに関する情報（ウィンドウハンドル、ウィンドウタイトル、ウィンドウクラス）等が記録されている。

【0021】

アクティブウィンドウログの解析は、以下のようにして行う。最初に１件目のログを読み込み、ウィンドウハンドルを確認した後、１件目のログに記録されている時刻（開始時刻）を基準時刻に設定する。次いで、２件目のログを読み込み、図２に記載の解析フローに従って処理を行う。２件目のログのウィンドウハンドルが１件目と同一か否かを判定し、ハンドルが同一と判断された場合は３件目のログの読み込みを行う。ハンドルが異なっていると判断された場合、２件目のログに記録されているウィンドウクラスを確認し、使用されたソフトウェアを判別する。２件目のログに記録されている時刻から１件目のログの時刻、即ち開始時刻を減算し、２件目のログの時刻を開始時刻からの経過時間を示す時刻に修正する。時刻修正後、３件目のログの読み込みを行う。３件目以降のログについても、２件目のログと同様の処理を繰り返し行い、全てのログについて処理が終了したときにアクティブウィンドウログの解析を終了する。

【0022】

マウスログ及びキーボードログの解析フローの一例を図３に示す。最初にマウスログ又はキーボードログの１件目のログを読み込み、記録されている時刻をアクティブウィンドウログの開始時刻を基準とする時刻に修正する。修正された時刻に基づいて、アクティブウィンドウログを参照し、該時刻に起動中のアクティブウィンドウを判別する。マウスログの場合にはクリックの種類を判別した後、キーボードログの場合は押されたキーの種類を判別した後、マウスログ又はキーボードログに記録されているウィンドウハンドルとウィンドウクラスを確認する。ウィンドウハンドル、ウィンドウクラスを確認することにより、キーボード、マウスによる入力がどのウィンドウに対する入力かを判別することができるので、同一時間帯の同一ウィンドウへの入力操作を確認することが可能である。マウスログの場合、クリックダウンとクリックアップの操作それぞれがログに記録される。これらは１連の操作とみなすことができるので、１件目のログについてハンドル、クラス確認の処理を行った後、マウスログについては２件先のログ、即ち３件目のログを読み込む。キーボードログの場合は、２件目のログを読み込んで同様の処理を行う。全てのログについて処理が終了した時点で、マウスログ、キーボードログの解析を終了する。

【0023】

アクティブウィンドウログの解析により、使用されたソフトウェアやウィンドウの種類等の情報を得ることができるので、アクティブウィンドウログのみを解析した場合においても、ソフトウェアの使用目的の範囲内で、ある程度の作業内容は推定可能である。しかしながら、同じソフトウェアであっても、使用目的や作業内容により、入力に使用するデバイスの種類、入力の頻度が異なっていると考えられるので、アクティブウィンドウログと入力デバイス操作ログとを組み合わせて解析することにより、作業内容をより詳細かつ正確に推定することが可能となる。

【0024】

以下、本発明の作業内容の推定方法について、図４を用いて具体的に説明する。

【0025】

図４は、ある作業者がブラウザとワープロソフト（Microsoft Word：登録商標）を使用して作業を行った場合に、本発明を用いて推定した作業内容を時系列で示した図である。図４（Ａ）は、ブラウザとWordが操作対象となっていた時間帯を示し、図４（Ｂ）は、１０秒毎に集計したキーボードとマウスの有効操作数を示している。

【0026】

（１）連続操作時間帯の抽出
アクティブウィンドウログの解析により、それぞれの時刻で作業者が使用しているソフトウェアの種類が判明するので、作業時間全体のうち、連続して同じソフトウェアが所定時間以上操作対象となっている時間帯、即ち連続操作時間帯を抽出する。ただし、図４中、矢印ａで示した時間帯のように、ソフトウェアの連続操作時間が所定時間に満たない場合、その時間帯は抽出の対象とはしない。この場合において、矢印ｂ及びｃで示す時間帯のように、当該時間帯の前後で同じソフトウェアを所定時間以上連続使用している場合は、当該時間帯とその前後の時間帯を、一連の連続操作時間帯とみなす。図４中、Ｉ～ＩＶは、抽出の基準を６０秒以上の連続時間とした場合に抽出された連続操作時間帯を示す。

【0027】

（２）有効操作数の集計
作業時間内に行われたキーボード及びマウスの各操作について有効か否かを判定し、一定の時間毎に、例えば１０秒毎に集計を行う。キーボード及びマウス操作が有効か否かの判定は、以下の基準で行う。キーボード操作については、アクティブウィンドウに対する入力を有効と判定する。マウスについては、アクティブウィンドウに対する操作であって、以下（i）～（v）のいずれかの操作を行っている場合に有効と判定する。
（i）リンクやタブのクリック（表示ページを切り替える操作に相当）
（ii）ウィンドウ内のメニューやツールバーなどのクリック
（iii）クリック中のポインタの移動（ドラッグ＆ドロップ操作に相当）
（iv）右クリックまたはホイールボタンの押下
（v）入力位置の変更

【0028】

ブラウザとしてInternet Explorer（登録商標）を使用する場合に、ログに記録されるウィンドウクラスの例を図５に示す。ウィンドウのクリック位置によってログに記録されるウィンドウクラスは異なるので、ウィンドウクラスを確認することによりアクティブウィンドウに対する上記（i）～（v）のいずれかのマウス操作か否かの判定を行うことができる。

【0029】

有効操作数の集計は、作業時間の長さに応じて１～３０秒毎とすればよいが、例えば、３０分程度の作業時間では５秒毎に行うことが好ましい。

【0030】

（３）作業内容の推定
Word使用中は、作業者が主として文書作成を行っていると考えられる。Wordの連続操作時間帯における有効操作数を参照し、一定の時間毎に集計した有効操作数が＜値１＞以上である時間の合計を求める。求めた合計時間の長さが、Wordの連続操作時間帯のうち一定の割合＜値２＞以上であれば、当該連続操作時間帯の作業内容を「文書作成」と推定する。一方、求めた合計時間の長さが＜値２＞に満たなければ「作業なし」と推定する。
ブラウザ使用中は、作業者が情報検索の他に、資料閲覧や動画閲覧といったサイト視聴を行い、情報検索を行う際は入力操作がサイト視聴に比較して多くなると考えられる。ブラウザの連続操作時間帯における有効操作数を参照し、一定の時間毎に集計した有効操作数が＜値３＞以上である時間帯が存在する場合、当該連続操作時間帯の作業内容を「情報検索」と推定する。一方、一定の時間毎に集計した有効操作数が何れも＜値３＞に満たない場合は「サイト視聴」と推定する。
文書作成と情報検索を合計で３０分程度行い、有効操作数の集計を５秒毎とする場合は、例えば、＜値１＞を３回、＜値２＞を５０％、＜値３＞を３回と設定することにより、作業内容の推定を行うことができる。

【0031】

（１）において連続操作時間帯として抽出対象とはならない時間帯のうち、短時間の時間帯が交互に存在する時間帯（図４中、Ｘで示される時間帯）は、作業者が情報検索又はサイト視聴と文書作成を平行して行っていると考えられる。この場合は、交互に存在する短時間の時間帯を、同じソフトウェアについて連結し、連結した時間の長さが所定時間（例えば、６０秒）以上となれば、交互に行われた作業内容が関連のあるものと判断し、上述した連続操作時間帯の場合と同様の方法を用いて作業内容を推定する。一方、同じソフトウェアについて連結した時間の長さが所定時間（６０秒）未満の場合、そのソフトウェアについては作業内容の推定は行わない。

【0032】

短時間の時間帯が交互に存在する時間帯における作業内容の推定は、以下のように行う。

【0033】

はじめに、Wordの短時間操作時間帯を合計した時間帯について、上述した連続操作時間帯と同様の方法を用い、作業内容の仮推定を行う。各短時間操作時間帯の、一定の時間毎に集計した有効操作数が＜値１＞を超えた時間について合計し、合計時間が、Wordの短時間操作時間帯の合計時間のうち、一定の割合＜値２＞以上の場合、「文書作成」と仮推定し、＜値２＞に満たない場合には「作業なし」と仮推定する。ブラウザの短時間操作時間帯については、各短時間操作時間帯のそれぞれについて、一定の時間毎に集計した有効操作数が＜値３＞以上である時間帯が存在する場合は「情報検索」、存在しない場合は「サイト視聴」と仮推定する。ブラウザの短時間操作時間帯については、各短時間操作時間帯について推定を行うので、情報検索、サイト視聴のいずれかのみが推定される場合と、情報検索、サイト視聴の両方について推定される場合とがある。次に、Wordとブラウザの短時間操作時間帯について仮推定された結果を組み合わせ、「文書作成と情報検索」、「文書作成とサイト視聴」、「文書作成と情報検索とサイト視聴」、「情報検索」、「サイト視聴」、「情報検索とサイト視聴」のように推定する。短時間操作時間帯の作業内容の推定に使用する＜値１＞、＜値２＞、及び＜値３＞の値は、上述した連続操作時間帯と同じ値を使用する。

【0034】

図４に記載する作業内容は、＜値１＞を３回、＜値２＞を５０％、＜値３＞を３回とし、上述した方法を用いて推定された各時間帯の作業内容を示している。Wordの連続使用時間帯であるＩＩ及びＩＶの時間帯は「文書作成」、ブラウザの連続使用時間帯であるＩ及びＩＩＩの時間帯は「情報検索」、Wordとブラウザの操作時間帯が交互に存在するＸの時間帯は、「情報検索及び文書作成」と推定されている。

【0035】

作業者の経験や慣れ等によって操作のくせ、偏り等が存在することが考えられるので、上記の＜値１＞～＜値３＞は、作業者ごとに適宜設定してもよい。

【0036】

以上、作業者がワープロソフトとブラウザを使用して作業する場合の作業内容の推定方法について説明したが、他のソフトウェア、例えば、表計算、データベース、グラフィック、電子メール等を作業者が使用する場合であっても、同様の方法、即ち同一のソフトウェアが操作対象になっている連続操作時間帯における有効操作量に基づいて、作業内容の推定を行うことができる。作業者が作業時間内に操作するソフトウェアの数は３以上であってもよいし、１であってもよい。また、１のソフトウェアについて推定される作業内容は１であってもよいし、３以上であってもよい。２以上のソフトウェアを短時間で切り替えながら作業を行っている場合等は、その時間帯において推定される作業内容は１であってもよいし、２又は３以上であってもよい。

【0037】

上述した方法により推定が可能となる作業内容としては、例えば文書作成、情報検索、サイト視聴、データ管理、グラフィック作成、メール作成、プログラムソースコーディング、ファイル検索等の作業内容のほか、作業の状態、例えば作業を行っていない「作業なし」の状態や、作業内容とは関係のない動画等を視聴しながら作業を行う、いわゆる「ながら作業」等についても推定が可能である。

【0038】

〔集中状態の推定方法〕
図６は、作業者の集中状態の推定方法の一例を示すフローチャートである。
本発明の集中状態の推定方法は、情報機器からウィンドウログ及び入力デバイス操作ログを取得するログ取得工程（第１の工程）Ｓ１と、ログ取得工程において取得したログを解析し、作業者の作業内容を推定する作業内容推定工程（第２の工程）Ｓ２と、作業内容推定工程において推定された作業内容に従って指標を決定する指標決定工程（第３の工程）Ｓ３と、前記指標についてデータを取得し、解析を行う集中状態推定工程（第４の工程）Ｓ４と、を有している。

【0039】

ログ取得工程Ｓ１において情報機器から取得するログは、アクティブウィンドウログ等のウィンドウログ、マウスログ、キーボードログ等の入力デバイス操作ログである。これらのログの取得方法及び工程Ｓ２におけるログの解析、作業内容の推定方法は、上述した方法と同様である。

【0040】

工程Ｓ３における指標の決定は、以下のようにして行う。工程Ｓ２において推定される作業内容毎に、予め集中状態の推定に使用する指標を選定しておき、この選定に従って集中状態の推定に使用する指標を決定する。文書作成、メール作成、プログラムソースコーディングなどのキーボード操作が多い作業の場合、集中状態の推定にはキーボードログを使用することが好ましく、情報検索、サイト視聴などのキーボード操作が少ない作業の場合は生体信号を指標とすることが好ましい。

【0041】

集中状態の推定に使用する生体信号としては、心拍、呼吸数、脈拍、体動、眼球運動、視線の変化、瞬き、脳波等を挙げることができる。データの取得が容易であることから、脈拍又は体動を使用することが好ましい。体動は、例えば作業者が作業時に使用する椅子の背もたれの背面に加速度計を取り付けることにより、脈拍は作業者が脈拍計を装着することにより計測が可能である。加速度計のセンサとしては、１軸、２軸、３軸のものをいずれも使用することができるが、３軸のセンサを備えた加速度計を使用して作業者の左右方向（水平方向）、上下方向（垂直方向）及び前後方向（奥行方向）の加速度についてのデータを取得することにより、より精度良く作業者の集中状態を推定することが可能である。

【0042】

集中状態の推定に使用する指標は、１つでもよいし、２以上を組み合わせて使用してもよい。２以上の指標を用いる場合、入力デバイス操作ログのみ、あるいは生体信号のみを指標として用いてもよいし、入力デバイス操作ログと生体信号とを組み合わせて用いてもよい。より正確に推定を行う観点から、入力デバイス操作ログと生体信号とを組み合わせて使用することが好ましい。

【0043】

作業内容により予め選定しておく指標は、異なる作業者間で同じ指標であってもよいし、異なる指標であってもよい。作業者によって、打鍵のくせ、作業の経験等により集中状態が反映される指標が異なると考えられることから、作業者毎に異なる指標を選定しておくことが好ましい。

【0044】

工程Ｓ４において、指標データの取得は、それぞれの指標に応じた公知の方法を採用することができる。指標データの取得は、それぞれの指標が集中状態の推定のために必要とされる時間帯についてのみ行えばよいが、集中状態の推定に使用する全ての指標について作業開始から作業終了まで連続してデータを取得し、必要な時間帯のデータのみ抽出して解析を行ってもよい。

【0045】

工程Ｓ４における指標データの解析は、例えば以下のようにして行う。

【0046】

指標としてキーボードログを使用する場合の解析の一例を図７に示す。図７（Ａ）はキーボードログによる集中状態判別フロー、図７（Ｂ）は５秒毎に集計した打鍵数の例である。最初にキーボードログを解析し、打鍵数を一定時間毎、例えば５秒毎に集計する。次いで、キーボードログを指標として用いる一連の作業時間全体における打鍵数の分散Ａを算出する。キーボードログを指標として用いる一連の作業時間全体を、作業時間全体に対する２０％～５０％程度の任意の時間で分割し、各分割した時間帯について、打鍵数の分散Ｂを算出する。分散Ｂが分散Ａより大きい場合に当該時間帯を集中状態と判定し、分散Ｂの値が分散Ａの値以下の場合には当該時間帯を非集中状態と判定する。

【0047】

指標として体動を使用する場合の解析の一例を図８に示す。図８（Ａ）は、体動による集中状態判別フロー、図８（Ｂ）は、計測された加速度データの例である。図８中、Ｘ方向は作業者の左右方向（水平方向）、Ｙ方向は作業者の上下方向（垂直方向）、Ｚ方向は作業者の前後方向（奥行方向）である。まず、Ｘ方向、Ｙ方向、Ｚ方向の移動量について加速度計のデータを取得し、体動を指標として用いる一連の作業時間全体における（移動頻度の割合）×（移動量の分散）の値Ａを算出する。体動を指標として用いる一連の作業時間全体を、作業時間全体に対する２０％～５０％程度の任意の時間で分割し、各分割した時間について、（移動頻度の割合）×（移動量の分散）の値Ｂを算出する。値Ｂが値Ａより小さい場合に集中状態と判定し、値Ｂが値Ａ以上の場合には非集中状態と判定する。

【0048】

指標として脈拍を用いる場合、集中状態の推定はローレンツプロット解析により行う。ローレンツプロット解析は、心拍変動におけるＲＲ間隔（ＲＲＩ）の変動に着目した解析であって、交感神経の活動状態の指標として知られている。ローレンツプロット解析は、ｋ番目のＲＲＩをｘ座標、ｋ+１番目のＲＲＩをｙ座標としてｘ－ｙ平面上にプロットしたときに得られる楕円の長軸Ｌ（ｙ＝ｘの線と平行）と短軸Ｔ（ｙ＝ｘの線に対し垂直）の比率Ｌ／Ｔを求めることにより行う。

【0049】

ローレンツプロットの一例を図９に示す。ローレンツプロットは、一般的に楕円状に分布するが、広がりが小さいほどストレスがかかっている状態であることが知られている。Ｌ／Ｔはリラックス状態になるほど値が大きくなり、ストレス状態になるに従い値が小さくなる。本発明者は、後述する試験例３のように脈拍を用いたローレンツプロット解析を行ったところ、作業者の集中状態によりＬ／Ｔの値が変化することを見出した。従って、脈拍のデータをローレンツプロット解析してＬ／Ｔ値を算出することにより、作業者の集中状態を推定することが可能である。

【0050】

指標として脈拍を用い、ローレンツプロット解析を行う場合の解析の一例を図１０に示す。図１０（Ａ）は、脈拍による集中状態判定フロー、図１０（Ｂ）は、脈拍データの例である。最初に、脈拍を指標として用いる一連の作業時間全体におけるローレンツプロットの長軸Ｌと短軸Ｔの比率（Ｌ／Ｔ値）Ａを算出する。脈拍を指標として用いる一連の作業時間全体を、作業時間全体に対する２０％～５０％程度の任意の時間で分割し、各分割した時間帯のデータについて長軸と短軸の比率（Ｌ／Ｔ値）Ｂを算出する。比率Ｂが比率Ａより小さい場合に集中状態にあると判定し、そうでない場合、即ち比率Ｂが比率Ａ以上の場合は非集中状態と判定する。

【0051】

なお、上述した説明においては、作業時間全体のデータから算出される値Ａを閾値とし、任意の時間帯のデータから算出した値Ｂを値Ａと比較して集中状態の判定を行ったが、値Ａを基準として、値Ａとは異なる閾値を設定してもよい。集中状態の推定は、上述したように集中状態又は非集中状態の二段階で行っても良いし、閾値を複数設定して三段階以上の状態に段階的に分類して行ってもよい。

【実施例】

【0052】

試験例１
Microsoft Windows（登録商標）が搭載されたＰＣを使用し、被験者が設定されたテーマについてインターネットで調査を行い、調査結果をWordファイルにまとめる作業を行った。被験者は提示された６つのテーマの中から１つのテーマを選定し、３０分間作業に従事した。行った作業内容及び作業に要した時間を被験者自らメモ用紙に記入し、さらにビデオカメラを用いて作業中の様子を撮影した。被験者は、ＰＣを日常的に使用している２０代の大学生及び大学院生１０名（Ａ～Ｊ）である。

【0053】

入力作業と作業内容の関連を検討するため、ＡＰＩ関数を用い、ウィンドウログ、マウスログ、キーボードログを取得した。各ログに記録された情報を表１に示す。ウィンドウログは一定時間（１．６秒）毎に、マウスログはクリック時に、キーボードログはキーボード押下時に取得した。ウィンドウハンドル、タイトル、クラスは、操作対象のウィンドウに関する情報が記録された。マウスログでは、クリックされた位置に基づいてウィンドウハンドル、ウィンドウクラスが記録された。

【0054】

【表1】

【0055】

同じテーマを選択した被験者Ａ、Ｂのウィンドウ操作時間の例を図１１（Ａ）、（Ｂ）に示す。さらに、被験者Ａの操作時間と操作量の比較を図１２に示す。操作量は、操作が有効かどうか判断することなく、マウスのクリック回数及びキーボードの押下回数を合計した数である。

【0056】

図１１（Ａ）より、被験者Ａでは主な操作対象ウィンドウ（一定時間以上連続して操作対象となるウィンドウ）が途中から切り替わっていることがわかる。一方、図１１（Ｂ）より、被験者Ｂは、主な操作対象ウィンドウが何度も切り替わっていることがわかる。以上の結果は、被験者による作業メモ及び撮影された映像においても同様に確認された。また、他の被験者においても被験者Ａ、Ｂと同様の２種類の作業パターンが認められた。

【0057】

図１２より、ブラウザ操作中には操作量が少なく、Word操作中には操作量が多いことがわかる。これは、Wordにおける作業が文字の入力であるためと考えられる。以上の結果は、他の被験者においても同様に認められた。従って、Word操作時間における操作量に着目することにより、文書作成の有無を把握可能であると考えられる。

【0058】

試験例２
被験者がインターネット上の動画を視聴しながら文書を作成する作業を行ったときのログを取得した。取得したログに記録された情報は、表１と同様である。文書を作成しながら動画を視聴してもらうために、動画の内容に関するアンケートを行うことを事前に被験者に伝え、試験終了後に動画に関するアンケート調査を行った。さらに、ビデオカメラを用いて作業中の様子を撮影した。被験者は、試験例１を行った被験者１０名のうちの５名Ａ～Ｅである。

【0059】

被験者Ａのウィンドウ操作時間を図１３に示す。試験例１の調査作業の場合（図１１（Ａ））と比較すると、「ながら作業」における主な操作対象ウィンドウはWordから切り替わらないことがわかる。この結果は、他の被験者においても同様であった。従って、「調査作業」と「ながら作業」におけるログのパターンは異なることが明らかとなった。

【0060】

＜変更を加える操作の検討＞
取得したマウスログの中には、ウィンドウ操作に影響しない操作のログも記録されている。作業内容の推定を行うためには、ウィンドウに対する操作に有意な操作を判別する必要があると考えられる。そこで、ウィンドウに変更を加えるマウス操作を判別する方法について検討を行い、ウィンドウに変更を加える操作を上述した（i）～（v）のように定義した。

【0061】

図５に示すように、マウスログでは、１つのウィンドウにおいてもクリックする位置によって取得されるウィンドウクラスが異なる。ウィンドウに有意な操作を判別するために、複数のログに着目する必要がある。例えば、ページ遷移の場合、ウィンドウログのタイトルが変化する直前のマウスログを参照することでマウス操作によってページ遷移が実行されたか否かを判別することが可能になる。ログについて解析を行い、ウィンドウに変更を加えるクリック操作の集計を行った。

【0062】

試験例１及び２において被験者が作業中に行ったクリック操作の総数と、ウィンドウに変更を加えるクリック操作数を表２及び３に示す。

【0063】

【表2】

【0064】

【表3】

【0065】

表２及び３を比較すると、「調査作業」と「ながら作業」でWordにおける変更操作の割合は被験者毎に１～７％だけ異なり、「ながら作業」と「調査作業」との間で大きな差異は認められない。一方、ブラウザにおける変更操作の割合は８～５０％異なり、被験者によって大きな差異が認められる。「ながら作業」と「調査作業」では、ブラウザに対する操作が異なったためと推測される。従って、ブラウザに対する変更操作の割合を把握することは、「調査作業」と「ながら作業」の判別を可能にすると考えられる。

【0066】

試験例３
被験者が紙に書かれた４種類の文書の内容を順にWordファイルに入力する作業を３０分間行ったときのPC操作ログと生体信号（脈拍、体動）を取得した。取得したログに記録された情報は、表１と同様である。脈拍の測定には腕時計型の脈拍計（EPSON：登録商標、PS-600B）を使用した。体動は、作業者が作業を行うときに使用する椅子の背もたれの後ろに３軸センサの加速度計（GRAPHTEC：登録商標、GL100-WL）を取り付け、椅子の動きから体動を計測した。

【0067】

集中時のPC操作ログの特徴や得られる特徴について検討するためには、被験者が作業を行った時間帯から集中していた時間帯を検出する必要がある。そこで、集中していた時間帯の確認に用いるため、ビデオカメラを用いて作業中の様子を撮影した。文書を１種類入力し終える度に、１分間の休憩時間を設けた。作業終了時には、被験者に集中していた時間帯について主観的に評価してもらった。被験者はＰＣを日常的に使用している２０代の大学生及び大学院生２３名（Ａ～Ｗ）である。

【0068】

被験者による主観的評価とビデオカメラによる映像・成果物から被験者が集中していた時間帯を決定した。主観的評価では、集中していたと感じていたときに入力していた文章の位置や入力時の状態について回答してもらった。その結果、作業開始時は、「普段使用するキーボードと違い、操作に慣れない」、作業終了間際には、「疲れを感じた」などの回答を得た。また、多くの被験者が３つ目の文書の入力を行っている途中で終了時間になった。慣れや疲れによる影響が少ないと考えられる２つ目の文書の入力を行っていた時間帯に着目し、この間に「集中していた」と回答した時間帯を集中時と定義した。２つ目の文書入力作業中に集中時が存在する被験者１５名を対象として、脈拍、体動、PC操作量と集中状態との関連について、検討を行った。

【0069】

＜脈拍＞
計測された脈拍データについてローレンツプロット解析を行った。楕円の長軸Ｌと短軸Ｔの比率Ｌ／Ｔを求めた。

【0070】

各被験者のＬ／Ｔの値を表４に示す。集中時のＬ／Ｔの値は、文書２全体よりも低くなる傾向が認められた。これは、集中時には交感神経の活動が活発になり、ストレスがかかったためと考えられる。

【0071】

【表4】

【0072】

さらに、ＲＲＩの標準偏差と平均値の割合である変動係数（Coefficient of variation of R-R Interval、以下ＣＶ－ＲＲ）を算出した。ＣＶ－ＲＲは、副交感神経活動の指標として用いられており、一般的にリラックス状態になるほど値が大きくなる。ＣＶ－ＲＲの値を表５に示す。集中時のＣＶ－ＲＲの値は、文書２全体よりも低くなる傾向が認められた。

【0073】

【表5】

【0074】

＜体動＞
集中度や関心が低い場合、体動の生起頻度は多くなることが知られている。作業に集中しているときは体動が少なくなると仮定し、加速度データの３軸方向の値を合成し、集中状態との関係を検討した。

【0075】

被験者における体動の多さおよび激しさに着目することで、集中の有無が判定可能であると仮定し、椅子を動かす頻度とその変化量を用いた特徴量を算出した。キーボード操作時には反動で体動が微小に動くと考えられるため、上記２種類のパラメータを用いて、操作時の体動であるかそれとも非集中時の体動であるかの判別を行い、評価が可能になると考えた。そこで、椅子を動かす頻度の割合と、変化量の分散値を掛け合わせた値を体動の特徴量として算出した。

【0076】

各被験者の特徴量を表６に示す。全体の時間と集中時における特徴量を比較すると、１５名中１０名の被験者において、集中時に特徴量が低くなる傾向が認められる。これは、「集中時に体動の変化が少なくなる」という仮定と一致している。従って、椅子を動かす頻度の割合と変化量の分散値を掛け合わせた特徴量を用いて、集中状態か否かの判別が可能になると考えられる。

【0077】

【表6】

【0078】

＜PC操作量＞
取得したPC操作ログを解析し、操作量を算出した。この作業ではマウスのクリックはほとんど行われていなかったため、キーボードの押下回数のみを集計して操作量とした。
操作量を５秒毎、及び２５秒毎にカウントし、分散値を算出した。算出した各被験者の操作量の分散値を表７及び８に示す。

【0079】

【表7】

【0080】

【表8】

【0081】

表７から、集中時には文書２の入力時間全体よりも操作量の分散値が高くなる傾向が認められる。表８においても同様の傾向が認められた。更に、集計時間を他の時間に変更した場合においても同様の傾向が認められた。これらの結果から、集中時の操作量は、全体時間と比較してばらつきが生じていることがわかる。従って、ＰＣ操作ログから解析される操作量のばらつきに着目することによって、集中状態の有無が判別できる可能性があると考えられる。

【0082】

脈拍を用いたローレンツプロット解析、体動の特徴量、及び打鍵数（操作量）の分散値について、被験者毎の結果を表９に示す。

【0083】

【表9】

【0084】

打鍵数によって集中状態を推定可能と考えられる被験者は１５名中１１名、脈拍によって推定可能と考えられる被験者は１５名中１１名であり、これらの被験者のうち９名が一致した。打鍵数と脈拍の結果を組み合わせることにより、集中状態の推定結果の信頼性が向上すると推測される。

【0085】

表４に記載のように、Ｌ／Ｔについては被験者Ｃ、Ｅ、Ｌ、Ｎが他の被験者とは異なる結果を示した。また、体動については、表６に記載のように、被験者Ｂ、Ｆ、Ｇ、Ｈ、Ｋが異なる結果を示し、操作量では被験者Ｌ、Ｍ、Ｏが５秒毎、２５秒毎ともに異なる結果を示した。ただし、被験者Ｂ、Ｃ、Ｅ、Ｆ、Ｇ、Ｈ、Ｋ、Ｍ、Ｏは、異なる結果を示した指標以外において、他の被験者と同様の傾向を示している。これは、癖や経験などによる個人差が存在することに起因していると考えられる。従って、１種類のみの指標を用いて集中状態の有無を判別するのではなく、複数の指標を用いて判別する方法が有効であると考えられる。

【0086】

実施例１
ブラウザとWordを使用し、被験者が行った作業についてＰＣ操作ログを取得、解析して被験者が行った作業内容を推定した。

【0087】

図１４は、被験者が操作したソフトウェアと、１０秒毎に集計した有効操作数を時系列で示す図である。

【0088】

作業時間全体から、６０秒以上連続して同じソフトウェアを操作している時間帯を抽出し、各時間帯について有効操作数を調査した。アクティブウィンドウログ、マウスログ、キーボードログの解析は、図２及び３のフローに従って行い、作業内容は表１０に示す条件により推定を行った。各時間帯について推定した作業内容は、作業者が実際に行った作業内容と一致するものであった。

【0089】

【表10】

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】