知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-19
(45)【発行日】2023-06-27
(54)【発明の名称】判別システム、判別制御プログラムおよび判別制御方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20230620BHJP
G06T 7/20 20170101ALI20230620BHJP
H04R 3/00 20060101ALI20230620BHJP
【ＦＩ】
G06T7/00 300F
G06T7/20 300Z
G06T7/00 350B
H04R3/00 320
【請求項の数】
12
(21)【出願番号】P 2019119094
(22)【出願日】2019-06-26
(65)【公開番号】P2021005248
(43)【公開日】2021-01-14
【審査請求日】2022-03-08
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100104190
【弁理士】
【氏名又は名称】酒井 昭徳
(72)【発明者】
【氏名】陳 彬
(72)【発明者】
【氏名】岡林 桂樹
【審査官】真木 健彦
(56)【参考文献】
【文献】特開２０００－１０５７４９（ＪＰ，Ａ）
【文献】特開２０１１－２１５９００（ＪＰ，Ａ）
【文献】特開２００６－１４６４１５（ＪＰ，Ａ）
【文献】特開２０１８－０６３５５５（ＪＰ，Ａ）
【文献】特開２０１０－２４４５２６（ＪＰ，Ａ）
【文献】特開２００９－２２９６０５（ＪＰ，Ａ）
【文献】特開２００８－０９７２３６（ＪＰ，Ａ）
【文献】特開２００７－２６７９６５（ＪＰ，Ａ）
【文献】坂口 勝哉，二人組共同作業における頭上カメラを用いた協力度推定，第６８回 先進的学習科学と工学研究会資料，日本，一般社団法人 人工知能学会，2013年06月17日，SIG-ALST-B301-05，P.23-26
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／２０
Ｈ０４Ｒ ３／００
(57)【特許請求の範囲】
【請求項1】
グループ作業に関わる複数のユーザに対するオブジェクトの提示状態、および提示した前記オブジェクトに対する複数の前記ユーザの行動状態、を示す情報をそれぞれ時間的に積分した特徴量を算出し、算出した前記特徴量に基づき、複数のユーザが前記グループ作業を協働して行っているか否かを判別する制御部、を備え、
前記制御部は、前記特徴量の一つとして、前記オブジェクトの種類、大きさ、および複数の前記ユーザへの提示の向き、にそれぞれ対応した重みを予め事前確率として記憶し、前記オブジェクトの種類、大きさ、および複数の前記ユーザへの提示の向き、に対応した情報共有特徴量を算出し、
前記オブジェクトの種類、大きさ、および複数の前記ユーザへの提示の向き、のいずれかの変更があった場合、前記事前確率を当該変更に対応した重みを用いて前記情報共有特徴量を再算出する、
ことを特徴とする判別システム。
【請求項2】
前記制御部は、前記特徴量の一つとして、提示した前記オブジェクトに対する複数の前記ユーザの手の動きに基づく協働行動特徴量を算出する、
ことを特徴とする請求項１に記載の判別システム。
【請求項3】
前記制御部は、前記特徴量の一つとして、前記オブジェクトの提示位置と、複数の前記ユーザとの間の距離に基づき、複数の前記ユーザの相対的密集度を表すエンゲージ特徴量を算出する、
ことを特徴とする請求項１または２に記載の判別システム。
【請求項4】
前記制御部は、前記特徴量の一つとして、複数の前記ユーザが協働する作業エリア別に異なる重みに基づく協働操作特徴量を算出する、
ことを特徴とする請求項１～３のいずれか一つに記載の判別システム。
【請求項5】
前記制御部は、前記特徴量の一つとして、複数の前記ユーザが協働する全体の作業エリアに対する、複数の前記ユーザの個別の作業エリアでの前記ユーザの行動状態の情報に基づく操作バランス特徴量を算出する、
ことを特徴とする請求項１～４のいずれか一つに記載の判別システム。
【請求項6】
前記制御部は、前記特徴量の一つとして、前記ユーザの音声による発声があった場合、直前の他のユーザの発声との関係が対話状態である会話特徴量を算出する、
ことを特徴とする請求項１～５のいずれか一つに記載の判別システム。
【請求項7】
前記制御部は、前記グループ作業時に入力される、一つまたは複数の前記特徴量、および複数の前記ユーザの行動状態、を示す情報を、事前学習した判別モデルに基づいて、複数の前記ユーザが前記グループ作業を協働して行っているか否かを判別する、
ことを特徴とする請求項１～６のいずれか一つに記載の判別システム。
【請求項8】
前記オブジェクトを、表示により前記ユーザに提示するプロジェクタ、および前記ユーザの移動状態を撮影するカメラ、を含むことを特徴とする請求項１～７のいずれか一つに記載の判別システム。
【請求項9】
前記ユーザの発声および方向を検出するマイクアレイ、を含むことを特徴とする請求項６～８のいずれか一つに記載の判別システム。
【請求項10】
前記プロジェクタは、テーブルまたは壁に前記オブジェクトを表示し、前記カメラは、前記テーブル上に表示されたオブジェクトに対する複数の前記ユーザのタッチ操作を検出することを特徴とする請求項８に記載の判別システム。
【請求項11】
グループ作業に関わる複数のユーザに対するオブジェクトの提示状態、および提示した前記オブジェクトに対する複数の前記ユーザの行動状態を取得し、
前記取得した情報をそれぞれ時間的に積分した特徴量を算出し、
算出した前記特徴量に基づき、複数のユーザが前記グループ作業を協働して行っているか否かを判別し、
前記特徴量の一つとして、前記オブジェクトの種類、大きさ、および複数の前記ユーザへの提示の向き、にそれぞれ対応した重みを予め事前確率として記憶し、前記オブジェクトの種類、大きさ、および複数の前記ユーザへの提示の向き、に対応した情報共有特徴量を算出し、
前記オブジェクトの種類、大きさ、および複数の前記ユーザへの提示の向き、のいずれかの変更があった場合、前記事前確率を当該変更に対応した重みを用いて前記情報共有特徴量を再算出する、
処理をコンピュータに実行させることを特徴とする判別制御プログラム。
【請求項12】
グループ作業に関わる複数のユーザに対するオブジェクトの提示状態、および提示した前記オブジェクトに対する複数の前記ユーザの行動状態を取得し、
前記取得した情報をそれぞれ時間的に積分した特徴量を算出し、
算出した前記特徴量に基づき、複数のユーザが前記グループ作業を協働して行っているか否かを判別し、
前記特徴量の一つとして、前記オブジェクトの種類、大きさ、および複数の前記ユーザへの提示の向き、にそれぞれ対応した重みを予め事前確率として記憶し、前記オブジェクトの種類、大きさ、および複数の前記ユーザへの提示の向き、に対応した情報共有特徴量を算出し、
前記オブジェクトの種類、大きさ、および複数の前記ユーザへの提示の向き、のいずれかの変更があった場合、前記事前確率を当該変更に対応した重みを用いて前記情報共有特徴量を再算出する、
処理をコンピュータが実行することを特徴とする判別制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数のユーザのグループ活動の協働状態を判別する判別システム、判別制御プログラムおよび判別制御方法に関する。
【背景技術】
【0002】
複数のユーザのグループ活動として、ワークショップやアクティブラーニング等がある。ワークショップでは、複数のユーザがそれぞれ異なる観点から新しいビジネスモデルの検討や、様々な問題に対してアイデアを出すグループディスカッションにより解を考えることができる。アクティブラーニングは、学校等の教員現場において生徒のグループ作業で行われ、アクティブラーニング過程で生成した活動データを分析して、学習を最適化する実証実験が行われている。
【0003】
これら複数のユーザのグループ活動をデジタル的にサポートする技術として、空間ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）がある。空間ＵＩ技術を用いることで、例えば、部屋を複数のタッチディスプレイで覆い、全てのディスプレイを一つの仮想ディスプレイへ統合できる。空間ＵＩ技術を用いることで、活動に参加したユーザの持ち込み情報やアイデアの共有を支援できるＩＣＴ（Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ）システムが構築できる。そして、空間ＵＩを利用することで、ワークショップやアクティブラーニング等の活動の過程で生じた活動データをデータサーバにリアルタイムに集約できる。
【0004】
ユーザの活動状態の判別に関連する技術として、テレビ視聴者の顔の向きや表情、リモコン操作等を観測した時系列情報を機械学習することで、視聴番組の興味判定を迅速に行う技術が開示されている。また、複数のユーザ間での音声データの特徴量を分析することで、ユーザ間でのコミュニケーションの発生の有無を判別する技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１３－２３５３４６号公報
【文献】国際公開第２０１６／１５８２６７号
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、従来技術では、複数のユーザのグループ活動が協働しているか否かを適切に判別することができなかった。例えば、空間ＵＩ技術を用いて、各ユーザのタッチ操作の数やバラツキ等の特徴量を機械学習する方法が考えられるが、タッチ数のみでは特徴量が作業の詳細を表現できず、グループ活動の様々な作業パターンに柔軟に対応できない。
【0007】
例えば、各ユーザが同時に作業するフェーズでアイデアを出し尽くして停滞状態に近い場合と、１人のユーザだけが作業して他の複数のユーザがアイデアを考えて指示を出す状況があるが、これら異なる状況間で、一定時間内のタッチ操作の総数に大差はない。この場合、各ユーザが協働して作業しているか、あるいは各ユーザが異なる作業を行う等の非協働状態であるか、の判別が困難であった。このように、従来技術では、空間ＵＩ技術を用いたとしても有効利用しておらず、また、グループ活動における複数のユーザの協働／非協働状態を適切に判別できなかった。
【0008】
一つの側面では、本発明は、複数のユーザの活動状態が協働であるか非協働であるかを正確に判別できることを目的とする。
【課題を解決するための手段】
【0009】
本発明の一側面によれば、グループ作業に関わる複数のユーザに対するオブジェクトの提示状態、および提示した前記オブジェクトに対する複数の前記ユーザの行動状態、を示す情報をそれぞれ時間的に積分した特徴量を算出し、算出した前記特徴量に基づき、複数のユーザが前記グループ作業を協働して行っているか否かを判別し、前記特徴量の一つとして、前記オブジェクトの種類、大きさ、および複数の前記ユーザへの提示の向き、にそれぞれ対応した重みを予め事前確率として記憶し、前記オブジェクトの種類、大きさ、および複数の前記ユーザへの提示の向き、に対応した情報共有特徴量を算出し、前記オブジェクトの種類、大きさ、および複数の前記ユーザへの提示の向き、のいずれかの変更があった場合、前記事前確率を当該変更に対応した重みを用いて前記情報共有特徴量を再算出することを要件とする。
【発明の効果】
【0010】
本発明の一態様によれば、複数のユーザの活動状態が協働であるか非協働であるかを正確に判別できるという効果を奏する。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
（実施の形態）
以下に図面を参照して、開示の判別システム、判別制御プログラムおよび判別制御方法の実施の形態を詳細に説明する。
以下に図面を参照して、開示の判別システム、判別制御プログラムおよび判別制御方法の実施の形態を詳細に説明する。
【0013】
図１は、実施の形態にかかる複数のユーザの活動状態判別の一実施例を示す説明図である。複数のユーザＵ（Ｕ１～Ｕ４）がある部屋のテーブルＴに着席してグループ活動（協働作業）を行っている状態を示す。実施の形態の判別システムは、空間ＵＩ技術を用いて、テーブルＴ単位での複数のユーザＵ（Ｕ１～Ｕ４）のグループ活動（協働作業）が協働状態であるか非協働状態であるかを判別する。判別システムは、判別結果を評価者ＵＲに通知する。
【0014】
評価者ＵＲは、判別システムが出力するグループ活動の判別結果（協働／非協働）に基づき、グループ活動の際、複数のユーザＵ（Ｕ１～Ｕ４）がどの程度協働していたかを振り返り、グループ活動の成果等の評価を実施する。
【0015】
図１には、部屋に一つのテーブルＴに着席した４名のユーザＵ１～Ｕ４の例を示したが、この部屋にはさらに多くのテーブルＴ毎に複数のユーザＵが着席してそれぞれのテーブルＴ毎にグループ活動を行っていてもよい。
【0016】
グループ活動は、例えば、上述したワークショップやアクティブラーニング等であり、空間ＵＩ技術により、テーブルＴ毎の複数のユーザＵ（Ｕ１～Ｕ４）のタッチ操作を検出する。空間ＵＩ技術を用いたユーザＵ別のタッチ操作の検出構成の詳細は後述するが、例えば、テーブルＴ上に複数のデジタル模造紙Ａ（Ａ１～Ａ３）をアプリケーション制御により表示する。そして、各ユーザＵ（Ｕ１～Ｕ４）は、赤外ペン等のタッチペンＰ（Ｐ１～Ｐ４）を用いてデジタル模造紙Ａ（Ａ１～Ａ３）上でタッチ操作を行う。
【0017】
実施の形態では、空間ＵＩ技術により、各ユーザＵが同時に視認できるオブジェクトを提示する。オブジェクトは、例えば、デジタル模造紙Ａ等のアプリケーションやコンテンツを含む。
【0018】
デジタル模造紙Ａは、例えば、プロジェクタを用いてグループ活動のミーティング内容の画像や文字等をテーブルＴ上に表示する。そして各ユーザＵは、タッチペンＰを用いてミーティング内容に対する提案や指示をデジタル模造紙Ａ（Ａ１～Ａ３）上でのタッチ操作により書き込む。空間ＵＩ技術では、例えば、空間ＵＩ情報入出力装置（ベースＰＣと称す）１２０が、例えば、プロジェクタによるデジタル模造紙Ａの表示、およびタッチペンＰを用いた各ユーザＵのタッチ操作の検出にかかる制御を行う。
【0019】
空間ＵＩ情報入出力装置１２０は、デジタル模造紙Ａ等のアプリケーションを実行し、テーブルＴ毎の複数のユーザＵのグループ活動（協働作業）に必要な情報を表示制御する。また、空間ＵＩ情報入出力装置１２０は、タッチペンＰのタッチ操作を検出するアプリケーションを実行し、テーブルＴ毎の複数のユーザＵのグループ活動（協働作業）が協働状態であるか否かを判別するのに必要な情報を取得する。
【0020】
実施の形態では、協働とは、テーブルＴ単位での複数のユーザＵ（Ｕ１～Ｕ４）が協働して作業している状態であり、各ユーザが異なる作業を行う等の状態を非協働とする。例えば、非協働の状態は、各ユーザが同時に作業するフェーズでアイデアを出し尽くして停滞状態に近い場合や、１人のユーザだけが作業して他の複数のユーザがアイデアを考えて指示を出す状況等を含む。
【0021】
そして、空間ＵＩ情報入出力装置１２０は、各ユーザＵのタッチペンＰのタッチ操作を操作イベントＩＶと、センシングＳの情報をそれぞれ検出し、判別装置（データＰＣと称す）１００に出力する。空間ＵＩ情報入出力装置１２０は、空間ＵＩ技術に対応してユーザＵに対するユーザインタフェース（ＵＩ）の情報を入出力する装置である。
【0022】
上記の説明では、空間ＵＩ技術の例として、デジタル模造紙Ａのアプリケーションを実行する構成例を説明したが、これに限らず、デジタル付箋紙のアプリケーションを実行し、テーブルＴ上の付箋紙に画像や文字を表示してもよい。また、部屋の壁のスクリーンにこれらデジタル模造紙Ａやデジタル付箋紙を表示してもよい。さらには、操作イベントＩＶと、センシングＳの情報として、タッチペンＰを用いた操作検出に限らない。例えば、カメラの撮影画像により複数のユーザＵ（Ｕ１～Ｕ４）の位置や移動状態、各ユーザＵ（Ｕ１～Ｕ４）の手（指）の位置（デジタル模造紙Ａ上での手差し位置に相当）を検出してもよい。
【0023】
実施の形態では、判別装置（データＰＣ）１００は、複数のユーザＵ（Ｕ１～Ｕ４）のグループ活動（協働作業）が協働状態であるか非協働状態であるかを判別する機能を有する。判別装置１００には、空間ＵＩ情報入出力装置１２０による空間ＵＩの制御情報、例えば、デジタル模造紙Ａ等のアプリケーションの制御情報と、操作イベントＩＶ、およびセンシングＳの情報、等が入力される。
【0024】
判別装置１００は、特徴抽出部１１１、作業状態認識部１１２の機能を含む。判別装置１００は、プロセッサおよびメモリ等の記憶部１０１を備え、プロセッサが記憶部１０１に格納されたプログラムを実行することで、上記機能を実現し、上記協働状態であるか非協働状態であるかを判別する制御を実行する。
【0025】
特徴抽出部１１１には、例えば、デジタル模造紙Ａ等のアプリケーションの制御情報と、操作イベントＩＶ、およびセンシングＳの情報等が入力される。そして、特徴抽出部１１１は、これらの入力情報に基づいて協働特徴量を抽出する。協働特徴量とは、グループ活動の協働状態を判別するために用いる情報であり、一つのテーブルＴ上での複数のユーザＵがグループ活動の協働作業に関与した程度を表す。
【0026】
実施の形態では、特徴抽出部１１１は、入力された複数の情報に基づき、異なる複数の種別の協働特徴量を算出し、作業状態認識部１１２に出力する。作業状態認識部１１２は、特徴抽出部１１１が算出した複数の種別の協働特徴量に基づき、テーブルＴ単位でのグループ活動が協働であるか非協働であるかを判別出力する。
【0027】
振り返りダッシュボードサービスＲは、グループ活動の実施後、評価者ＵＲに対し、複数のテーブルＴ毎の協働／非協働の判別結果を、例えばリスト化して通知し、非協働のグループに対しては非協働の状態の詳細を例えば、時系列に通知する。振り返りダッシュボードサービスＲの機能は、独立したコンピュータ装置が提供してもよいし、上記いずれかのコンピュータ装置、例えば、ベースＰＣ１２０が提供してもよい。これにより、評価者ＵＲは、振り返りダッシュボードサービスＲが提供するグループ活動のグループ別の判別結果（協働／非協働）に基づき、グループ活動の際、複数のユーザＵ（Ｕ１～Ｕ４）がどの程度協働していたかを振り返り、評価することができる。
【0028】
評価者ＵＲは、例えば、グループ活動のリーダであり、この評価者ＵＲは、判別結果に基づき、以降のグループ活動の改善等の対策を施すことができるようになる。例えば、評価者ＵＲは、グループ作業のグループ長や、アクティブラーニングとして所定の授業を実施した教師であり、ユーザＵは、グループ員や授業を受けた学生である。そして、評価者ＵＲは、テーブルＴ毎の協働／非協働の判別結果に基づき、以降の授業で非協働の判別結果となったテーブルＴに着席していたユーザＵに対し、協働しやすい環境をつくるための具体的改善策を検討できるようになる。
【0029】
【0030】
作業状態認識部１１２は、例えば、ニューラルネットワーク２００で構成でき、このニューラルネットワーク２００は、グループ活動の実施前に学習した学習モデル２０１を用いてグループ活動の判別結果（協働／非協働）を判別出力する。
【0031】
この作業状態認識部１１２には、空間ＵＩ技術により利用しているアプリケーションの情報、ユーザＵが操作したタッチペンＰのタッチイベント、ユーザＵの位置や移動状態等の情報が入力される。例えば、アプリケーションの情報は、テーブルＴ上に表示した上記のデジタル模造紙Ａの数や、各デジタル模造紙Ａの大きさ、テーブルＴ上での向き等の情報であり、タッチペンＰのタッチイベントは、例えば、筆跡本数、タッチ回数等である。
【0032】
また、作業状態認識部１１２には、特徴抽出部１１１が算出した上記の協働特徴量の情報が入力される。そして、作業状態認識部１１２は、事前に学習した「協働判別モデル」に基づいて、テーブルＴ単位での協働／非協働を判別する。このため、作業状態認識部１１２は、事前の学習フェーズ、およびグループ活動時の認識フェーズの処理を行う。
【0033】
学習フェーズでは、作業状態認識部１１２は、各時刻において、タッチイベント、アプリケーション、センシングの各情報に基づいて、複数の協働特徴量を抽出し、「協働特徴ベクトル」を生成する。そして、サンプルデータに対して、人手で協働あるいは非協働の状態を分離しラベリングを行い、教師データを作成する。
【0034】
この後、作業状態認識部１１２は、教師データで「協働判別モデル」を機械学習する。また、認識フェーズでは、作業状態認識部１１２は、グループ活動時にリアルタイムで検出した「協働特徴ベクトル」を「協働判別モデル」を通し、協働あるいは非協働の状態を判別し、判別結果を出力する。
【0035】
このように、実施の形態では、単純にユーザＵの操作（タッチイベント）の頻度を利用するだけで協働状態を判別するものではない。実施の形態の作業状態認識部１１２は、タッチ操作された対象物（デジタル模造紙Ａのアプリケーションやコンテンツ）、タッチ位置の空間的分布、およびユーザとアプリケーションやコンテンツ表示位置との相対関係を考慮して、協働／非協働の状態を判別する。これにより、判別の認識精度の向上を図るものである。
【0036】
１．通常、グループ活動等において協働あるいは非協働の作業を行う場合、使用するアプリケーションやコンテンツの種類が異なる。例えば、ユーザＵが単独でアイデアを出す場合、デジタル付箋紙のアプリケーションを利用する。一方、グループ全員で出されたアイデアを分類や整理する場合、デジタル模造紙Ａのアプリケーションを利用する。このため、作業状態認識部１１２は、テーブルＴ上に開いているアプリケーションの種類によって、グループが協働作業をしているかどうかの事前確率を使って推定できる。
【0037】
２．テーブルＴ上に開いているアプリケーションが、表示位置、サイズ、向き等によって作業の状態が異なる可能性がある。例えば、デジタル付箋紙の場合、テーブルＴ上において複数のユーザＵの前で、デジタル付箋紙が自身の方向に向き、小さく開いた表示制御の場合、個人作業を行っている可能性が高い。一方、同じデジタル付箋紙を用いた場合であっても、テーブルＴの中央付近で、横向きにしてより多くのユーザに見やすいように表示制御する場合、例えば、複数のユーザＵ（Ｕ１～Ｕ４）で情報共有するなどの協働作業をしている可能性が高い。このため、作業状態認識部１１２は、グループ活動時に実行しているアプリケーションの表示位置、向き、サイズ等の情報と、事前確率を用いることで協働作業かどうかを推定することができる。
【0038】
３．テーブルＴ上にアプリケーションやコンテンツが表示されていても、グループが協働作業をしているとは断定できない。しかし、表示中のアプリケーションやコンテンツに対してユーザＵが操作を行った場合、協働作業の可能性が高くなる。さらに、ユーザＵの操作頻度が高くなれば、その可能性もさらに高くなる。このように、作業状態認識部１１２は、各ユーザＵのタッチ行動が検出された時に、例えばベイズ推定に基づいて事前確率を更新することで、協働と非協働を確率的に推定することができる。
【0039】
４．グループが協働作業をしている時に、アプリケーションやコンテンツへの操作だけではなく、手指しなどの行動もよく観測されている。このため、作業状態認識部１１２は、手指し行動が観測された場合、前記タッチイベントと同様に、ベイズ推定に基づいて事前確率を更新し、協働と非協働を確率的に推定する。
【0040】
５．グループが協働作業をしている時に、メンバーが協働のアプリケーションやコンテンツの周りに密集してディスカッションや共に操作をすることが観測されている。そこで、上記の事前確率を重みとして、人と人の物理的距離の重み付き平均を協働と非協働の特徴量とすることができる。例えば、人がデジタル模造紙Ａの周りに密集している場合、協働作業をしている可能性が高い。逆に、人が小さく表示されているデジタル付箋紙の周りに密集しても、協働作業の可能性が低い。
【0041】
６．そして、上記２．～５．で算出した数値については、それぞれ一定時間（たとえ３分）毎に積分し、積分した値を特徴ベクトルとする。作業状態認識部１１２は、算出した特徴ベクトルを用いて協働と非協働を機械学習で判別する。
【0042】
７．機械学習に必要な教師データは、機械学習モデルの構築者がオフラインで、例えばグループ作業のビデオを見ながら、特徴ベクトルをラベリングすることで作成する。
【0043】
８．作業状態認識部１１２は、上記の教師データを用いて、機械学習モデルを学習する。
９．オンラインで協働状態を推定する場合、作業状態認識部１１２は、リアルタイムに作成した特徴ベクトルを学習済みの機械学習モデルに入力し、機械学習モデルが出力したラベルを該当するアプリケーションに出力する。
９．オンラインで協働状態を推定する場合、作業状態認識部１１２は、リアルタイムに作成した特徴ベクトルを学習済みの機械学習モデルに入力し、機械学習モデルが出力したラベルを該当するアプリケーションに出力する。
【0044】
図２に示す例では、作業状態認識部１１２（ニューラルネットワーク２００）には、複数ｎの協働特徴量が入力される。協働特徴量は大別して、ユーザＵの操作イベントＩＶ、例えば、上記のタッチペンＰの操作に基づくものと、センシングＳの情報、例えば、ユーザＵの位置や手の位置等に基づくものとがある。
【0045】
ユーザＵの操作イベントＩＶ、例えば、上記のタッチペンＰの操作に基づく協働特徴量は、Ａ．協働操作特徴量（ｃｏｏｐ）、Ｂ．操作バランス特徴量（ｂａｌａｎｃｅ）、Ｃ．情報共有特徴量（ｓｈａｒｉｎｇ）等がある。また、センシングＳの情報、例えば、ユーザＵの位置や手の位置等に基づく協働特徴量は、Ｄ．協働行動特徴量（ｃｏｌｌａｂｏ）、Ｅ．エンゲージ特徴量（ｅｎｇａｇｅ）等がある。これら各協働特徴量の詳細は後述する。作業状態認識部１１２は、入力される特徴量の種類が多いほど、協働／非協働の判別結果を精度よく判別できるようになる。
【0046】
図３Ａ，図３Ｂは、実施の形態にかかる判別システムの構成例を示す図である。図３Ａは、主に空間ＵＩ技術にかかるシステム構成例を示す。図３Ａに示すように、空間ＵＩ技術に関する構成として、プロジェクタ３１０、カメラ３１１、人認識センサ３１２、タッチペンＰ、ユニットＰＣ３１３が含まれる。
【0047】
プロジェクタ３１０は、部屋のテーブルＴのテーブル面にグループ活動のミーティング内容の画像や文字等を投影表示する。カメラ３１１は、テーブルＴ上でのタッチペンＰの位置や移動状態を認識するための画像を撮影する。人認識センサ３１２は、テーブルＴに着席した複数のユーザＵの位置や移動状態を認識する。ユニットＰＣ３１３には、プロジェクタ３１０に対して表示画像を出力し、カメラ３１１および人認識センサ３１２が出力する画像が入力される。
【0048】
【0049】
グループＡでは、プロジェクタ３１０ａが部屋の壁ＷＡにミーティング内容の画像や文字等を投影表示する。カメラ３１１ａは、テーブルＴ上でのタッチペンＰの位置や移動状態を認識するための画像を撮影する。人認識センサ３１２ａは、テーブルＴに着席した複数のユーザＵの位置や移動状態を認識する。ユニットＰＣ３１３ａには、プロジェクタ３１０ａに対して表示画像を出力し、カメラ３１１ａおよび人認識センサ３１２ａが出力する画像が入力される。
【0050】
グループＢでは、プロジェクタ３１０ｂがテーブルＴにミーティング内容の画像や文字等を投影表示する。カメラ３１１ｂは、テーブルＴ上でのタッチペンＰの位置や移動状態を認識するための画像を撮影する。人認識センサ３１２ｂは、テーブルＴに着席した複数のユーザＵの位置や移動状態を認識する。ユニットＰＣ３１３ｂは、プロジェクタ３１０ｂに対して表示画像を出力し、カメラ３１１ｂおよび人認識センサ３１２ｂが出力する画像が入力される。グループＣ，ＤについてもグループＢ同様の構成を有する。
【0051】
そして、各グループＡ～ＤのユニットＰＣ３１３（３１３ａ～３１３ｄ）は、空間ＵＩネットワーク３２０を介してコンピュータ装置（データＰＣ１００およびベースＰＣ１２０）に接続される。上述したように、コンピュータ装置（ベースＰＣ１２０）は、空間ＵＩ技術を用いてユニットＰＣ３１３（３１３ａ～３１３ｄ）との間で各グループＡ～Ｄのグループ活動のためのサービスやアプリケーションの配信を行う。
【0052】
また、コンピュータ装置（データＰＣ１００）は、ユニットＰＣ３１３（３１３ａ～３１３ｄ）を介して、グループＡ～Ｄそれぞれでの操作イベントＩＶやセンシングＳ等のシステムイベントデータを収集し、各グループＡ～Ｄ毎のグループ活動状態を判別する。そして、コンピュータ装置（データＰＣ１００）は、上述した協働／非協働の判別結果を出力する。この判別結果は、例えば、図１に示す振り返りダッシュボードサービスＲに出力され、評価者ＵＲは、各グループＡ～Ｄのグループ活動の振り返りおよび評価を行うことができる。振り返りダッシュボードサービスＲは、例えば、コンピュータ装置（データＰＣ１００）が機能実行することができる。
【0053】
【0054】
判別装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０１、メモリ４０２、ネットワークインタフェース（ＩＦ）４０３、記録媒体ＩＦ４０４、記録媒体４０５、等を含む。４００は各部を接続するバスである。
【0055】
ＣＰＵ４０１は、判別装置１００の全体の制御を司る制御部として機能する演算処理装置である。メモリ４０２は、不揮発性メモリおよび揮発性メモリを含む。不揮発性メモリは、例えば、ＣＰＵ４０１のプログラムを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）である。揮発性メモリは、例えば、ＣＰＵ４０１のワークエリアとして使用されるＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等である。
【0056】
ネットワークＩＦ４０３は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワークＮＷに対する通信インタフェースである。判別装置１００は、ネットワークＩＦ４０３を介してネットワークＮＷに通信接続する。図３Ｂの構成例の場合、ネットワークＮＷは、空間ＵＩネットワーク３２０に相当し、判別装置１００は、ネットワークＮＷを介して、複数のユニットＰＣ３１３（３１３ａ～３１３ｄ）と通信可能である。
【0057】
記録媒体ＩＦ４０４は、ＣＰＵ４０１が処理した情報を記録媒体４０５との間で読み書きするためのインタフェースである。記録媒体４０５は、メモリ４０２を補助する記録装置であり、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）フラッシュドライブ等を用いることができる。
【0058】
メモリ４０２または記録媒体４０５に記録されたプログラムをＣＰＵ４０１が実行することにより、判別装置１００の特徴抽出部１１１および作業状態認識部１１２の機能を実現し、協働／非協働の判別出力を得ることができる。また、メモリ４０２や記録媒体４０５は、判別装置１００が扱う情報を記録保持する。これらメモリ４０２および記録媒体４０５は、図１に示した記憶部１０１に相当する。
【0059】
また、上述した空間ＵＩ情報入出力装置（ベースＰＣ）１２０、およびユニットＰＣ３１３（３１３ａ～３１３ｄ）についても、図４に示すハードウェアからなる汎用のＰＣやサーバで構成することができる。
【0060】
（協働／非協働判定のための事前確率）
判別装置１００の制御部（ＣＰＵ４０１）は、グループ活動が協働あるいは非協働を判定する際には、下記１．～３．に示した事前確率を用いる。
判別装置１００の制御部（ＣＰＵ４０１）は、グループ活動が協働あるいは非協働を判定する際には、下記１．～３．に示した事前確率を用いる。
【0061】
１．タッチ位置の空間分布に基づく事前確率（事前確率１）
協働作業の場合、テーブルＴ上で参加者がよくタッチ操作する位置を（ｘ，ｙ）とする。以下のように、タッチ位置から得る事前確率１を以下の式で表す。
ｐ1（ｓ＝ｃ｜ｘ，ｙ）
（ｘ，ｙ：タッチ位置の座標，ｓ：作業状態を示す、ｃ：協働作業であることを示す）
協働作業の場合、テーブルＴ上で参加者がよくタッチ操作する位置を（ｘ，ｙ）とする。以下のように、タッチ位置から得る事前確率１を以下の式で表す。
ｐ1（ｓ＝ｃ｜ｘ，ｙ）
（ｘ，ｙ：タッチ位置の座標，ｓ：作業状態を示す、ｃ：協働作業であることを示す）
【0062】
図５は、実施の形態の判別装置で用いる事前確率１を説明する図である。事前確率１の実装例として、例えば図５に示すように２次元の事前確率マップ５００を記憶部１０１に予め設定しておき、固定値として利用する。この事前確率マップ５００の横縦のサイズは、テーブルＴのタッチスクリーンのサイズと一致させて設定する。そして、テーブルＴの中心ほどよくタッチされるため、テーブルＴの中心付近に高い値の重みＷ１を設定しておき、テーブルＴの周辺ほどタッチの頻度が少ないため、次第に低くなる値の重みＷ２～Ｗ５を設定しておく。
【0063】
図６は、実施の形態にかかる事前確率１の設定例を示す図である。図６には、図５の事前確率マップ５００に設定する数値例を示し、特徴抽出部１１１が協働操作特徴量を算出する際にこの事前確率マップ５００を参照する。事前確率マップ５００は、テーブルＴの中心ほどよくタッチされるため、テーブルＴの中心のエリアが複数のユーザによる協働作業に適した場所であるため、高い値「０．９」の重みＷ１を設定する。そして、テーブルＴの周辺ほどタッチの頻度が少ないため、周辺に従い次第に低くなる値の重みＷ２「０．８」～Ｗ５「０．１」を設定しておく。
【0064】
２．アプリケーションの種類に基づく事前確率（事前確率２）
テーブルＴ上に表示するアプリケーション種類をａで表した事前確率２を以下の式で表す。例えば、ａがデジタル模造紙である場合、比較的高い値に設定する。逆に、ａがデジタル付箋紙である場合、比較的低い値に設定する。
ｐ2（ｓ＝ｃ｜ａ）
（ａ：アプリケーション名）
テーブルＴ上に表示するアプリケーション種類をａで表した事前確率２を以下の式で表す。例えば、ａがデジタル模造紙である場合、比較的高い値に設定する。逆に、ａがデジタル付箋紙である場合、比較的低い値に設定する。
ｐ2（ｓ＝ｃ｜ａ）
（ａ：アプリケーション名）
【0065】
例えば、アプリケーションａがデジタル模造紙の場合の事前確率２は、比較的高い値の重みを設定し、デジタル付箋紙の場合の事前確率２は比較的低い値の重みを設定しておく。これらデジタル模造紙とデジタル付箋紙は、いずれも複数ユーザが協働して用いることができるアプリケーションである。これに対し、ユーザが個人使用する他のアプリケーションについては、事前確率２を最も低い重みに設定しておく。
【0066】
図７Ａ，図７Ｂは、実施の形態にかかる事前確率２を説明する図である。上述したアプリケーションの種類に基づく事前確率２の設定例を説明しておく。図７Ａ（ａ）に示すように、テーブルＴ上においてアプリケーションＡ～Ｃが表示されているとする。なお、ここでは、各アプリケーションＡ～Ｃの向きは０度（図の上側に各アプリケーションＡ～Ｃの下部Ｌが位置し、図下側に各アプリケーションＡ～Ｃの上部Ｈが位置した状態）であるとする。
【0067】
この場合、図７Ａ（ｂ）に示すように、アプリケーションＡはデジタル模造紙等であり、協働作業に用いられるものである場合、事前確率２は比較的高い重み「０．５」に設定する。また、アプリケーションＣはデジタル付箋紙の場合、比較的低い重み「０．４」に設定する。また、アプリケーションＢは、ユーザが個人使用する他のアプリケーションであり、事前確率を最も低い重み「０．２」に設定しておく。
【0068】
そして、図７Ｂは、事前確率２をマップ化した事前確率マップ２を示す図表である。この事前確率マップ２（７００）は、テーブルＴ上のアプリケーションＡの領域の重みＷ１は「０．５」、アプリケーションＣの領域の重みＷ２は「０．４」、アプリケーションＢの重みＷ３は「０．２」として設定される。
【0069】
３．アプリケーションのプロパティ（表示位置、向き、サイズ）に基づく事前確率（事前確率３）
テーブルＴ上のアプリケーションの表示位置をｕ，ｖ、向きをｏ、サイズをｚとした時の事前確率３を以下の式で表す。
ｐ3（ｓ＝ｃ｜ｏ，ｕ，ｖ，ｚ）
テーブルＴ上のアプリケーションの表示位置をｕ，ｖ、向きをｏ、サイズをｚとした時の事前確率３を以下の式で表す。
ｐ3（ｓ＝ｃ｜ｏ，ｕ，ｖ，ｚ）
【0070】
なお、この事前確率３は、下記式（１）に示すように、ガウシアン分布に基づくガウシアンモデルでも表現できる。なお、ｘ、ｙは、アプリケーションの表示位置である（上記ｕ，ｖに相当）。
【0071】
【数1】
【0072】
図８Ａ，図８Ｂは、実施の形態にかかる事前確率３を説明する図である。上述したアプリケーションの種類およびテーブルＴ上での向きに基づく事前確率３の設定例を説明しておく。図８Ａ（ａ）に示すように、テーブルＴ上においてアプリケーションＡ～Ｃが表示されているとする。なお、ここでは、アプリケーションＢ，Ｃの向きは０度（図の上側にアプリケーションＢ，Ｃの下部Ｌが位置し、図下側にアプリケーションＢ，Ｃの上部Ｈが位置した状態）であるとする。また、アプリケーションＡの向きは９０度（図の右側にアプリケーションＡの下部Ｌが位置し、図左側にアプリケーションＡの上部Ｈが位置した状態）であるとする。
【0073】
ここで、図８Ａ（ｂ）に示すように、各アプリケーションＡ～Ｃの向き別の事前確率（事前確率３）を設定しておく。各アプリケーションＡ～Ｃの向きが０度の場合において、アプリケーションＡはデジタル模造紙等であり、協働作業に用いられるものである場合、事前確率３は比較的高い重み「０．５」に設定する。また、アプリケーションＣはデジタル付箋紙の場合、比較的低い重み「０．４」に設定する。また、アプリケーションＢは、ユーザが個人使用する他のアプリケーションであり、事前確率を最も低い重み「０．２」に設定しておく（図７Ａ（ｂ）と同じ設定）。
【0074】
また、図８Ａ（ｂ）に示すように、各アプリケーションＡ～Ｃの向きが９０度の場合には、各アプリケーションＡ～Ｃが協働作業に用いられる方向に向いているため、それぞれの事前確率３は０度の場合よりも重みが高く設定されている。例えば、アプリケーションＡの事前確率３は０度の場合の重みが「０．５」であるのに対し、９０度では「０．８」と高く設定される。また、アプリケーションＢの事前確率３は０度の場合の重みが「０．２」であるのに対し、９０度では「０．５」と高く設定される。また、アプリケーションＣの事前確率３は０度の場合の重みが「０．４」であるのに対し、９０度では「０．７」と高く設定される。
【0075】
そして、図８Ｂは、図８Ａ（ａ）に示す各アプリケーションＡ～Ｃの種類と向きに対応した事前確率３をマップ化した事前確率マップ３を示す図表である。事前確率マップ３（８００）は、テーブルＴ上のアプリケーションＡの領域の重みＷ１は向きが９０度であり「０．８」である。アプリケーションＣの領域の重みＷ２は向きが０度であり「０．４」、アプリケーションＢの重みＷ３は向きが０度であり「０．２」として設定される。
【0076】
グループ活動の際、各ユーザが必要に応じて、テーブルＴ上でのアプリケーションの表示位置、サイズ、向きなどをタッチペンＰの操作等でドラッグして変更する場合がある。この際、判別装置１００の制御部（ＣＰＵ４０１、主に特徴抽出部１１１）は、新しい表示位置、向き、サイズで事前確率３を動的に再計算する。例えば、デジタル付箋紙をあるユーザＵ１が自身の前に表示してアイデアを書いた後に、デジタル付箋紙をテーブルＴの中央に移動させ、大きく表示して他のユーザＵ２～Ｕ４と共有する場合、事前確率３（ｐ3）を再計算する。
【0077】
ユーザＵが、テーブルＴ上でのアプリケーションの表示位置、サイズ、向きなどをタッチペンＰの操作等でドラッグして変更したとする。この場合、判別装置１００の制御部（ＣＰＵ４０１、主に特徴抽出部１１１）は、新しい表示位置、向き、サイズで事前確率３を動的に再計算する。
【0078】
図９は、実施の形態の判別装置で用いる事前確率の再計算の処理例を示すフローチャートである。判別装置１００の制御部（ＣＰＵ４０１、主に特徴抽出部１１１）が行う事前確率３の再計算の例を示す。制御部は、アプリケーションの種類、ウィンドウ位置、向き、サイズの情報を取得する（ステップＳ９０１）。そして、制御部は、取得したアプリケーションの種類、ウィンドウ位置、向き、サイズの情報に基づき事前確率３を計算し（ステップＳ９０２）、計算した事前確率に基づき、２次元の事前確率マップを生成し（ステップＳ９０３）、以上の処理を終了する。例えば、制御部は、事前確率２マップ（７００）を用いて事前確率２を計算した後、アプリケーションの種類、ウィンドウ位置、向き、サイズのうちいずれかに変更があった場合に再計算して事前確率３として算出する。
【0079】
そして、判別装置１００の制御部（ＣＰＵ４０１）は、上記の各協働の事前確率に基づいて、ユーザＵの行動（タッチイベント、手指しイベント、密集イベントなど）を検出した場合、協働の確率を更新する。そして、制御部は、検出したユーザＵの行動から算出した確率数値を一定時間内で積分し、積分した数値を協働特徴量とする。複数の協働特徴量をまとめて協働特徴ベクトルとする。以下、各種の協働特徴量の算出例を説明する。
【0080】
（各種の協働特徴量の算出例）
上述したＡ．協働操作特徴量（ｃｏｏｐ）、Ｂ．操作バランス特徴量（ｂａｌａｎｃｅ）、Ｃ．情報共有特徴量（ｓｈａｒｉｎｇ）、Ｄ．協働行動特徴量（ｃｏｌｌａｂｏ）、Ｅ．エンゲージ特徴量（ｅｎｇａｇｅ）について説明する。これらの各協働特徴量は、判別装置（データＰＣ）１００の制御部（ＣＰＵ４０１）が、特に特徴抽出部１１１がプログラム実行により算出し、作業状態認識部１１２に出力する。
上述したＡ．協働操作特徴量（ｃｏｏｐ）、Ｂ．操作バランス特徴量（ｂａｌａｎｃｅ）、Ｃ．情報共有特徴量（ｓｈａｒｉｎｇ）、Ｄ．協働行動特徴量（ｃｏｌｌａｂｏ）、Ｅ．エンゲージ特徴量（ｅｎｇａｇｅ）について説明する。これらの各協働特徴量は、判別装置（データＰＣ）１００の制御部（ＣＰＵ４０１）が、特に特徴抽出部１１１がプログラム実行により算出し、作業状態認識部１１２に出力する。
【0081】
Ａ．協働操作特徴量（ｃｏｏｐ）
複数のユーザＵ（Ｕ１～Ｕ４）が同時に作業する時に、各ユーザＵは自分の目の前のエリアで作業することが多い。また、協働した作業の時に、テーブルＴのほぼ中央で作業することが多い。このような傾向から、テーブルＴを協働作業用エリアと、個人作業用エリアとに仮想的に分割し、これら協働作業用エリアと、個人作業用エリアに異なるタッチ重みを付与した事前確率マップ５００を作成しておく。
複数のユーザＵ（Ｕ１～Ｕ４）が同時に作業する時に、各ユーザＵは自分の目の前のエリアで作業することが多い。また、協働した作業の時に、テーブルＴのほぼ中央で作業することが多い。このような傾向から、テーブルＴを協働作業用エリアと、個人作業用エリアとに仮想的に分割し、これら協働作業用エリアと、個人作業用エリアに異なるタッチ重みを付与した事前確率マップ５００を作成しておく。
【0082】
そして、制御部（特徴抽出部１１１）は、事前確率マップ５００を参照しタッチイベントがあった際に、一定時間内の重み付き和を計算し、協働操作特徴量とする。重みの獲得方法は、例えば、
例１：テーブルＴの中央エリアをタッチした場合に高い重み、周辺をタッチした場合に低い重みとし、重みマトリクスをアドホックに設定する。
例２：「協働」ラベルを付けたタッチイベントのサンプルから、エリア毎のタッチヒストグラムから獲得する。
例１：テーブルＴの中央エリアをタッチした場合に高い重み、周辺をタッチした場合に低い重みとし、重みマトリクスをアドホックに設定する。
例２：「協働」ラベルを付けたタッチイベントのサンプルから、エリア毎のタッチヒストグラムから獲得する。
【0083】
協働操作特徴量は、あるタッチイベントを観測した場合、タッチ動作が起きた確率をｐt（ｘ，ｙ）とする。ただし、ここでは、ｐt（ｘ，ｙ）＝１．０とし、協働操作特徴量を下記式（２）で定義する。
【0084】
【数2】
【0085】
図１０は、実施の形態にかかる協働操作特徴量の算出例を示すフローチャートである。制御部（ＣＰＵ４０１）の特徴抽出部１１１が協働操作特徴量を算出する際の処理例を説明する。
【0086】
はじめに、制御部は、ユーザＵによるタッチペンＰ等によるタッチイベントを待ち受け（ステップＳ１００１）、タッチイベントの有無を判断する（ステップＳ１００２）。制御部は、タッチイベントの入力がない間は（ステップＳ１００２：Ｎｏ）、ステップＳ１００１の処理に戻り、タッチイベントが入力されれば（ステップＳ１００２：Ｙｅｓ）、テーブルＴ上でのタッチ座標を抽出する（ステップＳ１００３）。
【0087】
そして、制御部は、事前確率を読み出す（ステップＳ１００４）。ここでは、制御部は、図６に示す事前確率１の事前確率マップ５００を読み出す。そして、制御部は、読み出した事前確率を一定時間分（例えば３分）積分し（ステップＳ１００５）、協働操作特徴量（ｃｏｏｐ）を算出し（ステップＳ１００６）、以上の処理を終了する。制御部は、算出した協働操作特徴量（ｃｏｏｐ）をメモリ４０２等に格納し、作業状態認識部１１２に対する、一つの協働特徴量として出力する。
【0088】
Ｂ．操作バランス特徴量（ｂａｌａｎｃｅ）
複数のユーザＵ（Ｕ１～Ｕ４）が並行して個人作業をする際、テーブルＴの各ゾーンにおいて同時タッチイベントが多く発生する傾向がある。このため、制御部（特徴抽出部１１１）は、テーブルＴ上の各箇所のタッチイベント頻度の均等性（バラツキ）を操作バランス特徴量として算出する。
複数のユーザＵ（Ｕ１～Ｕ４）が並行して個人作業をする際、テーブルＴの各ゾーンにおいて同時タッチイベントが多く発生する傾向がある。このため、制御部（特徴抽出部１１１）は、テーブルＴ上の各箇所のタッチイベント頻度の均等性（バラツキ）を操作バランス特徴量として算出する。
【0089】
図１１は、実施の形態における操作バランス特徴量を説明する図である。例えば、テーブルＴ全体の合計タッチ回数における、各ユーザＵ１～Ｕ４の位置に対応したＡゾーン～Ｄゾーンの合計タッチ回数の占める割合のバラツキを操作バランス特徴量とする。
【0090】
各ユーザＵ１～Ｕ４が個人作業を行っている場合、Ａゾーン～Ｄゾーンで発生しているタッチ頻度がほぼ同じになる。一方、各ユーザＵ１～Ｕ４が協働作業を行っている場合、テーブルＴ上の一部のゾーン（例えばＡゾーン）だけでタッチイベントが発生している可能性が高いので、操作バランス度が低い。このように、操作バランス度が高いほうが、個人ワークの傾向が強く、操作バランス度が低いほうが、協働の傾向が強いことを示す。
【0091】
例えば、下記式（３）では、ユーザ数４に対応して、テーブルＴをＡ～Ｄの４つのゾーンに分割した場合、ＩA
tはＡゾーンでのタッチ頻度を示す。ｑA
tはＡゾーンのタッチ頻度がテーブルＴ全体（Ａ～Ｄゾーン）のタッチ頻度に占める割合と、ある理想割合値との差を示す。テーブルＴを４分割した例では、理想割合値が０．２５になる。例えば、メンバー全員が平行に作業している場合、ｑA
t，ｑB
t，ｑC
t，ｑD
tの値がほぼ均等になり、操作バランス特徴量（ｂａｌａｎｃｅ）（ｔ）が０に近くなる。
【0092】
【数3】
【0093】
上記式（３）は、以下のように示すこともできる。
例えば、Ａゾーン偏差値＝｛（Ａゾーン合計タッチイベント数）／（テーブルＴ全体合計タッチ数）｝－（１／ゾーン数）
Ｂゾーン偏差値＝｛（Ｂゾーン合計タッチイベント数）／（テーブルＴ全体合計タッチ数）｝－（１／ゾーン数）
：
操作バランス特徴量＝最大ゾーン偏差値－最小ゾーン偏差値
例えば、Ａゾーン偏差値＝｛（Ａゾーン合計タッチイベント数）／（テーブルＴ全体合計タッチ数）｝－（１／ゾーン数）
Ｂゾーン偏差値＝｛（Ｂゾーン合計タッチイベント数）／（テーブルＴ全体合計タッチ数）｝－（１／ゾーン数）
：
操作バランス特徴量＝最大ゾーン偏差値－最小ゾーン偏差値
【0094】
なお、この操作バランス特徴量（ｂａｌａｎｃｅ）は、操作バランス度が、協働の確率を示す数値ではなく、上述した協働操作特徴量（ｃｏｏｐ）から延長した特徴量である。
【0095】
図１２は、実施の形態にかかる操作バランス特徴量の算出例を示すフローチャートである。制御部（ＣＰＵ４０１）の特徴抽出部１１１が操作バランス特徴量を算出する際の処理例を説明する。
【0096】
はじめに、制御部は、ユーザＵによるタッチペンＰ等によるタッチイベントを待ち受け（ステップＳ１２０１）、タッチイベントの有無を判断する（ステップＳ１２０２）。制御部は、タッチイベントの入力がない間は（ステップＳ１２０２：Ｎｏ）、ステップＳ１２０１の処理に戻り、タッチイベントが入力されれば（ステップＳ１２０２：Ｙｅｓ）、テーブルＴ上でのタッチ座標を抽出する（ステップＳ１２０３）。
【0097】
そして、制御部は、図１１に示したテーブルＴ上でタッチされたゾーンを特定し（ステップＳ１２０４）、上記式（３）等の演算を一定時間分（例えば３分）積分し、操作バランス特徴量（ｂａｌａｎｃｅ）を算出する（ステップＳ１２０５）。そして、制御部は、算出した操作バランス特徴量（ｂａｌａｎｃｅ）をメモリ４０２等に格納し、作業状態認識部１１２に対する、一つの協働特徴量として出力し（ステップＳ１２０６）、以上の処理を終了する。
【0098】
つぎに、Ｃ．情報共有特徴量（ｓｈａｒｉｎｇ）、Ｄ．協働行動特徴量（ｃｏｌｌａｂｏ）、Ｅ．エンゲージ特徴量（ｅｎｇａｇｅ）では、制御部（特徴抽出部１１１）は、それぞれ上述した事前確率２、あるいは事前確率３を用いて算出する。事前確率３は、事前確率２を用いた特徴量の算出後、アプリケーションの向きが変更された場合に再計算により得られる。
【0099】
Ｃ．情報共有特徴量（ｓｈａｒｉｎｇ）
制御部（特徴抽出部１１１）は、テーブルＴ上に開かれているアプリケーションの種類、レイアウト特徴（サイズ、向き、位置）から協働重みを算出する。そして、一定時間内のタッチイベントの重み付き平均を情報共有特徴量として算出する。また、一旦決まったアプリケーションのレイアウトがユーザの操作によって変わった場合、重みマップを再算出する。協働重みは、例えば、下記例１，２により取得する。
例１：設計者がアドホックに設定する。
例２：「協働」とラベリングしたデータサンプルにアプリケーション毎、レイアウト毎の頻度から獲得する。
制御部（特徴抽出部１１１）は、テーブルＴ上に開かれているアプリケーションの種類、レイアウト特徴（サイズ、向き、位置）から協働重みを算出する。そして、一定時間内のタッチイベントの重み付き平均を情報共有特徴量として算出する。また、一旦決まったアプリケーションのレイアウトがユーザの操作によって変わった場合、重みマップを再算出する。協働重みは、例えば、下記例１，２により取得する。
例１：設計者がアドホックに設定する。
例２：「協働」とラベリングしたデータサンプルにアプリケーション毎、レイアウト毎の頻度から獲得する。
【0100】
この情報共有特徴量は、テーブルＴ上でユーザＵがタッチ操作したアプリケーションやコンテンツの表示位置、向き、サイズなどの属性によって、タッチ動作が協働である可能性を示す特徴量であり、例えば、下記式（４）で示すことができる。
【0101】
【数4】
【0102】
図１３Ａ，図１３Ｂは、実施の形態における情報共有特徴量を説明する図である。図１３Ａ（ａ）に示すように、テーブルＴ上にアプリケーションＡ，Ａ１、Ａ２が０度の向きで配置されているとする。また、アプリケーションＢが１８０度の向き（図の下側にアプリケーションＢの上部Ｈが位置し、図の上側にアプリケーションＢの下部Ｌが位置した状態）であったとする。
【0103】
この場合の各アプリケーションの重み（事前確率２に相当）は、アプリケーションの表示位置、向き、サイズ等に基づく。例えば、図１３Ａ（ｂ）に示すように、アプリケーションＢの重みＷ２が所定の高い値であり、アプリケーションＡ，Ａ１、Ａ２の重みＷ３がいずれも所定の低い値であったとする。なお、重みはＷ１＞Ｗ２＞Ｗ３＞Ｗ４であるとする。
【0104】
ここで、図１３Ａ（ｃ）に示すように、アプリケーションＡのサイズおよび向きが変更されたとする。アプリケーションＡは図１３Ａ（ａ）の状態に対してサイズが大きく拡大され、また、向きが９０度に変更されたとする（図の左側にアプリケーションＡの上部Ｈが位置し、図の右側にアプリケーションＡの下部Ｌが位置した状態）。
【0105】
この場合、制御部（特徴抽出部１１１）は、図１３Ａ（ｄ）に示すように、アプリケーションＡの向きが９０度に変更されたことにより、このアプリケーションＡが複数のユーザＵの協働作業に用いられるものと判断する。例えば、制御部（特徴抽出部１１１）は、変更前の向きとサイズに対して変更後の向きとサイズの情報に基づき再計算し、アプリケーションＡの重みをＷ２に対してより高い値のＷ１に変更する（事前確率３に相当）。
【0106】
また、制御部（特徴抽出部１１１）は、上位の向きおよびサイズに加え、各アプリケーションＡ，Ａ１，Ａ２，Ｂに対するタッチ操作の頻度を含め重みを変更することができる。例えば、図１３Ｂ（ａ）は、各アプリケーションのタッチイベント（タッチ頻度）を示す。横軸は時間、縦軸は協働重みである。アプリケーションＡ１，Ａ２のタッチ頻度に比して、アプリケーションＡのタッチ頻度が多い。図１３Ｂ（ｂ）は、横軸が時間、縦軸が情報共有特徴量を示す。制御部（特徴抽出部１１１）は、上記のサイズと向きの情報に加えて、図１３Ｂ（ｂ）で突出した特性ＳＰに基づき、対応するアプリケーションＡでのアタッチ頻度が多いことに基づき、アプリケーションＡの重みを高めＷ１に変更することができる。
【0107】
図１４は、実施の形態にかかる情報共有特徴量の算出例を示すフローチャートである。制御部（ＣＰＵ４０１）の特徴抽出部１１１が情報共有特徴量（ｓｈａｒｉｎｇ）を算出する際の処理例を説明する。
【0108】
はじめに、制御部は、ユーザＵによるタッチペンＰ等によるタッチイベントを待ち受け（ステップＳ１４０１）、タッチイベントの有無を判断する（ステップＳ１４０２）。制御部は、タッチイベントの入力がない間は（ステップＳ１４０２：Ｎｏ）、ステップＳ１４０１の処理に戻り、タッチイベントが入力されれば（ステップＳ１４０２：Ｙｅｓ）、テーブルＴ上でのタッチ座標を抽出する（ステップＳ１４０３）。
【0109】
そして、制御部は、タッチ操作されたアプリケーションを各アプリケーションの領域内であるか否かに基づき判別する（ステップＳ１４０４）。例えば、上記のアプリケーションＡ，Ａ１，Ａ２，Ｂのいずれかの領域の内部であれば（ステップＳ１４０４：Ｙｅｓ）、ステップＳ１４０５の処理に移行する。一方、上記のアプリケーションＡ，Ａ１，Ａ２，Ｂのいずれかの領域の外部、すなわちテーブルＴのタッチ操作であれば（ステップＳ１４０４：Ｎｏ）、ステップＳ１４０１の処理に戻る。
【0110】
ステップＳ１４０５では、制御部は、アプリケーション毎の事前確率３を読み出し（ステップＳ１４０５）、上記式（４）等の演算を一定時間分（例えば３分）積分し、情報共有特徴量（ｓｈａｒｉｎｇ）を算出する（ステップＳ１４０６）。そして、制御部は、算出した情報共有特徴量（ｓｈａｒｉｎｇ）をメモリ４０２等に格納し、作業状態認識部１１２に対する、一つの協働特徴量として出力し（ステップＳ１４０７）、以上の処理を終了する。
【0111】
Ｄ．協働行動特徴量（ｃｏｌｌａｂｏ）
制御部（特徴抽出部１１１）は、カメラ３１１が撮影したユーザＵの手指し行動の動きベクトルをテーブルＴへマッピングし、アプリケーションの表示画面上での滞留イベントに対して、一定時間内の協働重み付き平均和を算出する。この重み付き平均和を協働行動特徴量として算出する。
制御部（特徴抽出部１１１）は、カメラ３１１が撮影したユーザＵの手指し行動の動きベクトルをテーブルＴへマッピングし、アプリケーションの表示画面上での滞留イベントに対して、一定時間内の協働重み付き平均和を算出する。この重み付き平均和を協働行動特徴量として算出する。
【0112】
このように、ユーザＵがアプリケーションやコンテンツへの手指しを検出した場合、協働作業をしている可能性が高い、このため、例えば、制御部（特徴抽出部１１１）は、下記式（５）に基づき協働確率（協働行動特徴量）を計算する。
【0113】
【数5】
【0114】
ここでは、手が検出された場合、ｐk（ｈａｎｄ）＝１．０とする。同じ時刻ｋにタッチイベントが検出された場合、ｐk（ｘ，ｙ）＝１．０とする。このため、アプリケーションの上に手の存在が検出されたと同時に、タッチイベントも発生した場合、ｃｏｌｌａｂｏ（ｔ）＝０になる。一方、タッチイベントが発生していない場合の協働行動特徴量は、下記式（６）で示される。
【0115】
【数6】
【0116】
図１５は、実施の形態における協働行動特徴量を説明する図である。図１５（ａ）に示すように、テーブルＴ上にアプリケーションＡ１，Ａ２，Ｂが０度の向きで配置され、アプリケーションＡが９０度の向き（図の左側にアプリケーションＡの上部Ｈが位置し、右側にアプリケーションＡの下部Ｌが位置した状態）であったとする。
【0117】
そして、テーブルＴ上のアプリケーションＡ，Ａ１，Ａ２，Ｂに対してユーザＵが手指し行動を行った場合、カメラ３１１がユーザＵの手ＵＨの動きを撮影する。制御部（特徴抽出部１１１）は、このユーザＵの手ＵＨの動きベクトルをテーブルＴへマッピングする。図１５（ａ）の例では、アプリケーションＡ、Ｂに対してユーザＵの手ＵＨの動きが検出された状態である。
【0118】
図１５（ｂ）に示す例では、アプリケーションＡは、最も大きく表示されており、かつ向きが９０度である。制御部（特徴抽出部１１１）は、アプリケーションＡが複数のユーザＵの協働作業に用いられるものと判断し、アプリケーションＡの重みが最も高い値Ｗ１に設定する。他のアプリケーションＢの重みはＷ２、アプリケーションＡ１，Ａ２の重みはＷ３である（テーブルＴ部分は重みＷ４）。各重みは上述した事前確率３に相当する。
【0119】
そして、制御部（特徴抽出部１１１）は、アプリケーションＡ、Ｂに対する手指し行動を検出する。図示のように、手ＵＨは、アプリケーションＡ，Ｂの領域の外部から内部に出し入れする如く移動する。
【0120】
そして、制御部（特徴抽出部１１１）は、アプリケーションＡ、Ｂの表示画面上での滞留イベントに対して、一定時間内の協働重み付き平均和を算出し、協働行動特徴量とする。ここで、動きのある箇所で同時にタッチイベントがあった場合、その動きイベントを重み付き平均和の計算から除く。すなわち、ユーザＵのＵＩ操作や書き込みは、情報シェアリング行動と見なさないため、タッチイベントを取り除く。
【0121】
図１５（ｃ）は、協働行動特徴量を示し、横軸は時間、縦軸は協働行動特徴量である。このように、タッチイベントを取り除いた後のイベント系列、すなわち、手ＵＨの動きに対応した情報のみを協働行動特徴量として出力することができる。
【0122】
図１６は、実施の形態にかかる協働行動特徴量の算出例を示すフローチャートである。制御部（ＣＰＵ４０１）の特徴抽出部１１１が協働行動特徴量（ｃｏｌｌａｂｏ）を算出する際の処理例を説明する。
【0123】
はじめに、制御部は、カメラ３１１が撮影したテーブルＴ部分の画像を読み込む（ステップＳ１６０１）。そして、制御部は、画像から前景、すなわちユーザＵの手ＵＨを抽出する（ステップＳ１６０２）。この際、画像からユーザＵ以外の背景領域を除去する。この後、制御部は、画像からテーブルＴの外側のオブジェクトを除去し（ステップＳ１６０３）、画像（前景）を２値化する（ステップＳ１６０４）。
【0124】
この後、制御部は、画像からテーブルＴの内側（テーブルＴ面に相当）のオブジェクトを抽出し（ステップＳ１６０５）、画像からユーザＵの手ＵＨを認識する（ステップＳ１６０６）。この際、例えば、２値画像に対してピクセルをグルーピングして領域をセグメンテーションし、各セグメントに対して長方形をフィッティングして、手ＵＨらしいオブジェクトを抽出する。
【0125】
そして、制御部は、手ＵＨを認識していない間は（ステップＳ１６０７：Ｎｏ）、ステップＳ１６０１の処理に戻り、手ＵＨを認識すれば（ステップＳ１６０７：Ｙｅｓ）、画像から手ＵＨの重心座標を算出する（ステップＳ１６０８）。
【0126】
この後、制御部は、算出した手ＵＨの重心位置がアプリケーション窓（領域）の内側であるか判断する（ステップＳ１６０９）。制御部は、手ＵＨの重心位置がアプリケーション窓（領域）の内側でなければ（ステップＳ１６０９：Ｎｏ）、ステップＳ１６０１の処理に戻る。一方、手ＵＨの重心位置がアプリケーション窓（領域）の内側であれば（ステップＳ１６０９：Ｙｅｓ）、手ＵＨの重心位置が内側に位置するアプリケーションが操作されているかを判断する（ステップＳ１６１０）。
【0127】
そして、制御部は、手ＵＨの重心位置が内側に位置するアプリケーションが操作されていれば（ステップＳ１６１０：Ｙｅｓ）、ステップＳ１６０１の処理に戻る。この操作とは、上述したユーザＵによるＵＩ操作や書き込みに相当する。
【0128】
一方、手ＵＨの重心位置が内側に位置するアプリケーションが操作されていなければ（ステップＳ１６１０：Ｎｏ）、制御部は、メモリ４０２から事前確率（事前確率３）を読み込む（ステップＳ１６１１）。そして、上記式（５）、（６）等の演算を一定時間分（例えば３分）累積（積分）し、協働行動特徴量（ｃｏｌｌａｂｏ）を算出する（ステップＳ１６１２）。そして、制御部は、算出した協働行動特徴量（ｃｏｌｌａｂｏ）をメモリ４０２等に格納し、作業状態認識部１１２に対する、一つの協働特徴量として出力し（ステップＳ１６１３）、以上の処理を終了する。
【0129】
Ｅ．エンゲージ特徴量（ｅｎｇａｇｅ）
制御部（特徴抽出部１１１）は、カメラ３１１で撮影したユーザＵの位置と各アプリケーションの表示画面（領域）の中心位置との間の距離に対して、一定時間内の協働重み付き平均和を算出し、この重み付き平均和をエンゲージ特徴量として算出する。例えば、協働で使用するアプリケーションに複数のユーザＵが近寄っている場合、エンゲージ特徴量が大きくなる。
制御部（特徴抽出部１１１）は、カメラ３１１で撮影したユーザＵの位置と各アプリケーションの表示画面（領域）の中心位置との間の距離に対して、一定時間内の協働重み付き平均和を算出し、この重み付き平均和をエンゲージ特徴量として算出する。例えば、協働で使用するアプリケーションに複数のユーザＵが近寄っている場合、エンゲージ特徴量が大きくなる。
【0130】
エンゲージ特徴量（ｅｎｇａｇｅ）は、ユーザＵがアプリケーションやコンテンツの周りに密集する度合いを示す特徴量であり、下記式（７）で示される。
【0131】
【数7】
【0132】
（Ａ：テーブルＴ上に表示したアプリケーションやコンテンツのリスト、｜Ａ｜：テーブルＴ上に表示したアプリケーションやコンテンツの数、Ｂ：テーブルＴの周りに位置するユーザＵ、｜Ｂ｜：テーブルＴの周りのユーザＵの人数、ｄｉｓｔ（ａ，ｂ）：アプリケーションａの中心位置からユーザｂまでの距離）
【0133】
図１７は、実施の形態におけるエンゲージ特徴量を説明する図である。図１７（ａ）に示すように、テーブルＴ上にアプリケーションＡ１，Ａ２，Ｂが０度の向きで配置され、アプリケーションＡが９０度の向き（図の左側にアプリケーションＡの上部Ｈが位置し、右側にアプリケーションＡの下部Ｌが位置した状態）であったとする。また、テーブルＴには図の上下に２名ずつ計４名のユーザＵ（Ｕ１～Ｕ４）が位置していたとする。
【0134】
そして、制御部は、図１７（ｂ）に示すように、各アプリケーションＡ，Ａ１，Ａ２，Ｂに対する各ユーザＵ（Ｕ１～Ｕ４）の距離を算出する。例えば、アプリケーションＡに対するユーザＵ１の距離はＬ１Ａ、ユーザＵ３の距離はＬ３Ａである。ユーザＵの中心位置は、例えばユーザＵの頭ＵＡの重心位置を用いる。図１７（ｂ）では、複数のユーザＵ（Ｕ１～Ｕ４）のうち、ユーザＵ２，Ｕ４が左側に寄って位置している。この場合、テーブルＴ上で左側に位置しているアプリケーションＡの重みＷ１が最も高くなる。
【0135】
図１７（ｃ）は、エンゲージ特徴量の変化状態を示す。図１７（ｃ）の右側に示すように、通常はテーブルＴに対しほぼ均等に各ユーザＵ（Ｕ１～Ｕ４）が位置する。これに対し、図１７（ｃ）の左側に示したように、各ユーザＵ（Ｕ１～Ｕ４）がテーブルＴの左側に寄って位置していたとする。この場合、制御部は、テーブルＴの左側にユーザＵ（Ｕ１～Ｕ４）が密集していると判断する。すなわち、テーブルＴの左側に位置するアプリケーションＡに対する各ユーザＵ（Ｕ１～Ｕ４）の距離が近づいた状態である。この場合、制御部は、アプリケーションＡに対するエンゲージ特徴量で見ると、図の右側よりも左側の状態の時、アプリケーションＡに対するエンゲージ特徴量を大きく設定する。
【0136】
図１８は、実施の形態にかかるエンゲージ特徴量の算出例を示すフローチャートである。制御部（ＣＰＵ４０１）の特徴抽出部１１１がエンゲージ特徴量（ｅｎｇａｇｅ）を算出する際の処理例を説明する。
【0137】
はじめに、制御部は、カメラ３１１が撮影したテーブルＴおよびユーザＵを含む部分の画像を読み込む（ステップＳ１８０１）。そして、制御部は、画像から前景、すなわち各ユーザＵ（Ｕ１～Ｕ４）を抽出し（ステップＳ１８０２）、各ユーザＵの頭ＵＡを抽出する（ステップＳ１８０３）。この後、制御部は、画像に含まれている複数のユーザＵ（Ｕ１～Ｕ４）それぞれの頭ＵＡの位置を取得する（ステップＳ１８０４）。この際、例えば、制御部は、前景領域から頭らしいオブジェクトを検出し、例えば、頭の形状○相当でフィッティングし、○らしい領域を頭ＵＡと見なす。
【0138】
全ユーザＵ（Ｕ１～Ｕ４）の頭ＵＡを取得していない間は（ステップＳ１８０４：Ｎｏ）、ステップＳ１８０２の処理に戻る。そして、全ユーザＵ（Ｕ１～Ｕ４）の頭ＵＡを認識すれば（ステップＳ１８０４：Ｙｅｓ）、各ユーザＵ（Ｕ１～Ｕ４）の頭ＵＡの重心座標を算出する（ステップＳ１８０５）。
【0139】
この後、制御部は、各ユーザＵ（Ｕ１～Ｕ４）の頭ＵＡの重心位置と、テーブルＴ上のアプリケーション（Ａ，Ａ１，Ａ２，Ｂ）の窓中心（領域）との距離をそれぞれ算出するう（ステップＳ１８０６）。そして、制御部は、メモリ４０２から事前確率（事前確率３）を読み込み（ステップＳ１８０７）、ステップＳ１８０６で算出した距離に基づき事前確率（事前確率３）を更新する（ステップＳ１８０８）。
【0140】
そして、制御部は上記式（７）等の演算を一定時間分累積（積分）し（例えば３分）、エンゲージ特徴量（ｅｎｇａｇｅ）を算出する（ステップＳ１８０９）。そして、制御部は、算出したエンゲージ特徴量（ｅｎｇａｇｅ）をメモリ４０２等に格納し、作業状態認識部１１２に対する、一つの協働特徴量として出力し（ステップＳ１８１０）、以上の処理を終了する。
【0141】
以上説明したＡ．協働操作特徴量（ｃｏｏｐ）～Ｅ．エンゲージ特徴量（ｅｎｇａｇｅ）の各協働特徴量は、制御部（ＣＰＵ４０１）の特徴抽出部１１１がプログラム実行により算出する。
【0142】
そして、これらＡ．協働操作特徴量（ｃｏｏｐ）～Ｅ．エンゲージ特徴量（ｅｎｇａｇｅ）の各協働特徴量は、グループ活動の協働／非協働判別のための識別モデルの学習用の教師データとして用いる。例えば、教師データとして、識別モデルの構築者が上記の各協働特徴量と同期したビデオ（すなわち、カメラ３１１の撮影画像の録画等）を見て、協働／非協働を特徴量へラベリングする作業を行い、識別モデルの学習用の教師データとする。
【0143】
そして、作業状態認識部１１２には、ラベリングされた上記の協働特徴量、または、協働特徴量を含む特徴量が入力される（図２参照）。作業状態認識部１１２は、協働／非協働の判別モデルとして、機械学習分野で一般的に利用されている公知のモデルを利用する。例えば、ニューラルネットワーク（図２の符号２００）、ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ、ｒａｎｄｏｍ ｆｏｒｅｓｔ等を利用することができる。
【0144】
そして、作業状態認識部１１２は、グループ活動の協働／非協働であるかをオンライン判別する。リアルタイムに抽出した協働特徴量は、作業状態認識部１１２の学習済みの判別モデルに入力することで、オンラインで協働／非協働状態を判別する。そして、作業状態認識部１１２は、協働／非協働の判別結果を、必要とするアプリケーション（例えば、図１の振り返りダッシュボードサービスＲ）にリアルタイムに出力する。
【0145】
（他のシステム構成例）
上述した判別システム（図３Ａ，図３Ｂ）の判別装置１００では、主に画像を用いて協働特徴量を算出する構成とした。これに加えて、判別装置１００は、グループ活動時の各ユーザＵの会話時の音声を用いてさらに他の協働特徴量として、Ｆ．会話特徴量（ｃｏｎｖｅｒｓａｔｉｏｎ）を算出することができる。
上述した判別システム（図３Ａ，図３Ｂ）の判別装置１００では、主に画像を用いて協働特徴量を算出する構成とした。これに加えて、判別装置１００は、グループ活動時の各ユーザＵの会話時の音声を用いてさらに他の協働特徴量として、Ｆ．会話特徴量（ｃｏｎｖｅｒｓａｔｉｏｎ）を算出することができる。
【0146】
図１９Ａ，図１９Ｂは、実施の形態にかかる判別システムの他の構成例を示す図である。これらの図において、図３Ａ，図３Ｂと同じ構成には同じ符号を付している。図１９Ａに示すように、空間ＵＩ技術に関する構成として、図３Ａで説明したプロジェクタ３１０、カメラ３１１、人認識センサ３１２、タッチペンＰ、ユニットＰＣ３１３、に加えて、テーブルＴの中心位置にマイクアレイ１９００を設ける。例えば、マイクアレイ１９００は、複数のマイクロフォンを有し、各ユーザＵ（Ｕ１～Ｕ４）それぞれの発声を方向別に３６０度の全方向で検出する。
【0147】
【0148】
図２０は、実施の形態にかかる会話特徴量の算出例を示すフローチャートである。制御部（ＣＰＵ４０１）の特徴抽出部１１１がＦ．会話特徴量（ｃｏｎｖｅｒｓａｔｉｏｎ）を算出する際の処理例を説明する。
【0149】
はじめに、制御部は、２次元事前確率マップを生成する（ステップＳ２００１）。この２次元事前確率マップは、上述同様にテーブルＴ同様のサイズを有し、アプリケーション毎の重みを設定したものである（例えば、図６参照）。
【0150】
つぎに、制御部は、マイクアレイ１９００が収音した音声を検出し（ステップＳ２００２）、この音声がユーザＵの発声イベントであるか否かを判断する（ステップＳ２００３）。例えば、雑音などユーザＵの発声イベントでなければ（ステップＳ２００３：Ｎｏ）、ステップＳ２００２の処理に戻る。
【0151】
一方、制御部は、ユーザＵの発声イベントであると判断すれば（ステップＳ２００３：Ｙｅｓ）、発声したユーザＵの音源方向を検出し（ステップＳ２００４）、音声イベントテーブルに時刻と音源方向（度）を登録する（ステップＳ２００５）。
【0152】
この後、制御部は、今回の発声イベントの直前に発声イベントがあったかを判断する（ステップＳ２００６）。今回の発声イベントの直前に発声イベントがなければ（ステップＳ２００６：Ｎｏ）、ステップＳ２００２の処理に戻る。一方、今回の発声イベントの直前に発声イベントがあれば（ステップＳ２００６：Ｙｅｓ）、制御部は、複数のユーザＵによる対話イベントと判定する（ステップＳ２００７）。
【0153】
この後、制御部は、両話者の中間位置の座標を算出する（ステップＳ２００８）。例えば、両話者それぞれの発声方向（度）に基づき両話者の中間位置の座標を算出する。そして、制御部は、算出した両話者の中間位置の座標に対応した事前確率（上記の事前確率３）をメモリ４０２から読み込む（ステップＳ２００９）。
【0154】
そして、制御部は読み込んだ事前確率を一定時間分累積（積分）し（例えば３分）、会話特徴量（ｃｏｎｖｅｒｓａｔｉｏｎ）を算出する（ステップＳ２０１０）。そして、制御部は、算出した会話特徴量（ｃｏｎｖｅｒｓａｔｉｏｎ）をメモリ４０２等に格納し、作業状態認識部１１２に対する、一つの協働特徴量として出力し（ステップＳ２０１１）、以上の処理を終了する。
【0155】
図２１は、実施の形態にかかる会話特徴量の算出例を説明する図である。図２１（ａ）には、音声イベントテーブル２１００を示す。制御部（特徴抽出部１１１）は、上記処理（ステップＳ２００５）により、音声イベントテーブル２１００に発生イベント毎の時刻と、音源方向（度）を登録していく。
【0156】
また、図２１（ｂ）には、上記処理（ステップＳ２００８）による両話者の中間位置の座標算出例を示す。例えば、制御部がユーザＵ１とＵ２の発声が対話イベントと判定した場合において、マイクアレイ１９００がユーザＵ１の音源方向が１５０度、ユーザＵ２の音源方向が２７０度であったとする。なお、テーブルＴの横方向が０度である。この場合、制御部は、ユーザＵ１とＵ２を繋ぐ仮想線上での両話者の中間位置Ｃを算出する。中間位置Ｃは、テーブルＴの縦方向の中心位置のうち、横方向の座標上に位置する。
【0157】
以上のように、判別システムは、協働特徴量として、音声を用いてユーザＵ間の対話を検出した会話特徴量（ｃｏｎｖｅｒｓａｔｉｏｎ）を算出することができる。これにより、協働特徴量として画像に加えて音声の情報を用いることができ、判別システムは、より多くの協働特徴量の情報を用いてより正確にグループ作業の協働／非協働状態を判別できるようになる。
【0158】
以上説明した実施の形態は、グループ作業に関わる複数のユーザに対するアプリケーション等のオブジェクトの種類や、表示したテーブル上での大きさ、向き等の表示状態を示す情報をそれぞれ時間的に積分した特徴量を算出する。また、表示したアプリケーションに対する複数のユーザの位置や手指し等の行動状態、を示す情報をそれぞれ時間的に積分した特徴量を算出する。そして、算出した特徴量に基づき、複数のユーザがグループ作業を協働して行っているか否かを判別する。これらの特徴量は、グループ作業時に複数のユーザが協働しているかを判別するのに適した異なる情報であり、協働の有無を正確に判別できるようになる。
【0159】
また、制御部は、特徴量の一つとして、オブジェクトの種類、大きさ、および複数のユーザへの提示の向き、にそれぞれ対応した重みを予め事前確率として記憶する。そして、オブジェクトの種類、大きさ、および複数のユーザへの提示の向き、に対応した情報共有特徴量を算出する。これにより、グループ作業時には、予め用意した事前確率の情報を用いて、例えば、ユーザに対するオブジェクトの提示状態を示す情報共有特徴量を迅速かつ簡単に算出でき、この情報共有特徴量を用いて、協働の有無を正確に判別できるようになる。また、オブジェクトの種類、大きさ、および複数のユーザへの提示の向き、のいずれかの変更があった場合、事前確率を当該変更に対応した重みを用いて情報共有特徴量を再算出する。これにより、事前確率を用いつつ、グループ作業時のオブジェクトの表示状態の変更に対応してリアルタイムに情報共有特徴量を更新でき、協働の有無を常に正確に判別できるようになる。
【0160】
また、制御部は、特徴量の一つとして、提示されたオブジェクトに対する複数のユーザの手の動きに基づく協働行動特徴量を算出する。これにより、オブジェクトに対するユーザの操作に対応して、協働の有無を正確に判別できるようになる。
【0161】
また、制御部は、特徴量の一つとして、オブジェクトの提示位置と、複数のユーザとの間の距離に基づき、複数のユーザの相対的密集度を表すエンゲージ特徴量を算出する。これにより、あるオブジェクトに対する複数のユーザの相対的な密集度に応じて、協働の有無を正確に判別できるようになる。
【0162】
また、制御部は、特徴量の一つとして、複数のユーザが協働する作業エリア別に異なる重みに基づく協働操作特徴量を算出する。例えば、グループ作業時、テーブル中心で協働することが多いことに対応して、テーブル上での中心の重みを大きくし、周辺ほど重みを小さくする。これにより、作業エリア別の協働の有無を正確に判別できるようになる。
【0163】
また、制御部は、特徴量の一つとして、複数のユーザが協働する全体の作業エリアに対する、複数のユーザの個別の作業エリアでのユーザの行動状態の情報に基づく操作バランス特徴量を算出する。これにより、ユーザが協働せず個別作業しているか否かにより、協働の有無を正確に判別できるようになる。
【0164】
また、制御部は、特徴量の一つとして、ユーザの音声による発声があった場合、直前の他のユーザの発声との関係が対話状態である会話特徴量を算出する。例えば、ユーザの行動に関する特徴量は、上記の手指しに限らず、ユーザ間の会話に基づき得ることができる。これにより、ユーザ間の会話により、協働の有無を正確に判別できるようになる。
【0165】
また、制御部は、グループ作業時に入力される、一つまたは複数の特徴量、および複数のユーザの行動状態、を示す情報を、事前学習した判別モデルに基づいて、複数のユーザがグループ作業を協働して行っているか否かを判別する。上述した各種の特徴量を多く取得できるほど、判別モデルを用いた協働の有無の判別精度を向上できるようになる。
【0166】
また、オブジェクトを、表示によりユーザに提示するプロジェクタ、およびユーザの移動状態を撮影するカメラ、さらには、ユーザの発声および方向を検出するマイクアレイ、を含んでもよい。例えば、プロジェクタは、テーブルまたは壁にオブジェクトを表示し、カメラは、テーブル上に表示されたオブジェクトに対する複数のユーザのタッチ操作を検出する。これら汎用の装置を用いて判別システムを簡単に構築できる。
【0167】
また、制御部は、複数のユーザがグループ作業を協働して行っているか否かの判別結果を、グループ学習の成果を評価するサービス機能部（振り返りダッシュボードサービス）に出力し、グループ作業のテーブルごとの協働／非協働状態の詳細を評価者に通知する。これにより、評価者は、判別結果に基づき、以降のグループ活動の改善等の対策を施すことができるようになる。
【0168】
これらのことから、実施の形態によれば、グループ作業に関わった複数のユーザの協働、あるいは非協働状態を正確に判別できるようになる。この判別には、異なる複数の特徴量を用いることで、グループ作業時の様々な作業パターンに対応できるようになる。
【0169】
例えば、各ユーザが同時に作業するフェーズでアイデアを出し尽くして停滞状態に近い場合と、１人のユーザだけが作業して他の複数のユーザがアイデアを考えて指示を出す状況とでは異なる状況であるが、一定時間内のタッチ操作の総数に大差はない。既存の技術では、各ユーザが協働して作業しているか、あるいは各ユーザが異なる作業を行う等の非協働状態であるか、の判別が困難であった。
【0170】
これに対し、実施の形態では、タッチ数だけではなく、各ユーザの位置やオブジェクトに対する手指しの状態それぞれに異なる各種特徴量を用いる。これにより、各ユーザが協働して作業しているか、あるいは各ユーザが異なる作業を行う等の非協働状態であるか、を正確に判別できるようになる。そして、空間ＵＩ技術を用いて各ユーザに対するＵＩの入出力情報を有効利用し、グループ活動における複数のユーザの協働／非協働状態を適切に判別でき、グループ活動後の評価により、以降のグループ活動の改善や最適化を効率的に遂行できるようになる。
【0171】
なお、本発明の実施の形態で説明した判別制御にかかる方法は、予め用意されたプログラムをサーバ等のプロセッサに実行させることにより実現することができる。本方法は、ハードディスク、フレキシブルディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また本方法は、インターネット等のネットワークを介して配布してもよい。
【0172】
上述した実施の形態に関し、さらに以下の付記を開示する。
【0173】
（付記１）グループ作業に関わる複数のユーザに対するオブジェクトの提示状態、および提示した前記オブジェクトに対する複数の前記ユーザの行動状態、を示す情報をそれぞれ時間的に積分した特徴量を算出し、算出した前記特徴量に基づき、複数のユーザが前記グループ作業を協働して行っているか否かを判別する制御部、
を備えたことを特徴とする判別システム。
を備えたことを特徴とする判別システム。
【0174】
（付記２）前記制御部は、前記特徴量の一つとして、前記オブジェクトの種類、大きさ、および複数の前記ユーザへの提示の向き、にそれぞれ対応した重みを予め事前確率として記憶し、前記オブジェクトの種類、大きさ、および複数の前記ユーザへの提示の向き、に対応した情報共有特徴量を算出し、
前記オブジェクトの種類、大きさ、および複数の前記ユーザへの提示の向き、のいずれかの変更があった場合、前記事前確率を当該変更に対応した重みを用いて前記情報共有特徴量を再算出する、
ことを特徴とする付記１に記載の判別システム。
前記オブジェクトの種類、大きさ、および複数の前記ユーザへの提示の向き、のいずれかの変更があった場合、前記事前確率を当該変更に対応した重みを用いて前記情報共有特徴量を再算出する、
ことを特徴とする付記１に記載の判別システム。
【0175】
（付記３）前記制御部は、前記特徴量の一つとして、提示した前記オブジェクトに対する複数の前記ユーザの手の動きに基づく協働行動特徴量を算出する、
ことを特徴とする付記１または２に記載の判別システム。
ことを特徴とする付記１または２に記載の判別システム。
【0176】
（付記４）前記制御部は、前記特徴量の一つとして、前記オブジェクトの提示位置と、複数の前記ユーザとの間の距離に基づき、複数の前記ユーザの相対的密集度を表すエンゲージ特徴量を算出する、
ことを特徴とする付記１～３のいずれか一つに記載の判別システム。
ことを特徴とする付記１～３のいずれか一つに記載の判別システム。
【0177】
（付記５）前記制御部は、前記特徴量の一つとして、複数の前記ユーザが協働する作業エリア別に異なる重みに基づく協働操作特徴量を算出する、
ことを特徴とする付記１～４のいずれか一つに記載の判別システム。
ことを特徴とする付記１～４のいずれか一つに記載の判別システム。
【0178】
（付記６）前記制御部は、前記特徴量の一つとして、複数の前記ユーザが協働する全体の作業エリアに対する、複数の前記ユーザの個別の作業エリアでの前記ユーザの行動状態の情報に基づく操作バランス特徴量を算出する、
ことを特徴とする付記１～５のいずれか一つに記載の判別システム。
ことを特徴とする付記１～５のいずれか一つに記載の判別システム。
【0179】
（付記７）前記制御部は、前記特徴量の一つとして、前記ユーザの音声による発声があった場合、直前の他のユーザの発声との関係が対話状態である会話特徴量を算出する、
ことを特徴とする付記１～６のいずれか一つに記載の判別システム。
ことを特徴とする付記１～６のいずれか一つに記載の判別システム。
【0180】
（付記８）前記制御部は、前記グループ作業時に入力される、一つまたは複数の前記特徴量、および複数の前記ユーザの行動状態、を示す情報を、事前学習した判別モデルに基づいて、複数の前記ユーザが前記グループ作業を協働して行っているか否かを判別する、
ことを特徴とする付記１～７のいずれか一つに記載の判別システム。
ことを特徴とする付記１～７のいずれか一つに記載の判別システム。
【0181】
（付記９）前記オブジェクトを、表示により前記ユーザに提示するプロジェクタ、および前記ユーザの移動状態を撮影するカメラ、を含むことを特徴とする付記１～８のいずれか一つに記載の判別システム。
【0182】
（付記１０）前記ユーザの発声および方向を検出するマイクアレイ、を含むことを特徴とする付記７～９のいずれか一つに記載の判別システム。
【0183】
（付記１１）前記プロジェクタは、テーブルまたは壁に前記オブジェクトを表示し、前記カメラは、前記テーブル上に表示されたオブジェクトに対する複数の前記ユーザのタッチ操作を検出することを特徴とする付記９に記載の判別システム。
【0184】
（付記１２）前記制御部は、複数のユーザが前記グループ作業を協働して行っているか否かの判別結果を、グループ学習の成果を評価するサービス機能部に出力することを特徴とする付記１～１１のいずれか一つに記載の判別システム。
【0185】
（付記１３）グループ作業に関わる複数のユーザに対するオブジェクトの提示状態、および提示した前記オブジェクトに対する複数の前記ユーザの行動状態を取得し、
前記取得した情報をそれぞれ時間的に積分した特徴量を算出し、
算出した前記特徴量に基づき、複数のユーザが前記グループ作業を協働して行っているか否かを判別する、
処理をコンピュータに実行させることを特徴とする判別制御プログラム。
前記取得した情報をそれぞれ時間的に積分した特徴量を算出し、
算出した前記特徴量に基づき、複数のユーザが前記グループ作業を協働して行っているか否かを判別する、
処理をコンピュータに実行させることを特徴とする判別制御プログラム。
【0186】
（付記１４）グループ作業に関わる複数のユーザに対するオブジェクトの提示状態、および提示した前記オブジェクトに対する複数の前記ユーザの行動状態を取得し、
前記取得した情報をそれぞれ時間的に積分した特徴量を算出し、
算出した前記特徴量に基づき、複数のユーザが前記グループ作業を協働して行っているか否かを判別する、
処理をコンピュータが実行することを特徴とする判別制御方法。
前記取得した情報をそれぞれ時間的に積分した特徴量を算出し、
算出した前記特徴量に基づき、複数のユーザが前記グループ作業を協働して行っているか否かを判別する、
処理をコンピュータが実行することを特徴とする判別制御方法。
【符号の説明】
【0187】
１００ 判別装置（データＰＣ）
１０１ 記憶部
１１１ 特徴抽出部
１１２ 作業状態認識部
１２０ 空間ＵＩ情報入出力装置（ベースＰＣ）
２００ ニューラルネットワーク
２０１ 学習モデル
３１０（３１０ａ～３１０ｄ） プロジェクタ
３１１（３１１ａ～３１１ｄ） カメラ
３１２（３１２ａ～３１２ｄ） 人認識センサ
３１３（３１３ａ～３１３ｄ） ユニットＰＣ
３２０ 空間ＵＩネットワーク
４０１ ＣＰＵ（制御部）
４０２ メモリ
４０３ ネットワークインタフェース
４０５ 記録媒体
５００，７００，８００ 事前確率マップ
１９００ マイクアレイ
２１００ 音声イベントテーブル
Ｐ タッチペン
Ｒ 振り返りダッシュボードサービス
Ｔ テーブル
Ｕ（Ｕ１～Ｕ４） ユーザ
ＵＲ 評価者
Ｗ１～Ｗ５ 重み
１０１ 記憶部
１１１ 特徴抽出部
１１２ 作業状態認識部
１２０ 空間ＵＩ情報入出力装置（ベースＰＣ）
２００ ニューラルネットワーク
２０１ 学習モデル
３１０（３１０ａ～３１０ｄ） プロジェクタ
３１１（３１１ａ～３１１ｄ） カメラ
３１２（３１２ａ～３１２ｄ） 人認識センサ
３１３（３１３ａ～３１３ｄ） ユニットＰＣ
３２０ 空間ＵＩネットワーク
４０１ ＣＰＵ（制御部）
４０２ メモリ
４０３ ネットワークインタフェース
４０５ 記録媒体
５００，７００，８００ 事前確率マップ
１９００ マイクアレイ
２１００ 音声イベントテーブル
Ｐ タッチペン
Ｒ 振り返りダッシュボードサービス
Ｔ テーブル
Ｕ（Ｕ１～Ｕ４） ユーザ
ＵＲ 評価者
Ｗ１～Ｗ５ 重み
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12】
【図13A】
【図13B】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19A】
【図19B】
【図20】
【図21】