(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-02-02
(45)【発行日】2023-02-10
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
H04N 7/15 20060101AFI20230203BHJP
H04N 21/488 20110101ALI20230203BHJP
H04M 3/56 20060101ALI20230203BHJP
H04M 1/00 20060101ALI20230203BHJP
【FI】
H04N7/15
H04N21/488
H04M3/56 C
H04M1/00 R
(21)【出願番号】P 2018119994
(22)【出願日】2018-06-25
【審査請求日】2021-03-24
(73)【特許権者】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】100112335
【氏名又は名称】藤本 英介
(74)【代理人】
【識別番号】100101144
【氏名又は名称】神田 正義
(74)【代理人】
【識別番号】100101694
【氏名又は名称】宮尾 明茂
(74)【代理人】
【識別番号】100124774
【氏名又は名称】馬場 信幸
(72)【発明者】
【氏名】橋本 浩文
(72)【発明者】
【氏名】小川 孝行
【審査官】大西 宏
(56)【参考文献】
【文献】特開平06-141130(JP,A)
【文献】特開平07-334458(JP,A)
【文献】特開2003-304337(JP,A)
【文献】特開2007-006418(JP,A)
【文献】特開2007-043493(JP,A)
【文献】特開2007-047461(JP,A)
【文献】特開2010-074494(JP,A)
【文献】特開2011-030063(JP,A)
【文献】特開2011-081581(JP,A)
【文献】特開2015-207806(JP,A)
【文献】特開2016-189532(JP,A)
【文献】特開2017-112545(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/10
H04N 7/14 - 7/173
H04N 7/20 - 7/56
H04N 21/00 -21/858
H04M 1/00
H04M 1/24 - 1/82
H04M 99/00
H04M 3/00
H04M 3/16 - 3/20
H04M 3/38 - 3/58
H04M 7/00 - 7/16
H04M 11/00 -11/10
(57)【特許請求の範囲】
【請求項1】
音声入力部を備えた情報処理装置において、
複数の参加者の情報を記憶する参加者情報記憶部と、
前記参加者の映像を表示可能な表示部と、
前記音声入力部から入力された音声に基づき、前記参加者の中から発言者を特定する発言者特定部と、
前記発言者の発言時間を計測する発言時間計測部と、
前記発言時間に基づき、前記参加者ごとに発言率を算出する発言率算出部と、
前記映像に含まれている複数の参加者のうち、前記発言率に基づいて通知の対象となる参加者
として、前記発言率が予め定められた発言率上限値を超過する第1の参加者と、前記発言率が予め定められた発言率下限値を下回る第2の参加者とを拡大して表示することで通知をする通知部と、
を備えることを特徴とする情報処理装置。
【請求項2】
議事の開始の時刻である予定時刻及び議事名の情報を含む予定情報を議事ごとに記憶する予定情報記憶部を更に備え、
前記表示部は、前記予定情報に基づき、進行状況を示す進行状況表示を表示することを特徴とする請求項
1に記載の情報処理装置。
【請求項3】
前記進行状況表示は、予定時刻の位置を横位置とした議事名のラベルを並べて表示することを特徴とする請求項
2に記載の情報処理装置。
【請求項4】
現在時刻が未完了の前記議事の予定時刻を超えた場合に、前記未完了の議事の予定時間及び議事を取り扱う時間を調整する予定調整部を更に備え、
前記表示部は、前記予定調整部によって、議事を取り扱う時間が短縮された場合は、短縮された議事の議事名のラベルを識別表示することを特徴とする請求項
3に記載の情報処理装置。
【請求項5】
前記発言率算出部は、前記予定情報に基づき、議事単位の発言率を算出することを特徴とする請求項
2から4の何れか一項に記載の情報処理装置。
【請求項6】
前記通知部は、前記映像に含まれている複数の参加者のうち、通知の対象となる参加者のみが表示されるように前記映像を拡大表示することを特徴とする請求項1から
5の何れか一項に記載の情報処理装置。
【請求項7】
前記通知部は、前記映像に含まれている複数の参加者のうち、通知の対象となる参加者の顔がある位置の映像を拡大表示することを特徴とする請求項1から
6の何れか一項に記載の情報処理装置。
【請求項8】
前記参加者の何れもが発言しない沈黙時間を計測する沈黙時間計測部を更に備え、
前記通知部は、前記沈黙時間が予め定められた沈黙時間上限値を超えた場合に、通知をすることを特徴とする請求項1から
7の何れか一項に記載の情報処理装置。
【請求項9】
前記音声入力部は、前記参加者ごとに備えられた音声入力装置と接続され、
前記第1の参加者がいる場合には、第1の参加者の音声入力装置からの音声の入力を無効化し、前記第2の参加者がいる場合には、前記第2の参加者以外の参加者の音声入力装置からの音声の入力を無効化する音声入力制御部を更に備えることを特徴とする請求項
1に記載の情報処理装置。
【請求項10】
音声入力部を備えた情報処理装置における情報処理方法であって、
複数の参加者の情報を記憶する参加者情報記憶ステップと、
前記参加者の映像を表示する表示ステップと、
前記音声入力部から入力された音声に基づき、前記参加者の中から発言者を特定する発言者特定ステップと、
前記発言者の発言時間を計測する発言時間計測ステップと、
前記発言時間に基づき、前記参加者ごとに発言率を算出する発言率算出ステップと、
前記映像に含まれている複数の参加者のうち、前記発言率に基づいて通知の対象となる参加者
として、前記発言率が予め定められた発言率上限値を超過する第1の参加者と、前記発言率が予め定められた発言率下限値を下回る第2の参加者とを拡大して表示することで通知をする通知ステップと、
を含むことを特徴とする情報処理方法。
【請求項11】
音声入力部を備えたコンピュータに、
複数の参加者の情報を記憶する参加者情報記憶機能と、
前記参加者の映像を表示する表示機能と、
前記音声入力部から入力された音声に基づき、前記参加者の中から発言者を特定する発言者特定機能と、
前記発言者の発言時間を計測する発言時間計測機能と、
前記発言時間に基づき、前記参加者ごとに発言率を算出する発言率算出機能と、
前記映像に含まれている複数の参加者のうち、前記発言率に基づいて通知の対象となる参加者
として、前記発言率が予め定められた発言率上限値を超過する第1の参加者と、前記発言率が予め定められた発言率下限値を下回る第2の参加者とを拡大して表示することで通知をする通知機能と、
を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置等に関する。
【背景技術】
【0002】
近年、会議や打ち合わせにおいて、遠隔地にいる者同士が、ネットワークを介して映像・音声を伝送して会議を行うテレビ会議システムが広く普及している。しかし、テレビ会議においては、1か所に集まって実施する会議に比べ、雰囲気などを読み取りにくく、気軽に発言できない場合がある。この場合、一部の発言者のみで議事が進行し、決議されるといった問題がある。
【0003】
発言の抑制や発言の促進を実現する技術として、例えば、ある話者の発言継続時間が所定値を超えた時にそのヘッドセットから発言の終了を促す音声を放音させる一方、無言継続時間が所定値を超えた時に発言を促す音声を放音させる技術が提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1の技術は、音声が放音された参加者以外には、放音された内容を知ることができない。したがって、特定の参加者の発言が長く一方的に話している状態であるのか、特定の参加者の発言が少ない状態であるのか、それぞれの参加者がある程度発言をしているのかといったような、会議の全体の雰囲気を、会議に参加しているそれぞれの参加者が読み取ることはできない。
【0006】
本願は上述した課題に鑑み、参加者ごとに算出した発言率に基づき、参加者に対する通知を表示制御する情報処理装置等を提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決するために、本発明の情報処理装置は、
音声入力部を備えた情報処理装置において、
複数の参加者の情報を記憶する参加者情報記憶部と、
前記音声入力部から入力された音声に基づき、前記参加者の中から発言者を特定する発言者特定部と、
前記発言者の発言時間を計測する発言時間計測部と、
前記発言時間に基づき、前記参加者ごとに発言率を算出する発言率算出部と、
前記発言率に基づき通知を表示する制御を行う表示制御部と、
を備えることを特徴とする。
【0008】
本発明の情報処理方法は、
音声入力部を備えた情報処理装置における情報処理方法であって、
複数の参加者の情報を記憶する参加者情報記憶ステップと、
前記音声入力部から入力された音声に基づき、前記参加者の中から発言者を特定する発言者特定ステップと、
前記発言者の発言時間を計測する発言時間計測ステップと、
前記発言時間に基づき、前記参加者ごとに発言率を算出する発言率算出ステップと、
前記発言率に基づき通知を表示する制御を行う表示制御ステップと、
含むことを特徴とする。
【0009】
本発明のプログラムは、
音声入力部を備えたコンピュータに、
複数の参加者の情報を記憶する参加者情報記憶機能と、
前記音声入力部から入力された音声に基づき、前記参加者の中から発言者を特定する発言者特定機能と、
前記発言者の発言時間を計測する発言時間計測機能と、
前記発言時間に基づき、前記参加者ごとに発言率を算出する発言率算出機能と、
前記発言率に基づき通知を表示する制御を行う表示制御機能と、
を実現させることを特徴とする。
【発明の効果】
【0010】
本発明によれば、発言者の発言時間を計測し、参加者ごとに発言率を算出し、発言率に応じた通知を表示する制御を行う。したがって、参加者は、表示された通知を視覚確認することにより、会議の雰囲気を読み取ることが可能となる。また、参加者は、通知によって発言の状況を知ることにより、発言の少ない参加者に対する発言機会を生み出し、会議の活性化させることができる。
【図面の簡単な説明】
【0011】
【
図1】第1実施形態における全体構成の全体構成を説明するための図である。
【
図2】第1実施形態における情報処理装置の機能構成を説明するための図である。
【
図3】第1実施形態における予定情報のデータ構成の一例を示した図である。
【
図4】第1実施形態における参加者情報のデータ構成の一例を示した図である。
【
図5】第1実施形態における発言率情報のデータ構成の一例を示した図である。
【
図6】第1実施形態における通知設定情報のデータ構成の一例を示した図である。
【
図7】第1実施形態におけるメイン処理を説明するための動作フロー図である。
【
図8】第1実施形態における進行状況表示処理を説明するための動作フロー図である。
【
図9】第1実施形態における発言率算出処理を説明するための動作フロー図である。
【
図10】第1実施形態における警告処理を説明するための動作フロー図である。
【
図11】第1実施形態における動作例を説明するための図である。
【
図12】第1実施形態における動作例を説明するための図である。
【
図13】第1実施形態における動作例を説明するための図である。
【
図14】第1実施形態における動作例を説明するための図である。
【
図15】第2実施形態における情報処理装置の機能構成を説明するための図である。
【
図16】第2実施形態における通知設定情報のデータ構成の一例を示した図である。
【
図17】第2実施形態における発言率算出処理を説明するための動作フロー図である。
【
図18】第2実施形態における警告処理を説明するための動作フロー図である。
【
図19】第2実施形態における実施例を説明するための図である。
【
図20】第3実施形態における参加者情報のデータ構成の一例を示した図である。
【
図21】第3実施形態における通知設定情報のデータ構成の一例を示した図である。
【
図22】第3実施形態における警告処理を説明するための動作フロー図である。
【
図23】第4実施形態における情報処理装置の機能構成を説明するための図である。
【
図24】第4実施形態における進行情報のデータ構成の一例を示した図である。
【
図25】第4実施形態におけるメイン処理を説明するための動作フロー図である。
【
図26】第4実施形態における進行状況表示処理を説明するための動作フロー図である。
【
図27】第4実施形態における警告処理を説明するための動作フロー図である。
【
図28】第4実施形態における動作例を説明するための図である。
【
図29】第5実施形態における警告処理を説明するための動作フロー図である。
【
図30】第5実施形態における動作例を説明するための図である。
【
図31】第6実施形態における警告処理を説明するための動作フロー図である。
【
図32】第7実施形態における警告処理を説明するための動作フロー図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態について、図面を参照して説明する。なお、本実施形態では、一例として、本発明の情報処理装置を含んだ表示システムについて説明する。
【0013】
[1.第1実施形態]
[1.1 全体構成]
まず、第1実施形態の全体構成について、図を参照して説明する。
図1に示すように、本実施形態の表示システム1は、本発明を適用した情報処理装置10と、音声入力装置20と、映像入力装置30と、表示装置40とを含んで構成される。音声入力装置20は、例えばマイクであり、映像入力装置30は、例えばカメラであり、表示装置40は、例えば、LCD(Liquid Crystal Display)や、有機ELディスプレイ(OELD:Organic Electro Luminescence Display)といったディスプレイである。
【0014】
なお、情報処理装置10は、表示装置40と一体となってもよいし、全ての構成が同一の装置で実現されてもよい。例えば、表示システム1は、情報処理装置10と、音声入力装置20と、映像入力装置30と、表示装置40と一体にして構成したタブレットや、スマートフォンといった装置であってもよい。
【0015】
図1に示した表示システム1は、会議、打ち合わせ、検討会などの、議論に用いることが可能である。説明のため、情報処理装置10を会議に用いることとして説明するが、打ち合わせや検討会といった会議以外の議論においても、表示システム1を使用することができる。
【0016】
また、音声入力装置20と、映像入力装置30と、表示装置40とは、情報処理装置10にそれぞれ複数接続されていてもよい。例えば、情報処理装置10には、参加者ごとの個別のマイクが接続されていたり、参加者ごとの個別のカメラが接続されていたり、複数の会議の拠点の映像を表示するために、複数のディスプレイが接続されていてもよい。
【0017】
[1.2 機能構成]
つづいて、
図2を参照して、情報処理装置10の機能構成について説明する。
図2に示すように、情報処理装置10は、制御部100と、音声入力部110と、映像入力部120と、操作入力部130と、表示制御部140と、通信部150と、音声出力部155と、記憶部160とを備えて構成される。
【0018】
制御部100は、情報処理装置10の全体を制御するための機能部である。制御部100は、各種プログラムを読み出して実行することにより各種機能を実現しており、1又は複数の演算装置(例えば、CPU(Central Processing Unit))により構成されている。
【0019】
音声入力部110は、マイクといった音声入力装置20から入力された音声を制御部100に出力する機能部である。音声入力部110としては、例えば、音声入力装置20と接続可能な音声入力インターフェイスと、音声入力インターフェイスに接続された音声入力装置20とによって構成される。なお、音声入力部110は、情報処理装置10に予め備えられたマイクであってもよい。また、会議を行う拠点が複数ある場合は、音声入力部110から入力された音声を、通信部150を介して他の拠点に送信してもよい。
【0020】
映像入力部120は、カメラといった映像入力装置30から入力された映像を、制御部100に出力する機能部である。映像入力部120としては、例えば、映像入力装置30と接続可能な映像入力インターフェイスと、映像入力インターフェイスに接続された映像入力装置30とによって構成される。なお、映像入力部120は、情報処理装置10に予め備えられたカメラであってもよい。また、会議を行う拠点が複数ある場合は、映像入力部120から入力された映像を、通信部150を介して他の拠点に送信してもよい。
【0021】
操作入力部130は、参加者が各種操作を行うための機能部である。操作入力部130は、例えば、情報処理装置10に接続された表示装置40の上に重ねて設けられるタッチパネルによって構成される。タッチパネルによるタッチの検出は、静電誘電方式であったり、感圧方式であったり、公知の技術によって実現する。なお、操作入力部130は、タッチパネル以外にも、操作入力部130は、マウス、キーボードといった種々の操作装置によって構成可能なことは勿論である。
【0022】
表示制御部140は、情報処理装置10に接続された表示装置40に、映像の表示制御を行う機能部である。例えば、映像入力部120から入力された映像を表示装置40に表示する制御を行う。
【0023】
通信部150は、情報処理装置10が外部機器と通信を行うための機能部である。例えば、有線/無線LANで利用されるNIC(Network Interface Card)や、LTE(Long Term Evolution)/LTE-A(LTE-Advanced)/LAA(License-Assisted Access using LTE)/5G回線に接続可能な通信モジュールにより構成される。
【0024】
音声出力部155は、音声を出力する機能部であり、例えばスピーカといった音声出力装置によって構成される。音声出力部155は、例えば、通信部150を介して受信した、他の拠点の音声を出力する。
【0025】
記憶部160は、情報処理装置10の動作に必要な各種プログラムや、各種データを記憶する機能部である。記憶部160は、例えば、半導体メモリであるSSD(Solid State Drive)や、HDD(Hard Disk Drive)等により構成される。
【0026】
記憶部160には、予定情報記憶領域162と、参加者情報記憶領域164と、発言率情報記憶領域166とが確保される。また、通知設定情報168が記憶される。
【0027】
予定情報記憶領域162は、会議において取り扱う議事の予定に関する情報である予定情報を記憶する領域である。議事とは、会議において議論する事柄であり、議事ごとに予定情報が記憶される。
図3は、予定情報の例である。
図3に示すように、予定情報には、議事を開始する予定の時刻を示す予定時刻(例えば、「15:00」)と、議事を取り扱う時間を示す予定時間(例えば、「5分」)と、議事の内容を表した議事名(例えば、「開会」)とが記憶される。
【0028】
参加者情報記憶領域164は、会議の参加者に関する情報である参加者情報を記憶する領域である。
図4は、参加者情報の例である。
図4に示すように、参加者情報には、参加者を識別するための参加者名(例えば、「橋本」)と、音声入力部110から入力された音声から参加者を特定するための音声特定データ(例えば、「hashimoto.dat」)が記憶される。
【0029】
音声特定データは、例えば、音声の特徴を数値で表したデータであったり、音声に含まれる特定の周波数成分の強度とタイミングとを表したスペクトログラムであったりする。また、音声入力部110に、参加者ごとに設けられたマイクが接続されている場合は、参加者のマイクが接続された入力端子を特定する情報(例えば、端子番号)を記憶してもよい。
【0030】
発言率情報記憶領域166は、参加者の発言率に関する情報である発言率情報を記憶する領域である。
図5は、発言率情報の例である。
図5に示すように、発言率情報には、参加者を識別するための参加者名(例えば、「橋本」)と、会議において発言した時間の合計を示す合計発言時間(例えば、「300秒」)と、参加者が会議において発言した割合を示す発言率(例えば、「50%」)とが記憶される。
【0031】
通知設定情報168は、表示制御部140によって、表示装置40に発言率に基づく通知を表示する制御を行う際に用いる設定である。本実施形態では、
図6に示すように、発言率の閾値(例えば、発言率上限値として「40%」、発言率下限値として「10%」)と、発言率に基づく通知を開始する通知開始時刻(例えば、「15:15」)とが記憶される。通知設定情報は、予め情報処理装置10に記憶されていてもよいし、参加者によって設定されてもよい。
【0032】
発言率上限値は、発言者の発言が長いと判定する場合における発言率の値である。情報処理装置10は、発言率が発言率上限値の値を超えた参加者に対して、発言が長いことを通知する。なお、発言率が発言率上限値を超過する参加者を、以下、「第1の参加者」という。発言率下限値は、発言者の発言が短いと判定する場合における発言率の値である。情報処理装置10は、発言率が発言率下限値の値を下回った参加者に対して、発言が短いことを通知する。なお、発言率が発言率下限値を下回る参加者を、以下、「第2の参加者」という。発言率の閾値として、発言率上限値又は発言率下限値のどちらか一方が記憶されてもよい。
【0033】
また、通知開始時刻により、情報処理装置10が参加者に対する通知を開始する時刻を、会議が開始される時刻よりも遅くする。これは、会議が開始されてから暫くの時間は、発言率として、0%や100%又はそれらの値に近い値といったような極端な値が算出されてしまい、その発言率に基づく不適切な通知がされてしまうことを防ぐことを目的としている。極端な発言率の具体例としては、まず、会議開始直後は、全ての参加者の発言率は0%である。そして、会議が開始された直後に何らかの発言をした場合は、会議の経過時間が短いため、発言時間が短くても発言率が100%又は100%に近い値となってしまう。通知を開始する時刻を、会議が開始される時刻よりも遅くすることで、発言率が適切な値となり、適切に通知が可能となる。
【0034】
通知開始時刻には、具体的な時刻が記憶されてもよいし、会議が開始してから15分後といったように、相対的な時間が記憶されてもよい。また、発言率算出処理の説明において詳述するが、発言率を予定情報に基づいて、議事ごとに算出する場合は、通知開始時刻を、予定情報の予定時刻から10分後といったように、予定時刻からの相対的な時間が指定されてもよい。
【0035】
通知開始時刻の代わりに、通知を開始する時刻と、終了する時刻とによって表現した通知時間を1又は複数記憶してもよい。この場合は、現在時刻が通知時間に含まれる場合に、情報処理装置10が通知を行うことを示す。
【0036】
[1.3 処理の流れ]
つづいて、図を参照して、本実施形態の情報処理装置10の処理の流れについて説明する。
図7はメイン処理の流れを示したフロー図である。
【0037】
まず、制御部100は、予定情報の入力を行い(ステップS102)、予定情報記憶領域162に記憶する。予定情報の入力は、例えば、表示制御部140が、表示装置40に対して、議事の情報を入力する画面を表示する制御を行い、参加者によって操作入力部130を介して入力された、議事の情報を予定情報として予定情報記憶領域162に記憶する。また、情報処理装置10が、通信部150を介して、予定情報を管理しているサーバに接続されている場合は、制御部100は、接続されているサーバから予定情報を取得し、予定情報記憶領域162に記憶してもよい。
【0038】
つづいて、制御部100は、参加者名の入力を行う(ステップS104)。また、制御部100は、入力した参加者名を含んだ参加者情報を、参加者情報記憶領域164に記憶する。このとき、制御部100は、入力した参加者名と、合計発言時間を0秒、発言率を0%とした発言率情報を発言率情報記憶領域166に記憶する。参加者名の入力は、ステップS102と同様に、参加者によって入力されてもよいし、サーバから取得してもよい。また、表示制御部140の制御によって表示装置40に社員リストを表示し、会議の参加者が選択されることにより参加者を入力してもよいし、情報処理装置10にカードリーダを接続し、カード所持者の名前の情報が記憶されたカードを読み取ることで参加者名を入力してもよい。
【0039】
つづいて、制御部100は、音声特定データを記憶する(ステップS106)。例えば、参加者は、会議の開始前に、音声入力部110に対して名乗るようにする。そして、情報処理装置10は、音声入力部110から入力された音声から参加者の名前を特定する。認識した参加者の名前が、参加者情報記憶領域164に記憶された参加者情報の参加者名の何れかと一致する場合は、入力された音声の特徴を、音声特定データとして記憶する。
【0040】
つづいて、制御部100は、会議の開始が指示されたか否かを判定する(ステップS108)。例えば、表示制御部140は、会議を開始する指示を受け付けるための会議開始ボタンを表示装置40に表示する。そして、会議の参加者(例えば、司会を担当する参加者)によって、会議開始ボタンが選択されたら、制御部100は、会議の開始が指示されたと判定する。
【0041】
なお、ステップS104と、ステップS106と、ステップS108は、矛盾のない範囲において、ステップの順番を変更したり、一部のステップを同時に実行したり、スキップしてもよい。例えば、制御部100は、会議の開始が指示されたあとに、音声特定データを記憶してもよい。このようにすることで、会議の開始後に挨拶を行うという運用がされる場合に対応することができる。また、情報処理装置10に接続されたカードリーダに、カード所持者の名前と音声の特徴を数値で表したデータとが記憶されている場合は、制御部100は、カードリーダにかざされたカードを読み取り、参加者名の入力と、音声特定データの記憶を行ってもよい。さらに、参加者ごとに音声入力装置が備えられている場合は、参加者情報として、参加者名と、その参加者が使用する音声入力装置が入力された端子番号とを予め参加者情報として記憶しておき、ステップS104とステップS106とをスキップしてもよい。
【0042】
会議の開始が指示されたら、つづいて、制御部100は、進行状況表示処理を行う(ステップS108;Yes→ステップS110)。進行状況表示処理とは、予定情報に基づいて、会議の進行の状況を、例えばインジケータにより表示装置40に表示制御する処理である。具体的な内容について、
図8を参照して説明する。
【0043】
はじめに、制御部100は、予定情報記憶領域162に記憶された予定情報を読み出す(ステップS122)。そして、表示制御部140は、予定情報ごとに、予定時刻が参加者によって視認できるように進行状況の表示(進行状況表示)をする(ステップS124)。ステップS124における進行状況表示の例を以下に示す。
【0044】
(1)表形式での表示
予定情報に記憶された予定時間と、議事名とを、予定時刻が早い順に、表形式で表示する。予定時間を文字として表示するため、予定時間を正確に把握することが可能である。
【0045】
(2)帯状の表示
予定時刻を横位置とし、予定時間を幅とした議事名のラベルを並べて、帯状に表示する。この場合は、ラベルの左の位置が、予定時刻に対応する。
【0046】
(3)インジケータ状の表示
会議の開始時刻と終了時刻とを1つのインジケータとして表示する。予定時刻の位置は、インジケータの目盛りとして表示する。
【0047】
つづいて、表示制御部140は、進行状況表示に現在時刻に対応する位置を表示する(ステップS126)。例えば、ステップS124において、制御部100が、議事名を表形式で表示した場合は、現在時刻に対応する議事名を表示したセルの背景を変えて現在時刻に対応する議事名を識別表示させる。また、ステップS124において、制御部100が、議事名を帯状に表示した場合は、現在時刻に対応する位置を、帯状に並べたラベルの周囲に印によって表示したり、ラベルの背景を変えたりすることによって識別表示を行う。
【0048】
なお、ステップS124及びステップS126において、予定情報の表示方法や、現在時刻の識別表示の方法は、設計事項として種々の方法が考えられる。参加者が、現在進行すべき議事を視覚によって把握することができる方法であれば、どのような方法で表示してもよい。
【0049】
つづいて、
図7に戻り、制御部100は、参加者ごとに、発言率を算出する処理である、発言率算出処理を行う(ステップS112)。具体的な内容について、
図9を参照して説明する。
【0050】
はじめに、制御部100は、音声入力部110に音声が入力されているか否かを判定する(ステップS142)。音声が入力されていない場合は、ステップS150へ進む(ステップS142;No→ステップS150)。
【0051】
音声が入力されている場合は、つづいて、制御部100は、発言者を特定する(ステップS144)。発言者の特定は、音声入力部110を介して入力された音声の特徴と、音声特定データに記憶された音声の特徴のデータとを比較して、最も類似する参加者を発言者として特定する。また、音声が入力された音声入力装置が接続されている音声入力端子から特定してもよい。なお、ノイズが入力された場合のように、入力された音声が、参加者情報に記憶されている音声特定データのいずれにも類似しないこと場合は、発言者を特定できないとして、ステップS144~ステップS148の処理をスキップしてもよい。
【0052】
つづいて制御部100は、ステップS144で特定した発言者の発言時間を計測する(ステップS146)。例えば、制御部100は、入力された音声の音圧レベルが、予め定められた音圧レベルを超えた時刻と、予め定められた音圧レベルを下回った時刻とを記憶し、2つの時刻の間の長さを発言時間とする。また、所定時間(例えば、10秒)ごとに音声を録音し、録音された音声の音圧レベルを解析することで発言時間を計測してもよい。定期的(例えば、1秒ごと)に発言者が発声しているかを判定して、発声がされてから発声しなくなったときまでの時間を発言時間としてもよい。なお、上述した方法以外であっても、発言時間が計測できる方法であれば何れの方法を用いても構わない。
【0053】
つづいて制御部100は、ステップS144で特定した発言者の発言率情報を読み出し、発言者の合計発言時間にステップS146で計測した発言時間を加算して、発言率情報を記憶する(ステップS148)。上述した、ステップS142~ステップS148により、参加者ごとに、会議において発言した発言時間の合計が、合計発言時間として発言率情報に記憶される。
【0054】
つづいて、制御部100は、現在時刻から、会議の経過時間を算出する(ステップS150)。具体的には、制御部100は、予定情報記憶領域162から、最も予定時刻が早い会議情報を読み出し、読み出した会議情報の予定時刻と、現在時刻との差分を、経過時間として算出する。なお、制御部100は、ステップS108において、会議の開始が指示された時刻を記憶し、会議の開始が指示された時刻と、現在時刻との差分を、経過時間として算出してもよい。
【0055】
つづいて、制御部100は、発言率情報記憶領域166から、発言率情報を1件読み出し(ステップS152)、発言率を算出する(ステップS154)。発言率は、例えば、発言率情報に含まれる合計発言時間を、ステップS150で算出した経過時間で除算することで算出する。そして、制御部100は、ステップS154で算出した発言率を含めた発言率情報を、発言率情報記憶領域166に記憶する(ステップS156)。
【0056】
なお、合計発言時間を会議の経過時間で除算する方法は、発言率の算出方法の一例であり、以下に示す算出方法を発言率の算出方法として用いてもよい。
【0057】
(1)参加者の合計発言時間を全参加者の合計発言時間で除算する方法
ステップS154において、参加者の合計発言時間を、全参加者の合計発言時間で除算する方法である。全参加者の合計発言時間は、制御部100は、発言率情報記憶領域166に記憶された発言率情報を全て読み出して、参加者ごとの合計発言時間を全て加算することで算出できる。
【0058】
(2)議事ごとに発言率を算出する方法
ステップS154において、現在の議事における参加者の合計発言時間を、現在の議事が開始してからの経過時間で除算する方法である。なお、現在の議事とは、現在時刻において進行する予定となっている議事である。また、現在の議事に対応する予定情報は、予定情報記憶領域162に記憶されている記憶情報のうち、予定情報の予定時刻と、予定時刻に予定時間を加算して求められる時刻との間に、現在時刻が含まれる予定情報である。
【0059】
制御部100は、現在時刻に基づきと予定情報から、現在の議事を特定し、現在の議事が変わったことを検知したら、全参加者の発言率情報に記憶された合計発言時間を0秒にし、発言率を0%にして発言率情報記憶領域166に記憶する(リセットする)。このようにすることで、発言率情報には、現在の議事の開始してからの発言時間の合計が、合計発言時間として記憶される。また、ステップS150では、現在の議事に対応する会議情報の予定時刻と、現在時刻との差分を経過時間として算出する。ステップS154では、現在の議事が開始してからの合計発言時間を、現在の議事が開始してからの経過時間で除算することとなり、議事ごとの発言率を算出することが可能となる。
【0060】
なお、特定の議事に限って発言者の発言時間の計測を行ってもよい。例えば、参加者によって議論を行う議事に対してのみ、発言時間の計測を行う。この場合は、例えば、現在の議事に対応する予定情報の議事名に「議論時間」という文字列が含まれている場合のみ、発言時間を計測する。なお、参加者によって議論を行う議事が複数ある場合は、議事別に発言時間を計測して、一の議事の発言時間と他の議事の発言時間とを別々に計測してもよい。また、議事を通して発言時間を計測し続けて、参加者によって議論を行う議事全体に対する発言時間を計測してもよい。発言時間を計測する議事ごと発言時間を計測するか、発言時間を計測する議事を通して発言時間を計測するかは、予め情報処理装置10に設定されていてもよいし、参加者によって設定されてもよい。
【0061】
また、特定の議事に限って発言者の発言時間を計測する場合は、予定情報に、発言時間を計測するか否かを示すフラグを記憶し、フラグに基づいて発言時間の計測を行ってもよい。このようにすることで、プレゼンテーションの時間や、開会・閉会の時間といったような、議論を行わない議事における発言時間を、発言率に反映されてしまうことを防ぐことができる。
【0062】
(3)現在時刻の直前における発言率を算出する方法
例えば、現在時刻の直前10分間といった、所定の時間(以下、「発言率算出時間」という)における発言率を算出する方法である。なお、発言者の発言時間を合計発言時間として加算すると、いつ発言がされたかが特定できず、所定の時間における発言率を算出できなくなる。したがって、この方法を用いる場合は、どの参加者が、どの時刻からどの時刻まで発言をしたかを表した発言履歴情報を格納する領域を、記憶部160に設ける。また、ステップS146においては、発言が開始された時刻と、発言が終了した時刻とを特定する。さらに、ステップS148においては、ステップS144で特定した参加者と、ステップS146で特定した発言開始時刻と、発言終了時刻とを、発言履歴情報を記憶部160に記憶する。
【0063】
ステップS154では、発言履歴情報を読み出し、参加者ごとに、発言率算出時間において発言された発言時間を加算して、発言率算出時間における発言時間の合計時間を算出する。そして、ステップS156で、発言率算出時間における発言時間の合計時間を、発言率算出時間の長さで除算することにより、発言率算出時間における発言率を算出することが可能である。
【0064】
なお、発言率算出時間の長さは、予め定められてもよいし、参加者によって設定されてもよい。この方法によれば、会議が開始されてから、ある程度長い時間発言をした参加者の発言率が高いままとなってしまい、発言率に基づく通知の対象となり続けてしまうといった状態を防ぐことができる。
【0065】
このように、発言率の算出方法は様々ある。どのような方法で発言率を算出するかは、予め決められていてもよいし、いくつかの算出方法の中から、参加者によって指定できてもよい。
【0066】
つづいて、制御部100は、発言率情報記憶領域166に記憶された全ての発言率情報を読み出したか否かを判定する(ステップS158)。全ての発言率情報を読み出していない場合は、ステップS152へ戻る(ステップS158;No→ステップS152)。全ての発言率情報を読み出した場合は、発言率算出処理を終了する(ステップS158;Yes)。このようにして、参加者ごとに発言率を算出して、発言率情報として記憶する。
【0067】
つづいて、
図7に戻り、制御部100は、発言率に基づく参加者への通知として、発言率に基づく警告メッセージを表示制御する処理である警告処理を行う(ステップS114)。具体的な内容について、
図10を参照して説明する。
【0068】
はじめに、制御部100は、通知設定情報168に記憶された通知開始時刻を読み出し、現在時刻が、通知開始時刻を過ぎたか否かを判定する(ステップS172)。通知開始時刻を過ぎていない場合は、警告処理を終了する(ステップS172;No)。通知開始時刻を過ぎた場合は、ステップS174に進む(ステップS172;Yes→ステップS174)。なお、通知開始時刻として、相対的な時刻を指定されている場合は、実際の通知開始時刻を算出して、現在時刻と比較をする。例えば、会議の開始時刻から15分後という指定がされていて、会議が15時に開始された場合は、実際の通知開始時刻は15時15分となる。また、通知時間が記憶されていた場合は、現在時刻が通知時間に含まれている場合に、ステップS172の判定をYesとする。
【0069】
つづいて、制御部100は、発言率情報記憶領域166から発言率情報を1件読み出し(ステップS174)、読み出した発言率情報に記憶されている発言率が、通知設定情報168に記憶された発言率上限値を超過するか否かを判定する(ステップS176)。発言率が、発言率上限値を超過する場合は、ステップS174で読み出した発言率情報に対応する参加者を第1の参加者とする。そして、表示制御部140は、第1の参加者に対する警告メッセージ(例えば、「○○さんの発言が長くなっています」)を表示装置40に表示する制御を行う(ステップS176;Yes→ステップS178)。
【0070】
つづいて、制御部100は、ステップS176で読み出した発言率情報に記憶されている発言率が、通知設定情報168に記憶された発言率下限値を下回るか否かを判定する(ステップS180)。発言率が、発言率下限値を下回る場合は、ステップS174で読み出した発言率情報に対応する参加者を第2の参加者とする。そして、表示制御部140は、第2の参加者に対する警告メッセージ(例えば、「○○さん発言しましょう」)を表示装置40に表示する制御を行う(ステップS180;Yes→ステップS182)。
【0071】
つづいて、制御部100は、発言率情報記憶領域166に記憶された全ての発言率情報を読み出したか否かを判定する(ステップS184)。全ての発言率情報を読み出していない場合は、ステップS174へ戻る(ステップS184;No→ステップS174)。なお、ステップS174においては、制御部100は、まだ読み出していない発言率情報を読み出す。ステップS184において、全ての発言率情報を読み出した場合は、警告処理を終了する(ステップS184;Yes)。
【0072】
なお、第1の参加者、第2の参加者が複数いる場合は、表示制御部140は、表示装置40に表示するメッセージを変えてもよい。例えば、第1の参加者が複数いる場合は、第1の参加者の参加者名を列挙した警告メッセージを表示してもよいし(例えば、「○○さん、××さんの発言が長くなっています」)、第1の参加者の中で最も発言率が高い参加者に対する警告メッセージを表示してもよい。第2の参加者が複数いる場合も同様であり、第2の参加者の参加者名を列挙した警告メッセージを表示してもよいし、第2の参加者の中で最も発言率が低い参加者に対する警告メッセージを表示してもよい。第1の参加者と、第2の参加者がいる場合は、交互に警告メッセージを表示してもよいし、発言が長い参加者の警告メッセージの表示を優先するといったように、優先度に基づいて表示する警告メッセージを変えてもよい。
【0073】
また、本実施形態では、発言率に基づく通知方法として、表示装置40に警告メッセージを表示制御する方法を説明したが、これ以外の方法によって通知してもよい。例えば、音声出力部155から警告メッセージを音声によって出力してもよい。また、情報処理装置10は、情報処理装置10に接続されたLEDライト等を光らせる制御を行い、光によって発言率に基づく通知をしてもよい。表示装置40への表示制御の方法も、警告メッセージを表示するのではなく、表示装置40に第1の参加者の参加者名を表示する領域と、第2の参加者の参加者名を表示する領域とを設け、それぞれの領域に、参加者名を表示することにより通知してもよい。このように、参加者に対する通知の方法は、音や光や映像等、様々な方法によって実現可能である。どのような通知方法を用いるかは、予め情報処理装置10に設定されていてもよいし、参加者によって選択できてもよい。
【0074】
図7に戻り、制御部100は、会議の終了が指示されたか否かを判定する(ステップS116)。例えば、表示制御部140は、会議を終了する指示を受け付けるための会議終了ボタンを表示装置40に表示する。そして、会議の参加者(例えば、司会を担当する参加者)によって、会議終了ボタンが選択されたら、制御部100は、会議の終了が指示されたと判定する。
【0075】
会議の終了が指示された場合は、メイン処理を終了する(ステップS116;Yes)。会議の終了が指示されない場合は、ステップS110へ戻る(ステップS116;No→ステップS110)。このようにすることで、会議が開催されている間は、進行状況表示処理と、発言率算出処理と、警告処理とが実行されることとなり、状況に応じて、発言率の算出及び発言率に基づく参加者への通知の表示がされる。
【0076】
なお、ステップS116の代わりに、制御部100は、予定情報記憶領域162に記憶された予定情報のうち、予定時刻が最も遅い予定情報を読み出し、読み出した予定情報の予定時刻に予定時間を加算した時刻を現在時刻が超過したか否かを判定してもよい。この場合は、予定時刻に予定時間を加算した時刻を現在時刻が超過したときにメイン処理を終了し、予定時刻に予定時間を加算した時刻を現在時刻が超過しないときは、ステップS110へ戻る。
【0077】
[1.3 動作例]
つづいて、図を参照して本実施形態の動作例を説明する。
図11は、会議が開催されているときに、表示制御部140の制御により表示装置40に表示される表示画面W100の画面例である。表示画面W100には、映像入力部120から入力された映像を表示する映像表示領域E100と、予定情報に基づく進行状況表示が表示される進行状況表示領域E102と、現在時刻の位置を三角形の印によって識別表示をした識別表示E104とが含まれている。
【0078】
進行状況表示の一例としては、
図11に示すように、画面の一部に、矩形状の進行が解る表示を行う。進行状況表示には、各議事名が、時間に応じた長さにて表示される。
【0079】
なお、
図11の例では、映像入力部120から入力される、情報処理装置10が置かれた場所における参加者の映像を表示する映像表示領域E100を、表示装置40の全体に設けているが、表示装置40の表示は適宜変更可能である。特に、遠隔地との会議を行う場合には、映像入力部120から入力された映像の他に、遠隔地にいる参加者の映像も表示装置40に映し出すことにより、参加者に会議の雰囲気が伝わりやすくなる。したがって、情報処理装置10は、会議の拠点が複数ある場合は、表示装置40の表示領域を分割して、会議が開催されている拠点ごとの映像を表示したり、参加者の操作によって、表示装置40に表示する映像を切り替えられるようにしたりしてもよい。また、複数の表示装置40を情報処理装置10に接続して、一のモニタに情報処理装置10が置かれた場所の映像を表示し、他のモニタに拠点の映像を表示してもよい。
【0080】
情報処理装置10は、
図11の進行状況表示領域E102に示すように、会議情報に基づき、議事名を帯状に並べて予定情報を表示する。会議の参加者によって、進行状況表示領域E102と、識別表示E104とが視認されることにより、現在時刻において進行する予定となっている議事(現在進行すべき議事)や、その議事を取り扱う長さや、他の議事に移る目処といった、会議の進行状況を視認させることができる。
【0081】
なお、時系列的に連続した複数の予定情報の議事名に、共通する文字列が含まれる場合は、それらの予定情報をグループ化して表示してもよい。例えば、議事名が「議題A プレゼン」、「議題A 議論時間」、「議題A まとめ」である3つの予定情報が時系列的に連続している場合は、「議題A」が共通しているため、グループ化する。そして、進行状況表示領域E102に示すように、「議題A」と記載したラベルを上段に、「プレゼン」「議論時間」「まとめ」と記載したラベルを下段に、2段で表示する。このようにすることで、参加者に対して、会議の議事を、大議事と小議事といった単位で把握させることが可能となる。なお、予定情報に大項目と小項目とを記憶して、大項目に基づいて小項目をグループ化してもよい。
【0082】
図12は、第1の参加者に対する警告メッセージが、表示制御部140の制御により表示装置40に表示されたときの画面例である。情報処理装置10は、
図12に示すように、第1の参加者の参加者名を含んだ警告メッセージE110を、進行状況表示領域E102の上に表示する。このようにすることで、第1の参加者と他の参加者とに、第1の参加者の発言率が高い(発言が長い)ことを視認させることができる。
【0083】
図13は、第2の参加者に対する警告メッセージが、表示制御部140の制御により表示装置40に表示されたときの画面例である。情報処理装置10は、
図13に示すように、第2の参加者の参加者名を含んだ警告メッセージE120を、進行状況表示領域E102の上に表示する。このようにすることで、第2の参加者と他の参加者とに、第2の参加者の発言率が低い(発言が少ない)ことを視認させることができる。
【0084】
なお、表示装置40の解像度が低い場合など、議事名をラベルで表示すると文字が見づらくなってしまう場合は、表示制御部140は、予定情報を他の表示方法によって表示してもよい。例えば、
図14(a)のように、会議情報の議事名を吹き出しE130で示し、予定時刻の位置を三角形の識別表示E132で示し、現在時刻をインジケータの背景で示す表示をしてもよい。
【0085】
吹き出しE130は、現在の議事が変わった時点で一定時間表示させるようにしてもよい。この場合は、情報処理装置10は、現在の議事が変わってから一定期間(例えば、1分)が経過した後に、
図14(b)のように、吹き出しE130を非表示にする。そして、現在の議事が変更になった場合に、情報処理装置10は、
図14(c)のように、再度吹き出しE134を表示する。
【0086】
また、警告メッセージは、インジケータの周囲に表示する。例えば、情報処理装置10は、
図14(d)のように、第1の参加者に対する警告メッセージを吹き出しE136のように表示したり、第2の参加者に対する警告メッセージを吹き出しE138のように表示したりする。このようにすることで、表示装置40の解像度が低い場合であっても、参加者に会議の進行状況を視認させることができる。
【0087】
本実施形態によれば、発言率に基づく通知を表示装置に表示することにより、発言が長い参加者や、発言が少ない参加者を参加者全員に視認させることができる。この結果、一部の発言者のみで議事が進行してしまうことにより、発言が長くなっている参加者の発言を抑制して、他の参加者の発言機会を生み出すことができる。また、雰囲気などを読み取りにくく発言の少ない参加者に対して発言機会を生み出すことができる。このように、発言率に基づく通知を行うことで、発言ができなかった参加者に対する発言機会を生み出し、会議の活性化を実現することが可能となる。
【0088】
また、予定情報に基づいて、現在進行すべき議事を進行状況表示として表示することにより、参加者に対して、予定通りの進行を手助けすることが可能となる。このようにすることで、会議の円滑な進行を可能となる。
【0089】
[2.第2実施形態]
つづいて第2実施形態について説明する。第2実施形態は第1実施形態の発言率に基づく通知に加え、会議の参加者の全員が発言をしない沈黙時間が続く場合にも通知を表示し、発言を促す実施形態である。本実施形態は、第1実施形態の
図2を
図15に、
図6を
図16に、
図9を
図17に、
図10を
図18に、それぞれ置き換えたものである。なお、同一の機能部及び処理には同一の符号を付し、説明については省略する。
【0090】
[2.1 機能構成]
本実施形態における情報処理装置12の機能構成を
図15を参照して説明する。情報処理装置12は、情報処理装置10と異なり、記憶部160に、さらに沈黙時間情報170が記憶される点が異なる。
【0091】
沈黙時間情報170とは、会議の参加者の全員が発言をしない沈黙時間の長さを示した情報である。例えば、「30秒」といった値が記憶される。
【0092】
本実施形態における通知設定情報168の例を
図16に示す。
図16に示すように、発言率上限値、発言率下限値、通知開始時刻に加え、さらに、沈黙時間上限値(例えば、「60秒」)が記憶される。
【0093】
[2.2 処理の流れ]
つづいて、本実施形態における発言率算出処理と、警告処理の流れについて説明する。まず、
図17を参照して、発言率算出処理について説明する。ステップS142において、制御部100は、音声入力部110に音声が入力されていると判定したら、つづいて、制御部100は、発言者を特定した上で、沈黙時間情報170に「0秒」と記憶して、沈黙時間情報170をリセットする(ステップS142;Yes→ステップS144;ステップS242)。
【0094】
また、ステップS142において、制御部100は、音声入力部110に音声が入力されていないと判定したら、つづいて制御部100は、沈黙時間を計測する(ステップS142;No→ステップS244)。例えば、制御部100は、音声が入力されていないことを定期的(例えば、1秒ごと)に判定し、音声が入力されていない時間を沈黙時間とする。なお、このような方法でなくてもよく、沈黙している時間(発言がされていない時間)を計測する方法であれば何れの方法を用いても構わない。そして、制御部100は、ステップS244で計測した沈黙時間を、沈黙時間情報170に記憶する(ステップS246)。なお、ステップS144において、発言者を特定できない場合も、参加者が沈黙しているとして、沈黙時間の計測をしてもよい。
【0095】
つづいて、
図18を参照して、警告処理について説明する。はじめに、制御部100は、現在時刻が通知開始時刻を過ぎたか否かを判定し、通知開始時刻を過ぎた場合は、沈黙時間情報170を読み出す(ステップS172;Yes→ステップS272)。つづいて、制御部100は、通知設定情報168に記憶された沈黙時間上限値を読み出し、沈黙時間情報170によって示される沈黙時間が、沈黙時間上限値を超過するか否かを判定する(ステップS274)。そして、沈黙時間が沈黙時間上限値を超過する場合は、表示部に警告メッセージを表示する(ステップS274;Yes→ステップS276)。
【0096】
[2.3 動作例]
つづいて、
図19を参照して本実施形態における情報処理装置12の表示例を説明する。
図19は、沈黙時間が沈黙時間上限値を超過する場合における表示画面W200の画面例である。表示制御部140は、表示装置40に表示画面W200として、映像入力部120から入力された映像と、進行状況表示とに加え、沈黙時間が沈黙時間上限値を超過したことを示すに警告メッセージE200を表示する。例えば、警告メッセージとして「皆さん発言しませんか」といったメッセージを表示する。このように、発言を促すメッセージを参加者によって視認されることにより、参加者の発言を促すことができる。
【0097】
なお、沈黙時間が沈黙時間上限値を超過した場合の通知方法は、第1実施形態と同様に、警告メッセージの表示以外にも、音や光や映像による通知を行ってもよい。
【0098】
[3.第3実施形態]
つづいて、第3実施形態について説明する。本実施形態は、第1実施形態とは異なり、参加者の属性によって、通知の有無や、通知を行う場合における閾値を変える実施形態である。本実施形態は、第1実施形態の
図4を
図20に、
図6を
図21に、
図10を
図22にそれぞれ置き換えたものである。なお、同一の機能部及び処理には同一の符号を付し、説明については省略する。
【0099】
本実施形態の参加者情報の例を
図20に示す。本実施形態の参加者情報には、参加者名、音声特定データに加えて、参加者の属性(例えば、「司会者」)を記憶する。参加者の属性は、会議における役割であってもよいし、参加者の役職や職種であってもよい。
【0100】
本実施形態の通知設定情報168の例を
図21に示す。
図21に示すように、本実施形態では、発言率上限値と発言率下限値を属性ごとに記憶する。
図21の例では、属性が「司会者」である属性の参加者に対しては、発言率上限値と発言率下限値とに値を記憶していない。この場合は、属性が「司会者」である参加者には、発言率がどのような値であっても通知を行わない。また、属性が「役職者」である参加者は、発言率上限値の値を記憶せず、発言率下限値の値に「5%」を記憶している。この場合は、属性が「司会者」である参加者には、発言率が発言率下限値を下回った場合にのみ通知を行う。
【0101】
つづいて、
図22を参照して、警告処理の流れについて説明する。制御部100は、発言率情報を1件読み出した後に、読み出した発言率情報の参加者名を含む参加者情報を読み出して、読み出した発言率情報に対応する参加者の属性を特定する。そして、制御部100は、通知設定情報168を読み出し、参加者の属性に対応する発言率上限値と発言率下限値を特定する(ステップS372)。
【0102】
そして、ステップS176においては、ステップS372で特定した発言率上限値に基づいて、参加者の発言率が発言率上限値を超過するか否かを判定する。なお、発言率上限値に値が記憶されていない場合は、ステップS176及びステップS178の処理をスキップする。また、ステップS180においては、ステップS372で特定した発言率下限値に基づいて、参加者の発言率が発言率下限値を下回るか否かを判定する。なお、発言率下限値に値が記憶されていない場合は、ステップS180及びステップS182の処理をスキップする。
【0103】
なお、通知方法や通知内容は属性に応じて変えてもよい。例えば、発言率が低い場合に対する警告メッセージとして、一般参加者に対しては「○○さん発言しましょう」とし、役職者に対しては「○○さんのご意見はどうでしょうか」としたメッセージを表示してもよい。
【0104】
本実施形態によれば、通知を行うのに適切でない参加者に対して、通知を行わなかったり、通知を抑制したりすることが可能となる。
【0105】
[4.第4実施形態]
つづいて、第4実施形態について説明する。本実施形態は、第1実施形態とは異なり、会議の進行状況によって、議事を開始する時刻を調整する実施形態である。本実施形態は、第1実施形態の
図2を
図23に、
図7を
図25に、
図8を
図26に、
図10を
図27にそれぞれ置き換えたものである。なお、同一の機能部及び処理には同一の符号を付し、説明については省略する。
【0106】
本実施形態における情報処理装置14の機能構成を、
図23を参照して説明する。情報処理装置14は、情報処理装置10と異なり、記憶部160に、さらに進行情報記憶領域172が確保される点が異なる。
【0107】
進行情報記憶領域172は、会議の議事の進行の情報である進行情報を記憶する領域である。進行情報は、
図24に示すように、予定情報に含まれる予定時刻と、予定時間と、議事名に加えて、議事を開始する時刻を調整した時刻である開始時刻(例えば、「15:33:00」)と、議事を開始する時刻の調整により予定時間を調整した調整後予定時間(例えば、「4分」)とを記憶する。
【0108】
なお、既に完了した議事に対応する進行情報については、開始時刻として実際に議事が開始された時刻を記憶し、調整後予定時間には何も記憶しないこととする。例えば、
図24に示すように、議事名が「開会」である議事が既に完了している場合は、開始時刻には実際に議事を開始した時刻(例えば、「15:00:10」)を記憶し、調整後予定時間には何も記憶しない。
【0109】
つづいて、本実施形態のメイン処理について説明する。制御部100は、会議の開始が指示されたら、予定情報を読み出し、進行情報に情報をコピーする(ステップS402)。具体的には、予定情報の予定時刻を進行情報の予定時刻と開始時刻に、予定情報の予定時間を進行情報の予定時間と調整後予定時間に、予定情報の議事名を進行情報の議事名にコピーする。このようにして、会議が開始された段階では、全ての議事は予定時刻通りに始まることとして、進行情報の開始時刻を、予定情報の予定時刻と一致させる。
【0110】
つづいて、制御部100は、現在の議事に対応する進行情報の開始時刻に、現在時刻を記憶する(ステップS404)。なお、現在の議事に対応する進行情報とは、完了していない議事のうち、予定時刻が最も早い進行情報である。
【0111】
また、制御部100は、進行状況表示処理、発言率算出処理、警告処理を実行し、つづいて議事が完了したか否かを判定する(ステップS406)。例えば、表示制御部140の制御により、表示装置40に、議事を完了する指示を受け付けるための議事完了ボタンを表示する。そして、司会を担当する参加者により、議事完了ボタンが選択された場合に、制御部100は、議事が完了したと判定する。
【0112】
議事が完了した場合は、つづいて制御部100は、全ての議事が完了したか否かを判定する(ステップS406;Yes→ステップS408)。例えば、進行情報記憶領域172の進行情報を読み出し、全ての進行情報の開始時刻が現在時刻よりも前であれば、現在時刻以降の議事がないこととなるため、全ての議事が完了したと判定する。なお、ステップS406において、議事が完了していない場合は、ステップS110へ戻る(ステップS406;No→ステップS110)。
【0113】
全ての議事が完了した場合は、メイン処理を終了する(ステップS408;Yes)。全ての議事が完了していない場合は、次の議事を進行するため、ステップS404へ戻る(ステップS408;No→ステップS404)。
【0114】
つづいて、
図26を参照して、本実施形態の進行状況表示処理について説明する。まず、制御部100は、進行情報記憶領域172から進行情報を読み出し(ステップS422)、現在時刻が、現在の議事の次の議事に対応する進行情報に記憶されている開始時刻を過ぎているか否かを判定する(ステップS424)。現在の議事の次の議事に対応する進行情報とは、進行情報のうち、開始時刻が現在時刻よりも未来であって、最も早い時刻のものである。
【0115】
現在時刻が次の議事の開始時刻を過ぎている場合は(ステップS424;Yes)、現在の議事が、予定していた時間よりも長くなっている等の理由により、進行が予定よりも遅れていることを示す。したがって、この場合は、制御部100は、進行情報のうち、開始時間が現在時刻よりも後の時刻となっている議事(以下、「未完了の議事」という)に対応する進行情報を読み出して、開始時刻を調整する(ステップS426)。例えば、現在の議事の当初の終了時刻と、現在時刻との差分を遅延時間として、遅延時間分だけ次の議事の開始時刻を遅らせる。また、未完了の議事の開始時間を少しずつ遅らせて、未完了の議事を取り扱う時間を短縮させてもよい。また、開始時間を調整することによって議事を取り扱う時間が短縮された場合は、短縮後の予定時間を調整後予定時間とする。このように、予定情報と実際の進行の状況に基づいて、未完了の議事に関する予定を調整する。
【0116】
そして、制御部100は、ステップS424で調整した開始時間と、調整後予定時間とを含んだ進行情報を、進行情報記憶領域172に記憶する(ステップS428)。このようにして、会議の進行が遅れた場合、未完了の議事の開始時間を遅らせ、予定時間を短縮することで、予定情報に基づく会議の終了時間までに、全ての議事が完了できるように、進行情報を修正する。
【0117】
つづいて、制御部100は、進行情報に基づいて、進行状況の表示をする(ステップS430)。進行状況の表示の方法は、第1実施形態のステップS124のように、表形式や帯状に表示する。そして、調整後予定時間が予定時間よりも短くなっている議事名を識別表示する(ステップS432)。このようにすることで、進行が遅れていることと、開始時間を調整したことによって短縮された議事とを、参加者に視認させることができる。
【0118】
図25に戻り、つづいて、発言率算出処理を実行する。本実施形態の発言率算出処理においては、発言時間の計測、経過時間の算出、発言率の算出は、進行情報に記憶された開始時刻や、調整後予定時間に基づいて計測又は算出を行ってもよい。このようにすることで、現実の会議の進行状況に応じた発言率を算出することが可能となる。
【0119】
つづいて、
図27を参照して、本実施形態の警告処理について説明する。制御部100は、進行情報表示処理によって、調整後予定時間が予定時間よりも短縮された議事があるか否かを判定し、調整後予定時間が予定時間よりも短縮された議事がある場合は、表示制御部140の制御により、表示装置40に警告を表示する(ステップS472;Yes→ステップS474)。例えば、制御部100は、進行情報に記憶された予定時間と、調整後予定時間とを比較し、調整後予定時間が予定時間よりも短い予定情報がある場合は、予定時間が短縮された議事があると判定する。
【0120】
本実施形態の動作例を
図28を参照して説明する。
図28(a)は進行情報に基づいて、進行状況を帯状に表示させた場合の進行状況表示の表示例であり、現在の議事である「議題A 議論時間」が、次の議事である「議題A まとめ」の開始時刻に至ったときの様子を示したものである。この場合であっても、現在の議事である「議題A 議論時間」は完了とはしない。そして、現在時刻が、次の議事である「議題A まとめ」の開始時刻を超えたら、制御部100は、未完了の議事の開始時間を調整する。
【0121】
図28(b)は、未完了の議事の開始時間を調整した後の進行情報に基づいて、進行状況を帯状に表示させた場合の進行状況表示の表示例である。この例では、「議題A まとめ」と、議題Bに含まれる議事との開始時間を遅らせ、さらに、議題Bに含まれる議事については、調整後予定時間が予定時間よりも短縮された場合を示している。
図28(b)に示すように、調整後予定時間が予定時間よりも短縮された議事のラベルについては、領域L400のように、ラベルの背景色を変えて強調表示を行う。なお、強調表示は、議事名の文字色を変えたり、ラベルの外枠の線を太くしたりするなどしてもよい。
【0122】
図28(c)は、会議の進行が遅れていることを通知する表示画面W400の画面例である。表示画面W400には、警告メッセージE400と進行状況表示領域E402とを含む。警告メッセージE400と、予定時間を短縮した議事を識別表示した進行状況表示領域E402とにより、進行が遅れていることを参加者に視認させる。
【0123】
本実施形態によれば、会議が円滑に進行にしていない場合は、未完了の議事の開始時間を調整して進行状況を表示することにより、参加者に対して、会議の終了時間を超過させないための進行を行うための手助けを行うことができる。
【0124】
[5.第5実施形態]
つづいて、第5実施形態について説明する。本実施形態は、第1実施形態に記載した通知を行う際に、表示制御部140が通知の対象となる参加者を識別表示する表示制御を行う実施形態である。本実施形態は、第1実施形態の
図10を
図29に置き換えたものである。なお、同一の機能部及び処理には同一の符号を付し、説明については省略する。
【0125】
参加者の識別表示とは、会議の参加者の映像に写っている参加者のうち、第1の参加者及び第2の参加者である参加者の表示態様を変える表示である。参加者を識別表示することにより、会議の参加者は、第1の参加者及び第2の参加者を、より視認することが容易となる。参加者の識別表示としては、識別表示の対象の参加者を表示装置40に拡大して表示させたり、カメラを切り替えて識別表示の対象の参加者の映像のみが表示装置40に表示されるように制御したりする。また、会議の参加者の映像の中から、識別表示の対象の参加者が目立つように輝度を挙げたり、印や囲みを加えたりしてもよい。なお本実施形態では、識別表示の対象の参加者を表示装置40に拡大して表示する(ズームする)ことにより識別表示を行うこととして説明する。
【0126】
本実施形態の警告処理の流れを
図29に示す。本実施形態では、ステップS176において、発言率が発言率上限値を超過する場合、表示制御部140は、発言率が発言率上限値を超過する第1の参加者を、表示装置40に拡大して表示されるように表示制御する(ステップS572)。例えば、参加者情報に参加者が映像に映り込む位置を予め記憶しておき、表示制御部140は、第1の参加者の位置を拡大した映像を表示装置40へ表示する制御を行うことにより実現する。
【0127】
なお、第1の参加者を拡大する方法としては、上述した方法以外にも、映像を顔認識して、第1の参加者の顔がある位置を拡大した映像を表示装置40へ表示する制御を行ってもよい。参加者ごとに映像入力装置がある場合は、第1の参加者の映像のみが表示装置40に表示されるように、映像を入力する映像入力装置を切り替えてもよい。また、参加者情報に、参加者のいる位置を記憶し、制御部100が映像入力部120を制御して、第1の参加者のいる位置を拡大した映像が入力されるように映像入力部120を制御してもよい。
【0128】
また、ステップS180において、発言率情報に記憶された発言率が発言率下限値を下回る場合、発言率が発言率下限値を下回った第2の参加者を、表示装置40に拡大して表示する(ステップS574)。第2の参加者を表示装置40に拡大して表示する方法は、ステップS572の方法と同様である。
【0129】
図30は、本実施形態の動作例を示した図である。
図30(a)は警告をしない場合における表示装置40に表示する表示画面W500の画面例である。表示画面W500には、映像入力部120から入力された映像と、進行状況表示とが表示される。
図30(b)は、参加者に対する警告を行う場合における表示装置40に表示する表示画面W502の画面例である。
図30(a)と比べ、
図30(b)は、通知の対象となる参加者を拡大して表示する。なお、通知の対象となる参加者を拡大して表示したら、さらに、警告メッセージE502を表示する。
【0130】
本実施形態によれば、通知の対象となる参加者が表示装置40に識別表示して表示されるため、より、警告されていることを参加者に意識させることが可能となる。
【0131】
[6.第6実施形態]
つづいて、第6実施形態について説明する。本実施形態は、会議の参加者のそれぞれに個別の端末が用意されているときに、第1の参加者及び第2の参加者となった参加者の端末に通知を送信する実施形態である。本実施形態は、第1実施形態の
図10を
図31に置き換えたものである。なお、同一の機能部及び処理には同一の符号を付し、説明については省略する。
【0132】
本実施形態の警告処理の流れを
図31に示す。本実施形態では、ステップS176において、発言率情報に記憶された発言率が発言率上限値を超過する場合、発言率が発言率上限値を超過する第1の参加者の端末に通知データを送信する(ステップS672)。通知データとは、参加者に対する通知の内容(例えば、警告メッセージ)を含んだデータである。ステップS672においては、例えば、制御部100は、通知データを通信部150を介して、第1の参加者の端末に送信する。第1の参加者の端末では、通知データを受信したら、通知データを読み出して、第1の参加者の端末の表示部に、通知(例えば、警告メッセージ)を表示する。なお、通知データの送信先は、参加者情報に、参加者の端末への接続情報(例えば、IPアドレス)を予め記憶し、制御部100は、通知データを送信する際に、送信先となる参加者の端末の接続情報に基づいて通知データを送信すればよい。
【0133】
また、制御部100は、通知データを送信しても第1の参加者の発言が続くか否かを判定し、通知データの送信後も第1の参加者の発言が続く場合は、表示制御部140は、表示装置40に警告メッセージを表示する制御を行う(ステップS674;Yes→ステップS178)。このように、端末への通知データの送信と、表示装置40への警告メッセージの表示制御との2段階の通知を行う。
【0134】
同様にして、ステップS180において、発言率情報に記憶された発言率が発言率下限値を下回る場合、発言率が発言率下限値を下回る第2の参加者の端末に通知データを送信する(ステップS676)。制御部100は、通知データを送信しても第2の参加者の発言がされないか否かを判定し、通知データの送信後も第2の参加者の発言がされない場合は、表示制御部140は、表示装置40に警告メッセージを表示する制御を行う(ステップS678;Yes→ステップS182)。
【0135】
本実施形態によれば、表示制御部140が、表示装置40に通知を表示する制御を行う前に、参加者の端末に通知データを送信し、参加者の端末で通知を表示することが可能となる。このようにすることで、第1の参加者及び第2の参加者は、端末を確認することで、発言が長いことや、発言が短いことを知ることが可能となる。
【0136】
[7.第7実施形態]
つづいて、第7実施形態について説明する。本実施形態は、警告に応じて、音声を入力するマイクを切り替えることで、入力する音声の一部を無効化する実施形態である。本実施形態は、第1実施形態の
図10を
図32に置き換えたものである。なお、同一の機能部及び処理には同一の符号を付し、説明については省略する。また、本実施形態では、音声入力部110は、マイクといった音声入力装置が参加者ごとに備えられていて、音声入力部110と接続されていることとする。
【0137】
本実施形態の警告処理の流れを
図32に示す。本実施形態では、第1の参加者に対する警告を表示しても発言が続く場合は、制御部100は、第1の参加者の音声の入力を無効化する(ステップS772)。そして、制御部100は、第1の参加者の発言が終了したか否かを判定し、第1の参加者の発言が終了した場合は、制御部100は、ステップS772で無効化した第1の参加者の音声の入力を有効化する(ステップS774;Yes→ステップS776)。第1の参加者の発言が終了したか否かの判定は、例えば、音声入力部110から入力された第1の参加者の音声が、予め定められた音圧レベルを下回ったか否かによって判定する。
【0138】
また、第2の参加者に対する警告を表示しても発言がされない場合は、制御部100は、第2の参加者以外の参加者の音声の入力を無効化する(ステップS778)。そして、制御部100は、第2の参加者の発言がされたか否かを判定し、第2の参加者の発言がされた場合は、制御部100は、ステップS778で無効化した第2の参加者以外の参加者の音声の入力を有効化する(ステップS780;Yes→ステップS782)。第2の参加者の発言がされた否かの判定は、例えば、音声入力部110から入力された第2の参加者の音声が、予め定められた音圧レベルを超えたか否かによって判定する。
【0139】
なお、ステップS178や、ステップS182において、表示制御部140が表示装置40に表示する警告メッセージとして、音声の入力が一部無効化していることを表示してもよい。例えば、「○○さんの音声を無効化しています」といったように表示を行う。
【0140】
このように、本実施形態では、表示システム1が、表示部による通知の表示に加え、音声入力装置20から入力される音声の一部を無効化するといった、音声入力制御を行うことにより、会議の参加者の発言機会を生み出すことが可能となる。
【0141】
[8.変形例]
本発明は上述した各実施の形態に限定されるものではなく、種々の変更が可能である。すなわち、本発明の要旨を逸脱しない範囲内において適宜変更した技術的手段を組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。また、上述した各実施の形態において説明した処理のフローは、矛盾のない範囲において、ステップの順番を変更したり、一部のステップを同時に実行したり、スキップしてもよい。
【0142】
また、上述した実施形態は、説明の都合上、それぞれ別に説明している部分があるが、技術的に可能な範囲で組み合わせて実行してもよいことは勿論である。例えば、第4実施形態と第5実施形態とを組み合わせてもよい。この場合は、議事の進行の調整をしつつ、第1の参加者及び第2の参加者を表示部に拡大表示することが可能な表示装置となる。
【0143】
また、実施形態において各装置で動作するプログラムは、上述した実施形態の機能を実現するように、CPU等を制御するプログラム(コンピュータを機能させるプログラム)である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置(例えば、RAM)に蓄積され、その後、各種ROM(Read Only Memory)やHDD等の記憶装置に格納され、必要に応じてCPUによって読み出し、修正・書き込みが行なわれる。
【0144】
ここで、プログラムを格納する記録媒体としては、半導体媒体(例えば、ROMや、不揮発性のメモリカード等)、光記録媒体・光磁気記録媒体(例えば、DVD(Digital Versatile Disc)、MO(Magneto Optical Disc)、MD(Mini Disc)、CD(Compact Disc)、BD (Blu-ray(登録商標) Disk) 等)、磁気記録媒体(例えば、磁気テープ、フレキシブルディスク等)等の何れであってもよい。また、ロードしたプログラムを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することにより、本発明の機能が実現される場合もある。
【0145】
また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記憶装置も本発明に含まれるのは勿論である。
【符号の説明】
【0146】
10、12、14 情報処理装置
100 制御部
110 音声入力部
120 映像入力部
130 操作入力部
140 表示制御部
150 通信部
155 音声出力部
160 記憶部
162 予定情報記憶領域
164 参加者情報記憶領域
166 発言率情報記憶領域
168 通知設定情報
170 沈黙時間情報
172 進行情報記憶領域