IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社JVCケンウッドの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024134157
(43)【公開日】2024-10-03
(54)【発明の名称】情報処理装置および情報処理方法
(51)【国際特許分類】
   H04N 7/15 20060101AFI20240926BHJP
   G06F 3/16 20060101ALI20240926BHJP
   G06F 3/01 20060101ALI20240926BHJP
【FI】
H04N7/15
G06F3/16 620
G06F3/01 510
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2023044306
(22)【出願日】2023-03-20
(71)【出願人】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】神保 靖
(72)【発明者】
【氏名】長沼 立巳
(72)【発明者】
【氏名】糟谷 純一
(72)【発明者】
【氏名】中村 功大
(72)【発明者】
【氏名】内田 早紀
(72)【発明者】
【氏名】小林 朋央
(72)【発明者】
【氏名】高橋 真那夢
【テーマコード(参考)】
5C164
5E555
【Fターム(参考)】
5C164FA10
5C164UB81S
5C164VA06S
5C164VA07P
5C164VA51P
5E555AA46
5E555AA61
5E555BA13
5E555BB13
5E555BC08
5E555BD09
5E555CA42
5E555CA47
5E555CB64
5E555DA21
5E555DB53
5E555DB57
5E555DC13
5E555EA04
5E555EA11
5E555FA00
(57)【要約】
【課題】WEB会議において、適切に発言機会を与えること。
【解決手段】情報処理装置は、WEB会議に参加している参加者のWEB会議における発話を検出し、WEB会議において発話が所定以上多い参加者を検出する発話検出部と、発話検出部が検出した結果に基づき、WEB会議において発話が所定以上多い参加者を示す情報を、他の参加者を示す情報よりも優先度を下げて、WEB会議に参加している参加者の情報端末に表示させる表示制御部と、を備える。
【選択図】図4
【特許請求の範囲】
【請求項1】
WEB会議に参加している参加者の前記WEB会議における発話を検出し、前記WEB会議において発話が所定以上多い参加者を検出する発話検出部と、
前記発話検出部が検出した結果に基づき、前記WEB会議において発話が所定以上多い参加者を示す情報を、他の参加者を示す情報よりも優先度を下げて、前記WEB会議に参加している前記参加者の情報端末に表示させる表示制御部と、
を備える、情報処理装置。
【請求項2】
前記発話検出部は、前記WEB会議における発話中の参加者をさらに検出し、
前記表示制御部は、前記WEB会議における発話中の参加者を示す情報を、発話中であることが明示的となるように、前記WEB会議に参加している各情報端末に表示させるとともに、発話中の参加者が、発話が所定以上多い参加者である場合、他の参加者が発話中である場合の他の参加者を示す情報よりも優先度を下げて、前記WEB会議に参加している前記参加者の情報端末に表示させる、
請求項1に記載の情報処理装置。
【請求項3】
前記発話検出部は、前記WEB会議における発話中の参加者の発話形態として、発話の間の状態をさらに検出し、
前記表示制御部は、前記WEB会議における発話中の参加者を示す情報を、発話中であることが明示的となるように、前記WEB会議に参加している各情報端末に表示させるとともに、発話中の参加者が、発話が所定以上多い参加者であり、発話の間が少ない発話形態である場合、他の参加者が発話中である場合の他の参加者を示す情報よりも優先度を下げて、前記WEB会議に参加している前記参加者の情報端末に表示させる、
請求項2に記載の情報処理装置。
【請求項4】
前記発話検出部は、前記WEB会議における発話中の参加者の発話形態として、発話音量の大きさをさらに検出し、
前記表示制御部は、前記WEB会議における発話中の参加者を示す情報を、発話中であることが明示的となるように、前記WEB会議に参加している各情報端末に表示させるとともに、発話中の参加者が、発話が所定以上多い参加者であり、発話音量が所定以上大きい発話形態である場合、他の参加者が発話中である場合の他の参加者を示す情報よりも優先度を下げて、前記WEB会議に参加している前記参加者の情報端末に表示させる、
請求項2に記載の情報処理装置。
【請求項5】
WEB会議に参加している参加者の前記WEB会議における発話を検出し、前記WEB会議において発話が所定以上多い参加者を検出する発話検出ステップと、
前記発話検出ステップで検出した結果に基づき、前記WEB会議において発話が所定以上多い参加者を示す情報を、他の参加者を示す情報よりも優先度を下げて、前記WEB会議に参加している前記参加者の情報端末に表示させる表示制御ステップと、
を情報処理装置が実行する情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置および情報処理方法に関する。
【背景技術】
【0002】
WEB会議の普及により、様々な会議がWEB会議形式で行われている。会議における参加者の発言は、会議の目的によって異なるが、例えば、ブレーンストーミングのような会議においては、参加者の積極的な発言が推奨される、例えば、特許文献1には、発言頻度が所定以下のユーザに対して、発言を促すメッセージを表示する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2022-113066号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載の技術を用いた場合、発言の少ない参加者に対して発言を促すメッセージが表示されるが、他の参加者には表示されないことから、発言の少ない参加者が発言を行うタイミングがつかめない場合があり、発言機会を失う場合もある。
【0005】
本発明は、WEB会議において、適切に発言機会を与えることができる情報処理装置および情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の情報処理装置は、WEB会議に参加している参加者の前記WEB会議における発話を検出し、前記WEB会議において発話が所定以上多い参加者を検出する発話検出部と、前記発話検出部が検出した結果に基づき、前記WEB会議において発話が所定以上多い参加者を示す情報を、他の参加者を示す情報よりも優先度を下げて、前記WEB会議に参加している前記参加者の情報端末に表示させる表示制御部と、を備える。
【0007】
本発明の情報処理方法は、WEB会議に参加している参加者の前記WEB会議における発話を検出し、前記WEB会議において発話が所定以上多い参加者を検出する発話検出ステップと、前記発話検出ステップで検出した結果に基づき、前記WEB会議において発話が所定以上多い参加者を示す情報を、他の参加者を示す情報よりも優先度を下げて、前記WEB会議に参加している前記参加者の情報端末に表示させる表示制御ステップと、を情報処理装置が実行する。
【発明の効果】
【0008】
本発明によれば、WEB会議において、適切に発言機会を与えることができる。
【図面の簡単な説明】
【0009】
図1図1は、第一実施形態に係る情報処理システムの構成例を示す図である。
図2図2は、第一実施形態に係る情報端末の構成例を示すブロック図である。
図3図3は、第一実施形態に係るサーバ装置の構成例を示すブロック図である。
図4図4は、第一実施形態に係る情報処理装置の構成例を示すブロック図である。
図5図5は、第一実施形態に係る情報処理方法を示すフローチャートである。
図6図6は、一実施形態に係るWEB会議のデフォルト画面の一例を示す図である。
図7図7は、第一実施形態に係る発話履歴を説明するための図である。
図8図8は、第一実施形態に係る発話の少ない参加者の表示優先度を上げて表示する第一の方法を説明するための図である。
図9図9は、第一実施形態に係る発話の少ない参加者の表示優先度を上げて表示する第二の方法を説明するための図である。
図10図10は、第二実施形態に係る情報処理方法を示すフローチャートである。
図11図11は、第二実施形態に係る発話者を明示的に表示する方法を説明するための図である。
図12図12は、第二実施形態に係る発話の少ない参加者の表示優先度を上げて表示する第一の方法の説明するための図である。
図13図13は、第二実施形態に係る発話の少ない参加者の表示優先度を上げて表示する第二の方法を説明するための図である。
図14図14は、第三実施形態に係る情報処理方法を示すフローチャートである。
図15図15は、第四実施形態に係る情報処理方法を示すフローチャートである。
図16図16は、第四実施形態に係る発話履歴を説明するための図である。
図17図17は、第四実施形態に係る発話が多い参加者の表示優先度を下げて表示する方法を説明するための図である。
図18図18は、第五実施形態に係る情報処理方法を示すフローチャートである。
図19図19は、第五実施形態に係る発話の多い参加者の表示優先度を下げて明示的に表示する第一の方法の説明するための図である。
図20図20は、第五実施形態に係る発話の多い参加者の表示優先度を下げて明示的に表示する第二の方法を説明するための図である。
図21図21は、第五実施形態に係る発話の多い参加者を明示的に表示する第一の方法の説明するための図である。
図22図22は、第五実施形態に係る発話を明示的に表示する第二の方法を説明するための図である。
図23図23は、第六実施形態に係る情報処理方法を示すフローチャートである。
図24図24は、第七実施形態に係る情報処理方法を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、添付図面を参照して、本発明に係る実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではなく、また、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【0011】
[第一実施形態]
(情報処理システム)
図1を用いて、第一実施形態に係る情報処理システムの構成例について説明する。図1は、第一実施形態に係る情報処理システムの構成例を示す図である。
【0012】
図1に示すように、情報処理システム1は、複数の情報端末10と、サーバ装置12とを含む。各情報端末10は、WEB会議アプリケーションを起動することで、サーバ装置12を介して、他の情報端末10とWEB会議を行うことができる。
【0013】
(情報端末)
図2を用いて、第一実施形態に係る情報端末の構成例について説明する。図2は、第一実施形態に係る情報端末の構成例を示すブロック図である。
【0014】
図2に示すように、情報端末10は、カメラ20と、マイクロフォン22と、操作部24と、通信部26と、表示部28と、端末制御装置30と、を備える。情報端末10としては、例えば、デスクトップ型PC(Personal Computer)、ノート型PC、タブレット端末などの情報端末が例示される。
【0015】
カメラ20は、情報端末10の前に存在しているユーザを撮影する。カメラ20は、情報端末10を使用するユーザを撮影する。カメラ20は、例えば、表示部28側に設けられたインカメラである。カメラ20は、情報端末10に接続された外部のカメラであってもよい。
【0016】
マイクロフォン22は、情報端末10を使用するユーザが発話した音声を収音する。マイクロフォン22は、収音した音声に関する音声情報を端末制御装置30の音声取得部44に出力する。
【0017】
操作部24は、情報端末10に対する各種の入力操作を受け付ける。操作部24は、受け付けた入力操作に応じた操作信号を端末制御装置30に出力する。操作部24は、例えば、キーボード、マウス、タッチパネル、ボタン、スイッチなどを含む。操作部24としてタッチパネルが用いられる場合には、操作部24は表示部28上に配置される。
【0018】
通信部26は、有線又は無線のネットワークを介して、外部装置との間で通信を行う。通信部26は、例えば、有線又は無線のネットワークを介して、サーバ装置12との間で通信を行う。
【0019】
表示部28は、文字及び画像を含む各種の映像を表示する。表示部28は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機EL(Electro-Luminescence)などを含むディスプレイである。
【0020】
端末制御装置30は、情報端末10の各部を制御する。端末制御装置30は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などの情報処理装置と、RAM(Random Access Memory)又はROM(Read Only Memory)などの記憶装置とを有する。端末制御装置30は、本発明に係る情報端末10の動作を制御するプログラムを実行する。端末制御装置30は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。端末制御装置30は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。
【0021】
端末制御装置30は、回路や実行されるプログラムによって実現される機能ブロックとして、撮影制御部40と、通信制御部42と、音声取得部44と、表示制御部46と、操作制御部48と、アプリケーション制御部50と、記憶部52と、を有する。
【0022】
撮影制御部40は、カメラ20を制御して、画像を撮影させる。撮影制御部40は、カメラ20に撮影させた画像に関する画像データを取得する。具体的には、撮影制御部40は、カメラ20によって撮影された、情報端末10を使用するユーザを撮影した画像データを取得する。カメラ20の撮影によって取得する画像データは、動画像の画像データである。
【0023】
通信制御部42は、通信部26を制御して、情報端末10と外部装置との間の通信を実行させる。具体的には、通信制御部42は、例えば、通信部26を制御して、情報端末10と、サーバ装置12との間の通信を制御する。通信制御部42は、例えば、通信部26を制御して、他の情報端末10とのWEB会議に関する情報をサーバ装置12との間で送受信する。通信制御部42は、例えば、通信部26を制御して、音声取得部44が取得した情報端末10を使用するユーザの発話に関する音声情報、撮影制御部40が取得した情報端末10を使用するユーザを撮影した画像データをサーバ装置12に送信する。通信制御部42は、例えば、通信部26を制御して、サーバ装置12から、他の情報端末10のユーザの発話音声や画像データなど、WEB会議に必要な情報を受信する。
【0024】
音声取得部44は、マイクロフォン22が検出した音声に関する音声情報を取得する。音声取得部44は、情報端末10を使用するユーザの発話に関する音声情報を取得する。
【0025】
表示制御部46は、表示部28を制御して、文字及び画像を含む各種の映像を表示させる。表示制御部46は、例えば、表示部28を制御して、WEB会議のアプリケーションを実行させた情報(以下、WEB会議画面)を表示させる。WEB会議画面は、表示制御部46がWEB会議画面を生成して表示部28に表示させてもよく、サーバ装置12が生成したWEB会議画面を、表示制御部46が表示部28に表示させてもよい。
【0026】
操作制御部48は、操作部24が受け付けた操作に応じた操作信号を操作部24から取得する。操作制御部48は、取得した操作信号に応じた制御信号を、各部に出力する。
【0027】
アプリケーション制御部50は、情報端末10で動作する各種のアプリケーションの動作を制御する。アプリケーション制御部50は、例えば、WEB会議ツール及びチャットツールなどのアプリケーションの動作を制御する。アプリケーション制御部50は、情報端末10において、WEB会議ツール等のアプリケーションを動作させる構成に代えて、サーバ装置12において、WEB会議ツール等のアプリケーションを動作させる構成であてもよい。また、アプリケーション制御部50は、情報端末10およびサーバ装置12において、WEB会議ツール等のアプリケーションを分散的に動作させてもよい。言い換えると、アプリケーション制御部50は、情報端末10のみで実現される機能ブロックである場合に加え、サーバ装置12において実現される機能ブロック、情報端末10およびサーバ装置12で実現される機能ブロックであってもよい。
【0028】
記憶部52は、例えば、端末制御装置30の演算内容、およびプログラム等の情報を記憶する。記憶部52は、例えば、RAMと、ROMのような主記憶装置、SSD(Solid State Drive)等の記憶装置などで構成される。
【0029】
(サーバ装置)
図3を用いて、第一実施形態に係るサーバ装置の構成例について説明する。図3は、第一実施形態に係るサーバ装置の構成例を示すブロック図である。
【0030】
図3に示すように、サーバ装置12は、通信部60と、サーバ制御装置62と、を備える。サーバ装置12は、コンピュータで実現される、汎用のサーバ装置である。サーバ装置12は、WEB会議ツールを提供する企業等のサーバなどである。
【0031】
通信部60は、有線又は無線のネットワークを介して、外部装置との間で通信を行う。通信部60は、例えば、有線又は無線のネットワークを介して、情報端末10との間で通信を行う。
【0032】
サーバ制御装置62は、サーバ装置12の各部を制御する。サーバ制御装置62は、例えば、CPUやMPUなどの情報処理装置と、RAM又はROMなどの記憶装置とを有する。サーバ制御装置62は、本発明に係るサーバ装置12の動作を制御するプログラムを実行する。サーバ制御装置62は、例えば、ASICやFPGA等の集積回路により実現されてもよい。サーバ制御装置62は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。
【0033】
サーバ制御装置62は、回路や実行されるプログラムによって実現される機能ブロックとして、接続制御部70と、通信制御部72と、記憶部74と、を備える。サーバ制御装置62は、上述したように、WEB会議ツール等のアプリケーションを動作させるアプリケーション制御部を備えていてもよい。
【0034】
接続制御部70は、サーバ装置12と、情報端末10との接続を制御する。接続制御部70は、サーバ装置12と、情報端末10との接続を確立させる。
【0035】
通信制御部72は、通信部60を制御して、サーバ装置12と外部装置との間の通信を実行させる。具体的には、通信制御部72は、例えば、通信部60を制御して、サーバ装置12と、情報端末10との間の通信を制御する。通信制御部72は、例えば、通信部60を制御して、情報端末10を使用するユーザの発話の検出結果を示す情報を、情報端末10から取得する。通信制御部72は、例えば、情報端末10を使用するユーザの発話の検出結果を示す情報を、他の情報端末10に送信する。
【0036】
記憶部74は、例えば、接続制御部70及び通信制御部72の演算内容、およびプログラム等の情報を記憶する。記憶部74は、例えば、RAMと、ROMのような主記憶装置、SSD、HDD(Hard Disk Drive)等の記憶装置などで構成される。
【0037】
(情報処理装置)
図4を用いて、第一実施形態に係る情報処理装置の構成例について説明する。図4は、第一実施形態に係る情報処理装置の構成例を示すブロック図である。
【0038】
図4に示すように、情報処理装置80は、発話検出部82と、表示制御部84と、を備える。情報処理装置80は、端末制御装置30およびサーバ制御装置62のいずれか一方または双方の協働で実現される概念的な装置である。したがって、情報端末10またはサーバ装置12のいずれかを情報処理装置80と称してもよく、情報端末10およびサーバ装置12からなる情報処理システム1を情報処理装置80と称してもよい。このため、情報処理装置80が備える発話検出部82および表示制御部84は、端末制御装置30およびサーバ制御装置62のいずれか、または双方で実現される。
【0039】
発話検出部82は、情報端末10を使用してWEB会議に参加している各参加者のWEB会議における発話を検出し、WEB会議において発話の少ない参加者、または発話の多い参加者を検出する。発話検出部82は、例えば、各情報端末10の音声取得部44が取得した音声情報に基づいて、情報端末10を使用している各ユーザの発話を検出する。発話検出部82は、例えば、各情報端末10の音声取得部44が取得した音声情報に対して、音声認識処理を実行することで、情報端末10を使用しているユーザの発話を検出する。発話検出部82は、例えば、各情報端末10の音声取得部44が取得した音声情報に対して音声認識処理を実行して発話を検出する場合には、各情報端末10から発話の検出結果を受信することで、各情報端末10を使用しているユーザの発話を検出してもよい。
【0040】
発話検出部82は、WEB会議に参加している各参加者における発話の少ない参加者の検出条件として、発話割合が所定割合未満の参加者としてもよく、発話割合や発話量、発話時間が最も少ない参加者としてもよい。また、発話検出部82は、WEB会議に参加している各参加者における発話の多い参加者の検出条件として、発話割合が所定割合以上の参加者としてもよく、発話割合や発話量、発話時間が最も多い参加者としてもよい。
【0041】
表示制御部84は、情報端末10の表示部28に、WEB会議画面などの各種の情報を表示させる。表示制御部84は、例えば、発話検出部82が検出した結果に基づき、WEB会議において発話の少ない参加者を示す情報を、他の参加者を示す情報より優先的に、WEB会議に参加している参加者の各情報端末10の表示部28に表示させる。言い換えれば、表示制御部84は、WEB会議において発話の少ない参加者を示す情報を、WEB会議に参加している参加者の各情報端末10の表示部28に目立つように表示させる。表示制御部84は、例えば、各情報端末10に情報の表示形態を示す指示情報を送信し、各情報端末10の表示制御部46が指示情報に従って、発話の少ない参加者を示す情報を表示部28に表示させてもよい。例えば、発話検出部82が検出した結果を示す検出結果を各情報端末10に送信し、各情報端末10の表示制御部46が表示形態を構成して、発話の少ない参加者を示す情報を表示部28に表示させてもよい。
【0042】
発話検出部82は、例えば、WEB会議における発話中の参加者をさらに検出してもよい。この場合、表示制御部84は、例えば、WEB会議における発話中の参加者を示す情報を、発話中であることが明示的となるように、WEB会議に参加している各情報端末10に表示させてもよい。表示制御部84は、例えば、発話検出部82が検出した結果に基づき、WEB会議において発話の少ない参加者を示す情報を、発話中ではない他の参加者を示す情報より優先的に、WEB会議に参加している各情報端末10に表示させてもよい。表示制御部84は、発話中の参加者が、発話が所定以上多い参加者である場合、他の参加者が発話中である場合の他の参加者を示す情報より非優先的に、WEB会議に参加している参加者の情報端末10に表示させてもよい。非優先的とは、優先度を下げることを意味する。
【0043】
発話検出部82は、例えば、WEB会議において発話が停滞したことをさらに検出してもよい。この場合、表示制御部84は、WEB会議において発話が停滞した場合に、発話検出部82が検出した結果に基づき、WEB会議において発話の少ない参加者を示す情報を、他の参加者を示す情報より優先的に、WEB会議に参加している各情報端末10に表示させてもよい。
【0044】
表示制御部84は、例えば、WEB会議において発話の少ない参加者を示す情報を、発話中ではない他の参加者を示す情報より大きいサイズで、WEB会議に参加している各情報端末に表示させてもよい。
【0045】
表示制御部84は、例えば、発話検出部82が検出した結果に基づき、WEB会議において発話が所定以上多い参加者を示す情報を、他の参加者を示す情報より非優先的に、WEB会議に参加している参加者の情報端末10に表示させてもよい。言い換えれば、表示制御部84は、発話が所定以上多い参加者を示す情報をWEB会議に参加している参加者の情報端末10の表示部28に目立たないように表示させてもよい。
【0046】
発話検出部82は、WEB会議における発話中の参加者の発話形態として、発話の間の状態をさらに検出してもよい。この場合、表示制御部84は、WEB会議における発話中の参加者を示す情報を、発話中であることが明示的となるように、WEB会議に参加している各情報端末10に表示させてもよい。表示制御部84は、発話中の参加者が、発話が所定以上多い参加者であり、発話の間が少ない発話形態である場合、他の参加者が発話中である場合の他の参加者を示す情報より非優先的に、WEB会議に参加している参加者の情報端末10に表示させてもよい。
【0047】
発話検出部82は、WEB会議における発話中の参加者の発話形態として、発話音量の大きさをさらに検出してもよい。この場合、表示制御部84は、WEB会議における発話中の参加者を示す情報を、発話中であることが明示的となるように、WEB会議に参加している各情報端末10に表示させてもよい。表示制御部84は、発話中の参加者が、発話が所定以上多い参加者であり、発話音量が所定以上大きい発話形態である場合、他の参加者が発話中である場合の他の参加者を示す情報より非優先的に、WEB会議に参加している参加者の情報端末10に表示させてもよい。
【0048】
(情報処理方法)
図5を用いて、第一実施形態に係る情報処理方法について説明する。図5は、第一実施形態に係る情報処理装置80が実行する情報処理方法を示すフローチャートである。
【0049】
図5に示す処理は、複数の参加者が参加するWEB会議が開始されることによって開始される。
【0050】
WEB会議が開始されると、表示制御部84は、WEB会議の各参加者を示す情報の表示、つまりWEB会議画面の表示を開始する(ステップS10)。具体的には、表示制御部84は、各参加者の情報を各情報端末10に表示させる。図6は、第一実施形態に係るWEB会議のデフォルト画面の一例を示す図である。図6は、WEB会議に参加している各参加者の情報端末10の表示部28に表示される画面の例を示している。図6に示すように、例えば、WEB会議に参加者P1から参加者P12の12人が参加している場合には、参加者ごとにウィンドウWが表示される。各ウィンドウWには、各参加者のカメラ映像、各参加者のイニシャルなど各参加者を示す情報がランダムに表示される。つまり、各参加者の発話割合によらず、参加者P1のウィンドウのように大きいウィンドウで表示される場合や、参加者P7のウィンドウのように小さいウィンドウで表示される場合などが任意に入れ替わるような表示、または、他の条件による表示順での表示が行われる。そして、ステップS12に進む。WEB会議の参加人数によっては、ウィンドウWが表示されない参加者があってもよい。
【0051】
ステップS10の後に、開始されたWEB会議が、全員の発言を求めるような会議であることを判断する処理を加え、全員の発言を求めるような会議である場合に、図5に示す処理が実行されるようにしてもよい。または、WEB会議の設定者や参加者が、全員発言する会議であることを選択する操作や、発言を求める参加者を選択的に設定する操作を行うようにしてもよい。発言を求める参加者が設定される場合は、以下において発話が少ない参加者、発話の多い参加者の検出は、発言を求める参加者として設定された参加者から検出される。
【0052】
発話検出部82は、発話の少ない参加者を検出したか否かを判定する(ステップS12)。具体的には、発話検出部82は、WEB会議を開始した後、所定時間経過した後の参加者毎の発話履歴に基づいて、発話の少ない参加者を検出する。所定時間は、例えば、WEB会議の予定が60分の場合には10分経過後などが例示されるが、これに限定されない。所定時間は、任意に設定してもよい。発話検出部82は、WEB会議開始時点からの発話割合によって判断してもよいし、例えば10分ごとなどの時間間隔ごとの発話割合によって判断してもよい。図7は、第一実施形態に係る発話履歴を説明するための図である。図7に示すように、発話検出部82は、WEB会議が開始されると、参加者ごとに発話割合(%)を記録している。発話割合とは、例えば、WEB会議全体の発話を100%としたときの、参加者毎の発話の割合である。発話検出部82は、例えば、発話割合が5%未満の参加者を発話の少ない参加者として検出する。この場合、発話検出部82は、参加者P11の発話割合が3.2%であるので、参加者P11を発話の少ない参加者として検出する。発話が少ないと判定される発話割合は任意に設定してよい。発話の少ない参加者が検出された場合(ステップS12;Yes)、ステップS14に進む。発話の少ない参加者が検出されなかった場合(ステップS12;No)、ステップS20に進む。
【0053】
ステップS12でYesと判定された場合、表示制御部84は、発話の少ない参加者の表示優先度を上げる(ステップS14)。具体的には、表示制御部84は、発話の少ない参加者をより目立つ位置に表示させる。図8は、第一実施形態に係る発話の少ない参加者の表示優先度を上げて表示する第一の方法を説明するための図である。図8に示すように、表示制御部84は、例えば、参加者P11のウィンドウWを左上に表示して、参加者P11が目立つようにする。参加者P11のウィンドウWは、図6においては、小さいウィンドウであったものが、図8においては、大きく表示されている。各参加者を示す情報である各ウィンドウは、表示される位置がランダムであることから、発話が少ないと判定されない参加者のウィンドウは、図6および図8における参加者P8のように、任意のタイミングで、小さいウィンドウまたは大きいウィンドウで表示される。これに対し、発話が少ないと判定された参加者のウィンドウは、図8における参加者P11のように、発話が少ないと判定されている期間は、大きいウィンドウで表示される。
【0054】
図9は、第一実施形態に係る発話の少ない参加者の表示優先度を上げて表示する第二の方法を説明するための図である。図9に示すように、表示制御部84は、例えば、参加者P11のウィンドウWを他の参加者のウィンドウWよりも大きく表示することで、参加者P11を目立つようにする。そして、ステップS16に進む。
【0055】
発話検出部82は、発話が少ないと判定された参加者の発話率が上昇したか否かを判定する(ステップS16)。発話が少ないと判定された参加者の発話率が上昇したと判定された場合(ステップS16;Yes)、ステップS18に進む。発話が少ないと判定された参加者の発話率が上昇したと判定されない場合(ステップS16;No)、ステップS20に進む。
【0056】
ステップS16でYesと判定された場合、表示制御部84は、発話の少ない参加者の表示優先度を元に戻す(ステップS18)。具体的には、表示制御部84は、図8または図9に示す表示画面を、図6に示すデフォルト画面に戻す。そして、ステップS20に進む。
【0057】
情報処理装置80は、WEB会議が終了したか否かを判定する(ステップS20)。WEB会議が終了したと判定された場合(ステップS20;Yes)、図5の処理を終了する。WEB会議が終了したと判定されない場合(ステップS20;No)、ステップS12に進む。
【0058】
また、ステップS14の処理は、ステップS16でNoからステップS20:NoおよびステップS12:Yesを経由して推移した場合、表示優先度を上げている状態を維持する。
【0059】
上述した実施形態においては、発話が少ないと判定された参加者が1名である場合について説明したが、発話が少ないと判定された参加者が複数名である場合も、各々の参加者に対して同様の処理が行われる。
【0060】
上述のとおり、第一実施形態は、複数の参加者が参加するWEB会議において、発話の少ない参加者を目立つ位置に表示させることができる。これにより、第一実施形態は、発話の少ない参加者に適切に発言機会を与えることができる。
【0061】
[第二実施形態]
図10を用いて、第二実施形態に係る情報処理方法について説明する。図10は、第二実施形態に係る情報処理方法を示すフローチャートである。
【0062】
図10に示すステップS30の処理は、図5に示すステップS10の処理と同じなので、説明を省略する。
【0063】
発話検出部82は、発話者があるか否かを判定する(ステップS32)。発話者ありと判定された場合(ステップS32;Yes)、ステップS34に進む。発話者ありと判定されない場合(ステップS32;No)、ステップS46に進む。言い換えると、発話者ありと判定されない場合は、図5に示す処理と同一の処理が行われる。
【0064】
表示制御部84は、発話者を明示的に表示させる(ステップS34)。図11は、第二実施形態に係る発話者を明示的に表示する方法を説明するための図である。図11に示すように、例えば、発話検出部82は参加者P6が発話者であると判定したものとする。この場合、表示制御部84は、例えば、参加者P6のウィンドウWを他の参加者のウィンドウWよりも拡大し、かつウィンドウWの枠線の態様を変更することで、参加者P6を明示的に表示する。そして、ステップS36に進む。
【0065】
発話検出部82は、発話者以外の発話の少ない参加者を検出したか否かを検出する(ステップS36)。発話者以外の発話の少ない参加者を検出したと判定された場合(ステップS36;Yes)、ステップS38に進む。発話者以外の発話の少ない参加者を検出したと判定されない場合(ステップS36;No)、ステップS44に進む。
【0066】
ステップS36でYesと判定された場合、表示制御部84は、発話の少ない参加者の表示優先度を上げる(ステップS38)。具体的には、表示制御部84は、発話の少ない参加者を発話者と共により目立つ位置に表示させる。図12は、第二実施形態に係る発話の少ない参加者の表示優先度を上げて表示する第一の方法の説明するための図である。図12に示すように、例えば、発話検出部82は参加者P11が発話の少ない参加者であると判定したものとする。この場合、表示制御部84は、例えば、参加者P11のウィンドウWを、発話者である参加者P6のウィンドウWと並べて、大きく表示する。図13は、第二実施形態に係る発話の少ない参加者の表示優先度を上げて表示する第二の方法を説明するための図である。図13に示すように、例えば、参加者P6は資料を共有して発話しているものとする。この場合、表示制御部84は、参加者P11のウィンドウWを上位方向に移動させ、参加者P6の下の位置に表示させる。
【0067】
図10に示すステップS40からステップS44の処理、およびステップS46からステップS48の処理は、それぞれ、図5に示すステップS16からステップS20の処理、およびステップS12からステップS14の処理と同じなので、説明を省略する。
【0068】
上述のとおり、第二実施形態は、複数の参加者が参加するWEB会議において、発話者が発話しているときに、発話者以外で発話の少ない参加者を目立つ位置に表示させることができる。これにより、第二実施形態は、発話の少ない参加者により適切に発言機会を与えることができる。
【0069】
[第三実施形態]
図14を用いて、第三実施形態に係る情報処理方法について説明する。図14は、第三実施形態に係る情報処理方法を示すフローチャートである。
【0070】
図14に示すステップS50の処理は、図5に示すステップS10の処理と同じなので、説明を省略する。
【0071】
発話検出部82は、発話が停滞しているか否かを判定する(ステップS52)。発話が停滞しているとは、例えば、いずれの参加者からも発話が検出されない状態が30秒以上続いた場合などをいう。発話が停滞していると判定された場合(ステップS52;Yes)、ステップS54に進む。発話が停滞していると判定されない場合(ステップS52;No)、ステップS62に進む。
【0072】
図14に示すステップS54およびステップS56の処理は、それぞれ、図5に示すステップS12およびステップS14の処理と同じなので、説明を省略する。
【0073】
発話検出部82は、発話の停滞が解消されたか否かを判定する(ステップS58)。具体的には、発話検出部82は、発話が停滞した後、いずれかの参加者の発話が検出された場合に、発話の停滞が解消されたと判定する。発話の停滞が解消されたと判定された場合(ステップS58;Yes)、ステップS60に進む。発話の停滞が解消されたと判定されない場合(ステップS58;No)、ステップS62に進む。
【0074】
ステップS60およびステップS62の処理は、それぞれ、図5に示すステップS18およびステップS20の処理と同じなので、説明を省略する。
【0075】
上述のとおり、第三実施形態は、複数の参加者が参加するWEB会議において、発話が停滞しているときに、発話者以外で発話の少ない参加者を目立つ位置に表示させることができる。これにより、第三実施形態は、発話の少ない参加者により適切に発言機会を与えることができる。
【0076】
[第四実施形態]
図15を用いて、第四実施形態に係る情報処理方法について説明する。図15は、第四実施形態に係る情報処理方法を示すフローチャートである。
【0077】
第四実施形態では、WEB会議に参加している複数の参加者のうち、発話率が所定以上の参加者を目立たないように表示させる。
【0078】
図15に示すステップS70の処理は、図5に示すステップS10の処理と同じなので、説明を省略する。
【0079】
発話検出部82は、発話が多い参加者を検出したか否かを判定する(ステップS72)。具体的には、発話検出部82は、WEB会議を開始した後、所定時間経過した後の参加者毎の発話履歴に基づいて、発話の多い参加者を検出する。図16は、第四実施形態に係る発話履歴を説明するための図である。発話検出部82は、例えば、発話割合が20%以上の参加者を発話の多い参加者として検出する。この場合、発話検出部82は、参加者P6の発話割合が22.4%であるので、参加者P6を発話の多い参加者として検出する。発話が多いと判定される発話割合は任意に設定してよい。発話が多い参加者が検出された場合(ステップS72;Yes)、ステップS74に進む。発話が多い参加者が検出されなかった場合(ステップS72;No)、ステップS80に進む。
【0080】
ステップS72でYesと判定された場合、表示制御部84は、発話の多い参加者の表示優先度を下げる(ステップS74)。具体的には、表示制御部84は、発話が多い参加者をより目立たない位置に表示させる。図17は、第四実施形態に係る発話が多い参加者の表示優先度を下げて表示する方法を説明するための図である。図17に示すように、表示制御部84は、例えば、参加者P6のウィンドウWを右下に小さく表示して、参加者P6が目立たないようにする。参加者P6のウィンドウWは、図6においては、大きいウィンドウであったものが、図17においては、小さく表示されている。各参加者を示す情報である各ウィンドウは、表示される位置がランダムであることから、発話が多いと判定されない参加者のウィンドウは、図6および図17における参加者P8のように、任意のタイミングで、小さいウィンドウまたは大きいウィンドウで表示される。これに対し、発話が多いと判定された参加者のウィンドウは、図17における参加者P6のように、発話が多いと判定されている期間は、小さいウィンドウで表示される。そして、ステップS76に進む。
【0081】
発話検出部82は、発話が多いと判定された参加者の発話率が低下したか否かを判定する(ステップS76)。発話が少ないと判定された参加者の発話率が低下したと判定された場合(ステップS76;Yes)、ステップS78に進む。発話が多いと判定された参加者の発話率が低下したと判定されない場合(ステップS76;No)、ステップS80に進む。
【0082】
ステップS76でYesと判定された場合、表示制御部84は、発話が多い参加者の表示優先度を元に戻す(ステップS78)。具体的には、表示制御部84は、図17に示す表示画面を、図6に示すデフォルト画面に戻す。そして、ステップS80に進む。
【0083】
図15に示すステップS80の処理は、図5に示すステップS20の処理と同じなので、説明を省略する。
【0084】
上述のとおり、第四実施形態は、複数の参加者が参加するWEB会議において、発話の多い参加者を目立たない位置に表示させることができる。これにより、第四実施形態は、発話の少ない参加者を含む他の参加者が発言しやすく、適切に発言機会を与えることができる。
【0085】
[第五実施形態]
図18を用いて、第五実施形態に係る情報処理方法について説明する。図18は、第五実施形態に係る情報処理方法を示すフローチャートである。
【0086】
図18に示すステップS90の処理は、図10に示すステップS30の処理と同じであり、図18に示すステップS72からステップS78の処理は、図15に示すステップS72からステップS78の処理と同じであるため、説明を省略する。
【0087】
発話検出部82は、発話者があるか否かを判定する(ステップS92)。発話者ありと判定された場合(ステップS92;Yes)、ステップS94に進む。発話者ありと判定されない場合(ステップS92;No)、ステップS72に進む。言い換えると、発話者ありと判定されない場合は、図15に示す処理と同一の処理が行われる。
【0088】
ステップS92でYesと判定された場合、発話検出部82は、発話者は発話が多い参加者であるか否かを判定する(ステップS94)。具体的には、発話検出部82は、例えば、図16に示す各参加者の発話率に基づいて、発話者は発話が多い参加者であるか否かを判定する。発話者は発話が多い参加者であると判定された場合(ステップS94;Yes)、ステップS96に進む。発話者は発話が多い参加者であると判定されない場合(ステップS94;No)、ステップS98に進む。
【0089】
ステップS94でYesと判定された場合、表示制御部84は、発話者の表示優先度を下げて、発話者を明示的に表示する(ステップS96)。図19は、第五実施形態に係る発話の多い参加者の表示優先度を下げて明示的に表示する第一の方法の説明するための図である。図19に示すように、例えば、発話検出部82は発話率の高い参加者P6が発話者であると判定したものとする。この場合、表示制御部84は、例えば、参加者P6のウィンドウWを拡大せずに左上に位置させ、ウィンドウWの枠線の態様を変更することで、参加者P6を明示的に表示する。表示制御部84は、例えば、参加者P6のウィンドウWの枠線を二重にしたり、発光させたりする。図20は、第五実施形態に係る発話の多い参加者の表示優先度を下げて明示的に表示する第二の方法を説明するための図である。図20に示すように、例えば、参加者P6は資料を共有して発話しているものとする。この場合も、表示制御部84は、参加者P6のウィンドウWを拡大せずに右上に位置させ、ウィンドウWの枠線の態様を変更することで、参加者P6を明示的に表示する。そして、ステップS100に進む。
【0090】
ステップS94でNoと判定された場合、発話者を明示的に表示する(ステップS98)。図21は、第五実施形態に係る発話が多いと判定されない発話者である参加者を明示的に表示する第一の方法の説明するための図である。図19に示すように、例えば、発話検出部82は発話率が高いと判定されない参加者P11が発話者であると判定したものとする。この場合、表示制御部84は、例えば、参加者P11のウィンドウWを拡大して左上に位置させ、ウィンドウWの枠線の態様を変更することで、参加者P11を明示的に表示する。図22は、第五実施形態に係る発話が多いと判定されない発話者を明示的に表示する第二の方法を説明するための図である。図22に示すように、例えば、参加者P11は資料を共有して発話しているものとする。この場合も、表示制御部84は、参加者P11のウィンドウWを拡大して右上に位置させ、ウィンドウWの枠線の態様を変更することで、参加者P11を明示的に表示する。そして、ステップS100に進む。
【0091】
表示制御部84は、ステップS98において図21のような表示を行う場合、ステップS96においては図19のような表示を行う。また、表示制御部84は、ステップS98において図22のような表示を行う場合、ステップS96においては図20のような表示を行う。
【0092】
発話検出部82は、発話者の発話が終了したか否かを判定する(ステップS100)。具体的には、発話検出部82は、例えば、発話者の発話が所定時間以上検出されなくなった場合に、発話が終了したと判定する。発話が終了したと判定された場合(ステップS100;Yes)、ステップS102に進む。発話が終了したと判定されない場合(ステップS100;No)、ステップS104に進む。
【0093】
ステップS100でYesと判定された場合、表示制御部84は、発話者の明示表示を終了する(ステップS102)。具体的には、表示制御部84は、図19から図22に示す表示画面を図6に示すデフォルト画面に戻す。そして、ステップS104に進む。
【0094】
ステップS104の処理は、図5に示すステップS20の処理と同じなので、説明を省略する。
【0095】
上述のとおり、第五実施形態は、複数の参加者が参加するWEB会議において、発話者の発話率が高い場合には、発話率が高くない場合に対して目立たないように表示される。これにより、第五実施形態は、発話の少ない参加者を含む他の参加者が発言しやすく、適切に発言機会を与えることができる。
【0096】
[第六実施形態]
図23を用いて、第六実施形態に係る情報処理方法について説明する。図23は、第六実施形態に係る情報処理方法を示すフローチャートである。
【0097】
図23に示すステップS110からステップS114の処理は、それぞれ、図18に示すステップS90からステップS94の処理と同じであり、図23に示すステップS72からステップS78の処理は、図15に示すステップS72からステップS78の処理と同じであるため、説明を省略する。
【0098】
ステップS114でYesと判定された場合、発話検出部82は、発話者は発話の間が少ない参加者であるか否かを判定する(ステップS116)。発話の間が少ないとは、発話中に、他の発話者が入りこみにくいような連続的な発話形態をいう。連続的な発話形態とは、例えば、語句などの間に、0.5秒以上の間を開けずに話す形態などをいう。発話者は発話の間が少ない参加者であると判定された場合(ステップS116;Yes)、ステップS118に進む。発話者は発話の間が少ない参加者であると判定されない場合(ステップS116;No)、ステップS120に進む。
【0099】
ステップS118からステップS126の処理は、それぞれ、図18に示すステップS96からステップS104の処理と同じなので、説明を省略する。
【0100】
上述のとおり、第六実施形態は、複数の参加者が参加するWEB会議において、発話者の発話率が高くかつ発話の間が少ない場合には目立たないように表示される。これにより、第六実施形態は、発話の少ない参加者を含む他の参加者が発言しやすく、適切に発言機会を与えることができる。
【0101】
[第七実施形態]
図24を用いて、第七実施形態に係る情報処理方法について説明する。図24は、第七実施形態に係る情報処理方法を示すフローチャートである。
【0102】
図24に示すステップS130からステップS134の処理は、それぞれ、図18に示すステップS90からステップS94の処理と同じであり、図24に示すステップS72からステップS78の処理は、図15に示すステップS72からステップS78の処理と同じであるため、説明を省略する。
【0103】
ステップS134でYesと判定された場合、発話検出部82は、発話者は発話音量が大きい参加者であるか否かを判定する(ステップS136)。発話音量が大きいとは、他の参加者が発話に入りこみにくいような音量の発話形態をいう。他の参加者が発話に入り込みにくい音量とは、例えば、他の参加者の発話音量より平均的に2dB以上大きい音量などである。発話者は発話音量が大きい参加者であると判定された場合(ステップS136;Yes)、ステップS138に進む。発話者は発話音量が大きい参加者であると判定されない場合(ステップS136;No)、ステップS140に進む。
【0104】
ステップS138からステップS146の処理は、それぞれ、図18に示すステップS96からステップS104の処理と同じなので、説明を省略する。
【0105】
上述のとおり、第七実施形態は、複数の参加者が参加するWEB会議において、発話者の発話率が高くかつ発話音量が大きい場合には目立たないように表示される。これにより、第七実施形態は、発話の少ない参加者を含む他の参加者が発言しやすく、適切に発言機会を与えることができる。
【0106】
図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の付加や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。なお、この分散・統合による構成は動的に行われてもよい。
【0107】
以上、本発明の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
【符号の説明】
【0108】
1 情報処理システム
10 情報端末
12 サーバ装置
20 カメラ
22 マイクロフォン
24 操作部
26,60 通信部
28 表示部
30 端末制御装置
40 撮影制御部
44 音声取得部
48 操作制御部
50 アプリケーション制御部
52 記憶部
62 サーバ制御装置
70 接続制御部
72 通信制御部
74 記憶部
80 情報処理装置
82 発話検出部
84 表示制御部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24