特開 2024-27386 情報処理プログラム、及び情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024027386

(43)【公開日】2024-03-01

(54)【発明の名称】情報処理プログラム、及び情報処理システム

(51)【国際特許分類】

   H04N 7/15 20060101AFI20240222BHJP

   H04M 3/56 20060101ALI20240222BHJP

【ＦＩ】

H04N7/15

H04M3/56 C

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022130148

(22)【出願日】2022-08-17

(71)【出願人】

【識別番号】000005496

【氏名又は名称】富士フイルムビジネスイノベーション株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】猪股 浩司郎

【テーマコード（参考）】

5C164

5K201

【Ｆターム（参考）】

5C164FA10

5C164MB11S

5C164PA31

5C164PA41

5C164UB88S

5C164VA07P

5C164VA09P

5K201AA05

5K201BB09

5K201CA06

5K201CB13

5K201CC10

5K201DC05

5K201EC06

5K201EF07

5K201EF09

(57)【要約】

【課題】本開示の技術は、個々の参加者の音声、画像又は映像からリモート会議の雰囲気を把握する場合に比べ、会議の雰囲気を把握し易い情報処理プログラム、及び情報処理システムを提供することを目的とする。
【解決手段】情報処理プログラムは、複数の端末装置２０が参加し、メタデータを送受信するルームにおける複数の参加者の反応から推定した前記参加者の状態を、予め定めた共通の規則に従い前記複数の端末装置２０のうち少なくとも一の端末装置２０へ表現することをプロセッサに実行させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数の端末装置が参加し、メタデータを送受信するルームにおける複数の参加者の反応から推定した前記参加者の状態を、予め定めた共通の規則に従い前記複数の端末装置のうち少なくとも一の端末装置へ表現する
ことをプロセッサに実行させる情報処理プログラム。

【請求項2】

前記規則は、前記状態ごとに色、記号又は効果音を対応させることであり、
対応させた前記色、前記記号又は前記効果音を少なくとも前記一の端末装置へ出力する
ことをプロセッサに実行させる請求項１に記載の情報処理プログラム。

【請求項3】

前記規則は、前記状態ごとに色を対応させることであり、
前記参加者を表す画像又は映像の背景を前記色で表示する
ことをプロセッサに実行させる請求項２に記載の情報処理プログラム。

【請求項4】

前記規則は、前記状態ごとに記号を対応させることであり、
前記参加者を表す画像又は映像に前記記号を重畳して表示する
ことをプロセッサに実行させる請求項２に記載の情報処理プログラム。

【請求項5】

前記規則は、前記状態ごとの個数を合算することであり、
前記参加者の状態を、少なくとも前記一の端末装置へ前記状態ごとの個数に応じて表現する
ことをプロセッサに実行させる請求項１に記載の情報処理プログラム。

【請求項6】

前記状態のうち、合算した個数が最も多い状態又は予め定めた値を超えた状態を少なくとも前記一の端末装置へ表現する
ことをプロセッサに実行させる請求項５に記載の情報処理プログラム。

【請求項7】

予め定めた特定の前記状態の個数が予め定めた値を超えた場合、少なくとも前記一の端末装置へ通知する
ことをプロセッサに実行させる請求項５に記載の情報処理プログラム。

【請求項8】

前記規則は、前記状態ごとに色を対応させ、かつ、前記状態ごとの個数を合算することであり、
前記色に対応する前記状態の個数が多い程、前記色の色相ごとに明度又は彩度を高く又は低くなるように、前記色を少なくとも前記一の端末装置へ出力する
ことをプロセッサに実行させる請求項５に記載の情報処理プログラム。

【請求項9】

前記規則は、前記状態ごとに効果音を対応させ、かつ、前記状態ごとの個数を合算することであり、
前記効果音に対応する前記状態の個数が多い程、前記効果音の音量を大きくし、前記効果音を長くし、又は前記効果音の繰り返し回数を増加するように、前記効果音を少なくとも前記一の端末装置へ出力する
ことをプロセッサに実行させる請求項５に記載の情報処理プログラム。

【請求項10】

前記参加者の状態が、予め定めた特定の状態に変化したとき、前記参加者の識別情報を少なくとも前記一の端末装置へ表示する
ことをプロセッサに実行させる請求項１に記載の情報処理プログラム。

【請求項11】

前記参加者の人数が予め定めた値を超えた場合、前記参加者を表す画像又は映像を少なくとも前記一の端末装置に表示しない
ことをプロセッサに実行させる請求項１に記載の情報処理プログラム。

【請求項12】

プロセッサを含み、前記プロセッサは、
複数の端末装置が参加し、メタデータを送受信するルームにおける複数の参加者の反応から推定した前記参加者の状態を、予め定めた共通の規則に従い前記複数の端末装置のうち少なくとも一の端末装置へ表現する
情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の技術は、情報処理プログラム、及び情報処理システムに関する。

【背景技術】

【0002】

リモート会議において画像認識による動作解析する技術がある。

【0003】

特許文献１には、撮像装置又は集音装置と、前記撮像装置からの画像又は前記集音装置からの音声を取得する手段と、取得した画像又は音声を送受信する送受信手段を備える第１情報処理装置を複数と、複数の第１情報処理装置に通信媒体を介して接続し、各第１情報処理装置で送受信される画像又は音声を中継する第２情報処理装置とを含み、複数の第１情報処理装置間で共通の画像又は音声を表示又は出力させて情報を共有させ、会議を実現させる会議システムにおいて、第１情報処理装置にて取得された画像に映る人物の動作を認識する認識手段と、該認識手段による認識結果に基づき、不適切な動作の有無を検出する検出手段と、該検出手段の検出結果に応じて、前記第１情報処理装置からの画像若しくは音声の受信、若しくは他の第１情報処理装置への送信の可否、送信レートの増減、又は前記画像の一部への加工を制御する送信制御手段とを備えることを特徴とする会議システム、が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２－０５４８９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

近年、ネットワークを介して接続された複数の端末装置間で参加者の音声、画像又は映像の送受信を行うリモート会議が利用されている。

【0006】

ここで、リモート会議の参加者が多くなる程、リモート会議の雰囲気を把握することは難しくなる。

【0007】

本開示の技術は、個々の参加者の音声、画像又は映像からリモート会議の雰囲気を把握する場合に比べ、会議の雰囲気を把握し易い情報処理プログラム、及び情報処理システムを提供することを目的とする。

【課題を解決するための手段】

【0008】

第１態様に係る情報処理プログラムは、複数の端末装置が参加し、メタデータを送受信するルームにおける複数の参加者の反応から推定した前記参加者の状態を、予め定めた共通の規則に従い前記複数の端末装置のうち少なくとも一の端末装置へ表現する、ことをプロセッサに実行させる。

【0009】

第２態様に係る情報処理プログラムは、第１態様に係る情報処理プログラムにおいて、前記規則は、前記状態ごとに色、記号又は効果音を対応させることであり、対応させた前記色、前記記号又は前記効果音を少なくとも前記一の端末装置へ出力する、ことをプロセッサに実行させる。

【0010】

第３態様に係る情報処理プログラムは、第１態様に係る情報処理プログラムにおいて、前記規則は、前記状態ごとに色を対応させることであり、前記参加者を表す画像又は映像の背景を前記色で表示する、ことをプロセッサに実行させる。

【0011】

第４態様に係る情報処理プログラムは、第１態様に係る情報処理プログラムにおいて、前記規則は、前記状態ごとに記号を対応させることであり、前記参加者を表す画像又は映像に前記記号を重畳して表示する、ことをプロセッサに実行させる。

【0012】

第５態様に係る情報処理プログラムは、第１態様に係る情報処理プログラムにおいて、前記規則は、前記状態ごとの個数を合算することであり、前記参加者の状態を、少なくとも前記一の端末装置へ前記状態ごとの個数に応じて表現する、ことをプロセッサに実行させる。

【0013】

第６態様に係る情報処理プログラムは、第５態様に係る情報処理プログラムにおいて、前記状態のうち、合算した個数が最も多い状態又は予め定めた値を超えた状態を少なくとも前記一の端末装置へ表現する、ことをプロセッサに実行させる。

【0014】

第７態様に係る情報処理プログラムは、第５態様に係る情報処理プログラムにおいて、予め定めた特定の前記状態の個数が予め定めた値を超えた場合、少なくとも前記一の端末装置へ通知する、ことをプロセッサに実行させる。

【0015】

第８態様に係る情報処理プログラムは、第５態様に係る情報処理プログラムにおいて、前記規則は、前記状態ごとに色を対応させ、かつ、前記状態ごとの個数を合算することであり、前記色に対応する前記状態の個数が多い程、前記色の色相ごとに明度又は彩度を高く又は低くなるように、前記色を少なくとも前記一の端末装置へ出力する、ことをプロセッサに実行させる。

【0016】

第９態様に係る情報処理プログラムは、第５態様に係る情報処理プログラムにおいて、前記規則は、前記状態ごとに効果音を対応させ、かつ、前記状態ごとの個数を合算することであり、前記効果音に対応する前記状態の個数が多い程、前記効果音の音量を大きくし、前記効果音を長くし、又は前記効果音の繰り返し回数を増加するように、前記効果音を少なくとも前記一の端末装置へ出力する、ことをプロセッサに実行させる。

【0017】

第１０態様に係る情報処理プログラムは、第１態様に係る情報処理プログラムにおいて、前記参加者の状態が、予め定めた特定の状態に変化したとき、前記参加者の識別情報を少なくとも前記一の端末装置へ表示する、ことをプロセッサに実行させる。

【0018】

第１１態様に係る情報処理プログラムは、第１態様に係る情報処理プログラムにおいて、前記参加者の人数が予め定めた値を超えた場合、前記参加者を表す画像又は映像を少なくとも前記一の端末装置に表示しない、ことをプロセッサに実行させる。

【0019】

第１２態様に係る情報処理システムは、プロセッサを含み、前記プロセッサは、複数の端末装置が参加し、メタデータを送受信するルームにおける複数の参加者の反応から推定した前記参加者の状態を、予め定めた共通の規則に従い前記複数の端末装置のうち少なくとも一の端末装置へ表現する。

【発明の効果】

【0020】

第１態様、及び第１２態様によれば、個々の参加者の音声、画像又は映像からリモート会議の雰囲気を把握する場合に比べ、会議の雰囲気を把握し易い。

【0021】

第２態様によれば、色、記号又は効果音から参加者の状態を把握できる。

【0022】

第３態様によれば、参加者が撮影された画像又は映像の視認時に、色から雰囲気を把握できる。

【0023】

第４態様によれば、参加者が撮影された画像又は映像を視認時に、記号から雰囲気を把握できる。

【0024】

第５態様によれば、参加者の多さに対応した表現に変更できる。

【0025】

第６態様によれば、全ての参加者の状態から雰囲気を把握する場合に比べ、雰囲気を把握する負担を軽減できる。

【0026】

第７態様によれば、どのような雰囲気になるかの兆候を認識できる。

【0027】

第８態様によれば、色の調子から会議の雰囲気を把握できる。

【0028】

第９態様によれば、効果音の特徴から会議の雰囲気を把握できる。

【0029】

第１０態様によれば、特定の状態の参加者を識別できる。

【0030】

第１１態様によれば、ユーザが認識できる情報量を超えるような場合に、ユーザに提供する情報を制限できる。

【図面の簡単な説明】

【0031】

【図1】情報処理装置のシステムの概略構成図である。

【図2】第１実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。

【図3】第１実施形態に係る端末装置のハードウェア構成を示すブロック図である。

【図4】第１実施形態に係る情報処理装置の表現処理の流れを示すフローチャートである。

【図5】第１実施形態に係る情報処理装置の共通の規則の適用処理の流れを示すフローチャートである。

【図6】第１実施形態に係る端末装置のリモート会議画面を示す一例である。

【図7】第１実施形態に係る端末装置のリモート会議画面を示す一例である。

【図8】第１実施形態に係る情報処理装置の共通の規則の適用処理の流れを示すフローチャートである。

【図9】第１実施形態に係る情報処理装置の共通の規則の適用処理の流れを示すフローチャートである。

【図10】第１実施形態に係る情報処理装置の共通の規則の適用処理の流れを示すフローチャートである。

【図11】第２実施形態に係る情報処理装置の表現処理の流れを示すフローチャートである。

【図12】第２実施形態に係る端末装置のリモート会議画面を示す一例である。

【図13】第２実施形態に係る端末装置のリモート会議画面を示す一例である。

【図14】変形例に係る情報処理装置の表現処理の流れを示すフローチャートである。

【図15】変形例に係る情報処理装置の表現処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0032】

以下、本発明の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0033】

図１は、本開示の情報処理装置１０のシステムの概略構成図である。図１は、情報処理装置１０が複数の端末装置２０へネットワークＮを介して、リモート会議を提供する様子を示す。

【0034】

情報処理装置１０は、リモート会議を提供するサーバである。情報処理装置１０は、複数の端末装置２０に対して、画像、映像又は音声を送受信することにより、リモート会議のサービスを提供する。情報処理装置１０は、一の端末装置２０が投影した資料を他の端末装置２０に表示させることにより、資料を共有する。

【0035】

端末装置２０は、リモート会議に参加するパーソナルコンピュータ、タブレット型端末又はスマートフォン等である。端末装置２０は、情報処理装置１０に対して、メタデータとして、画像、映像又は音声を送受信することにより、リモート会議のルームに参加する。例えば、端末装置２０は、備え付けたカメラが撮影した一又は複数の参加者の画像又は映像を、情報処理装置１０へ送信する。例えば、端末装置２０は、備え付けたマイクロフォンが拾う一又は複数の参加者の音声を、情報処理装置１０へ送信する。

【0036】

［第１実施形態］
図２は、第１実施形態に係る情報処理装置１０のハードウェア構成を示すブロック図である。情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（通信Ｉ／Ｆ）１７の各構成を有する。各構成は、バス１９を介して相互に通信可能に接続されている。

【0037】

ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記録されているプログラムにしたがって、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、状態を表現する情報処理プログラムが格納されている。

【0038】

ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。

【0039】

入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。

【0040】

表示部１６は、たとえば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能しても良い。

【0041】

通信インタフェース１７は、データベース等の他の機器と通信するためのインタフェースであり、たとえば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。

【0042】

図３は、第１実施形態に係る端末装置２０のハードウェア構成を示すブロック図である。端末装置２０は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、ストレージ２４、入力部２５、表示部２６及び通信インタフェース（通信Ｉ／Ｆ）２７の各構成を有する。各構成は、バス２９を介して相互に通信可能に接続されている。

【0043】

ＣＰＵ２１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ２１は、ＲＯＭ２２又はストレージ２４からプログラムを読み出し、ＲＡＭ２３を作業領域としてプログラムを実行する。ＣＰＵ２１は、ＲＯＭ２２又はストレージ２４に記録されているプログラムにしたがって、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ２２又はストレージ２４には、状態を表現する情報処理プログラムが格納されている。

【0044】

ＲＯＭ２２は、各種プログラム及び各種データを格納する。ＲＡＭ２３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ２４は、ＨＤＤ又はＳＳＤにより構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。

【0045】

入力部２５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。また、入力部２５は、参加者を撮影するカメラ及び音声を拾うマイクロフォンを含む。

【0046】

表示部２６は、たとえば、液晶ディスプレイであり、各種の情報を表示する。表示部２６は、タッチパネル方式を採用して、入力部２５として機能しても良い。

【0047】

通信インタフェース２７は、データベース等の他の機器と通信するためのインタフェースであり、たとえば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。

【0048】

次に、第１実施形態に係る情報処理装置１０の作用について説明する。
図４は、情報処理装置１０による表現処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から情報処理プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、表現処理が行なわれる。

【0049】

ステップＳ１０１では、ＣＰＵ１１は、リモート会議が開始したか否かを判断する。リモート会議が開始したと判断した場合（ステップＳ１０１：ＹＥＳ）、ＣＰＵ１１は、ステップＳ１０２へ移行する。リモート会議が開始していないと判断した場合（ステップＳ１０１：ＮＯ）、ＣＰＵ１１は、リモート会議が開始するまで待機する。

【0050】

ステップＳ１０２では、ＣＰＵ１１は、参加者の反応から参加者の状態を推定する。ＣＰＵ１１は、例えば、参加者が撮影された画像若しくは映像、参加者の音声若しくは挙動、喜怒哀楽を含む参加者の顔の表情、参加者が記入したチャットの文言又は参加者が利用したアクション機能等から参加者の状態を推定する。ＣＰＵ１１は、例えば、既知の技術である表情認識、人物認識又は機械学習を用いて参加者の状態を推定する。ＣＰＵ１１は、推定した参加者の状態を端末装置２０から受信するようにしてもよい。すなわち、端末装置２０のＣＰＵ２１は、入力部２５であるカメラが撮影した参加者の画像又は映像から、参加者の状態を推定し、情報処理装置１０へ送信する。このとき、端末装置２０のＣＰＵ２１は、参加者の状態が変化した場合のみ、情報処理装置１０へ送信するようにしてもよい。ＣＰＵ１１は、ステップＳ１０３へ移行する。
ここで、状態は、例えば、参加者が端末装置２０の前に居る若しくは居ない、寝ている若しくは起きている、参加者の姿勢、表情、感情、肯定的若しくは否定的又は疑問の有無等である。

【0051】

ステップＳ１０３では、ＣＰＵ１１は、予め定めた共通の規則に従い複数の端末装置２０のうち少なくとも一の端末装置２０へ表現する。具体的には、ＣＰＵ１１は、後述する図５、図８、図９若しくは図１０に記載の処理又はこれらの組み合わせの処理を実行する。ＣＰＵ１１は、例えば、発言している参加者の端末装置２０、予め指定した端末装置２０、所定の権限を有する参加者の端末装置２０、又は全ての参加者の端末装置２０へ表現する。ＣＰＵ１１は、ステップＳ１０４へ移行する。

【0052】

ステップＳ１０４では、ＣＰＵ１１は、リモート会議が終了したか否かを判断する。リモート会議が終了したと判断した場合（ステップＳ１０４：ＹＥＳ）、ＣＰＵ１１は、表現処理を終了する。リモート会議が終了していないと判断した場合（ステップＳ１０４：ＮＯ）、ＣＰＵ１１は、ステップＳ１０２へ移行する。

【0053】

以上、ステップＳ１０２及びステップＳ１０３の処理により、ＣＰＵ１１は、複数の端末装置２０が参加するリモート会議における複数の参加者の反応から推定した参加者の状態を、予め定めた共通の規則に従い複数の端末装置２０のうち少なくとも一の端末装置２０へ表現する。少なくとも一の端末装置２０は、例えば、リモート会議を主催する端末装置２０である。複数の端末装置２０の全ての端末装置２０において、参加者の状態が表現されてもよい。

【0054】

図５は、情報処理装置１０による共通の規則の適用処理の流れを示すフローチャートである。

【0055】

ステップＳ１１１では、ＣＰＵ１１は、状態ごとに色、記号又は効果音を対応させる。記号は、図形又は顔マーク等を含む。効果音は、場面の状況や登場人物の心理を表すことに一般的に用いられる音である。また、効果音は、人の笑い声やブーイング等の合成音声を含む。ＣＰＵ１１は、ステップＳ１１２へ移行する。

【0056】

ステップＳ１１２では、ＣＰＵ１１は、色、記号又は効果音を少なくとも一の端末装置２０へ出力する。ここで、出力は、表示部１８に表示すること、通信インタフェース１７を介して送信すること及び送信先である端末装置２０の表示部２８に表示させることを含む。例えば、ＣＰＵ１１は、端末装置２０のリモート会議画面等に色、記号又は効果音を出力させる。例えば、ＣＰＵ１１は、肯定的な状態に赤色を対応付け、否定的な状態に青色を対応付ける。なお、ＣＰＵ１１は、状態ごとに色、記号又は効果音を複数対応付けてもよい。例えば、ＣＰＵ１１は、肯定的な状態に赤色を対応付け、表情に顔マークを対応付け、肯定的な参加者の状態を、赤で塗った顔マークで表現する。ＣＰＵ１１は、共通の規則の適用処理を終了する。
ここで、第１実施形態に係る端末装置２０のリモート会議画面５０の一例を図６及び図７に示す。

【0057】

図６は、参加者の状態を色に対応させて表現したリモート会議画面５０の一例である。リモート会議画面５０は、資料表示領域５１及び状態表示領域５２を含む。資料表示領域５１は、リモート会議で共有されている資料を表示する領域である。状態表示領域５２は、参加者ごとに、参加者の状態を予め定めた共通の規則に従い表示する領域である。
状態表示領域５２は、参加者の状態に対応させた色を表示する。状態表示領域５２は、参加者の名称、ＩＤ等を含む識別番号と共に色を表示してもよい。状態表示領域５２は、参加者が撮影された画像又は映像の背景の色として表示してもよい。なお、図６の状態表示領域５２において、例えば、右下がり斜線は赤色、右上がり斜線は青色、ひし形の斜線は黄色であることを示す。

【0058】

図７は、参加者の状態を記号に対応させて表現したリモート会議画面５０の一例である。状態表示領域５２は、参加者の状態に対応させた記号５３を表示する。状態表示領域５２は、参加者の状態が好意的な場合、笑顔をモチーフにした記号５３Ａを表示し、参加者の状態が非好意的な場合、退屈な表情をモチーフにした記号５３Ｂを表示してもよい。状態表示領域５２は、参加者が撮影された画像又は映像である人物画像Ｕの前面又は背面に記号５３を重畳して表示してもよい。

【0059】

以上、ステップＳ１１１及びステップＳ１１２の処理により、ＣＰＵ１１は、状態ごとに色、記号又は効果音を対応させ、対応させた色、記号又は効果音を少なくとも一の端末装置２０へ出力する。

【0060】

図８は、情報処理装置１０による共通の規則の適用処理の流れを示すフローチャートである。

【0061】

ステップＳ１２１では、ＣＰＵ１１は、特定の状態の個数が予め定めた値を超えたか否かを判断する。特定の状態の個数が予め定めた値を超えたと判断した場合（ステップＳ１２１：ＹＥＳ）、ＣＰＵ１１は、ステップＳ１２２へ移行する。特定の状態の個数が予め定めた値を超えていないと判断した場合（ステップＳ１２１：ＮＯ）、ＣＰＵ１１は、共通の規則の適用処理を終了する。

【0062】

ステップＳ１２２では、ＣＰＵ１１は、少なくとも一の端末装置２０へ通知する。すなわち、ＣＰＵ１１は、特定の状態の個数が予め定めた値を超えたことを、少なくとも一の端末装置２０へ通知する。例えば、ＣＰＵ１１は、否定的な状態の個数が予め定めた値を超えた場合、少なくとも一の端末装置２０へ警告する。ＣＰＵ１１は、共通の規則の適用処理を終了する。

【0063】

以上、ステップＳ１２１及びステップＳ１２２の処理により、ＣＰＵ１１は、予め定めた特定の状態の個数が予め定めた値を超えた場合、少なくとも一の端末装置２０へ通知する。

【0064】

図９は、情報処理装置１０による共通の規則の適用処理の流れを示すフローチャートである。

【0065】

ステップＳ１３１では、ＣＰＵ１１は、参加者の状態が特定の状態に変化したか否かを判断する。参加者の状態が特定の状態に変化したと判断した場合（ステップＳ１３１：ＹＥＳ）、ＣＰＵ１１は、ステップＳ１３２へ移行する。参加者の状態が特定の状態に変化していないと判断した場合（ステップＳ１３１：ＮＯ）、ＣＰＵ１１は、共通の規則の適用処理を終了する。

【0066】

ステップＳ１３２では、ＣＰＵ１１は、当該参加者の識別情報を少なくとも一の端末装置２０へ表示する。識別情報とは、氏名、識別番号、リモート会議のログイン名又は参加者が撮影された画像等である。すなわち、ＣＰＵ１１は、特定の状態になった参加者の識別情報を少なくとも一の端末装置２０へ出力する。ＣＰＵ１１は、共通の規則の適用処理を終了する。

【0067】

以上、ステップＳ１３１及びステップＳ１３２の処理により、ＣＰＵ１１は、参加者の状態が、予め定めた特定の状態に変化したとき、当該参加者の識別情報を少なくとも一の端末装置２０へ表示する。

【0068】

図１０は、情報処理装置１０による共通の規則の適用処理の流れを示すフローチャートである。

【0069】

ステップＳ１４１では、ＣＰＵ１１は、参加者の人数が予め定めた値を超えたか否かを判断する。参加者の人数が予め定めた値を超えたと判断した場合（ステップＳ１４１：ＹＥＳ）、ＣＰＵ１１は、ステップＳ１４２へ移行する。参加者の人数が予め定めた値を超えていないと判断した場合（ステップＳ１４１：ＮＯ）、ＣＰＵ１１は、ステップＳ１４３へ移行する。

【0070】

ステップＳ１４２では、ＣＰＵ１１は、参加者が撮影された画像又は映像を少なくとも一の端末装置２０へ表示しない。ＣＰＵ１１は、共通の規則の適用処理を終了する。

【0071】

ステップＳ１４３では、ＣＰＵ１１は、参加者が撮影された画像又は映像を少なくとも一の端末装置２０へ表示する。ＣＰＵ１１は、共通の規則の適用処理を終了する。

【0072】

以上、ステップＳ１４１からステップＳ１４３の処理により、ＣＰＵ１１は、参加者の人数が予め定めた値を超えた場合、参加者が撮影された画像又は映像を少なくとも一の端末装置２０に表示しない。換言すれば、ＣＰＵ１１は、参加者の人数が予め定めた値を超えない場合、参加者が撮影された画像又は映像を少なくとも一の端末装置２０に表示する。

【0073】

［第２実施形態］
次に、第２実施形態について説明する。第２実施形態の手法は、第１実施形態の手法に加え、状態ごとの個数を合算する処理を行う。第２実施形態のハードウェア構成は、第１実施形態のハードウェア構成と同一である。また、第１実施形態と同様の構成及び作用となる箇所については同一符号を付して説明を省略する。

【0074】

第２実施形態に係る情報処理装置１０の作用について説明する。
図１１は、情報処理装置１０による表現処理の流れを示すフローチャートである。第１実施形態に係る情報処理装置１０の処理と異なる処理について説明する。

【0075】

ＣＰＵ１１は、ステップＳ１０２の処理を実行後、ステップＳ２０１へ移行する。

【0076】

ステップＳ２０１では、ＣＰＵ１１は、状態ごとに色、記号又は効果音を対応させる。ステップＳ２０１の処理は、上述したステップＳ１１１と同様である。ＣＰＵ１１は、ステップＳ２０２へ移行する。

【0077】

ステップＳ２０２では、ＣＰＵ１１は、状態ごとの個数を合算する。ＣＰＵ１１は、ステップＳ２０３へ移行する。

【0078】

ステップＳ２０３では、ＣＰＵ１１は、少なくとも一の端末装置２０へ個数に応じて表現する。ＣＰＵ１１は、例えば、合算した個数が最も多い状態又は予め定めた値を超えた状態を少なくとも一の端末装置２０へ表現する。予め定めた値は、全体の参加者の状態を一の状態が占める割合であってもよい。ＣＰＵ１１は、例えば、割合を状態ごとに数値若しくは色別で表示する。ＣＰＵ１１は、ステップＳ１０４へ移行する。
ここで、第２実施形態に係る端末装置２０のリモート会議画面５０の一例を図１２及び図１３に示す。第２実施形態に係る端末装置２０のリモート会議画面５０の状態表示領域５２は、参加者の状態を個数に応じた表示態様で表示する領域である。

【0079】

図１２は、参加者の状態を色に対応させて表現したリモート会議画面５０の一例である。状態表示領域５２は、参加者の各種状態の割合の円グラフを表示する。例えば、円グラフは、各セクションを参加者の状態に対応させた色で塗りつぶし、パーセンテージを表示する。

【0080】

図１３は、参加者の状態を記号に対応させて表現したリモート会議画面５０の一例である。状態表示領域５２は、参加者の各種状態の割合の棒グラフを表示する。例えば、棒グラフは、縦軸に参加者の状態に対応させた記号を並べ、横軸に当該状態の個数に応じたメモリを個数と共に表示する。

【0081】

以上、ステップＳ２０１からステップＳ２０３の処理により、ＣＰＵ１１は、状態ごとの個数を合算し、少なくとも一の端末装置２０へ個数に応じて状態を表現する。

【0082】

［変形例］
以上、第１実施形態及び第２実施形態の情報処理装置１０について説明してきた。しかし、本開示は、上記実施形態に限定されない。種々の改良または改変が可能である。

【0083】

情報処理装置１０は、端末装置２０と一体となった形態であってもよい。換言すれば、リモート会議は、端末装置２０の何れかがリモート会議を管理する形態であってもよい。また、リモート会議は、Ｐ２Ｐ（Ｐｅｅｒ ｔｏ Ｐｅｅｒ）等を用いたメッシュ型の形態であってもよい。

【0084】

第２実施形態に係る情報処理装置１０は、状態に対応させた色の明度又は彩度を変更する態様であってもよい。図１４は、変形例に係る情報処理装置１０の表現処理の流れを示すフローチャートである。以下、第２実施形態に係る情報処理装置１０の処理と異なる処理について説明する。
ＣＰＵ１１は、ステップＳ１０２の処理を実行後、ステップＳ２１１へ移行する。

【0085】

ステップＳ２１１では、ＣＰＵ１１は、状態ごとに色を対応させる。ＣＰＵ１１は、ステップＳ２０２へ移行する。

【0086】

ＣＰＵ１１は、ステップＳ２０２の処理を実行後、ステップＳ２１２へ移行する。

【0087】

ステップＳ２１２では、ＣＰＵ１１は、状態の個数が多い程、色の色相ごとに明度又は彩度を高く又は低くなるように変更する。ＣＰＵ１１は、例えば、ＣＰＵ１１は、状態の個数が多い程、色の濃淡を濃くする。ＣＰＵ１１は、ステップＳ２１３へ移行する。

【0088】

ステップＳ２１３では、ＣＰＵ１１は、色を少なくとも一の端末装置２０へ出力する。ＣＰＵ１１は、ステップＳ１０４へ移行する。

【0089】

以上、ステップＳ２１１からステップＳ２１３の処理により、ＣＰＵ１１は、状態ごとに色を対応させ、状態ごとの個数を合算する。そして、ＣＰＵ１１は、色に対応する状態の個数が多い程、色の色相ごとに明度又は彩度を高く又は低くなるように、色を少なくとも一の端末装置２０へ出力する。

【0090】

第２実施形態に係る情報処理装置１０は、状態に対応させた効果音の音量等を変更する態様であってもよい。図１５は、変形例に係る情報処理装置１０の表現処理の流れを示すフローチャートである。以下、第２実施形態に係る情報処理装置１０の処理と異なる処理について説明する。
ＣＰＵ１１は、ステップＳ１０２の処理を実行後、ステップＳ２２１へ移行する。

【0091】

ステップＳ２２１では、ＣＰＵ１１は、状態ごとに効果音を対応させる。ＣＰＵ１１は、ステップＳ２０２へ移行する。

【0092】

ＣＰＵ１１は、ステップＳ２０２の処理を実行後、ステップＳ２２２へ移行する。

【0093】

ステップＳ２２２では、ＣＰＵ１１は、状態の個数が多い程、効果音の音量を大きくし、効果音を長くし、又は効果音の繰り返し回数を増加するように変更する。ＣＰＵ１１は、ステップＳ２２３へ移行する。

【0094】

ステップＳ２２３では、ＣＰＵ１１は、効果音を少なくとも一の端末装置２０へ出力する。ＣＰＵ１１は、ステップＳ１０４へ移行する。

【0095】

以上、ステップＳ２２１からステップＳ２２３の処理により、ＣＰＵ１１は、状態ごとに効果音を対応させ、状態ごとの個数を合算する。そして、ＣＰＵ１１は、効果音に対応する状態の個数が多い程、効果音の音量を大きくし、効果音を長くし、又は効果音の繰り返し回数を増加するように、効果音を少なくとも一の端末装置２０へ出力する。

【0096】

図９のステップＳ１３２において、ＣＰＵ１１は、時刻、共有されている資料のページ、特定の状態又は特定の状態になった参加者の識別情報をＲＯＭ１２ストレージ１４に格納する。これにより、発表内容の見直しに活用できる。

【0097】

上記の処理は、専用のハードウェア回路によっても実現することもできる。この場合には、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。

【0098】

上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ： Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、等）や、専用のプロセッサ（例えばＧＰＵ： Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ： Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ： Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス、等）を含むものである。

【0099】

また上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

【0100】

また、情報処理装置１０を動作させるプログラムは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ、フレキシブルディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピュータ読み取り可能な記録媒体に記録されたプログラムは、通常、メモリ又はストレージ等に転送され記憶される。また、このプログラムは、たとえば、単独のアプリケーションソフトとして提供されてもよいし、情報処理装置１０の一機能としてその各装置のソフトウェアに組み込んでもよい。

【0101】

［付記］
以下に、本開示の好ましい形態について付記する。

【0102】

（（（１）））
複数の端末装置が参加し、メタデータを送受信するルームにおける複数の参加者の反応から推定した前記参加者の状態を、予め定めた共通の規則に従い前記複数の端末装置のうち少なくとも一の端末装置へ表現する
ことをプロセッサに実行させる情報処理プログラム。

【0103】

（（（２）））
前記規則は、前記状態ごとに色、記号又は効果音を対応させることであり、
対応させた前記色、前記記号又は前記効果音を少なくとも前記一の端末装置へ出力する
ことをプロセッサに実行させる（（（１）））に記載の情報処理プログラム。

【0104】

（（（３）））
前記規則は、前記状態ごとに色を対応させることであり、
前記参加者を表す画像又は映像の背景を前記色で表示する
ことをプロセッサに実行させる（（（２）））に記載の情報処理プログラム。

【0105】

（（（４）））
前記規則は、前記状態ごとに記号を対応させることであり、
前記参加者を表す画像又は映像に前記記号を重畳して表示する
ことをプロセッサに実行させる（（（２）））に記載の情報処理プログラム。

【0106】

（（（５）））
前記規則は、前記状態ごとの個数を合算することであり、
前記参加者の状態を、少なくとも前記一の端末装置へ前記状態ごとの個数に応じて表現する
ことをプロセッサに実行させる（（（１）））から（（（４）））の何れか１つに記載の情報処理プログラム。

【0107】

（（（６）））
前記状態のうち、合算した個数が最も多い状態又は予め定めた値を超えた状態を少なくとも前記一の端末装置へ表現する
ことをプロセッサに実行させる（（（５）））に記載の情報処理プログラム。

【0108】

（（（７）））
予め定めた特定の前記状態の個数が予め定めた値を超えた場合、少なくとも前記一の端末装置へ通知する
ことをプロセッサに実行させる（（（５）））又は（（（６）））に記載の情報処理プログラム。

【0109】

（（（８）））
前記規則は、前記状態ごとに色を対応させ、かつ、前記状態ごとの個数を合算することであり、
前記色に対応する前記状態の個数が多い程、前記色の色相ごとに明度又は彩度を高く又は低くなるように、前記色を少なくとも前記一の端末装置へ出力する
ことをプロセッサに実行させる（（（５）））から（（（７）））の何れか１つに記載の情報処理プログラム。

【0110】

（（（９）））
前記規則は、前記状態ごとに効果音を対応させ、かつ、前記状態ごとの個数を合算することであり、
前記効果音に対応する前記状態の個数が多い程、前記効果音の音量を大きくし、前記効果音を長くし、又は前記効果音の繰り返し回数を増加するように、前記効果音を少なくとも前記一の端末装置へ出力する
ことをプロセッサに実行させる（（（５）））から（（（８）））の何れか１つに記載の情報処理プログラム。

【0111】

（（（１０）））
前記参加者の状態が、予め定めた特定の状態に変化したとき、前記参加者の識別情報を少なくとも前記一の端末装置へ表示する
ことをプロセッサに実行させる（（（１）））から（（（９）））の何れか１つに記載の情報処理プログラム。

【0112】

（（（１１）））
前記参加者の人数が予め定めた値を超えた場合、前記参加者を表す画像又は映像を少なくとも前記一の端末装置に表示しない
ことをプロセッサに実行させる（（（１）））から（（（１０）））の何れか１つに記載の情報処理プログラム。

【0113】

（（（１２）））
プロセッサを含み、
前記プロセッサは、
複数の端末装置が参加するリモート会議における複数の参加者の反応から推定した前記参加者の状態を、予め定めた共通の規則に従い前記複数の端末装置のうち少なくとも一の端末装置へ表現する
情報処理装置。

【0114】

以下に、付記の構成による効果について記載する。

【0115】

（（（１）））又は（（（１２）））の情報処理プログラムによれば、個々の参加者の音声、画像又は映像からリモート会議の雰囲気を把握する場合に比べ、会議の雰囲気を把握し易い。

【0116】

（（（２）））の情報処理プログラムによれば、色、記号又は効果音から参加者の状態を把握できる。

【0117】

（（（３）））の情報処理プログラムによれば、参加者が撮影された画像又は映像の視認時に、色から雰囲気を把握できる。

【0118】

（（（４）））の情報処理プログラムによれば、参加者が撮影された画像又は映像を視認時に、記号から雰囲気を把握できる。

【0119】

（（（５）））の情報処理プログラムによれば、参加者の多さに対応した表現に変更できる。

【0120】

（（（６）））の情報処理プログラムによれば、全ての参加者の状態から雰囲気を把握する場合に比べ、雰囲気を把握する負担を軽減できる。

【0121】

（（（７）））の情報処理プログラムによれば、どのような雰囲気になるかの兆候を認識できる。

【0122】

（（（８）））の情報処理プログラムによれば、色の調子から会議の雰囲気を把握できる。

【0123】

（（（９）））の情報処理プログラムによれば、効果音の特徴から会議の雰囲気を把握できる。

【0124】

（（（１０）））の情報処理プログラムによれば、特定の状態の参加者を識別できる。

【0125】

（（（１１）））の情報処理プログラムによれば、ユーザが認識できる情報量を超えるような場合に、ユーザに提供する情報を制限できる。

【符号の説明】

【0126】

１０ 情報処理装置
２０ 端末装置
５０ リモート会議画面
５１ 資料表示領域
５２ 状態表示領域
５３、５３Ａ、５３Ｂ 記号

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】