特許 7658421 通信システム、出力装置、通信方法、出力方法および出力プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-31

(45)【発行日】2025-04-08

(54)【発明の名称】通信システム、出力装置、通信方法、出力方法および出力プログラム

(51)【国際特許分類】

   H04N 7/15 20060101AFI20250401BHJP

   H04N 21/258 20110101ALI20250401BHJP

【ＦＩ】

H04N7/15

H04N21/258

【請求項の数】 9

(21)【出願番号】P 2023506846

(86)(22)【出願日】2022-02-04

(86)【国際出願番号】 JP2022004414

(87)【国際公開番号】W WO2022196165

(87)【国際公開日】2022-09-22

【審査請求日】2023-09-07

(31)【優先権主張番号】P 2021040918

(32)【優先日】2021-03-15

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103090

【弁理士】

【氏名又は名称】岩壁 冬樹

(74)【代理人】

【識別番号】100124501

【弁理士】

【氏名又は名称】塩川 誠人

(72)【発明者】

【氏名】藤崎 俊彦

(72)【発明者】

【氏名】久保 淳

(72)【発明者】

【氏名】杉本 昌隆

(72)【発明者】

【氏名】木本 誠

【審査官】富樫 明

(56)【参考文献】

【文献】特開２０２０－１９４１４４（ＪＰ，Ａ）

【文献】特開２０２０－０３５００３（ＪＰ，Ａ）

【文献】特開２０２１－０２２９０９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１４－７／１５

Ｈ０４Ｎ ２１／００－２１／８５８

(57)【特許請求の範囲】

【請求項1】

講義または会議の参加者が用いる参加者端末と、
前記講義または会議の発表者が用いる発表者端末と、
サーバとを備え、
前記参加者端末は、
当該参加者端末を使用する前記参加者の映像を撮像する撮像手段と、
撮像された映像から当該参加者の頷き回数を測定する回数測定手段と、
前記参加者の情報と前記頷き回数とを対応付けた所作情報を前記サーバに送信する所作情報送信手段とを含み、
前記サーバは、
前記所作情報を前記発表者端末に送信する送信手段を含み、
前記発表者端末は、
前記所作情報に含まれる前記頷き回数に応じた順に前記参加者の情報を出力する参加者出力手段を含み、
前記回数測定手段は、入力を受け付けた映像から前記参加者の拍手の回数を測定し、
前記所作情報送信手段は、前記参加者の情報と前記拍手の回数とを対応付けた所作情報をサーバに送信し、
前記サーバの送信手段は、前記所作情報を前記発表者端末に対して送信し、
前記発表者端末の参加者出力手段は、前記所作情報に含まれる前記拍手の回数に応じた順に参加者の情報を出力する
ことを特徴とする通信システム。

【請求項2】

発表者端末は、
参加者の所作の測定の開始を指示する測定開始指示手段を含み、
前記測定開始指示手段は、参加者の頷き回数の測定の開始をサーバに対して指示し、
サーバの送信手段は、前記参加者の頷き回数の測定の開始指示を参加者端末に対して送信し、
回数測定手段は、前記開始指示を受信したときに、頷き回数の測定を開始する
請求項１記載の通信システム。

【請求項3】

発表者端末は、
参加者の所作の回数の初期化を指示する初期化指示手段を含み、
前記初期化指示手段は、参加者の頷き回数の初期化をサーバに対して指示し、
サーバの送信手段は、前記参加者の頷き回数の初期化指示を参加者端末に対して送信し、
回数測定手段は、前記初期化指示を受信したときに、頷き回数を初期化する
請求項１または請求項２記載の通信システム。

【請求項4】

参加者出力手段は、頷き回数の降順または昇順に参加者の情報を出力する
請求項１から請求項３のうちのいずれか１項に記載の通信システム。

【請求項5】

サーバは、
所作情報に含まれる頷き回数が１以上の端末数である検出参加者数を計測する参加者数測定手段を含み、
サーバの送信手段は、前記検出参加者数を発表者端末に対して送信し、
参加者出力手段は、前記検出参加者数を出力する
請求項１から請求項４のうちのいずれか１項に記載の通信システム。

【請求項6】

参加者を撮像した映像から測定された当該参加者の頷き回数および拍手の回数を、参加者ごとに入力する入力手段と、
前記頷き回数および前記拍手の回数に応じた順に前記参加者の情報を出力する参加者出力手段とを備えた
ことを特徴とする出力装置。

【請求項7】

講義または会議の参加者が用いる参加者端末が、当該参加者端末を使用する前記参加者の映像を撮像し、
前記参加者端末が、撮像された映像から当該参加者の頷き回数を測定し、
前記参加者端末が、撮像された映像から前記参加者の拍手の回数を測定し、
前記参加者端末が、前記参加者の情報と、前記頷き回数および前記拍手の回数とを対応付けた所作情報をサーバに送信し、
前記サーバが、前記所作情報を、前記講義または会議の発表者が用いる発表者端末に送信し、
前記発表者端末が、前記所作情報に含まれる前記頷き回数および前記拍手の回数に応じた順に前記参加者の情報を出力する
ことを特徴とする通信方法。

【請求項8】

コンピュータが、参加者を撮像した映像から測定された当該参加者の頷き回数および拍手の回数を、参加者ごとに入力し、
前記コンピュータが、前記頷き回数および前記拍手の回数に応じた順に前記参加者の情報を出力する
ことを特徴とする出力方法。

【請求項9】

コンピュータに、
参加者を撮像した映像から測定された当該参加者の頷き回数および拍手の回数を、参加者ごとに入力する入力処理、および、
前記頷き回数および前記拍手の回数に応じた順に前記参加者の情報を出力する参加者出力処理
を実行させるための出力プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像を介して相手方との通信を行う通信システムおよび通信方法、並びに、相手方の情報を出力する出力装置、出力方法および出力プログラムに関する。

【背景技術】

【0002】

近年、場所に依らず相手方とのコミュニケーションを可能にするため、通信回線を利用した遠隔講義や遠隔会議（以下、遠隔講義／会議と記すこともある。）が利用されている。遠隔講義／会議では、送受信される映像や音声を用いて、双方のコミュニケーションを実現する。このような遠隔講義／会議を行う方法が各種提案されている。

【0003】

特許文献１には、通信ネットワークを利用した遠隔講義システムが記載されている。特許文献１に記載されたシステムは、講義への入室や退出、生徒の挙手などのように指名順計算処理に用いる情報の変化を監視し、変化があった場合に受信する変更情報に基づいて、指名順一覧を更新する。

【0004】

また、特許文献２には、聴衆の反応の調査および評価をするシステムが記載されている。特許文献２に記載されたシステムは、映像中の人物の反応を認識し、安定静止状態および活動状態を検出して人物の反応を認識する。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００９－１３９６６７号公報

【文献】特開２００１－６７４８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

遠隔講義／会議も、集合型の講義や会議のように、参加者の理解に応じて講義や会議を進行することが求められる。集合型の講義や会議であれば、発表者が教室や会議室を見回して、参加者の表情や所作から、説明した内容への反応や理解度を推し量ることができる。しかし、遠隔で行われる講義や会議の場合、参加者数が多くなることも予想されるため、画面上に表示される全員の表情を読み取り、反応や理解度を推し量ることは、時間と手間がかかるため実質上困難である。

【0007】

また、講義や会議の有用性を発表者や発表者が確認する場合、遠隔講義／会議のシステムを用いて参加者が個別に通知する方法や、終了後のアンケートなど、個別に確認することも考えられる。また、参加者が発言したい場合、集合型の講義や会議では参加者が挙手を行うことで発言を要求することが可能である。しかし、遠隔講義／会議のシステムを用いる場合、システムが備える「挙手ボタン」などの操作を参加者が行う必要があるため、参加者にとって煩雑な手続きを要求する必要がある。

【0008】

一方で、講義や会議に応じた参加者の理解度を計るためにも、参加者からの発言は、講義や会議をより意義のあるものにするために必要不可欠な要素と言える。そのため、参加者の手を煩わせることなく、講義や会議に対する理解度に応じて、参加者からの発言を促せることが好ましい。

【0009】

特許文献１に記載されたシステムでは、端末操作時間や映像から得られる生徒の挙手を示す指名情報に基づいて生徒を指名する順序を決定する。しかし、挙手を示す情報だけでは、生徒の理解度を把握することは困難である。また、特許文献２に記載されたシステムのように、映像中の人物の反応を単純に認識する方法でも、特許文献１に記載されたシステムと同様、その人物の理解度を把握することは困難である。

【0010】

そこで、本発明では、通信による映像を介して講義や会議を行う場合において、参加者の手を煩わせることなく、発言を促すべき参加者を出力できる通信システム、出力装置、通信方法、出力方法および出力プログラムを提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明による通信システムは、講義または会議の参加者が用いる参加者端末と、講義または会議の発表者が用いる発表者端末と、サーバとを備え、参加者端末が、その参加者端末を使用する参加者の映像を撮像する撮像手段と、撮像された映像からその参加者の頷き回数を測定する回数測定手段と、参加者の情報と頷き回数とを対応付けた所作情報をサーバに送信する所作情報送信手段とを含み、サーバが、所作情報を発表者端末に送信する送信手段を含み、発表者端末が、所作情報に含まれる頷き回数に応じた順に参加者の情報を出力する参加者出力手段を含み、回数測定手段が、入力を受け付けた映像から参加者の拍手の回数を測定し、所作情報送信手段が、参加者の情報と拍手の回数とを対応付けた所作情報をサーバに送信し、サーバの送信手段が、所作情報を発表者端末に対して送信し、発表者端末の参加者出力手段が、所作情報に含まれる拍手の回数に応じた順に参加者の情報を出力することを特徴とする。

【0012】

本発明による出力装置は、参加者を撮像した映像から測定されたその参加者の頷き回数および拍手の回数を、参加者ごとに入力する入力手段と、頷き回数および拍手の回数に応じた順に参加者の情報を出力する参加者出力手段とを備えたことを特徴とする。

【0013】

本発明による通信方法は、講義または会議の参加者が用いる参加者端末が、その参加者端末を使用する参加者の映像を撮像し、参加者端末が、撮像された映像からその参加者の頷き回数を測定し、参加者端末が、撮像された映像から参加者の拍手の回数を測定し、参加者端末が、参加者の情報と、頷き回数および拍手の回数とを対応付けた所作情報をサーバに送信し、サーバが、所作情報を、講義または会議の発表者が用いる発表者端末に送信し、発表者端末が、所作情報に含まれる頷き回数および拍手の回数に応じた順に参加者の情報を出力することを特徴とする。

【0014】

本発明による出力方法は、コンピュータが、参加者を撮像した映像から測定されたその参加者の頷き回数および拍手の回数を、参加者ごとに入力し、コンピュータが、頷き回数および拍手の回数に応じた順に参加者の情報を出力することを特徴とする。

【0015】

本発明による出力プログラムは、コンピュータに、参加者を撮像した映像から測定されたその参加者の頷き回数および拍手の回数を、参加者ごとに入力する入力処理、および、頷き回数および拍手の回数に応じた順に参加者の情報を出力する参加者出力処理を実行させることを特徴とする。

【発明の効果】

【0016】

本発明によれば、通信による映像を介して講義や会議を行う場合において、参加者の手を煩わせることなく、発言を促すべき参加者を出力できる。

【図面の簡単な説明】

【0017】

【図1】本発明による通信システムの一実施形態の構成例を示すブロック図である。

【図2】遠隔講義／会議システムの動作例を示すフローチャートである。

【図3】遠隔講義／会議システムの他の動作例を示す説明図である。

【図4】本発明による通信システムの概要を示すブロック図である。

【図5】本発明による出力装置の概要を示すブロック図である。

【発明を実施するための形態】

【0018】

以下、本発明の実施形態を図面を参照して説明する。

【0019】

図１は、本発明による通信システムの一実施形態の構成例を示すブロック図である。なお、本発明の通信システムが遠隔講義／会議に用いられ得ることから、本実施形態では、通信システムの一具体例として遠隔講義／会議システムを例示する。図１に例示する遠隔講義／会議システム１００は、講義／会議サーバ１０と、複数の端末とを備えている。

【0020】

複数の端末には、講義または会議の参加者が用いる複数の参加者端末２０と、講義または会議の発表者が用いる発表者端末３０とが含まれる。なお、本実施形態では、参加者と発表者とが分かれており、参加者が参加者端末２０を用い、発表者が発表者端末３０を用いるものとする。ただし、必ずしも、参加者と発表者とが区別されている必要はなく、参加者が状況に応じて発表者になったり、発表者が参加者になったりする状況であってもよい。そのため、参加者端末２０が発表者端末３０の機能を有していてもよく、発表者端末３０が参加者端末２０の機能を有していてもよい。

【0021】

参加者端末２０は、撮像部１２１と、回数測定部１２２と、所作情報送信部１２３と、要求送信部１２４と、通知受信部１２５とを含む。

【0022】

撮像部１２１は、参加者端末２０を使用する参加者の映像を撮像する装置である。撮像部１２１は、例えば、カメラにより実現される。撮像部１２１は、参加者端末２０に内蔵されていてもよく、外部から参加者端末２０に接続される装置であってもよい。

【0023】

回数測定部１２２は、撮像された参加者の映像から、その参加者の所作の回数を測定する。なお、本実施形態では、回数測定部１２２は、参加者の映像から、その参加者の頷き回数を測定する。なお、回数測定部１２２は、他にも、参加者の映像から、その参加者の拍手の回数を測定してもよい。

【0024】

検出された頷き回数が多いほど、参加者の理解度が高いと推定される。一方、検出された頷き回数が少ないほど、参加者の理解度が低いと推定される。また、検出された拍手の回数が多いほど、講義または会議に対する評価が高いと推定される。一方、検出された拍手の回数が少ないほど、講義または会議に対する評価が低いと推定される。

【0025】

なお、回数測定部１２２が映像から人物の所作の回数を測定する方法は任意である。映像から人物の所作（例えば、拍手や頷きなど）を画像認識し、その認識した回数を計測する方法は広く知られているため、ここでは詳細な説明は省略する。

【0026】

ここで、回数測定部１２２は、後述する発表者端末３０から、参加者の頷きの測定の開始指示を受信したときに、頷き回数の測定を開始してもよい。また、回数測定部１２２は、後述する発表者端末３０から、参加者の頷きの回数の初期化指示を受信したときに、頷き回数を０に初期化してもよい。

【0027】

また、回数測定部１２２は、参加者の映像から、所定の所作の有無を検出してもよい。回数測定部１２２は、例えば、参加者の映像から、その参加者の挙手動作を検出してもよい。

【0028】

所作情報送信部１２３は、参加者の情報と所作の回数とを対応付けた所作情報を講義／会議サーバ１０に送信する。本実施形態では、所作情報送信部１２３は、参加者の情報と頷き回数とを対応付けた所作情報を講義／会議サーバ１０に送信する。なお、所作情報送信部１２３は、参加者の情報と拍手の回数とを対応付けた所作情報を講義／会議サーバ１０に送信してもよい。ここで、参加者の情報には、撮像された参加者の映像や、参加者の属性（例えば、氏名、性別、年齢、歴）などが含まれる。また、回数測定部１２２が所定の所作を検出している場合、所作情報送信部１２３は、その検出した所作の内容を講義／会議サーバ１０に送信してもよい。

【0029】

所作情報送信部１２３は、所作を検出するごと（１回ごと）に所作情報を講義／会議サーバ１０に送信してもよく、検出された所作が所定の回数に達したとき、または、所定の期間経過するごとに、所作情報を講義／会議サーバ１０に送信してもよい。

【0030】

要求送信部１２４は、発表者端末３０への要求を講義／会議サーバ１０に送信する。すなわち、参加者からの要求は、要求送信部１２４により、講義／会議サーバ１０を介して、発表者端末３０に送信され、発表者に認識される。ここでの要求には、例えば、発言要求や、質問要求などが含まれる。なお、要求送信部１２４は、発表者端末３０へ直接要求を送信してもよい。ただし、講義／会議サーバ１０を介して要求を送信することで、各種情報が付加された要求を発表者端末３０に通知できるため好ましい。

【0031】

通知受信部１２５は、発表者端末３０からの通知を受信する。より具体的には、通知受信部１２５は、講義／会議サーバ１０を介して発表者端末３０から通知される情報を受信する。通知受信部１２５は、例えば、発表者から指名されたことを示す通知を受信してもよい。なお、通知受信部１２５は、発表者端末３０から直接通知を受信してもよい。

【0032】

回数測定部１２２と、所作情報送信部１２３と、要求送信部１２４と、通知受信部１２５とは、プログラムに従って動作するコンピュータのプロセッサ（例えば、ＣＰＵ（Central Processing Unit）によって実現される。例えば、プログラムは、参加者端末２０の記憶部（図示せず）に記憶され、プロセッサは、そのプログラムを読み込み、プログラムに従って、回数測定部１２２、所作情報送信部１２３、要求送信部１２４および通知受信部１２５として動作してもよい。また、回数測定部１２２、所作情報送信部１２３、要求送信部１２４および通知受信部１２５の機能がＳａａＳ（Software as a Service ）形式で提供されてもよい。

【0033】

また、回数測定部１２２と、所作情報送信部１２３と、要求送信部１２４と、通知受信部１２５とは、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。

【0034】

また、参加者端末２０の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

【0035】

講義／会議サーバ１０は、入力部１１１と、記憶部１１２と、参加者数測定部１１３と、情報送信部１１４と、要求送信部１１５と、通知送信部１１６とを含む。

【0036】

入力部１１１は、参加者端末２０および発表者端末３０から各種情報の入力を受け付ける。また、入力部１１１は、参加者端末２０から所作情報の入力を受け付けたとき、後述する記憶部１１２に所作の回数をカウントアップして記憶させてもよい。また、入力部１１１は、後述する発表者端末３０から回数の初期化の指示を受信したとき、所作の回数を０に初期化してもよい。

【0037】

記憶部１１２は、講義／会議サーバ１０が処理を行うために必要な各種情報を記憶する。具体的には、記憶部１１２は、参加者端末２０によって測定された参加者の所作の回数（具体的には、頷き回数、拍手の回数等）を記憶する。例えば、記憶部１１２が、参加者端末２０ごとの頷き回数を格納する頷きカウンタを有していてもよい。記憶部１１２は、例えば、磁気ディスク等により実現される。

【0038】

参加者数測定部１１３は、所作を１回以上検出した参加者の端末数（以下、検出参加者数と記す。）を計測する。具体的には、参加者数測定部１１３は、参加者端末２０から送信される所作情報に含まれる所作の回数が１以上の端末数を計測する。本実施形態では、参加者数測定部１１３は、所作情報に含まれる頷き回数が１以上の端末数を計測する。なお、参加者数測定部１１３は、所作情報に含まれる拍手の回数が所定回数（例えば、１０回以上）の端末数を計測してもよい。検出参加者数を計測することで、全参加者の表情を確認することなく、全体の反応を把握することが可能になる。

【0039】

情報送信部１１４は、参加者端末２０から受信した所作情報を発表者端末３０に送信する。また、情報送信部１１４は、参加者数測定部１１３によって計測された検出参加者数を発表者端末３０に送信してもよい。また、検出された参加者の所作の内容を参加者端末２０から受信した場合、情報送信部１１４は、その所作の内容を発表者端末３０に送信してもよい。

【0040】

要求送信部１１５は、参加者端末２０からの要求を発表者端末３０に送信する。

【0041】

通知送信部１１６は、発表者端末３０からの通知（例えば、参加者の指名）を、該当の参加者端末２０に送信する。

【0042】

発表者端末３０は、所作情報入力部１３１と、参加者出力部１３２と、送信部１３３と、測定開始指示部１３４と、初期化指示部１３５と、要求受信部１３６と、要求出力部１３７とを含む。

【0043】

所作情報入力部１３１は、講義／会議サーバ１０から所作情報の入力を受け付ける。

【0044】

参加者出力部１３２は、所作情報に含まれる頷き回数に応じた順に参加者の情報を出力する。具体的には、参加者出力部１３２は、頷き回数の降順または昇順に参加者の情報を出力する。なお、参加者出力部１３２は、所作情報に含まれる拍手の回数に応じた順に参加者の情報を出力してもよい。出力順を降順または昇順のいずれにするかは、予め定めておいてもよく、発表者の明示的な指示に基づいて決定されてもよい。

【0045】

例えば、頷き回数の昇順で参加者の情報を出力する場合、理解度の低い参加者を優先的に出力できることから、理解度の低い参加者を容易に質問者として指名することが可能になる。これにより、発表者は、理解度が低い参加者からの質問に回答して、全体の理解度の底上げを行うことができる。

【0046】

同様に、頷き回数の降順で参加者の情報を出力する場合、理解度の高い参加者を優先的に出力できることから、理解度の高い参加者を容易に質問者として指名することが可能になる。これにより、発表者は、理解度が高い参加者からの質問に回答して、一層の理解の向上を計ることが可能になる。

【0047】

また、講義／会議サーバ１０から検出参加者数を受信している場合、参加者出力部１３２は、その検出参加者数を出力してもよい。

【0048】

送信部１３３は、参加者端末２０への通知を講義／会議サーバ１０に送信する。すなわち、発表者からの通知は、送信部１３３により、講義／会議サーバ１０を介して、参加者端末２０に送信され、参加者に認識される。

【0049】

測定開始指示部１３４は、参加者の所作の測定の開始を講義／会議サーバ１０を介して参加者端末２０に指示する。具体的には、測定開始指示部１３４は、発表者から参加者の頷き回数や拍手の回数の測定を開始する指示を受け付け、その内容を講義／会議サーバ１０に対して指示する。この指示に応じて、講義／会議サーバ１０の情報送信部１１４は、所作の測定の開始指示（具体的には、参加者の頷き回数の測定の開始指示）を参加者端末２０に対して送信する。

【0050】

測定開始指示部１３４が発表者から指示を受け付ける方法は任意である。また、測定開始指示部１３４は、測定開始の指示を示す音声を検出して、その指示を講義／会議サーバ１０に対して送信してもよい。

【0051】

初期化指示部１３５は、参加者の所作の回数の初期化（リセット）を講義／会議サーバ１０を介して参加者端末２０に指示する。具体的には、初期化指示部１３５は、発表者から参加者の頷き回数や拍手の回数の初期化の指示を受け付け、その内容を講義／会議サーバ１０に対して指示する。この指示に応じて、講義／会議サーバ１０の情報送信部１１４は、所作の回数の初期化指示（具体的には、参加者の頷き回数の初期化指示）を参加者端末２０に対して送信する。

【0052】

初期化指示部１３５が発表者から指示を受け付ける方法は任意である。初期化指示部１３５は、例えば、発表者からの指示を示す操作を受け付けるボタンや頷きリセットスイッチ（図示せず）が押下されたことを検知して、その指示を講義／会議サーバ１０に対して送信してもよい。また、初期化指示部１３５は、初期化（リセット）の指示を示す音声を検出して、その指示を講義／会議サーバ１０に対して送信してもよい。

【0053】

要求受信部１３６は、参加者端末２０からの要求を受信する。

【0054】

要求出力部１３７は、受信した参加者からの要求を、発表者に認識可能な態様で出力する。要求出力部１３７は、例えば、要求を受信したときに、アラーム（図示せず）に対して鳴動指示を行ってもよい。これにより、要求があったことを即座に気づくことが可能になる。

【0055】

例えば、発表者端末３０が、参加者の映像を表示している場合、要求出力部１３７は、要求を送信した参加者の映像に赤枠を付して表示するようにしてもよい。これにより、発表者が要求を送信した参加者を一目で確認することが可能になる。

【0056】

また、他にも、講義／会議サーバ１０から所定の所作（例えば、挙手動作）を検出した旨の情報を受信している場合、要求出力部１３７は、その所作に応じた内容（例えば、発言要求を示す情報）を出力してもよい。このような情報を出力することで、参加者はボタン等の操作を行うことなく、発表者に要求の内容を伝えることが可能になる。

【0057】

所作情報入力部１３１と、参加者出力部１３２と、送信部１３３と、測定開始指示部１３４と、初期化指示部１３５と、要求受信部１３６と、要求出力部１３７とは、プログラム（出力プログラム）に従って動作するコンピュータのプロセッサによって実現される。例えば、プログラムは、発表者端末３０の記憶部（図示せず）に記憶され、プロセッサは、そのプログラムを読み込み、プログラムに従って、所作情報入力部１３１と、参加者出力部１３２と、送信部１３３と、測定開始指示部１３４と、初期化指示部１３５と、要求受信部１３６と、要求出力部１３７として動作してもよい。

【0058】

次に、本実施形態の遠隔講義／会議システム１００の動作を説明する。図２は、本実施形態の遠隔講義／会議システム１００の動作例を示す説明図である。なお、講義／会議サーバ１０は、講義または会議の開始時に、記憶部１１２に記憶された頷きカウンタの値を“０”に設定しておく。

【0059】

発表者が参加者の反応を把握したい場合、例えば、発表者が頷き検出スイッチを押下した上で（ステップＳ１１）参加者に対して、「ここまで理解できた方は、カメラに向かって頷いてください。」と案内する。測定開始指示部１３４は、頷き検出スイッチが押下されたことを検知して、頷き回数の測定を開始する指示（以下、頷き検出指示と記す。）を講義／会議サーバ１０を介して各参加者端末２０に送信する（ステップＳ１２）。

【0060】

参加者端末２０は、頷き検出指示を受信すると、回数測定部１２２は、頷き検出を開始する（ステップＳ１３）。頷き検出がされた場合（ステップＳ１４）、所作情報送信部１２３は、講義／会議サーバ１０に対して、所作情報を送信する（ステップＳ１５）。

【0061】

講義／会議サーバ１０の入力部１１１は、所作情報を受信した際、頷きカウンタをカウントアップして参加者端末２０の頷き回数を計測する。また、参加者数測定部１１３は、所作情報を受信した検出参加者数も計測する。そして、情報送信部１１４は、発表者端末３０へ各種情報を送信する（ステップＳ１６）。発表者端末３０の参加者出力部１３２は、講義／会議サーバ１０から受信した所作情報および検出参加者数を表示する（ステップＳ１７）。

【0062】

一方、発表者は、所作情報および検出参加者数を確認した後、発表者は、所作情報を検出した端末数を確認し、頷き検出リセットスイッチを押下する（ステップＳ１８）。初期化指示部１３５は、頷き検出リセットスイッチが押下されたことを検知して、頷き回数の初期化をする指示（以下、頷きリセット指示と記す。）を講義／会議サーバ１０を介して各参加者端末２０に送信する（ステップＳ１９）。

【0063】

参加者端末２０は、頷きリセット指示を受信すると、回数測定部１２２は、頷き回数を０に初期化する（ステップＳ２０）。以降、ステップＳ１４以降の処理が繰り返される。

【0064】

図３は、本実施形態の遠隔講義／会議システム１００の他の動作例を示す説明図である。参加者端末２０の撮像部１２１は、参加者の映像を撮像する（ステップＳ３１）。回数測定部１２２は、撮像された映像から参加者の頷き回数を測定する（ステップＳ３２）。所作情報送信部１２３は、所作情報を講義／会議サーバ１０に送信する（ステップＳ３３）。講義／会議サーバ１０の情報送信部１１４は、所作情報を発表者端末３０に送信する（ステップＳ３４）。そして、発表者端末３０の参加者出力部１３２は、所作情報に含まれる頷き回数に応じた順に参加者の情報を出力する（ステップＳ３５）。

【0065】

次に、質問を受ける参加者を指名する際の動作を説明する。図２に例示する動作が繰り返されることにより、記憶部１１２の頷きカウンタには、参加者端末２０で検出された頷き回数が計数される。

【0066】

発表者端末３０が参加者を表示する際、頷き回数の昇順で参加者を表示してもよい。頷き回数を理解度の指標と考え、発表者端末３０に表示された参加者の先頭を質問者として指名することにより、理解度が低い参加者を質問者に指名することができる。

【0067】

逆に、発表者端末３０が参加者を表示する際、頷き回数の降順で参加者を表示してもよい。発表者端末３０に表示された参加者の先頭を質問者として指名することにより、理解度が高い参加者を質問者に指名することができる。

【0068】

以上のように、本実施形態では、参加者端末２０の撮像部１２１が、その参加者端末２０を使用する参加者の映像を撮像し、回数測定部１２２が、撮像された映像からその参加者の頷き回数を測定し、所作情報送信部１２３が、所作情報を講義／会議サーバ１０に送信する。講義／会議サーバ１０の情報送信部１１４が、所作情報を発表者端末３０に送信し、発表者端末３０の参加者出力部１３２が、所作情報に含まれる頷き回数に応じた順に参加者の情報を出力する。よって、通信による映像を介して講義や会議を行う場合において、参加者の手を煩わせることなく、発言を促すべき参加者を出力できる。

【0069】

すなわち、本実施形態の遠隔講義／会議システムでは、参加者の頷きや拍手などの所作を撮像された参加者の画像から検出することにより、集合型の講義や会議と同等のレベルで、発表者が参加者の反応を確認することが可能になる。その際、参加者が遠隔講義／会議システムの操作に習熟していなくても、人の自然な所作を検出して反応を確認することを可能にしている。

【0070】

次に、本発明の概要を説明する。図４は、本発明による通信システムの概要を示すブロック図である。本発明による通信システム６０（例えば、遠隔講義／会議システム１００）は、講義または会議の参加者が用いる参加者端末８０（例えば、参加者端末２０）と、講義または会議の発表者が用いる発表者端末９０（例えば、発表者端末３０）と、サーバ７０（例えば、講義／会議サーバ１０）とを備えている。

【0071】

参加者端末８０は、その参加者端末８０を使用する参加者の映像を撮像する撮像手段８１（例えば、撮像部１２１）と、撮像された映像からその参加者の頷き回数を測定する回数測定手段８２（回数測定部１２２）と、参加者の情報と頷き回数とを対応付けた所作情報をサーバ７０に送信する所作情報送信手段８３（例えば、所作情報送信部１２３）とを含む。

【0072】

サーバ７０は、所作情報を発表者端末９０に送信する送信手段７１（例えば、情報送信部１１４）を含む。

【0073】

発表者端末９０は、所作情報に含まれる頷き回数に応じた順に参加者の情報を出力する参加者出力手段９１（例えば、参加者出力部１３２）を含む。

【0074】

そのような構成により、通信による映像を介して講義や会議を行う場合において、参加者の手を煩わせることなく、発言を促すべき参加者を出力できる。

【0075】

また、発表者端末９０は、参加者の所作の測定の開始を指示する測定開始指示手段（例えば、測定開始指示部１３４）を含んでいてもよい。そして、測定開始指示手段は、参加者の頷き回数の測定の開始をサーバ７０に対して指示し、サーバ７０の送信手段７１は、参加者の頷き回数の測定の開始指示を参加者端末８０に対して送信し、回数測定手段８２は、その開始指示を受信したときに、頷き回数の測定を開始してもよい。

【0076】

また、発表者端末９０は、参加者の所作の回数の初期化を指示する初期化指示手段（例えば、初期化指示部１３５）を含んでいてもよい。そして、初期化指示手段は、参加者の頷き回数の初期化をサーバ７０に対して指示し、サーバ７０の送信手段７１は、参加者の頷き回数の初期化指示を参加者端末８０に対して送信し、回数測定手段８２は、その初期化指示を受信したときに、頷き回数を初期化してもよい。

【0077】

また、参加者出力手段９１は、頷き回数の降順または昇順に参加者の情報を出力してもよい。

【0078】

また、回数測定手段８２は、入力を受け付けた映像から参加者の拍手の回数を測定してもよい。このとき、所作情報送信手段８３は、参加者の情報と拍手の回数とを対応付けた所作情報をサーバ７０に送信し、サーバ７０の送信手段７１は、所作情報を発表者端末９０に対して送信し、発表者端末９０の参加者出力手段９１は、所作情報に含まれる拍手の回数に応じた順に参加者の情報を出力してもよい。

【0079】

また、サーバ７０は、所作情報に含まれる頷き回数が１以上の端末数である検出参加者数を計測する参加者数測定手段（例えば、参加者数測定部１１３）を含んでいてもよい。そして、サーバ７０の送信手段７１は、検出参加者数を発表者端末９０に対して送信し、参加者出力手段９１は、検出参加者数を出力してもよい。

【0080】

図５は、本発明による出力装置の概要を示すブロック図である。本発明による出力装置５０（例えば、発表者端末３０）は、参加者を撮像した映像から測定されたその参加者の頷き回数を、参加者ごとに入力する入力手段５１（例えば、所作情報入力部１３１）と、頷き回数に応じた順に参加者の情報を出力する参加者出力手段５２（例えば、参加者出力部１３２）とを備えている。

【0081】

そのような構成によっても、通信による映像を介して講義や会議を行う場合において、参加者の手を煩わせることなく、発言を促すべき参加者を出力できる。

【0082】

以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0083】

この出願は、２０２１年３月１５日に出願された日本特許出願２０２１－４０９１８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0084】

１０ 講義／会議サーバ
２０ 参加者端末
３０ 発表者端末
１００ 遠隔講義／会議システム
１１１ 入力部
１１２ 記憶部
１１３ 参加者数測定部
１１４ 情報送信部
１１５ 要求送信部
１１６ 通知送信部
１２１ 撮像部
１２２ 回数測定部
１２３ 所作情報送信部
１２４ 要求送信部
１２５ 通知受信部
１３１ 所作情報入力部
１３２ 参加者出力部
１３３ 送信部
１３４ 測定開始指示部
１３５ 初期化指示部
１３６ 要求受信部
１３７ 要求出力部

【図1】

【図2】

【図3】

【図4】

【図5】