特開 2022-168570 会議支援制御装置および会議支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022168570

(43)【公開日】2022-11-08

(54)【発明の名称】会議支援制御装置および会議支援方法

(51)【国際特許分類】

   H04N 7/15 20060101AFI20221031BHJP

   H04N 21/431 20110101ALI20221031BHJP

   G06F 13/00 20060101ALI20221031BHJP

   G06F 3/01 20060101ALI20221031BHJP

【ＦＩ】

H04N7/15

H04N21/431

G06F13/00 650A

G06F3/01 510

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021074116

(22)【出願日】2021-04-26

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】新井 雄太

(72)【発明者】

【氏名】小村田 美玖

(72)【発明者】

【氏名】長谷川 祐一

(72)【発明者】

【氏名】玉井 良明

【テーマコード（参考）】

5B084

5C164

5E555

【Ｆターム（参考）】

5B084AA02

5B084AB06

5B084AB13

5B084BA07

5B084BB04

5B084CB06

5B084CB24

5B084DC05

5C164FA10

5C164UB88P

5C164VA06S

5C164VA07P

5E555AA22

5E555BA13

5E555BB13

5E555BC01

5E555BD06

5E555CB65

5E555DA01

5E555DB06

5E555DB53

5E555DC09

5E555FA00

(57)【要約】

【課題】ウェブ会議において効果的なプレゼンテーションを行うこと。
【解決手段】ネットワークを介して発表画像を共有して開催される会議を支援する会議支援制御装置である制御部２０であって、参加者が使用する参加者端末１０における発表画像が表示された表示部１２上の参加者の視線位置を算出する視線位置算出部２１と、発表画像における発表者が指し示すポインタ画像の位置であるポインタ位置を取得するポインタ位置取得部２２と、視線位置算出部２１が算出した視線位置と、ポインタ位置取得部２２が取得したポインタ位置との距離を算出する距離算出部２３と、距離算出部２３が算出した距離に応じて、ポインタ画像を視線位置まで延長した形状に変化させたポインタ重畳画像を生成し、発表画像に重畳させる重畳画像生成部２４とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

ネットワークを介して発表画像を共有して開催される会議を支援する会議支援制御装置であって、
参加者が使用する参加者端末における前記発表画像が表示された表示部上の前記参加者の視線位置を算出する視線位置算出部と、
前記発表画像における発表者が指し示すポインタ画像の位置であるポインタ位置を取得するポインタ位置取得部と、
前記視線位置算出部が算出した前記視線位置と、前記ポインタ位置取得部が取得した前記ポインタ位置との距離を算出する距離算出部と、
前記距離算出部が算出した前記距離に応じて、前記ポインタ画像を前記視線位置まで延長した形状に変化させたポインタ重畳画像を生成し、前記発表画像に重畳させる重畳画像生成部と、
を備える、会議支援制御装置。

【請求項2】

前記表示部の表示画面を複数の領域に区切り、前記視線位置が存在する領域を判定し、視線領域として出力する領域判定部、
を備え、
前記重畳画像生成部は、前記ポインタ画像を前記視線領域まで延長したポインタ重畳画像として生成する、
請求項１に記載の会議支援制御装置。

【請求項3】

前記領域判定部は、前記視線位置が所定の閾値時間以上留まったと判定した領域を前記視線領域として出力する、
請求項２に記載の会議支援制御装置。

【請求項4】

前記ポインタ位置取得部は、前記ポインタ位置を、前記参加者端末において検出、または、前記発表者が使用する発表者端末から取得する、
請求項１から３のいずれか一項に記載の会議支援制御装置。

【請求項5】

ネットワークを介して発表画像を共有して開催される会議を支援する会議支援方法であって、
参加者が使用する参加者端末における前記発表画像が表示された表示部上の前記参加者の視線位置を算出する視線位置算出ステップと、
前記発表画像における発表者が指し示すポインタ画像の位置であるポインタ位置を取得するポインタ位置取得ステップと、
前記視線位置算出ステップにおいて算出された前記視線位置と、前記ポインタ位置取得ステップにおいて取得された前記ポインタ位置との距離を算出する距離算出ステップと、
前記距離算出ステップにおいて算出された前記距離に応じて、前記ポインタ画像を前記視線位置まで延長した形状に変化させたポインタ重畳画像を生成し、前記発表画像に重畳させる重畳画像生成ステップと、
を含む、会議支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、会議支援制御装置および会議支援方法に関する。

【背景技術】

【0002】

オンラインで行う会議として、いわゆるウェブ会議が知られている。ウェブ会議では、離れた場所にいる発表者および参加者がそれぞれの端末を使用する。このため、発表者が、参加者の反応を確認しながら、会議の進め方を変えたりすることが難しい。ビデオ会議等で撮像された人物の視線方向に基づいて、ビデオ会議装置の表示部の画面レイアウトを変更する技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－０５００１８公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載の技術では、画面を複数の領域に分割し、最も注目された領域が検出される。ところが、発表者が説明している領域と参加者が注目している領域が異なるため、内容を理解させることが難しく、効果的なプレゼンテーションを行うことは困難である。

【0005】

本発明は、上記に鑑みてなされたものであり、ウェブ会議において効果的なプレゼンテーションを行うことが可能な会議支援制御装置および会議支援方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明に係る会議支援制御装置は、ネットワークを介して発表画像を共有して開催される会議を支援する会議支援制御装置であって、参加者が使用する参加者端末における前記発表画像が表示された表示部上の前記参加者の視線位置を算出する視線位置算出部と、前記発表画像における発表者が指し示すポインタ画像の位置であるポインタ位置を取得するポインタ位置取得部と、前記視線位置算出部が算出した前記視線位置と、前記ポインタ位置取得部が取得した前記ポインタ位置との距離を算出する距離算出部と、前記距離算出部が算出した前記距離に応じて、前記ポインタ画像を前記視線位置まで延長した形状に変化させたポインタ重畳画像を生成し、前記発表画像に重畳させる重畳画像生成部とを備える。

【0007】

目的を達成するために、本発明に係る会議支援方法は、ネットワークを介して発表画像を共有して開催される会議を支援する会議支援方法であって、参加者が使用する参加者端末における前記発表画像が表示された表示部上の前記参加者の視線位置を算出する視線位置算出ステップと、前記発表画像における発表者が指し示すポインタ画像の位置であるポインタ位置を取得するポインタ位置取得ステップと、前記視線位置算出ステップにおいて算出された前記視線位置と、前記ポインタ位置取得ステップにおいて取得された前記ポインタ位置との距離を算出する距離算出ステップと、前記距離算出ステップにおいて算出された前記距離に応じて、前記ポインタ画像を前記視線位置まで延長した形状に変化させたポインタ重畳画像を生成し、前記発表画像に重畳させる重畳画像生成ステップと、を含む。

【発明の効果】

【0008】

本発明によれば、ウェブ会議において効果的なプレゼンテーションを行うことができる。

【図面の簡単な説明】

【0009】

【図1】図１は、会議支援システムの一例を模式的に示す図である。

【図2】図２は、第一実施形態に係る会議支援制御装置を有する参加者端末の構成例を示すブロック図である。

【図3】図３は、参加者端末を模式的に示す概略図である。

【図4】図４は、参加者端末に表示される誘導画像の一例を説明する図である。

【図5】図５は、発表者端末の構成例を示すブロック図である。

【図6】図６は、参加者端末における処理の一例を示すフローチャートである。

【図7】図７は、第二実施形態に係る会議支援制御装置を有する参加者端末の構成例を示すブロック図である。

【図8】図８は、参加者端末に表示される誘導画像の一例を説明する図である。

【図9】図９は、参加者端末における処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本発明に係る会議支援制御装置および会議支援方法の実施形態を図面に基づいて説明する。なお、以下の実施形態により本発明が限定されるものではない。ネットワークを介して発表画像を共有して開催される会議、いわゆるウェブ会議は、発表画像を提示しながら発表する発表者と、複数の視聴者である参加者とが存在する。ウェブ会議は、会議支援システム１を使用して行われる。発表画像とは、ウェブ会議で使用する、例えば、プレゼンテーション画像などである。発表画像には、発表者によって表示されたポインタ画像を含む。ポインタ画像は、例えば、円形状、リング形状、多角形状、および、指形状などである。

【0011】

［第一実施形態］
（会議支援システム）
図１は、会議支援システム１の一例を模式的に示す図である。会議支援システム１は、ネットワークを介して発表画像を共有して開催される会議を支援する。会議支援システム１は、複数の参加者Ｕが使用する複数の参加者端末１０と、発表者Ｔが使用する発表者端末３０とを備える。複数の参加者端末１０と、発表者端末３０とは、ネットワークＮＷを介して互いに情報を通信可能である。会議支援システム１は、ウェブ会議の開催時に、参加者端末１０において、参加者Ｕの視線を所定の位置へ誘導する。

【0012】

所定の位置は、発表者Ｔが説明している位置である。所定の位置は、発表画像上において、発表者Ｔが指し示す位置、言い換えると、ポインタの位置である。

【0013】

本実施形態では、発表者端末３０は、発表者Ｔの発表時に、発表内容データを記録する。本実施形態では発表内容データは、発表画像の発表画像データと、発表者映像の発表者映像データとを含む発表映像の発表映像データと、発表音声の発表音声データとを含む。発表者を表示しない場合には、発表者映像データは含まない。発表者端末３０は、発表内容データを参加者端末１０へ送信する。参加者端末１０は、受信した発表内容データを出力する。参加者端末１０は、発表時に、参加者Ｕの視線位置を示す視線位置情報を検出する。参加者端末１０は、視線位置情報に応じて、参加者Ｕの視線を所定の位置へ誘導する誘導画像を表示する。

【0014】

（参加者端末）
図２は、第一実施形態に係る制御部２０を有する参加者端末１０の構成例を示すブロック図である。図３は、参加者端末１０を模式的に示す概略図である。参加者端末１０は、ウェブ会議の参加者Ｕが使用する端末である。参加者端末１０は、例えば携帯電話、スマートフォン、タブレット、ノート型パーソナルコンピュータ、デスクトップ型パーソナルコンピュータなどの情報端末が挙げられる。参加者端末１０は、参加者Ｕが視聴する発表内容データを発表者端末３０から受信する。参加者端末１０は、発表内容データを出力する。参加者端末１０は、発表時、表示部１２における参加者Ｕの視線位置を示す視線位置情報を検出する。参加者端末１０は、視線位置情報に応じて、参加者Ｕの視線を所定の位置へ誘導する誘導画像を表示する。参加者端末１０は、カメラ１１と、表示部１２と、スピーカ１３と、通信部１４と、制御部（会議支援制御装置）２０とを有する。

【0015】

カメラ１１は、参加者Ｕを撮影するカメラである。カメラ１１は、参加者端末１０の表示部１２を視認している参加者Ｕの顔部を撮影可能な位置に配置されている。カメラ１１は、例えば、可視光カメラまたは遠赤外線カメラ、または近赤外線カメラで構成される。カメラ１１は、例えば、可視光カメラと遠赤外線カメラまたは近赤外線カメラとの組み合わせで構成されてもよい。カメラ１１は、発表映像が表示されている間は、参加者映像データを常時撮影する。カメラ１１は、撮影した参加者映像データを制御部２０の視線位置算出部２１へ出力する。

【0016】

表示部１２は、各種の情報を表示する装置である。表示部１２は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。表示部１２は、制御部２０の表示制御部２５から出力された映像信号に基づいて、映像データを表示する。本実施形態では、表示部１２は、発表映像を表示する。表示部１２は、発表映像のうち発表画像のみを表示し、発表者映像を表示しなくてもよい。図３では、表示部１２に、発表画像１００とポインタ画像１０１とが表示されている。表示部１２は、発表画像とともに、発表者映像を表示してもよい。表示部１２は、参加者Ｕの視線位置に応じて、発表映像とともに誘導画像を表示する。

【0017】

スピーカ１３は、各種の音声データを出力する装置である。スピーカ１３は、制御部２０の音声出力制御部２６から出力された音声信号に基づいて、音声データを出力する。本実施形態では、スピーカ１３は、発表音声データを出力する。

【0018】

通信部１４は、通信ユニットである。通信部１４は、インターネットまたは携帯電話回線などいずれの方法で通信を行ってもよい。通信部１４は、ネットワークＮＷを介して発表者端末３０とデータを通信可能に接続する。通信部１４は、発表者端末３０から発表内容データを受信する。

【0019】

制御部２０は、例えば、ＣＰＵなどで構成された演算処理装置（制御装置）である。制御部２０は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部２０には図示しない内部メモリが含まれ、内部メモリは制御部２０におけるデータの一時記憶などに用いられる。制御部２０は、視線位置算出部２１と、ポインタ位置取得部２２と、距離算出部２３と、重畳画像生成部２４と、表示制御部２５と、音声出力制御部２６と、通信制御部２７とを有する。

【0020】

視線位置算出部２１は、参加者Ｕの視線位置を算出する。視線位置算出部２１は、参加者Ｕが使用する参加者端末１０における発表画像が表示された表示部１２上の参加者Ｕの視線位置を算出する。本実施形態では、視線位置算出部２１は、発表画像において参加者Ｕがどこを見ているかを示す、発表画像上の参加者Ｕの視線位置を算出する。視線位置算出部２１は、カメラ１１から参加者映像データを取得する。視線位置算出部２１は、取得した参加者映像データに画像処理を行って、参加者Ｕの眼の映像から、表示部１２における参加者Ｕの視線位置を算出する。視線位置算出部２１は、例えば参加者Ｕの瞳孔の位置と角膜反射像の位置とに基づいて視線位置を算出すること、または参加者Ｕの目頭の位置と虹彩の位置とに基づいて視線位置を算出することなど、各種の手法により参加者Ｕの視線位置を算出する。このようにして、視線位置算出部２１は、発表画像上における参加者Ｕの視線位置を示す視線位置情報を算出する。

【0021】

ポインタ位置取得部２２は、参加者Ｕが使用する参加者端末１０の表示部１２に表示された発表画像上における発表者Ｔの発表位置を取得する。ポインタ位置取得部２２は、発表画像上における、発表者Ｔが指し示すポインタ画像の座標位置であるポインタ位置を取得する。

【0022】

ポインタ位置取得部２２は、参加者端末１０においてポインタ位置を検出してもよい。ポインタ位置取得部２２は、例えば、図示しないカメラによって表示部１２を撮影した映像データに画像処理を行って、発表画像上のポインタ画像を認識する。そして、ポインタ位置取得部２２は、表示部１２に表示された発表画像上におけるポインタ画像の座標位置を取得する。

【0023】

ポインタ位置取得部２２は、発表者端末３０からポインタ位置を示す情報を取得してもよい。この場合、発表画像データには、ポインタ画像データとともにポインタ位置データが含まれる。ポインタ位置取得部２２は、発表者端末３０から取得した発表画像データからポインタ位置データを取得する。

【0024】

距離算出部２３は、視線位置算出部２１が算出した視線位置と、ポインタ位置取得部２２が取得したポインタ位置との距離を算出する。視線位置とポインタ位置との距離が短い場合、参加者は発表者Ｔが説明している内容に集中していると推測される。視線位置とポインタ位置との距離が長い場合、参加者は発表者Ｔが説明している内容に集中していないと推測される。

【0025】

重畳画像生成部２４は、距離算出部２３が算出した距離が閾値以上である場合、重畳画像を生成する。

【0026】

閾値は、参加者Ｕが、発表者Ｔが説明している内容に集中していないと予測される距離である。

【0027】

重畳画像生成部２４は、距離算出部２３が算出した距離に応じて、ポインタ画像を視線位置まで延長した形状に変化させたポインタ重畳画像を生成し、発表画像に重畳させる。より詳しくは、重畳画像生成部２４は、距離算出部２３が算出した距離に応じて、ポインタ画像の形状を変化させて、視線位置まで延長したポインタ重畳画像を誘導画像として生成する。言い換えると、重畳画像生成部２４は、距離算出部２３が算出した距離に応じて、ポインタ画像を、視線位置まで延長するように変形したポインタ重畳画像に置き換えた誘導画像を生成する。このように誘導画像が表示される場合、元の形状のポインタ画像は非表示になる。重畳画像生成部２４は、発表画像に誘導画像を重畳した重畳画像を生成する。誘導画像は、発表画像上に透過性のレイヤーとして表示されてもよい。

【0028】

誘導画像は、ポインタ位置取得部２２が認識した発表画像上のポインタ画像の形状を変化させてもよい。誘導画像は、ポインタ位置取得部２２が発表者端末３０から取得した発表画像データに含まれるポインタ画像データのポインタ画像の形状を変化させてもよい。

【0029】

誘導画像は、視線位置からポインタ位置へ向かう方向を示す画像である。誘導画像は、例えば視線位置からポインタ位置までを結ぶ矢印画像である。誘導画像は、例えば視線位置とポインタ位置とを結び、色彩、明度および輝度の少なくともいずれかを段階的に変化させた帯状の画像でもよい。誘導画像は、例えば、色彩、明度および輝度の少なくともいずれかによって方向を示してもよい。例えば、参加者Ｕの視線位置を青色にして、ポインタ位置へ向かうにつれて赤色にする。例えば、参加者Ｕの視線位置を明度または輝度を低くして、ポインタ位置へ向かうにつれて明度または輝度を高くする。誘導画像は、例えば視線位置とポインタ位置とを結び、太さを段階的に変化させた帯状の画像でもよい。誘導画像は、例えば、帯の太さによって方向を示してもよい。例えば、参加者Ｕの視線位置を太く、ポインタ位置へ向かうにつれて細くする。

【0030】

図４は、参加者端末１０に表示される誘導画像１０３の一例を説明する図である。図４は、表示部１２に、発表画像１００が表示されている。発表画像１００上における、視線位置１０２を破線の円で示している。なお、視線位置１０２を示す破線の円は、発表画像１００上には表示されない。誘導画像１０３は、視線位置１０２から図示しないポインタ位置までを結ぶ矢印画像である。

【0031】

表示制御部２５は、表示部１２における映像データの表示を制御する。表示制御部２５は、映像データを表示部１２に出力させる映像信号を出力する。より詳しくは、表示制御部２５は、発表映像などを表示する映像信号を出力する。表示制御部２５は、発表画像のみを表示する映像信号を出力してもよい。表示制御部２５は、発表画像とともに、発表者映像を表示する映像信号を出力してもよい。表示制御部２５は、重畳画像生成部２４によって生成された重畳画像を表示部１２に表示するように制御する。

【0032】

音声出力制御部２６は、スピーカ１３からの音声データの出力を制御する。音声出力制御部２６は、音声データをスピーカ１３から出力させる音声信号を出力する。より詳しくは、音声出力制御部２６は、発表音声データなどを出力する音声信号を出力する。

【0033】

通信制御部２７は、通信部１４を介したデータの受信を制御する。通信制御部２７は、通信部１４を介して、発表者端末３０から発表内容データを受信するよう制御する。

【0034】

（発表者端末）
図５は、発表者端末３０の構成例を示すブロック図である。発表者端末３０は、ウェブ会議の発表者Ｔが使用する端末である。発表者端末３０は、例えば携帯電話、スマートフォン、タブレット、ノート型パーソナルコンピュータ、デスクトップ型パーソナルコンピュータなどの情報端末が挙げられる。発表者Ｔは、発表者端末３０を使用して、発表画像を提示しながら発表内容を発表する。発表者端末３０は、発表映像データと発表音声データとを含む発表内容データを参加者端末１０へ送信する。発表者端末３０は、カメラ３１と、マイクロフォン３２と、表示部３３と、スピーカ３４と、通信部３５と、制御部４０とを有する。本実施形態では、発表者端末３０は、発表者Ｔが発表している間、カメラ３１によって発表者Ｔの顔などを含む発表者映像データを撮影し、マイクロフォン３２によって発表音声データを収音するものとして説明する。発表者Ｔを撮影しない場合、発表者端末３０は、カメラ３１を有していなくてよい。

【0035】

カメラ３１は、発表者Ｔを撮影するカメラである。カメラ３１は、発表者Ｔの顔部を撮影可能である。カメラ３１は、例えば、可視光カメラで構成される。カメラ３１は、発表者Ｔが発表している間、常時撮影する。カメラ３１は、撮影した発表者映像データを制御部４０の映像データ取得部４１へ出力する。上述したように、カメラ３１は必須の構成ではない。

【0036】

マイクロフォン３２は、発表者Ｔの音声データを収音するマイクロフォンである。マイクロフォン３２は、発表者Ｔの音声データを収音可能な位置に配置されている。マイクロフォン３２は、発表者Ｔが発表している間、音声データを常時収音する。マイクロフォン３２は、収音した音声データを制御部４０の音声データ取得部４２へ出力する。

【0037】

表示部３３は、各種の情報を表示する装置である。表示部３３は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイなどを含むディスプレイである。表示部３３は、制御部４０の表示制御部４６から出力された映像信号に基づいて、映像データを表示する。本実施形態では、表示部３３は、発表画像を表示する。

【0038】

スピーカ３４は、各種の音声データを出力する装置である。スピーカ３４は、制御部４０の音声出力制御部４７から出力された音声信号に基づいて、音声データを出力する。

【0039】

通信部３５は、通信ユニットである。通信部３５は、インターネットまたは携帯電話回線などいずれの方法で通信を行ってもよい。通信部３５は、ネットワークＮＷを介して参加者端末１０とデータを通信可能に接続する。通信部３５は、参加者端末１０へ発表内容データを送信する。

【0040】

制御部４０は、例えば、ＣＰＵなどで構成された演算処理装置（制御装置）である。制御部４０は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部４０には図示しない内部メモリが含まれ、内部メモリは制御部４０におけるデータの一時記憶などに用いられる。制御部４０は、映像データ取得部４１と、音声データ取得部４２と、表示制御部４６と、音声出力制御部４７と、通信制御部４８とを有する。

【0041】

映像データ取得部４１は、発表者Ｔを撮影した発表者映像データを取得する。映像データ取得部４１は、カメラ３１が撮影した発表者映像データを取得する。発表者映像データは、例えば毎秒３０フレームの画像から構成される動画像である。

【0042】

音声データ取得部４２は、発表者Ｔが発表内容を発表する発表音声データを取得する。音声データ取得部４２は、マイクロフォン３２が収音した発表音声データを取得する。

【0043】

表示制御部４６は、表示部３３における映像データの表示を制御する。表示制御部４６は、映像データを表示部３３に出力させる映像信号を出力する。より詳しくは、表示制御部４６は、発表画像を表示する映像信号を出力する。

【0044】

音声出力制御部４７は、スピーカ３４からの音声データの出力を制御する。音声出力制御部４７は、音声データをスピーカ３４から出力させる音声信号を出力する。

【0045】

通信制御部４８は、通信部３５を介したデータの送信を制御する。通信制御部４８は、通信部３５を介して、参加者端末１０へ、発表内容データを送信するよう制御する。

【0046】

（参加者端末における処理）
図６を用いて、参加者端末１０における処理について説明する。図６は、参加者端末１０における処理の一例を示すフローチャートである。ウェブ会議の開催中、参加者端末１０は、発表者端末３０から発表内容データを受信する。ウェブ会議の開催中、ステップＳ１１ないしステップＳ１７の処理が常時実行される。

【0047】

制御部２０は、発表内容データを出力する（ステップＳ１１）。より詳しくは、制御部２０は、表示制御部２５によって、発表画像とともに、発表者映像を表示部１２に表示させる映像信号を出力する。制御部２０は、音声出力制御部２６によって、発表音声データなどをスピーカ１３から出力させる音声信号を出力する。制御部２０は、ステップＳ１２へ進む。

【0048】

制御部２０は、視線を検出する（ステップＳ１２）。より詳しくは、カメラ１１によって、発表映像が表示されている間、参加者Ｕの顔部の参加者映像データを常時撮影する。制御部２０は、ステップＳ１３へ進む。

【0049】

制御部２０は、視線位置を算出する（ステップＳ１３）。より詳しくは、制御部２０は、視線位置算出部２１によって、参加者映像データに画像処理を行って、参加者Ｕが使用する参加者端末１０の表示部１２における参加者Ｕの視線位置を算出する。制御部２０は、視線位置算出部２１によって、発表画像上における参加者Ｕの視線位置を示す視線位置情報を算出する。制御部２０は、ステップＳ１４へ進む。

【0050】

制御部２０は、ポインタ位置を取得する（ステップＳ１４）。より詳しくは、制御部２０は、ポインタ位置取得部２２によって、発表画像上における、発表者Ｔが指し示すポインタ画像の位置を取得する。制御部２０は、ステップＳ１５へ進む。

【0051】

制御部２０は、距離を算出する（ステップＳ１５）。より詳しくは、制御部２０は、距離算出部２３によって、視線位置算出部２１が算出した視線位置と、ポインタ位置取得部２２が取得したポインタ位置との距離を算出する。制御部２０は、ステップＳ１６へ進む。

【0052】

制御部２０は、距離が閾値以上であるか否かを判定する（ステップＳ１６）。より詳しくは、制御部２０は、距離が閾値以上であると判定する場合（ステップＳ１６でＹｅｓ）、ステップＳ１７へ進む。制御部２０は、距離が閾値以上であると判定しない場合（ステップＳ１６でＮｏ）、ステップＳ１９へ進む。

【0053】

距離が閾値以上であると判定する場合（ステップＳ１６でＹｅｓ）、制御部２０は、重畳画像を生成する（ステップＳ１７）。より詳しくは、制御部２０は、重畳画像生成部２４によって、距離算出部２３が算出した距離に応じて、ポインタ画像を、視線位置まで延長するように変形したポインタ重畳画像に置き換えた誘導画像を生成する。制御部２０は、重畳画像生成部２４によって、発表画像に、誘導画像を重畳した重畳画像を生成する。制御部２０は、ステップＳ１８へ進む。

【0054】

制御部２０は、重畳画像を表示する（ステップＳ１８）。制御部２０は、表示制御部２５によって、重畳画像生成部２４が生成した重畳画像を表示部１２に表示するように制御する。

【0055】

距離が閾値以上であると判定しない場合（ステップＳ１６でＮｏ）、発表画像を表示する（ステップＳ１９）。より詳しくは、制御部２０は、表示制御部２５によって、発表画像を表示部１２に表示するように制御する。

【0056】

（効果）
上述したように、本実施形態によれば、ウェブ会議において参加者Ｕの視線位置がポインタ位置からずれている場合、ポインタ画像の形状を変化させて、視線位置まで延長した、参加者Ｕの視線を誘導する誘導画像を表示することができる。本実施形態では、参加者端末１０の表示部１２に、発表画像に、参加者Ｕの視線を視線位置からポインタ位置まで誘導する誘導画像を重畳した重畳画像を表示する。このように、本実施形態は、ウェブ会議において参加者Ｕの視線を所定の位置に誘導することができる。

【0057】

本実施形態では、ポインタ画像を変形または置換した、視線位置まで延長された誘導画像が表示される。本実施形態は、参加者Ｕの視線位置に、誘導画像の一端側が位置する。本実施形態によれば、参加者Ｕの視線を誘導画像に沿って、ポインタ位置まで自然に誘導することができる。

【0058】

本実施形態では、誘導画像が視線位置とポインタ位置とを結ぶ形状である。本実施形態では、参加者Ｕが誘導画像に沿って視線位置を移動すると、ポインタ位置へ自然と誘導することができる。

【0059】

［第二実施形態］
図７ないし図９を参照しながら、本実施形態に係る制御部２０Ａを有する参加者端末１０Ａについて説明する。図７は、第二実施形態に係る制御部２０Ａを有する参加者端末１０Ａの構成例を示すブロック図である。図８は、参加者端末１０Ａに表示される誘導画像１０３の一例を説明する図である。図９は、参加者端末１０Ａにおける処理の一例を示すフローチャートである。参加者端末１０Ａは、基本的な構成は第一実施形態の参加者端末１０と同様である。以下の説明においては、参加者端末１０と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態の制御部２０Ａは、領域判定部２８Ａを有する点と、重畳画像生成部２４Ａにおける処理とが第一実施形態と異なる。

【0060】

領域判定部２８Ａは、表示部１２の表示画面を複数の領域に区切り、参加者Ｕの視線位置が存在する領域を判定し、視線領域として出力する。本実施形態では、図８に示すように、領域判定部２８Ａは、表示部１２の表示画面を４つの領域に区切る。なお、領域の数は、４つに限定されない。図８において、４つの領域は破線の位置で区切られている。領域判定部２８Ａは、視線位置算出部２１が算出した視線位置が、いずれの領域に位置するかを判定する。図８においては、領域判定部２８Ａは、参加者Ｕの視線は左下の領域に位置すると判定する。図８においては、視線領域は、左下の領域である。

【0061】

領域判定部２８Ａは、参加者Ｕの視線位置が所定の閾値時間以上留まったと判定した領域を視線領域として出力するようにしてもよい。

【0062】

重畳画像生成部２４Ａは、距離算出部２３が算出した距離に応じて、ポインタ画像を視線領域まで延長した形状に変化させたポインタ重畳画像を誘導画像として生成する。言い換えると、重畳画像生成部２４Ａは、距離算出部２３が算出した距離に応じて、ポインタ画像を、視線位置が位置する視線領域まで延長するように変形したポインタ重畳画像に置き換えた誘導画像を生成する。

【0063】

誘導画像は、視線位置が位置する視線領域からポインタ位置へ向かう方向を示す画像である。誘導画像は、例えば視線領域の中心部、端部、または任意の位置からポインタ位置までを結んでもよい。誘導画像は、例えば視線領域からポインタ位置が位置する領域までを結んでもよい。

【0064】

図８に示す誘導画像１０３は、視線位置１０２が位置する視線領域の中心から、ポインタ位置までを結ぶ矢印画像である。

【0065】

図９を用いて、参加者端末１０Ａにおける処理について説明する。ステップＳ２１ないしステップＳ２６、ステップＳ２９、ステップＳ３０の処理は、図６に示すローチャートのステップＳ１１ないしステップＳ１６、ステップＳ１８、ステップＳ１９の処理を同様の処理を行う。

【0066】

距離が閾値以上であると判定する場合（ステップＳ２６でＹｅｓ）、制御部２０Ａは、領域を判定する（ステップＳ２７）。より詳しくは、制御部２０Ａは、領域判定部２８Ａによって、表示部１２の表示画面を複数の領域に区切り、参加者Ｕの視線位置が存在する領域を判定し、視線領域として出力する。制御部２０Ａは、ステップＳ２８へ進む。

【0067】

制御部２０Ａは、重畳画像を生成する（ステップＳ２８）。より詳しくは、制御部２０Ａは、重畳画像生成部２４Ａによって、距離算出部２３が算出した距離に応じて、ポインタ画像の形状を変化させて、視線位置が位置する視線領域まで延長したポインタ重畳画像を誘導画像として生成する。制御部２０Ａは、重畳画像生成部２４Ａによって、発表画像に、誘導画像を重畳した重畳画像を生成する。制御部２０Ａは、ステップＳ２９へ進む。

【0068】

上述したように、本実施形態では、視線位置が位置する視線領域まで延長したポインタ重畳画像を誘導画像として表示させる。本実施形態は、参加者Ｕの視線位置が同じ領域内において移動している場合に、表示される誘導画像が変化しない。本実施形態によれば、表示される誘導画像が短時間で小刻みに移動することを抑制できる。本実施形態によれば、ウェブ会議において参加者Ｕの視線を所定の位置に誘導することができる。

【0069】

本実施形態は、視線位置が所定の閾値時間以上留まったと判定した領域を視線領域として出力する。本実施形態によれば、参加者Ｕの視線位置が移動している期間、および、視線位置が定まらない期間などを除いて、より適切に視線領域を判定することができる。

【0070】

図示した会議支援システムの各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

【0071】

会議支援システムの構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

【0072】

上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

【符号の説明】

【0073】

１ 会議支援システム
１０ 参加者端末
１１ カメラ
１２ 表示部
１３ スピーカ
１４ 通信部
２０ 制御部（会議支援制御装置）
２１ 視線位置算出部
２２ ポインタ位置取得部
２３ 距離算出部
２４ 重畳画像生成部
２５ 表示制御部
２６ 音声出力制御部
２７ 通信制御部
３０ 発表者端末
３１ カメラ
３２ マイクロフォン
３３ 表示部
３４ スピーカ
３５ 通信部
４０ 制御部
４１ 映像データ取得部
４２ 音声データ取得部
４６ 表示制御部
４７ 音声出力制御部
４８ 通信制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】