特許 7638327 制御システム、制御方法及びコンピュータープログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-20

(45)【発行日】2025-03-03

(54)【発明の名称】制御システム、制御方法及びコンピュータープログラム

(51)【国際特許分類】

   H04N 7/15 20060101AFI20250221BHJP

   H04N 21/431 20110101ALI20250221BHJP

【ＦＩ】

H04N7/15

H04N21/431

【請求項の数】 6

(21)【出願番号】P 2023096540

(22)【出願日】2023-06-12

(65)【公開番号】P2024178044

(43)【公開日】2024-12-24

【審査請求日】2023-06-12

(73)【特許権者】

【識別番号】399035766

【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】中里 健也

【審査官】富樫 明

(56)【参考文献】

【文献】特開２０１３－１４６１１２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２１／０２１８９２７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１４－７／１５

Ｈ０４Ｎ ２１／００－２１／８５８

(57)【特許請求の範囲】

【請求項1】

他の装置から提供される複数の動画像のデータを受信する通信部と、
前記通信部によって受信された動画像を、表示画面を複数に分割することによって得られる複数の部分領域に割り当てて表示させる制御部と、を備え、
前記制御部は、表示画面における前記複数の部分領域の配置の候補を示す複数の配置候補それぞれにおいて、複数の前記動画像のアスペクト比を維持した状態で複数の前記動画像の表示領域の面積の和がより大きくなるように前記部分領域と前記動画像との割り当てを判定し、前記複数の配置候補のうち前記動画像の表示領域の面積の和が最大となった配置候補にしたがって前記部分領域と前記動画像との割り当てを決定する、制御システム。

【請求項2】

前記制御部は、各動画像のアスペクト比と、各部分領域のアスペクト比と、に基づいて前記部分領域と前記動画像との割り当てを決定する、請求項１に記載の制御システム。

【請求項3】

他の装置から提供される複数の動画像のデータを受信する通信部と、
前記通信部によって受信された動画像を、表示画面を複数に分割することによって得られる複数の部分領域に割り当てて表示させる制御部と、を備え、
前記制御部は、複数の前記動画像のアスペクト比を維持した状態で複数の前記動画像の表示領域の面積の和がより大きくなるように前記部分領域と前記動画像との割り当てを決定し、
前記制御部は、各動画像のアスペクト比と、各部分領域のアスペクト比と、に基づいて前記部分領域と前記動画像との割り当てを決定し、
前記制御部は、各動画像のアスペクト比の大きさの順番と、各部分領域のアスペクト比の大きさの順番と、が一致するように前記部分領域と前記動画像との割り当てを決定する、制御システム。

【請求項4】

コンピューターが、他の装置から提供される複数の動画像のデータを受信し、
コンピューターが、受信された動画像を、表示画面を複数に分割することによって得られる複数の部分領域に割り当てて表示させ、
コンピューターが、表示画面における前記複数の部分領域の配置の候補を示す複数の配置候補それぞれにおいて、複数の前記動画像のアスペクト比を維持した状態で複数の前記動画像の表示領域の面積の和がより大きくなるように前記部分領域と前記動画像との割り当てを判定し、前記複数の配置候補のうち前記動画像の表示領域の面積の和が最大となった配置候補にしたがって前記部分領域と前記動画像との割り当てを決定する、制御方法。

【請求項5】

他の装置から提供される複数の動画像のデータを受信する通信部と、
前記通信部によって受信された動画像を、表示画面を複数に分割することによって得られる複数の部分領域に割り当てて表示させる制御部と、を備え、
前記制御部は、表示画面における前記複数の部分領域の配置の候補を示す複数の配置候補それぞれにおいて、複数の前記動画像のアスペクト比を維持した状態で複数の前記動画像の表示領域の面積の和がより大きくなるように前記部分領域と前記動画像との割り当てを判定し、前記複数の配置候補のうち前記動画像の表示領域の面積の和が最大となった配置候補にしたがって前記部分領域と前記動画像との割り当てを決定する制御システムとしてコンピューターを動作させるためのコンピュータープログラム。

【請求項6】

他の装置から提供される複数の動画像のデータを受信する通信部と、
前記通信部によって受信された動画像を、表示画面を複数に分割することによって得られる複数の部分領域に割り当てて表示させる制御部と、を備え、
前記制御部は、複数の前記動画像のアスペクト比を維持した状態で複数の前記動画像の表示領域の面積の和がより大きくなるように前記部分領域と前記動画像との割り当てを決定し、
前記制御部は、各動画像のアスペクト比と、各部分領域のアスペクト比と、に基づいて前記部分領域と前記動画像との割り当てを決定し、
前記制御部は、各動画像のアスペクト比の大きさの順番と、各部分領域のアスペクト比の大きさの順番と、が一致するように前記部分領域と前記動画像との割り当てを決定する、制御システムとしてコンピューターを動作させるためのコンピュータープログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オンラインで複数の動画像を受信して表示するための技術に関する。

【背景技術】

【0002】

従来から、ネットワークを介して会話や会議を行うためのシステムが提案されている。これらのシステムでは、カメラで撮影された参加者の顔画像や、参加者によって共有されたウィンドウ等の画像が、ユーザー毎に設けられた部分領域に表示されることが一般的である。例えば、特許文献１には、撮影されたユーザーの顔領域の画像を抽出して背景にはぼかしをかけて表示することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１２－２１３０１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来から、複数のメンバーが参加している場合には、参加している１又は複数のメンバー毎に部分領域が設けられて顔や動画像が表示されるシステムがある。このようなメンバー毎の部分領域の画面レイアウトについて、予め定義されている複数の画面レイアウトから選択することができるシステムもある。例えば、１又は複数のユーザーの部分領域がそれぞれ同じ大きさで設定され、各ユーザーの画像が部分領域内に表示される画面レイアウトがある。他の例として、代表ユーザー（例えばその時点で発言しているユーザー）の部分領域が他のユーザーの部分領域よりも大きく設定される画面レイアウトもある。他の例として、画面共有されているウィンドウやデスクトップの画像を表示するための部分領域がユーザーの部分領域よりも大きく設定される画面レイアウトもある。しかしながら、必ずしも十分な利便性が実現されてはいなかった。このような問題は、必ずしも会話や会議のためのシステムに限定された問題では無く、他のユーザーや他のシステムから提供される複数の動画像を表示するシステムにおいて共通する問題であった。

【0005】

上記事情に鑑み、本発明は、複数の動画像が提供されるシステムにおいて、ユーザーにとってより利便性が高い画面表示を実現することを可能とする技術の提供を目的としている。

【課題を解決するための手段】

【0006】

本発明の一態様は、他の装置から提供される複数の動画像のデータを受信する通信部と、前記通信部によって受信された動画像を、表示画面を複数に分割することによって得られる複数の部分領域に割り当てて表示させる制御部と、を備え、前記制御部は、複数の前記動画像の表示領域の面積の和がより大きくなるように前記部分領域と前記動画像との割り当てを決定する、制御システムである。

【0007】

本発明の一態様は、上記の制御システムであって、前記制御部は、各動画像のアスペクト比と、各部分領域のアスペクト比と、に基づいて前記部分領域と前記動画像との割り当てを決定する。

【0008】

本発明の一態様は、上記の制御システムであって、前記制御部は、各動画像のアスペクト比の大きさの順番と、各部分領域のアスペクト比の大きさの順番と、が一致するように前記部分領域と前記動画像との割り当てを決定する。

【0009】

本発明の一態様は、コンピューターが、他の装置から提供される複数の動画像のデータを受信し、コンピューターが、受信された動画像を、表示画面を複数に分割することによって得られる複数の部分領域に割り当てて表示させ、コンピューターが、複数の前記動画像の表示領域の面積の和がより大きくなるように前記部分領域と前記動画像との割り当てを決定する、制御方法である。

【0010】

本発明の一態様は、他の装置から提供される複数の動画像のデータを受信する通信部と、前記通信部によって受信された動画像を、表示画面を複数に分割することによって得られる複数の部分領域に割り当てて表示させる制御部と、を備え、前記制御部は、複数の前記動画像の表示領域の面積の和がより大きくなるように前記部分領域と前記動画像との割り当てを決定する制御システムとしてコンピューターを動作させるためのコンピュータープログラムである。

【発明の効果】

【0011】

本発明により、複数の動画像が提供されるシステムにおいて、ユーザーにとってより利便性が高い画面表示を実現することが可能となる。

【図面の簡単な説明】

【0012】

【図1】本発明の会話制御システム１００のシステム構成を示す概略ブロック図である。

【図2】ユーザー端末１０の機能構成の具体例を示す概略ブロック図である。

【図3】会話制御装置２０の機能構成の具体例を示す概略ブロック図である。

【図4】ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。

【図5】ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。

【図6】ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。

【図7】ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。

【図8】ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。

【図9】ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。

【図10】ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。

【図11】ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。

【図12】ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。

【図13】縮小部分領域５１において画面共有が実行されている状態の具体例を示す図である。

【図14】縮小部分領域５１及び部分領域５２において画面共有が実行されている状態の具体例を示す図である。

【図15】部分領域５２の構成例を示す図である。

【図16】ユーザー端末１０の表示部１３に表示される複数の部分領域５２の配置例を示す図である。

【図17】ユーザー端末１０の表示部１３に表示される複数の部分領域５２の配置例を示す図である。

【図18】ユーザー端末１０の表示部１３に表示される複数の部分領域５２の配置例を示す図である。

【図19】ユーザー端末１０の表示部１３に表示される複数の部分領域５２の配置例を示す図である。

【図20】ユーザー端末１０の表示部１３に表示される複数の部分領域５２の配置例を示す図である。

【図21】提供動画像の形状のパターンの具体例を示す図である。

【図22】配置候補情報の具体例を示す図である。

【図23】配置候補情報の具体例を示す図である。

【図24】配置候補情報の具体例を示す図である。

【図25】変形例の配置候補情報の具体例を示す図である。

【図26】本実施形態に適用される情報処理装置９００のハードウェア構成例の概略を示す図である。

【発明を実施するための形態】

【0013】

以下、本発明の具体的な構成例について、図面を参照しながら説明する。
図１は、本発明の会話制御システム１００のシステム構成を示す概略ブロック図である。会話制御システム１００は、複数の動画像が提供されるシステムの一具体例である。会話制御システム１００は、ユーザー端末１０を操作するユーザー同士がネットワーク９０を介して会話を行うためのシステムである。会話制御システム１００は、複数のユーザー端末１０、会話制御装置２０を含む。複数のユーザー端末１０及び会話制御装置２０は、ネットワーク９０を介して通信可能に接続される。ネットワーク９０は、無線通信を用いたネットワークであってもよいし、有線通信を用いたネットワークであってもよい。ネットワーク９０は、複数のネットワークが組み合わされて構成されてもよい。

【0014】

図２は、ユーザー端末１０の機能構成の具体例を示す概略ブロック図である。ユーザー端末１０は、例えばスマートフォン、タブレット、パーソナルコンピューター、携帯ゲーム機、据え置き型ゲーム機、専用機器などの情報機器を用いて構成される。ユーザー端末１０は、通信部１１、操作部１２、表示部１３、音声入力部１４、音声出力部１５、撮像部１６、記憶部１７及び制御部１８を備える。

【0015】

通信部１１は、通信機器である。通信部１１は、例えばネットワークインターフェースとして構成されてもよい。通信部１１は、制御部１８の制御に応じて、ネットワーク９０を介して他の装置とデータ通信する。通信部１１は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。

【0016】

操作部１２は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の既存の入力装置を用いて構成される。操作部１２は、ユーザーの指示をユーザー端末１０に入力する際にユーザーによって操作される。操作部１２は、入力装置をユーザー端末１０に接続するためのインターフェースであっても良い。この場合、操作部１２は、入力装置においてユーザーの入力に応じ生成された入力信号をユーザー端末１０に入力する。操作部１２は、マイク及び音声認識装置を用いて構成されてもよい。この場合、操作部１２はユーザーによって発話された文言を音声認識し、認識結果の文字列情報をユーザー端末１０に入力する。この場合、音声認識の処理は制御部１８によって実行されてもよい。この場合、操作部１２を構成するマイクは後述する音声入力部１４と一体に構成されてもよい。操作部１２は、ユーザーの指示をユーザー端末１０に入力可能な構成であればどのように構成されてもよい。

【0017】

表示部１３は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の画像表示装置である。表示部１３は、会話制御システム１００で用いられる画像データを表示する。表示部１３は、画像表示装置をユーザー端末１０に接続するためのインターフェースであっても良い。この場合、表示部１３は、画像データを表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。

【0018】

音声入力部１４は、マイクを用いて構成される。音声入力部１４は、マイクそのものとして構成されてもよいし、外部機器としてマイクをユーザー端末１０に接続するためのインターフェースとして構成されてもよい。マイクは、会話を行うユーザーの発話音声を取得する。音声入力部１４は、マイクによって取得された音声のデータを制御部１８に出力する。

【0019】

音声出力部１５は、スピーカーやヘッドホンやイヤホン等の音声出力装置を用いて構成される。音声出力部１５は、音声出力装置そのものとして構成されてもよいし、外部機器として音声出力装置をユーザー端末１０に接続するためのインターフェースとして構成されてもよい。音声出力装置は、会話を行うユーザーが音声を聞き取ることができるように音声を出力することが望ましい。音声出力部１５は、制御部１８によって出力される音声信号に応じた音声を出力する。

【0020】

撮像部１６は、カメラ等の撮像機器を用いて構成される。撮像部１６は、カメラ等の撮像機器をユーザー端末１０に接続するためのインターフェースであってもよい。撮像部１６は、ユーザーの顔を撮像可能な位置に設置されることが望ましい。この場合、撮像部１６は、ユーザーの顔を撮像し、静止画像又は動画像のデータ（以下「撮像画像データ」という。）を生成する。撮像部１６は、生成した撮像画像データを制御部１８に出力する。撮像画像データは、提供動画像の一態様である。提供動画像とは、ユーザー端末１０や情報機器から他のユーザー端末１０へ提供される動画像である。提供動画像の具体例には、ユーザー端末１０の撮像部１６によって撮像されている動画像（撮像画像データ）、ユーザー端末１０において共有されている画面（以下「共有画面」という。）を示す動画像、がある。共有画面とは、例えばそのユーザーによって選択されたウィンドウ、選択されたファイルを表示するウィンドウ、選択されたデスクトップ、等の画面である。共有画面を示す動画像では、その画面に対してユーザーが行った操作が随時反映されてもよい。例えば、ユーザーがカーソルの位置を操作する場合には、そのカーソルの表示位置が共有画面において操作に応じて変化する。

【0021】

記憶部１７は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部１７は、制御部１８によって使用されるデータを記憶する。記憶部１７は、例えばユーザー情報記憶部１７１として機能してもよい。ユーザー情報記憶部１７１は、ユーザー端末１０を操作するユーザーに関する情報（以下「ユーザー情報」という。）を記憶する。ユーザー情報は、例えばユーザーのハンドルネーム、ユーザーのアイコンデータ、ユーザーの属性情報を含んでもよい。ハンドルネームとは、ユーザーが会話制御システム１００において会話を行う際に使用する名前（ニックネーム又は本名）である。アイコンデータとは、ユーザーが会話制御システム１００において会話を行う際に使用する画像データである。属性情報は、例えばユーザーの年齢、性別、所属に関する情報を含んでもよい。

【0022】

制御部１８は、ＣＰＵ（Central Processing Unit）等のプロセッサーとメモリーとを用いて構成される。制御部１８は、プロセッサーがプログラムを実行することによって、表示制御部１８１、会議制御部１８２及び会話制御部１８３として機能する。なお、制御部１８の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ：Solid State Drive）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

【0023】

表示制御部１８１は、通信部１１を介して会話制御装置２０から表示情報を受信する。表示制御部１８１は、取得された表示情報に基づいて画像信号を生成し、表示部１３に表示させる。このとき、表示制御部１８１は、会話制御システム１００のアプリケーションが動作しているアプリケーションの表示領域内で表示制御を行う。例えば、会話制御システム１００のアプリケーションがＷＥＢブラウザである場合には、ＷＥＢブラウザのウィンドウ内で表示制御が行われる。ＷＥＢブラウザが全画面表示されている場合には、表示部１３の表示画面全体で表示制御が行われる。

【0024】

表示情報は、例えば表示される画像そのものを示す画像データであってもよい。この場合、画像データを生成する主体（画像データ生成部）は会話制御装置２０の表示情報生成部２３３である。表示情報は、例えば表示される画像を生成するために必要となる情報（例えば、表示される分割領域数、各分割領域に表示される画像領域の形状、会議室の位置、大きさ及び表示態様や、ユーザーの位置及びアイコン画像を示す情報）を示すデータであってもよい。この場合、表示制御部１８１は、表示情報に基づいて、表示部１３に表示するための画像データを生成する。この場合、画像データを生成する主体（画像データ生成部）は表示制御部１８１である。

【0025】

会議制御部１８２は、会話制御装置２０において仮想的に設けられる会議に関する制御を行う。例えば、ユーザーが操作部１２を操作することによって新規の会議室を設置することを指示した場合、会議制御部１８２は、新規の会議室を設置するための処理を行う。会議制御部１８２は、自装置（ユーザー端末１０）のユーザーが撮像画像データを他のユーザー端末１０へ送信する設定を行っている場合、撮像部１６によって撮像された撮像画像データを他の装置へ送信する。送信先となる他の装置は、例えば会話制御装置２０であってもよい。この場合、自装置（ユーザー端末１０）と同じ会議室に接続している他のユーザー端末１０に対して、会話制御装置２０を介して撮像画像データが送信される。送信先となる他の装置は、自装置（ユーザー端末１０）と同じ会議室に接続している他のユーザー端末１０であってもよい。

【0026】

会話制御部１８３は、会話制御システム１００に参加する複数のユーザーの間で行われる会話に関する制御を行う。複数のユーザーの会話は、例えば設置された会議室に参加する複数のユーザーの間の会話（以下「会議室会話」という。）として行われても良い。自装置（ユーザー端末１０）のユーザーが会話に参加している場合には、会話制御部１８３は自装置のユーザーを含む複数のユーザーの間で行われる会話を制御する。この場合、会話制御部１８３は、例えば音声入力部１４から入力された音声データを、通信部１１を介して会話制御装置２０へ送信する。会話制御部１８３は、会話制御装置２０から音声データを受信すると、受信された音声データを音声出力部１５から出力する。自装置（ユーザー端末１０）のユーザーが会話に参加していない場合には、会話制御部１８３は自装置のユーザーを含まない複数のユーザーの間で行われる会話を制御する。この場合、会話制御部１８３は、他のユーザーの間で行われる会話の音声データを受信して音声出力部１５から出力する。音声出力部１５から出力される音声データは、会話制御装置２０を介して他のユーザー端末１０から受信されてもよいし、会話制御装置２０の制御に従って接続された他のユーザー端末１０から直接受信してもよい。

【0027】

図３は、会話制御装置２０の機能構成の具体例を示す概略ブロック図である。会話制御装置２０は、例えばパーソナルコンピューターやサーバー装置などの情報処理装置を用いて構成される。会話制御装置２０は、通信部２１、記憶部２２及び制御部２３を備える。

【0028】

通信部２１は、通信機器である。通信部２１は、例えばネットワークインターフェースとして構成されてもよい。通信部２１は、制御部２３の制御に応じて、ネットワーク９０を介して他の装置とデータ通信する。通信部２１は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。

【0029】

記憶部２２は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部２２は、制御部２３によって使用されるデータを記憶する。記憶部２２は、例えば会議室情報記憶部２２１として機能してもよい。

【0030】

会議室情報記憶部２２１は、会議室に関する情報（以下「会議室情報」という。）を記憶する。会議室とは、会話制御システム１００においてユーザーが会話を行うために設置する仮想的な部屋である。会議室情報は、例えばその会議室に設定されている名前を示す情報を含んでもよい。会議室情報は、さらに、その会議室に現在入室しているユーザーを示す情報を含んでもよい。

【0031】

制御部２３は、ＣＰＵ等のプロセッサーとメモリーとを用いて構成される。制御部２３は、プロセッサーがプログラムを実行することによって、ユーザー制御部２３１、会議室制御部２３２、表示情報生成部２３３及び会話制御部２３４として機能する。なお、制御部２３の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

【0032】

ユーザー制御部２３１は、ユーザーに関する制御処理を行う。例えば、ユーザー制御部２３１は、会話制御装置２０にアクセスしてくるユーザーについてログインのための処理（例えば認証処理）を行ってもよい。

【0033】

会議室制御部２３２は、会議室に関する制御処理を行う。例えば、会議室制御部２３２は、会議室を新たに設置することについてユーザー端末１０から指示を受けた場合には、受信される情報に基づいて会議室情報を生成し、会議室情報記憶部２２１に登録してもよい。会議室制御部２３２は、ユーザーによって会議室へ参加するための所定の操作が行われた場合、所定の条件が満たされると、その会議室へユーザーを参加させるための処理を行う。例えば、会議室制御部２３２は、会議室情報記憶部２２１を更新することによって、会議室に新たなユーザーが参加したことを登録する。

【0034】

表示情報生成部２３３は、ユーザー端末１０において表示される画像の生成に必要となる情報（表示情報）を生成する。表示情報は、例えば分割領域数、各分割領域に表示される画像領域の形状、現在設置されている会議室に関する情報や、会話制御装置２０にアクセスしている各ユーザー端末１０のユーザーに関する情報を含んでもよい。表示情報生成部２３３は、生成された表示情報を、ユーザー端末１０に対して送信する。

【0035】

会話制御部２３４は、ユーザー端末１０から音声データを受信する。会話制御部２３４は、各ユーザー端末１０に対して出力されるべき音声データ（以下「会話音声データ」という。）を生成し、各ユーザー端末１０に会話音声データを送信する。会話制御部２３４は、例えば各ユーザー端末１０のユーザーがどのような会話に参加しているかに基づいて会話音声データを生成してもよい。例えば、会話制御部２３４は、各ユーザーのユーザー端末１０に対し、そのユーザーが入室している会議室に参加している全ユーザーのユーザー端末１０から受信された音声を含む会話音声データを送信してもよい。

【0036】

次に、ユーザー端末１０において表示される画像と、各画像が表示されている場合に出力される会話音声データとの関係について説明する。

【0037】

図４は、ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。図４において、表示部１３には、会議室領域画像３０、会話領域３１、聞き耳領域３２、アイコン画像４１、操作領域画像５０１が表示されている。表示部１３には、会議室を設置可能な仮想空間の画像が表示される。仮想空間は、主に会議室の領域と、会議室外の領域と、で構成される。会議室の領域は、会議室領域画像３０として表示される。会議室外の領域（以下「室外領域」という。）は、符号９１で表される領域であり、会議室に入室していないユーザーのアイコン画像４１が表示される領域である。

【0038】

会議室領域画像３０は、会話領域３１と聞き耳領域３２とを含む。会話領域３１にアイコン画像４１が表示されているユーザーは、同じ会議室の会話領域３１にアイコン画像４１が表示されている他のユーザーと会話をすることができる。すなわち、会話領域３１にアイコン画像４１が表示されている各ユーザーの音声は、お互いに送受信される。以下の説明では、会議室に入室するということは、会話領域３１にアイコン画像４１が表示されることを示す。すなわち、会議室に入室するということは、他の入室者と会話を行うことが可能な状態になることを示す。

【0039】

聞き耳領域３２にアイコン画像４１が表示されているユーザー（以下「聞き耳ユーザー」という。）は、その会議室の会話領域３１にアイコン画像４１が表示されているユーザー（入室しているユーザー）の会話を聞くことができる。ただし、聞き耳ユーザーは、その会議室において発言することができない。すなわち、聞き耳ユーザーが発話した音声は、その会議室に入室している他のユーザーのユーザー端末１０や、その会議室における他の聞き耳ユーザーのユーザー端末１０において出力されない。

【0040】

会議室領域画像３０は、所定の大きさの領域を示す幾何学形状の画像として表される。本実施形態の例では、会議室領域画像３０は、円形の画像として表される。会議室領域画像３０の中央付近には、会議室の名称３１１が表示される。図４の例では、“雑談”が会議室の名称である。会議室の名称が表示されることによって、室外領域９１に位置するユーザーであっても、その会議室に入室することなくおおよそその会議室でどのような会話が行われているか推察することが可能となる。

【0041】

会議室領域画像３０の内側には、入室ボタン３１２及び詳細ボタン３１３が表示されてもよい。入室ボタン３１２は、その会議室に入室することを要求するためのボタンである。室外領域９１に位置するユーザーによって入室ボタン３１２が操作されることに応じて、そのユーザーがその会議室に入室することを要求していることを会議室制御部２３２が判断する。会議室制御部２３２は、その要求に応じて入室を許可するか否か判定し、判定結果に応じてユーザーの入室を制御する。

【0042】

詳細ボタン３１３は、その会議室に関する詳細な情報を表示させるためのボタンである。詳細ボタン３１３が操作されることに応じて、詳細表示領域が画面に表示される。詳細表示領域には、その会議室に関する詳細な情報と、その会議室について操作を行うためのボタンや入力枠が表示される。例えば、会議室の名称、会議室の名称を変更するためのボタン、変更後の会議室の名称を入力するための入力枠、等が表示されてもよい。

【0043】

アイコン画像４１は、ユーザーの仮想的な位置とユーザーに関する情報を示す画像である。アイコン画像４１は、例えばユーザー情報に含まれるアイコンデータにしたがって表示されてもよい。

【0044】

図５は、ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。図５の例では、２名分のユーザーのアイコン画像４１（４１＿１及び４１＿２）と、１つの会議室の会議室領域画像３０とが表示されている。会議室領域画像３０によって示される会議室には、どのユーザーもまだ参加していない。２名のユーザーは、どの会議室にも参加していない。そのため、アイコン画像４１＿１及びアイコン画像４１＿２は、会議室領域画像３０の内側ではなく室外領域９１に表示されている。

【0045】

会議室に参加を希望するユーザーは、所定の操作を行うことで会議室に参加（入室）することができる。例えば、参加を希望する会議室領域画像３０における入室ボタン３１２を操作することで、その会議室に参加することができる。なお、入室するための操作は上述したものに限定される必要は無い。会議室に対して入室制限が設定されている場合には、入室制限において入室が許可されているユーザーのみがその会議室に入室することができる。

【0046】

図６は、ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。図６の例では、雑談がテーマの会議室に対して１名のユーザーが参加している。そのため、雑談がテーマの会議室を示す会議室領域画像３０の内側に、１名分のユーザーのアイコン画像４１（４１＿２）が表示されている。この時点では、アイコン画像４１＿２のユーザーと同じ会議室に参加している他のユーザーはいない。そのため、アイコン画像４１＿２のユーザーは、雑談がテーマの会議室において、他のユーザーと会話を行うことができない。

【0047】

室外領域９１にいるアイコン画像４１＿１のユーザーが、雑談がテーマの会議室への参加のための操作を行うと、その会議室に参加しているユーザーに対して、参加を希望しているユーザーがいることが通知される。例えば、所定の音（例えばドアをノックする音）が、各ユーザーのユーザー端末１０において出力されても良い。通知対象となるユーザーは、その会議室に参加している全てのユーザーであってもよいし、所定の一部のユーザー（例えばその会議室の管理者であるユーザー）のみであってもよい。

【0048】

通知がなされた後に、所定の条件が満たされると、アイコン画像４１＿１のユーザーは雑談がテーマの会議室へ参加することができる。所定の条件は、例えば単に所定の時間（例えば１秒、３秒、５秒など）が経過したことであってもよいし、所定のユーザー（例えばその会議室の管理者、参加者など）によって参加が許可されたことであってもよいし、その会議室に予め設定されている参加条件が満たされたことであってもよい。また、所定の条件が設定されていなくてもよい。その場合は、参加を希望したユーザーの全員がその会議室（例えば雑談がテーマの会議室）へ参加することができる。

【0049】

図７は、ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。図７の例では、雑談がテーマの会議室に対して２名のユーザーが参加している。そのため、雑談がテーマの会議室を示す会議室領域画像３０の内側に、２名分のユーザーのアイコン画像４１（４１＿１及び４１＿２）が表示されている。この時点では、アイコン画像４１＿１のユーザーとアイコン画像４１＿２のユーザーとが同じ会議室に参加している。そのため、アイコン画像４１＿１のユーザーとアイコン画像４１＿２のユーザーとは、雑談がテーマの会議室において会話を行うことができる。すなわち、同じ会議室に参加しているユーザー同士は、ユーザー端末１０を用いて会話を行うことができる。

【0050】

より具体的には以下の通りである。会議室に参加しているユーザーのユーザー端末１０は、同じ会議室に参加していている他のユーザーが発話した音声データを受信し、出力する。また、会議室に参加しているユーザーのユーザー端末１０は、そのユーザーが発話した音声データを会話制御装置２０に送信する。この送信により、同じ会議室に参加していている他のユーザーのユーザー端末１０において、その音声データが出力される。室外領域９１にいるアイコン画像４１＿３のユーザーが、雑談がテーマの会議室への参加のための操作を行うと、所定の条件が満たされた後に、アイコン画像４１＿３のユーザーは雑談がテーマの会議室へ参加することができる。

【0051】

図８は、ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。図８の例では、雑談がテーマの会議室に対して３名のユーザーが参加している。そのため、雑談がテーマの会議室を示す会議室領域画像３０の内側に、３名分のユーザーのアイコン画像４１（４１＿１、４１＿２及び４１＿３）が表示されている。この時点では、アイコン画像４１＿１のユーザーとアイコン画像４１＿２のユーザーとアイコン画像４１＿３のユーザーとが同じ会議室に参加している。そのため、アイコン画像４１＿１のユーザーとアイコン画像４１＿２のユーザーとアイコン画像４１＿３のユーザーとは、雑談がテーマの会議室において会話を行うことができる。なお、４名以上のユーザーが同一の会議室に参加する場合も同様である。

【0052】

図９は、ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。図９の例では、雑談がテーマの会議室に対して６名のユーザーが参加している。図９の例では、ユーザー端末１０はビデオ会話モードで動作している。ビデオ会話モードでは、同じ会議室（図９では雑談がテーマの会議室）に参加しているユーザー毎に縮小部分領域５１が表示される。縮小部分領域５１は、その縮小部分領域５１に対応づけられたユーザーのユーザー端末１０から提供される動画像（提供動画像）を表示可能な領域である。

【0053】

縮小部分領域５１には、上述したもの以外の種類の動画像が提供動画像として表示されてもよい。図９の例では、各縮小部分領域５１には、ユーザー端末１０の撮像部１６によって撮像されている各ユーザーの顔を含む提供動画像が表示されている。

【0054】

図９の例では、表示部１３の画面の一部（例えば右端付近）に部分リスト領域５０が設けられる。部分リスト領域５０には、所定数以下（図９の例では７つ以下）の縮小部分領域５１が並べられて表示される。図９の例では、雑談がテーマの会議室に参加している５名のユーザー全員分のユーザーの縮小部分領域５１が表示されている。

【0055】

仮に、所定数よりも多い人数の参加者がいる場合、所定数を超えた人数分の縮小部分領域５１は表示されない。ただし、部分リスト領域５０に表示される縮小部分領域５１の数が何らかの理由で減った場合には、それまで表示されていなかったユーザーの縮小部分領域５１が部分リスト領域５０に表示されてもよい。また、部分リスト領域５０に表示される縮小部分領域５１はスクロール表示されてもよい。例えば、図９の画面において、下方向に部分リスト領域５０の表示がスクロールされた場合、上端にあった縮小部分領域５１は表示されなくなり、それまで表示されていた２番目～７番目までの縮小部分領域５１＿はそれぞれ一つ上に移動し、それまで表示されていなかった８番目の縮小部分領域５１が下端に表示されてもよい。

【0056】

図１０は、ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。図１０の例では、縮小部分領域５１＿１に表示されていたユーザーの画像が、部分領域５２＿１に表示されている。ユーザー端末１０の表示部１３に表示されている縮小部分領域５１に対してユーザーが所定の操作（例えばタッチ、クリック等）を行うと、操作された縮小部分領域５１は部分領域５２として表示される。部分領域５２は、縮小部分領域５１よりも面積が広い。部分領域５２には、縮小部分領域５１に表示されていた画像と同じものが拡大されて表示される。部分領域５２は、例えば部分リスト領域５０以外の領域に１又は複数表示される。部分領域５２に表示されているユーザーに対応する縮小部分領域５１は、部分リスト領域５０から削除されてもよい。図１０の例では、もともと部分リスト領域５０に表示されていた縮小部分領域５１＿１に対して操作がなされたため、部分領域５２＿１が表示されている。その際に、縮小部分領域５１＿１は部分リスト領域５０から削除された。この削除に伴って、縮小部分領域５１＿２～５１－５は、一つずつ表示位置が上方に移動している。

【0057】

図１１は、ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。図１１の例では、縮小部分領域５１＿１及び５１＿４に表示されていたユーザーの画像が、それぞれ部分領域５２＿１及び５２＿４に表示されている。このような表示は、例えばもともと部分リスト領域５０に表示されていた縮小部分領域５１＿１及び５１＿４に対してそれぞれ操作がなされた結果として表示される。部分領域５２が複数表示される場合には、各部分領域５２の大きさが同じ大きさとして表示されてもよいし、一部又は全ての部分領域５２の大きさが他の部分領域５２の大きさと異なるように表示されてもよい。図１１の例では、各部分領域５２は同じ大きさで表示される。

【0058】

図１２は、ユーザー端末１０の表示部１３に表示される画像の具体例を示す図である。図１２の例では、部分リスト領域５０に表示されていた全ての縮小部分領域５１に対して操作された結果、全てのユーザーについて部分領域５２が表示されている。全てのユーザーについて部分領域５２が表示されている場合には、部分リスト領域５０が設けられなくてもよい。この場合、部分リスト領域５０として使用されていた領域も、部分領域５２の表示領域として使用される。そのため、部分領域５２をより広く表示することが可能となる。

【0059】

図１０～図１２に示されるように、表示部１３には部分領域個別操作ボタンと、部分領域全体操作ボタン５０５が表示される。部分領域個別操作ボタンには、個別拡大ボタン５３及び縮小ボタン５４が含まれる。部分領域個別操作ボタンは、部分領域５２毎に表示される。部分領域全体操作ボタン５０５は、表示部１３の画面に一つ表示される。個別拡大ボタン５３が操作された場合、その部分領域５２は、他の部分領域５２よりもさらに大きな領域として拡大表示される。このとき、他の部分領域５２は表示されなくてもよい。部分領域５２が拡大表示されている際には、戻るボタンも表示される。戻るボタンが操作された場合、個別拡大ボタン５３が操作される直前の表示状態に戻る。縮小ボタン５４が操作された場合、そのユーザーについて部分領域５２が消去され、部分リスト領域５０に縮小部分領域５１が表示される。

【0060】

部分領域全体操作ボタン５０５には、全画面ボタン、全て閉じるボタン、非表示ボタンが含まれても良い。これらのボタンは、例えば部分領域全体操作ボタン５０５を操作することによって表示されてもよい。全画面ボタンが操作されると、部分領域５２が表示されたままの状態で全画面表示が行われる。全て閉じるボタンが操作されると、全ての部分領域５２が消去され、部分リスト領域５０に可能な限り全ての縮小部分領域５１が表示される。すなわち、部分領域５２が一つも表示されていない状態に表示が戻る。非表示ボタンが操作されると、全ての部分領域５２の表示が一時的に消去され、その背景にもともと表示されていた会議室領域画像３０が表示される。このような表示の状態では、会議室領域画像３０やアイコン画像４１に対する操作が有効となる。一方で、部分領域５２が一つでも表示されている場合には、会議室領域画像３０やアイコン画像４１に対する操作が無効となる。非表示ボタンが操作された際には、戻るボタンも表示される。戻るボタンが操作された場合、非表示ボタンが操作される直前の表示状態に戻る。

【0061】

図１３は、縮小部分領域５１において画面共有が実行されている状態の具体例を示す図である。縮小部分領域５１＿１０、縮小部分領域５１＿１１及び縮小部分領域５１＿１２では、縮小部分領域５１に応じたユーザーによって画面共有の操作が行われた結果、共有画面の動画像が提供動画像として表示されている。このように、複数のユーザーによって同じタイミングに画面共有が行われても良い。

【0062】

図１４は、縮小部分領域５１及び部分領域５２において画面共有が実行されている状態の具体例を示す図である。図１４の例では、縮小部分領域５１＿１０及び縮小部分領域５１＿１２において所定の操作が行われた結果、縮小部分領域５１＿１０及び５１＿１２に表示されていた共有画面の画像が、それぞれ部分領域５２＿１０及び５２＿１２に表示されている。このように、複数の部分領域５２において、それぞれ異なるユーザーによって並行して行われている画面共有が表示されてもよい。

【0063】

次に、ユーザー端末１０の表示内容の決定処理について説明する。決定される表示内容の具体例として、部分領域５２の大きさ及び表示位置、各部分領域５２に対する提供動画像の割り当て、各部分領域５２における画像表示領域５６の大きさ及び表示位置、を示す情報がある。この決定処理は、例えば各ユーザー端末１０の表示制御部１８１によって行われてもよいし、会話制御装置２０の表示情報生成部２３３によって行われてもよい。

【0064】

以下の説明では、各ユーザー端末１０の表示制御部１８１によって表示内容の決定処理が行われる例について説明するが、表示情報生成部２３３によって行われる場合も同様の処理となる。なお、以下の処理を実行する表示制御部１８１は、例えば予めユーザー端末１０にインストールされているアプリケーションによって実行されてもよい。また、以下の処理を実行する表示制御部１８１は、ユーザーによって操作される情報処理装置が会話制御システム１００のユーザー端末１０として動作する都度、以下の処理を実行するためのアプリケーションを会話制御装置２０等のサーバーからダウンロードし、アプリケーションが実行されることによって実現されてもよい。

【0065】

図１５は、部分領域５２の構成例を示す図である。部分領域５２の内側には、画像表示候補領域５５が設けられる。画像表示候補領域５５は、部分領域５２のうち、提供動画像が表示可能な最大の領域を示す。各部分領域５２において、画像表示候補領域５５と同じ形（同じ大きさ）の提供動画像が最大の画像サイズとして表示可能である。画像表示候補領域５５は、部分領域５２と同じ形状及び大きさであってもよいし、部分領域５２よりも小さい領域であってもよい。図１５の例では、画像表示候補領域５５の高さはＨ１であり、幅がＷ１である。

【0066】

画像表示候補領域５５の内側には、画像表示領域５６が設定される。画像表示領域５６は、その部分領域５２に割り当てられたユーザーや機器から送信される提供動画像を表示するための領域である。図１５において、画像表示領域５６の高さはＨ２であり、幅がＷ２である。画像表示領域５６の高さＨ２及び幅Ｗ２は、その部分領域５２に割り当てられたユーザーや機器から送信される提供動画像の高さＨ３及び幅Ｗ３に基づいて定められる。Ｗ２及びＨ２の比がＷ３及びＨ３の比と同じになるようにＷ２及びＨ２が定められる。言い換えれば、画像表示領域５６の形状は、そのアスペクト比が提供動画像のアスペクト比と同じ値になるように定められる。例えば、各部分領域５２において、その部分領域５２に割り当てられた提供動画像を表示するための画像表示領域５６の面積が最大となるように、画像表示領域５６が定められてもよい。なお、表示制御部１８１は、確定共同画像のアスペクト比をどのような方法で取得してもよい。例えば、表示制御部１８１は、提供動画像を他の装置から受信し、受信された提供動画像のデータに基づいてアスペクト比を取得してもよい。例えば、表示制御部１８１は、自装置から他の装置へ動画像を提供する際に、その動画像（提供動画像）のアスペクト比を示す情報を他の装置へ送信するように構成されてもよい。この場合、各装置の表示制御部１８１は、提供動画像の提供元である装置からアスペクト比を示す情報を取得する。

【0067】

図１６は、ユーザー端末１０の表示部１３に表示される複数の部分領域５２の配置例を示す図である。表示部１３に表示される部分領域５２の数に応じて、複数の配置候補が定められている。配置候補は、例えば［ｍ１，・・・，ｍｎ：横］と［ｍ１，・・・，ｍｎ：縦］とで表される。ｍ及びｎは１以上の整数である。［ｍ１，・・・，ｍｎ：横］では、表示部１３の画面を横にｎ段で区切り、上から数えて１段目にはｍ１個の部分領域５２、２段目にはｍ２個の部分領域５２、ｎ段目にはｍｎ個の部分領域５２を格段で同じ大きさになるように部分領域５２を配置する。［ｍ１，・・・，ｍｎ：縦］では、表示部１３の画面を縦にｎ列で区切り、左から数えて１列目にはｍ１個の部分領域５２、２列目にはｍ２個の部分領域５２、ｎ列目にはｍｎ個の部分領域５２を格列で同じ大きさになるように部分領域５２を配置する。

【0068】

図１６では、ｎ＝３であり、ｍ１＝１、ｍ２＝２、ｍ３＝２であり、区切りの向きは横である。すなわち、図１６の配置候補は、［１，２，２：横］である。ｎ＝３であるため、表示部１３は３つの段に分割されている。１段目にはｍ１＝１個の部分領域５２（５２＿ａ）が配置され、２段目にはｍ２＝２個の部分領域５２（５２＿ｂ、５２＿ｃ）が配置され、３段目にはｍ３＝２個の部分領域５２（５２＿ｄ、５２＿ｅ）が配置されている。本実施形態では、横の配置候補である場合には、表示部１３の画面をｎ段に区切る際に、各段の縦の長さが同一になるように均等に区切っている。また、本実施形態では、上から順により広い面積を有した部分領域５２が配置されている。しかしながら、各段の縦の長さや、各部分領域５２の面積と配置との関係は、上述したものがあくまで一例であり、上述したものに限定される必要は無い。

【0069】

図１７は、ユーザー端末１０の表示部１３に表示される複数の部分領域５２の配置例を示す図である。図１７では、ｎ＝３であり、ｍ１＝１、ｍ２＝２、ｍ３＝２であり、区切りの向きは縦である。すなわち、図１７の配置候補は、［１，２，２：縦］である。ｎ＝３であるため、表示部１３は３つの列に分割されている。１列目にはｍ１＝１個の部分領域５２（５２＿ａ）が配置され、２列目にはｍ２＝２個の部分領域５２（５２＿ｂ、５２＿ｃ）が配置され、３列目にはｍ３＝２個の部分領域５２（５２＿ｄ、５２＿ｅ）が配置されている。本実施形態では、縦の配置候補である場合には、表示部１３の画面をｎ列に区切る際に、各列の横の長さが同一になるように均等に区切っている。また、本実施形態では、左から順により広い面積を有した部分領域５２が配置されている。しかしながら、各列の横の長さや、各部分領域５２の面積と配置との関係は、上述したものがあくまで一例であり、上述したものに限定される必要は無い。

【0070】

図１８では、ｎ＝２であり、ｍ１＝２、ｍ２＝３であり、区切りの向きは横である。すなわち、図１８の配置候補は、［２，３：横］である。ｎ＝２であるため、表示部１３は２つの段に分割されている。１段目にはｍ１＝２個の部分領域５２（５２＿ａ，５２＿ｂ）が配置され、２段目にはｍ２＝３個の部分領域５２（５２＿ｃ、５２＿ｄ、５２＿ｅ）が配置されている。

【0071】

図１９では、ｎ＝２であり、ｍ１＝１、ｍ２＝４であり、区切りの向きは横である。すなわち、図１９の配置候補は、［１，４：横］である。ｎ＝２であるため、表示部１３は２つの段に分割されている。１段目にはｍ１＝１個の部分領域５２（５２＿ａ）が配置され、２段目にはｍ２＝４個の部分領域５２（５２＿ｂ、５２＿ｃ、５２＿ｄ、５２＿ｅ）が配置されている。

【0072】

図２０では、ｎ＝１であり、ｍ１＝５であり、区切りの向きは横である。すなわち、図２０の配置候補は、［５：横］である。ｎ＝１であるため、表示部１３は１つの段で構成されおり分割されていない。１段目にはｍ１＝５個の部分領域５２（５２＿ａ、５２＿ｂ、５２＿ｃ、５２＿ｄ、５２＿ｅ）が配置されている。この配置候補は、［１，１，１，１，１：縦］と実質的に同じ配置である。

【0073】

部分領域５２の数が５つである場合には、［５：横］、［５：縦］、［１，２，１，１：横］、［１，１，２，１：縦］、［１，１，１，２：横］のように様々なパターンの配置候補が存在しうる。しかし、全てのパターンを配置候補として考慮しようとすると、その中から最適な一つを選択する処理の計算量が増加し処理に時間を要してしまうおそれがある。そのため、本実施形態では、部分領域５２の数毎に、予め複数の配置候補が決定されている。例えば、部分領域５２の数が５である場合には、［１，４：横］、［１，４：縦］、［２，３：横］、［２，３：縦］、［１，２，２：横］、［１，２，２：縦］、［１，１，１，１，１：横］、［１，１，１，１，１：縦］の８つのパターンのみが配置候補として予め定められていてもよい。区切りの向きが横と縦とでそれぞれ異なるパターンが配置候補として予め定められていてもよい。

【0074】

図２１は、提供動画像の形状のパターンの具体例を示す図である。例えば、５人のユーザーそれぞれから提供動画像が提供される場合に、それぞれの提供動画像のアスペクト比が異なる場合がある。図２１の例では、第１ユーザー～第５ユーザーそれぞれから提供される提供動画像６０＿１～６０＿５は、みなアスペクト比が異なっている。図２１では、上から順にアスペクト比（横／縦）の値が大きい値となっている。

【0075】

表示制御部１８１は、部分領域５２の大きさ及び表示位置を決定する際に、どの配置候補を採用するかを決定してもよい。この場合、まず表示制御部１８１は、表示される各提供動画像６０のアスペクト比を取得し、アスペクト比の大きさでソートする。次に、表示制御部１８１は、全ての配置候補について、以下の処理を行う。まず、表示制御部１８１は、処理の対象となる配置候補（以下「処理対象配置候補」という。）を選択し、処理対象配置候補における各部分領域５２を画像表示候補領域５５のアスペクト比（図１５のＷ１／Ｈ１）の大きでソートする。表示制御部１８１は、画像表示候補領域５５のアスペクト比が大きい部分領域５２から順に、アスペクト比が大きい提供動画像６０を割り当てる。

【0076】

このとき、各画像表示候補領域５５において画像表示領域５６の面積が最大となるように、提供動画像６０のアスペクト比を維持しながら画像表示領域５６を決定する。このときの部分領域５２の大きさ及び表示位置と、各部分領域５２に対する提供動画像の割り当てと、各部分領域５２における画像表示領域５６の大きさ及び表示位置と、を表す情報を配置候補情報という。表示制御部１８１は、処理対称配置候補において各部分領域５２における画像表示領域５６の面積の和（以下「表示総面積」という。）を算出する。表示制御部１８１は、全ての配置候補について表示総面積を算出する。表示制御部１８１は、表示総面積が最大となる配置候補を選択し、選択された配置候補の配置候補情報にしたがって表示を行う。

【0077】

図２２～図２４は、配置候補情報の具体例を示す図である。図２２は、図１６に示される配置候補において、図２１に示される各提供画像を配置した配置候補情報の具体例を示す。最もアスペクト比が大きい提供動画像６０＿１は、最もアスペクト比が大きい画像表示候補領域５５を有する部分領域５２＿ａに割り当てられる。そして、部分領域５２＿ａの画像表示領域５６＿１は、提供動画像６０＿１のアスペクト比を維持した状態で最も面積が広くなるように決定される。例えば、図２２の例では、提供動画像６０＿１の高さが部分領域５２＿ａの画像表示候補領域５５の高さと一致するように画像表示領域５６＿１が決定されてもよい。図２２の例では、残る４つの部分領域５２の画像表示候補領域５５のアスペクト比は同じである。この場合、例えば配置位置に基づいて順番に提供動画像６０のアスペクト比が大きいものから順に各部分領域５２に提供動画像６０が割り当てられてもよい。例えば、より上の段に位置する部分領域５２から順に割り当てられ、同じ段であればより左に位置する部分領域５２から順に割り当てられてもよい。そのため、図２２の例では、アスペクト比が大きいものから順に、部分領域５２＿ｂ、部分領域５２＿ｃ、部分領域５２＿ｄ、部分領域５２＿ｅに割り当てられている。そして、各部分領域５２の画像表示領域５６は、割り当てられた提供動画像６０のアスペクト比を維持した状態で最も面積が広くなるように決定される。例えば、図２２の例では、残る４つの各提供動画像６０の高さが各画像表示候補領域５５の高さと一致するように画像表示領域５６が決定されてもよい。

【0078】

図２３は、図１７に示される配置候補において、図２１に示される各提供画像を配置した配置候補情報の具体例を示す。最もアスペクト比が大きい提供動画像６０＿１は、最もアスペクト比が大きい画像表示候補領域５５を有する部分領域５２に割り当てられる。ただし、図２３の例では、４つの部分領域５２（５２＿ｂ、５２＿ｃ、５２＿ｄ、５２＿ｅ）の画像表示候補領域５５のアスペクト比は同じである。この場合、例えば配置位置に基づいて順番に提供動画像６０のアスペクト比が大きいものから順に各部分領域５２に提供動画像６０が割り当てられてもよい。例えば、より右の列に位置する部分領域５２から順に割り当てられ、同じ列であればより下に位置する部分領域５２から順に割り当てられてもよい。そのため、図２３の例では、アスペクト比が大きいものから順に、部分領域５２＿ｅ、部分領域５２＿ｄ、部分領域５２＿ｃ、部分領域５２＿ｂに割り当てられている。そして、各部分領域５２の画像表示領域５６は、割り当てられた提供動画像６０のアスペクト比を維持した状態で最も面積が広くなるように決定される。例えば、図２３の例では、各提供動画像６０の高さが各画像表示候補領域５５の幅と一致するように画像表示領域５６が決定されてもよい。

【0079】

図２４は、図１８に示される配置候補において、図２１に示される各提供画像を配置した配置候補情報の具体例を示す。最もアスペクト比が大きい提供動画像６０＿１は、最もアスペクト比が大きい画像表示候補領域５５を有する部分領域５２に割り当てられる。ただし、図２４の例では、２つの部分領域５２（５２＿ａ、５２＿ｂ）の画像表示候補領域５５のアスペクト比は同じである。この場合、例えば配置位置に基づいて順番に提供動画像６０のアスペクト比が大きいものから順に各部分領域５２に提供動画像６０が割り当てられてもよい。例えば、より上の段に位置する部分領域５２から順に割り当てられ、同じ段であればより左に位置する部分領域５２から順に割り当てられてもよい。そのため、図２４の例では、アスペクト比が大きいものから順に、部分領域５２＿ａ、部分領域５２＿ｂ、部分領域５２＿ｃ、部分領域５２＿ｂ、部分領域５２＿ｅに割り当てられている。そして、各部分領域５２の画像表示領域５６は、割り当てられた提供動画像６０のアスペクト比を維持した状態で最も面積が広くなるように決定される。例えば、図２４の例では、各提供動画像６０の幅が各画像表示候補領域５５の幅と一致するように画像表示領域５６が決定されてもよい。

【0080】

表示制御部１８１は、図２２～２４に示されるもの以外の配置候補に関しても配置候補情報を取得する。そして、表示制御部１８１は、各配置候補のうち表示総面積が最大となる配置候補を選択する。例えば、図２２に示される配置候補の配置候補情報が選択されてもよい。そして、表示制御部１８１は、選択された配置候補情報に基づいて表示を制御する。

【0081】

表示制御部１８１は、所定のタイミングで上述した配置候補情報を選択して表示制御してもよい。例えば、所定の周期（例えば１秒ごと、１０秒ごと、１分ごと）で上述した表示制御を実行してもよい。表示制御部１８１は、自装置（ユーザー端末１０）のユーザーが所定の操作を行ったタイミングで上述した表示制御を実行してもよい。このようなタイミングで表示制御が実行されることによって、ユーザーが意図しないタイミングで画面の配置候補情報が変化してしまうことを防止できる。言い換えれば、ユーザーが意図しないタイミングで、提供画像の表示位置や表示領域の大きさが変化してしまうことを防止することができる。このような所定の操作の具体例としては、例えば表示される部分領域５２の数が変更される操作や、部分領域５２の表示位置又は大きさを変更する操作、会話制御システム１００のアプリケーション（例えばＷＥＢブラウザ）の表示領域（例えばウィンドウ）を変更する操作がある。

【0082】

表示制御部１８１は、他のユーザー端末１０のユーザーが所定の操作を行ったタイミングで上述した表示制御を実行してもよい。このようなタイミングで表示制御が実行されることによって、不必要に頻繁に画面の配置候補情報が変化してしまうことを防止できる。言い換えれば、不必要に頻繁に提供画像の表示位置や表示領域の大きさが変化してしまうことを防止することができる。このような所定の操作の具体例としては、例えば提供動画像の大きさを変更する操作、提供動画像の提供を開始する操作、提供動画像の提供を停止する操作がある。

【0083】

図９～図２４に示される縮小部分領域５１及び部分領域５２に関する表示の制御は、ユーザー端末１０の表示制御部１８１によって行われても良いし、会話制御装置２０の表示情報生成部２３３によって行われても良い。

【0084】

このように構成された会話制御システム１００では、１又は複数の他のユーザーと会話する際に、ユーザーにとってより利便性が高い画面表示を実現することが可能となる。具体的には以下の通りである。会話制御システム１００では、各ユーザー等から提供される動画像（提供動画像）が表示される部分領域５２の大きさや位置が、提供動画像の表示される領域がより広くなるように決定される。そのため、ユーザーにとって利便性が高い画面表示を実現することが可能となる。

【0085】

また、会話制御システム１００では、各ユーザー等から提供される動画像（提供動画像）が表示される部分領域５２の大きさや位置の決定において、考慮すべき配置候補を予め制限されている。そのため、より少ない計算量でより迅速に表示を決定することが可能となる。

【0086】

なお、提供動画像のデータは、提供元（例えば共有元）のユーザー端末１０から会話制御装置２０を経由して提供先のユーザー端末１０に送信されてもよいし、提供元のユーザー端末１０から会話制御装置２０を経由せずに提供先のユーザー端末１０に送信されてもよい。

【0087】

会話制御部１８３又は会話制御部２３４は、部分領域５２に表示されているユーザーの音声が、縮小部分領域５１に表示されているユーザーの音声よりも大きく出力されるように制御を行ってもよい。

【0088】

図２５は、変形例の配置候補情報の具体例を示す図である。図２５では、１段目の部分領域５２の横幅が、１段目において実際の画面の表示幅よりも短い。このように、部分領域５２の高さや幅が、必ずしも表示部１３の画面やウィンドウの領域において可能な最大値である必要はなく、最大値よりも小さい値として構成されてもよい。また、同じ段や同じ列に配置される複数の部分領域５２の大きさがそれぞれ異なってもよい。

【0089】

図２６は、本実施形態に適用される情報処理装置９００のハードウェア構成例の概略を示す図である。情報処理装置９００は、プロセッサー９０１、主記憶装置９０２、通信インターフェース９０３、補助記憶装置９０４、入出力インターフェース９０５及び内部バス９０６を備える。プロセッサー９０１、主記憶装置９０２、通信インターフェース９０３、補助記憶装置９０４及び入出力インターフェース９０５は、内部バス９０６を介して互いに通信可能に接続される。情報処理装置９００は、例えばユーザー端末１０及び会話制御装置２０に適用されてもよい。この場合、例えば通信部１１及び通信部２１は通信インターフェース９０３を用いて構成されてもよい。例えば記憶部１７及び記憶部２２は補助記憶装置９０４を用いて構成されてもよい。また、制御部１８及び制御部２３は、プロセッサー９０１及び主記憶装置９０２を用いて構成されてもよい。

【0090】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0091】

１００…会話制御システム， １０…ユーザー端末， ２０…会話制御装置， １１…通信部， １２…操作部， １３…表示部， １４…音声入力部， １５…音声出力部， １６…撮像部， １７…記憶部， １７１…ユーザー情報記憶部， １８…制御部， １８１…表示制御部， １８２…会議制御部， １８３…会話制御部， ２１…通信部， ２２…記憶部， ２２１…会議室情報記憶部， ２３…制御部， ２３１…ユーザー制御部， ２３２…会議室制御部， ２３３…表示情報生成部， ２３４…会話制御部， ３０…会議室領域画像， ３１…会話領域， ３１１…会議室の名称， ３１２…入室ボタン， ３１３…詳細ボタン， ３２…聞き耳領域， ４１…アイコン画像， ９１…室外領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】