(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-06-09
(45)【発行日】2023-06-19
(54)【発明の名称】コミュニケーション制御装置及びコンピュータープログラム
(51)【国際特許分類】
H04N 7/15 20060101AFI20230612BHJP
H04N 7/18 20060101ALI20230612BHJP
G10K 15/02 20060101ALI20230612BHJP
H04M 3/56 20060101ALI20230612BHJP
H04L 65/403 20220101ALI20230612BHJP
【FI】
H04N7/15 120
H04N7/15
H04N7/18 U
G10K15/02
H04M3/56 C
H04L65/403
(21)【出願番号】P 2022109989
(22)【出願日】2022-07-07
【審査請求日】2022-07-07
【新規性喪失の例外の表示】特許法第30条第2項適用 高島健太郎、村尾侑哉、増田慶士郎、柴田有紀奈が、令和4年3月1日 午前10時20分~11時50分に、第26回一般社団法人情報処理学会シンポジウム INTERACTION 2022のインタラクティブ発表3のオンライン会場において、コミュニケーション制御装置及びコンピュータプログラムについて、オンライン公開した。
【新規性喪失の例外の表示】特許法第30条第2項適用 高島健太郎、村尾侑哉、増田慶士郎、柴田有紀奈が、令和4年3月31日に、ウェブサイトのアドレス:http://jaist.ac.jp/~ktaka/lab/?p=196 において、コミュニケーション制御装置及びコンピュータプログラムについて公開した。
【新規性喪失の例外の表示】特許法第30条第2項適用 株式会社清和ビジネスが、令和4年5月11日に、東京都江東区有明3-11-1の東京ビッグサイトで開催された第9回働き方改革EXPO2022において、コミュニケーション制御装置及びコンピュータプログラムについて公開した。
【早期審査対象出願】
(73)【特許権者】
【識別番号】500257229
【氏名又は名称】株式会社清和ビジネス
(74)【代理人】
【識別番号】100149548
【氏名又は名称】松沼 泰史
(72)【発明者】
【氏名】竹下 智之
(72)【発明者】
【氏名】渡邉 汐音
(72)【発明者】
【氏名】高島 健太郎
(72)【発明者】
【氏名】岸本 章弘
(72)【発明者】
【氏名】村尾 侑哉
(72)【発明者】
【氏名】増田 慶士郎
(72)【発明者】
【氏名】柴田 有紀奈
【審査官】鈴木 順三
(56)【参考文献】
【文献】特開2016-174283(JP,A)
【文献】特開2011-055444(JP,A)
【文献】特開2014-131096(JP,A)
【文献】特開2010-232780(JP,A)
【文献】特開2013-243599(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/14 - 7/173
H04N 7/18
G10K 15/00 - 15/12
H04M 3/38 - 3/58
H04L 61/00 - 65/80
(57)【特許請求の範囲】
【請求項1】
他の装置とネットワークを介して通信する通信部と、
所定の位置であるスペースに設置されたスペース端末によって撮影された映像と音声とをネットワークを介して受信し、前記スペースに対して第一の状態であるユーザーのユーザー端末には前記映像を送信して前記音声は送信せず、前記スペースに対して第二の状態であるユーザーのユーザー端末には前記映像と前記音声とを送信する制御部と、
を備え
、
前記第一の状態は、そのスペースに対してログインはしていないがアクセスはしているという状態であり、前記第二の状態は、そのスペースに対してアクセスし、そしてそのスペースに対してログインしているという状態である、コミュニケーション制御装置。
【請求項2】
他の装置とネットワークを介して通信する通信部を備えたコンピューターを、
所定の位置であるスペースに設置されたスペース端末によって撮影された映像と音声とをネットワークを介して受信し、前記スペースに対して第一の状態であるユーザーのユーザー端末には前記映像を送信して前記音声は送信せず、前記スペースに対して第二の状態であるユーザーのユーザー端末には前記映像と前記音声とを送信する制御部を備えるコミュニケーション制御装置として機能させるためのコンピュータープログラム
であり、
前記第一の状態は、そのスペースに対してログインはしていないがアクセスはしているという状態であり、前記第二の状態は、そのスペースに対してアクセスし、そしてそのスペースに対してログインしているという状態である、コンピュータープログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オンラインでコミュニケーションをとることを実現するための技術に関する。
【背景技術】
【0002】
近年、リモートワークの普及により、職場に出勤することなく仕事をする機会が増えている。通勤が不要になることで通勤時間に相当する時間を他のことに活用することができるなどのポジティブな効果が生じている。このようなリモートワークの普及をより一層高めるために、ネットワークを介して会議を行う技術も多く提案されている。たとえば、実際の会議のように臨場感のあるリモート会議を行うことが可能な技術が提案されている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来は職場で当然に行われていた他人とのコミュニケーションの機会が減っている。例えば、実際に職場に出勤している人と、リモートワークをしている人との間のコミュニケーションの機会が減っている。
【0005】
上記事情に鑑み、本発明は、実際に特定の場所(例えば職場)に位置している人と、ネットワークを介してコミュニケーションを図ろうとしている人との間のコミュニケーションを向上させることが可能となる技術の提供を目的としている。
【課題を解決するための手段】
【0006】
本発明の一態様は、他の装置とネットワークを介して通信する通信部と、所定の位置であるスペースに設置されたスペース端末によって撮影された映像と音声とをネットワークを介して受信し、前記スペースに対して第一の状態であるユーザーのユーザー端末には前記映像を送信して前記音声は送信せず、前記スペースに対して第二の状態であるユーザーのユーザー端末には前記映像と前記音声とを送信する制御部と、を備えるコミュニケーション制御装置である。
【0007】
本発明の一態様は、他の装置とネットワークを介して通信する通信部を備えたコンピューターを、所定の位置であるスペースに設置されたスペース端末によって撮影された映像と音声とをネットワークを介して受信し、前記スペースに対して第一の状態であるユーザーのユーザー端末には前記映像を送信して前記音声は送信せず、前記スペースに対して第二の状態であるユーザーのユーザー端末には前記映像と前記音声とを送信する制御部を備えるコミュニケーション制御装置として機能させるためのコンピュータープログラムである。
【発明の効果】
【0008】
本発明により、実際に特定の場所(例えば職場)に位置している人と、ネットワークを介してコミュニケーションを図ろうとしている人との間のコミュニケーションを向上させることが可能となる。
【図面の簡単な説明】
【0009】
【
図1】本発明のコミュニケーションシステム100の具体例を示すシステム構成図である。
【
図2】ユーザー端末10の機能構成の具体例を示す概略ブロック図である。
【
図3】コミュニケーション制御装置20の機能構成の具体例を示す概略ブロック図である。
【
図4】スペース端末40の機能構成の具体例を示す概略ブロック図である。
【
図5】ロケーション選択画面の具体例を示す図である。
【
図7】スペースにpokeが行われた場合のスペース画面の具体例を示す。
【
図8】スペースに所定のリアクト(ハートを示すリアクト)が行われた場合のスペース画面の具体例を示す。
【発明を実施するための形態】
【0010】
以下、本発明の具体的な構成例について、図面を参照しながら説明する。
図1は、本発明のコミュニケーションシステム100の具体例を示すシステム構成図である。コミュニケーションシステム100では、1又は複数の『ロケーション』と呼ばれる拠点が設けられる。各ロケーションには、1又は複数の『スペース』が設けられる。各ロケーションは、例えば物理的に離れた位置に設けられてもよい。各スペースは、ロケーションに比べてより短い距離の離れた位置に設けられてもよい。例えば、異なる建物に各ロケーションが設けられ、一つのロケーション(一つの建物)の中で異なるフロアや異なる部屋や異なるテーブルに各スペースが設けられてもよい。
図1の例では、二つのロケーション30が設けられ、各ロケーション30内には二つのスペースが設けられる。各スペースには、1台のスペース端末40が設置される。なお、一つのスペースに複数台のスペース端末40が設置されてもよい。
【0011】
コミュニケーションシステム100は、1又は複数のユーザー端末10と、コミュニケーション制御装置20と、各ロケーション30の各スペースに設置された複数のスペース端末40と、を備える。各装置は、ネットワーク50を介してデータ通信する。ネットワーク50は、無線通信を用いたネットワークであってもよいし、有線通信を用いたネットワークであってもよい。ネットワーク50は、複数のネットワークが組み合わされて構成されてもよい。
【0012】
ここで、スペースにおいて行われるコミュニケーションについて説明する。ユーザーは、各スペースに対して例えば“アクセス中”(第一の状態)、“ログイン中”(第二の状態)、“離席中”という3つの状態を持つ。 “アクセス中”という状態は、そのスペースに対してログインはしていないがアクセスはしているという状態である。“ログイン中”という状態は、そのスペースに対してアクセスし、そしてそのスペースに対してログインしているという状態である。“離席中”という状態は、そのスペースに対してアクセスすらしていないという状態である。“アクセス中”のユーザーに対しては、そのスペースにおける映像が送信されるが、そのスペースにおける音声は送信されない。“ログイン中”のユーザーに対しては、そのスペースにおける映像が送信され、そのスペースにおける音声も送信される。“離席中”のユーザーに対しては、そのスペースにおける音声も映像も送信されない。このように、各ユーザー端末10に対して送信されるスペースに関するデータ(映像や音声)は、そのスペースに対するユーザーの状態に応じて制御される。以下の説明では、あるスペースについて、“アクセス中”、“ログイン中”、“離席中”のユーザーをそれぞれ“アクセスユーザー”、“ログインユーザー”、“離席ユーザー”という。
【0013】
ユーザー同士のコミュニケーションは、例えばスペースにおいて行われる。スペースにおいて行われるコミュニケーションは、物理的に存在しているスペースに実際に位置しているユーザー(以下「スペースユーザー」という。)と、スペースに対してユーザー端末10を用いてログインしているユーザー(ログインユーザー)と、スペースに対してユーザー端末10を用いてアクセスしているユーザー(アクセスユーザー)と、を含むグループの所属メンバーで行われる。スペースユーザーの映像や音声は、その位置に設置されているスペース端末40によって取得される。スペース端末40によって取得された映像は、そのスペースのログインユーザー及びアクセスユーザーのユーザー端末10に対して送信される。ただし、取得された音声は、そのスペースのログインユーザーのユーザー端末10に対してのみ送信され、そのスペースにログインしていないユーザー(アクセスユーザー及び離席ユーザー)に対しては送信されない。このように、スペースに対して行われる行為として、アクセスとログインとがある。
【0014】
図2は、ユーザー端末10の機能構成の具体例を示す概略ブロック図である。ユーザー端末10は、例えばスマートフォン、タブレット、パーソナルコンピューター、携帯ゲーム機、据え置き型ゲーム機、専用機器などの情報機器を用いて構成される。ユーザー端末10は、通信部11、操作部12、表示部13、撮像部14、音声入力部15、音声出力部16、記憶部17及び制御部18を備える。
【0015】
通信部11は、通信機器である。通信部11は、例えばネットワークインターフェースとして構成されてもよい。通信部11は、制御部18の制御に応じて、ネットワーク50を介して他の装置とデータ通信する。通信部11は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。
【0016】
操作部12は、キーボード、ポインティングデバイス(マウス、タブレット等)、ボタン、タッチパネル等の既存の入力装置を用いて構成される。操作部12は、ユーザーの指示をユーザー端末10に入力する際にユーザーによって操作される。操作部12は、入力装置をユーザー端末10に接続するためのインターフェースであっても良い。この場合、操作部12は、入力装置においてユーザーの入力に応じ生成された入力信号をユーザー端末10に入力する。操作部12は、マイク及び音声認識装置を用いて構成されてもよい。この場合、操作部12はユーザーによって発話された文言を音声認識し、認識結果の文字列情報をユーザー端末10に入力する。操作部12は、ユーザーの指示をユーザー端末10に入力可能な構成であればどのように構成されてもよい。
【0017】
表示部13は、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等の画像表示装置である。表示部13は、コミュニケーション制御装置20から送信される画像データを表示する。表示部13は、画像表示装置をユーザー端末10に接続するためのインターフェースであっても良い。この場合、表示部13は、画像データを表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。
【0018】
撮像部14は、カメラを用いて構成される。撮像部14は、カメラそのものとして構成されてもよいし、外部機器としてカメラをユーザー端末10に接続するためのインターフェースとして構成されてもよい。カメラは、その位置に応じて所定の空間を撮像する。カメラは、ユーザー端末10を使用しているユーザーの顔を撮像可能な位置に設けられることが好ましい。例えば、表示部13を見るユーザーの顔を撮像できるようにカメラが設けられてもよい。撮像部14は、カメラによって撮像された画像のデータを制御部18に出力する。
【0019】
音声入力部15は、マイクを用いて構成される。音声入力部15は、マイクそのものとして構成されてもよいし、外部機器としてマイクをユーザー端末10に接続するためのインターフェースとして構成されてもよい。マイクは、会話を行うユーザーの発話音声を取得する。音声入力部15は、マイクによって取得された音声のデータを制御部18に出力する。
【0020】
音声出力部16は、スピーカーやヘッドホンやイヤホン等の音声出力装置を用いて構成される。音声出力部16は、音声出力装置そのものとして構成されてもよいし、外部機器として音声出力装置をユーザー端末10に接続するためのインターフェースとして構成されてもよい。音声出力装置は、会話を行うユーザーが音声を聞き取ることができるように音声を出力することが望ましい。音声出力部16は、制御部18によって出力される音声信号に応じた音声を出力する。
【0021】
記憶部17は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部17は、制御部18によって使用されるデータを記憶する。記憶部17は、例えばユーザー情報記憶部171として機能してもよい。
【0022】
ユーザー情報記憶部171は、ユーザー端末10を操作するユーザーに関する情報(以下「ユーザー情報」という。)を記憶する。ユーザー情報は、例えばユーザーのIDの情報を含んでもよい。また、ユーザー情報は、ユーザーのハンドルネーム、ユーザーのアイコンデータ、ユーザーの属性情報、ユーザーのプロフィールの情報、ユーザーのプレゼンス情報を含んでもよい。ハンドルネームとは、ユーザーがコミュニケーションシステム100において会話を行う際に使用する名前(ニックネーム又は本名)である。アイコンデータとは、ユーザーがコミュニケーションシステム100において会話を行う際に使用する画像データである。属性情報は、例えばユーザーの年齢、性別、出身地、趣味、使用しているSNSアプリケーション、所属に関する情報を含んでもよい。プレゼンス情報とは、ユーザーの現在の状態を示す情報である。現在の状態とは、例えばユーザーが他のユーザーとコミュニケーションを取ることが可能であるか否かに関連する情報であってもよい。より具体的には、ユーザーが多忙であること、ユーザーが離席していること、ユーザーが他者からの呼びかけにすぐに応えられる状態であること、などがプレゼンス情報の具体例として定義されてもよい。プレゼンス情報は、ユーザーが自由に設定可能に構成されてもよい。
【0023】
制御部18は、CPU(Central Processing Unit)等のプロセッサーとメモリーとを用いて構成される。制御部18は、プロセッサーがプログラムを実行することによって、表示制御部181、スペース制御部182、会話制御部183及び行動制御部184として機能する。なお、制御部18の各機能の全て又は一部は、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD-ROM、半導体記憶装置(例えばSSD:Solid State Drive)等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。
【0024】
表示制御部181は、通信部11を介してコミュニケーション制御装置20から表示情報を受信する。表示制御部181は、取得された表示情報に基づいて画像信号を生成し、表示部13に表示させる。表示情報は、例えば表示される画像そのものを示す画像データであってもよい。この場合、画像データを生成する主体はコミュニケーション制御装置20の表示情報生成部233である。表示情報は、例えば表示される画像を生成するために必要となるデータ(例えば、参加しているユーザーに関する情報と、スペース端末40によって撮影された映像)であってもよい。この場合、表示制御部181は、表示情報に基づいて、表示部13に表示するための画像データを生成する。この場合、画像データを生成する主体は表示制御部181である。また、表示制御部181は、自装置のユーザーがログインユーザーであって、且つ、自装置のユーザーが映像を送信することを許可する操作を行っている場合(例えばカメラをオンにする設定を行っている場合)には、撮像部14によって撮像された映像をコミュニケーション制御装置20に送信する。表示制御部181は、自装置のユーザーがアクセスユーザーである場合や、自装置のユーザーがログインユーザーであっても映像を送信することを許可していない場合には、撮像部14によって撮像された映像はコミュニケーション制御装置20に送信しない。
【0025】
スペース制御部182は、コミュニケーション制御装置20を介してコミュニケーションがとられる際に使用される場所であるスペースに関する制御を行う。具体的には、スペース制御部182は、スペースに対するアクセス、スペースに対するログイン、スペースからの離席、に関する処理を行う。例えば、ユーザーが操作部12を操作することによってスペースへアクセスすることを指示した場合には、スペース制御部182は、指定されたスペースにアクセスするための処理を行う。具体的には、スペース制御部182は、指定されたスペースへのアクセスをリクエストするための情報(ユーザーの識別情報を含む)をコミュニケーション制御装置20に送信する。例えば、ユーザーが操作部12を操作することによってスペースへログインすることを指示した場合には、スペース制御部182は、指定されたスペースにログインするための処理を行う。具体的には、スペース制御部182は、指定されたスペースへのログインをリクエストするための情報(ユーザーの識別情報を含む)をコミュニケーション制御装置20に送信する。
【0026】
会話制御部183は、少なくともユーザーがログインしているスペースのスペースユーザーとの間で行われる会話に関する制御を行う。ユーザー端末10のユーザーとスペースユーザーとの会話は、ユーザー端末10のユーザーがいずれか1つのスペースにログインすることで実現される。会話制御部183は、ユーザーがログインしているスペースの他のログインユーザーとの間で行われる会話に関する制御をさらに行ってもよい。
【0027】
会話制御部183は、例えば音声入力部15から入力された音声データを、通信部11を介してコミュニケーション制御装置20へ送信する。会話制御部183は、コミュニケーション制御装置20から音声データを受信すると、受信された音声データを音声出力部16から出力する。なお、会話制御部183は、自装置のユーザーがアクセスユーザーである場合や離席ユーザーである場合には、音声入力部15から入力された音声データをコミュニケーション制御装置20へ送信しない。
【0028】
行動制御部184は、ユーザーが所定のスペース又は所定のユーザーに対して行う行動について制御する。ユーザーが行う行動には、例えば“poke”と“リアクト”がある。“poke”は、対象となるユーザー又はスペースに対して、自身の存在に気づいてもらうための行動である。“poke”が行われると、“リアクト”に比べて相対的に相手に与える影響が小さい出力がユーザー端末10又はスペース端末40によって行われる。例えば、“poke”が行われると、短時間の音が出力され、所定の画像が画面に表示される。“リアクト”は、対象となるユーザー又はスペースに対して、自身の感情を示すための行動である。“リアクト”が行われると、“poke”に比べて相対的に相手に与える影響が大きい出力がユーザー端末10又はスペース端末40によって行われる。例えば、“リアクト”には複数の種類が設けられてもよい。例えば“ハート”のリアクトが行われると、数秒~10秒程度の長さの音が出力され、所定のパターンで複数のハートの画像が画面に表示される。行動制御部184は、ユーザーによって指定された行動を示す情報をコミュニケーション制御装置20に送信する。
【0029】
図3は、コミュニケーション制御装置20の機能構成の具体例を示す概略ブロック図である。コミュニケーション制御装置20は、例えばパーソナルコンピューターやサーバー装置などの情報処理装置を用いて構成される。コミュニケーション制御装置20は、通信部21、記憶部22及び制御部23を備える。
【0030】
通信部21は、通信機器である。通信部21は、例えばネットワークインターフェースとして構成されてもよい。通信部21は、制御部23の制御に応じて、ネットワーク50を介して他の装置とデータ通信する。通信部21は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。
【0031】
記憶部22は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部22は、制御部23によって使用されるデータを記憶する。記憶部22は、例えばユーザー情報記憶部221及びスペース情報記憶部222として機能してもよい。ユーザー情報記憶部221は、ユーザー端末10を操作する複数のユーザーに関する情報(ユーザー情報)を記憶する。ユーザー情報記憶部221は、さらにそのユーザーがコミュニケーションシステム100においてフォローしている他のユーザーを示す識別情報を記憶してもよい。ユーザー情報記憶部221は、さらに各ユーザーの状態を示す情報を記憶する。ユーザーの状態とは、例えば“アクセス中”、“ログイン中”、“離席中”という状態である。ユーザー情報記憶部171は、ユーザーの状態を示す情報として、“アクセス中”である場合にはアクセス先のスペースを示す情報も記憶し、“ログイン中”である場合にはログイン先のスペースを示す情報も記憶する。
【0032】
スペース情報記憶部222は、スペースに関する情報(以下「スペース情報」という。)を記憶する。スペース情報は、例えばそのスペースのID、そのスペースに現在アクセスしているユーザーの識別情報、そのスペースに現在ログインしているユーザーの識別情報、を含んでもよい。
【0033】
制御部23は、CPU等のプロセッサーとメモリーとを用いて構成される。制御部23は、プロセッサーがプログラムを実行することによって、ユーザー制御部231、スペース制御部232、表示情報生成部233、会話制御部234及び行動制御部235として機能する。なお、制御部23の各機能の全て又は一部は、ASICやPLDやFPGA等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD-ROM、半導体記憶装置(例えばSSD)等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。
【0034】
ユーザー制御部231は、ユーザーに関する制御処理を行う。例えば、ユーザー制御部231は、コミュニケーション制御装置20にアクセスしてくるユーザー端末10についてログインのための処理(例えば認証処理)を行ってもよい。ユーザー制御部231は、ユーザー端末10から受信されたユーザー情報をユーザー情報記憶部221に登録してもよい。
【0035】
スペース制御部182は、ユーザー端末10を用いたユーザーの各スペースに対する状態を制御する。スペース制御部182は、スペースに対して行われるアクセスとログインと離席とを制御する。例えば、指定されたスペースへのアクセスをリクエストするための情報をユーザー端末10から受信した場合、スペース制御部182は、そのユーザーを指定されたスペースにアクセスさせる。この場合、スペース制御部182は、スペース情報記憶部222において、このユーザーが指定されたスペースにアクセス中であることを記録する。例えば、指定されたスペースへのログインをリクエストするための情報をユーザー端末10から受信した場合、スペース制御部182は、そのユーザーを指定されたスペースにログインさせる。この場合、スペース制御部182は、スペース情報記憶部222において、このユーザーが指定されたスペースにログイン中であることを記録する。
【0036】
表示情報生成部233は、ユーザー端末10及びスペース端末40において表示される画像の生成に必要となる情報(表示情報)を生成する。表示情報は、例えば対象となるスペースに関する情報や、そのスペースにログインしている各ユーザー端末10のユーザーに関する情報や、そのスペースにアクセスしている各ユーザー端末10のユーザーに関する情報を含んでもよい。
【0037】
表示情報生成部233は、ネットワーク50を介して、各スペース端末40によって撮影された映像のデータを受信する。表示情報生成部233は、ネットワーク50を介して、各ログインユーザーのユーザー端末10によって撮影された映像のデータを受信する。表示情報は、そのスペースのスペース端末40によって撮影された映像のデータを含んでもよい。表示情報は、そのスペースのログインユーザーのユーザー端末10によって撮影された映像のデータを含んでもよい。表示情報生成部233は、生成された表示情報を、ユーザー端末10に対して送信する。
【0038】
会話制御部234は、ログインユーザーのユーザー端末10及びスペース端末40から音声データを受信する。受信される音声データは、各端末の音声入力部によって取得された周囲の音響や音声を示すデータである。会話制御部234は、ログインユーザーのユーザー端末10とスペース端末40に対して出力されるべき音声データ(以下「会話音声データ」という。)を生成し、ログインユーザーのユーザー端末10とスペース端末40とに会話音声データを送信する。会話音声データは、例えばログインユーザーのユーザー端末10に対して入力された音声と、スペース端末40に対して入力された音声と、を合わせた音声データであってもよい。このように会話音声データが生成されることによって、そのスペースの各ログインユーザーとスペースユーザーとの間で音声の会話によるコミュニケーションを図ることが可能となる。
【0039】
行動制御部235は、ユーザー端末10又はスペース端末40から行動を示す情報を受信する。行動制御部235は、受信された行動を示す情報に基づいて、指定された行動(例えば“poke”や“リアクト”)に応じた表示や音声を、そのスペースの表示情報や会話音声データに付加する。スペースに対して行動が行われた場合には、そのスペースのログインユーザーのユーザー端末10とスペース端末40の全てに対して行動に応じた表示や音声が送信されてもよい。個別のユーザーに対して行動が行われた場合には、そのユーザーのユーザー端末10に対して行動に応じた表示や音声が送信されてもよい。この場合、行動を行ったユーザーのユーザー端末10に対しても、行動に応じた表示や音声が送信されてもよい。
【0040】
図4は、スペース端末40の機能構成の具体例を示す概略ブロック図である。スペース端末40は、例えばスマートフォン、タブレット、パーソナルコンピューター、据え置き型ゲーム機、専用機器などの情報機器を用いて構成される。スペース端末40は、複数人で共有して画面を見ることが可能となるような大きな画像表示装置を備えていることが望ましい。スペース端末40は、通信部41、操作部42、表示部43、撮像部44、音声入力部45、音声出力部46、記憶部47及び制御部48を備える。スペース端末40は、基本的にはユーザー端末10と同様の動作をする。スペース端末40は、例えば複数のユーザー(スペースユーザー)によって共用される点、自装置が設置されているスペースにログインした状態で使用される点、でユーザー端末10と異なる。
【0041】
次に、ユーザー端末10又はスペース端末40に表示される画面について説明する。
図5は、ロケーション選択画面の具体例を示す図である。ユーザー端末10には、コミュニケーションシステム100にログインした際に初期の画面としてロケーション選択画面が表示されてもよい。
図5の例では、選択可能なロケーションとして、第一ロケーションと第二ロケーションとが表示されている。第一ロケーションに対応する画像として、複数のロケーションサムネイル画像91が表示されている。
【0042】
各ロケーションサムネイル画像91は、それぞれ異なる時刻でスペース端末40によって撮影された画像である。例えば、各ロケーションサムネイル画像91は、所定の周期(例えば15分おき、30分おきなど)で撮影された画像であってもよい。ロケーションサムネイル画像91を撮影するスペース端末40は、そのロケーションに属しているスペースに設置されたスペース端末40である。例えば、第一ロケーションのロケーションサムネイル画像91は、第一スペースのスペース端末40か、第二スペースのスペース端末40によって撮影される。全てのロケーションサムネイル画像91が同一のスペース端末40によって撮影されてもよい。ユーザー端末10におけるユーザーの操作に応じて、全体が表示されるロケーションサムネイル画像91(91_3)の内容が変更されてもよい。例えば、いわゆるリボルバー状に表示された複数のロケーションサムネイル画像91が、ユーザーの操作に応じて上から下へ、又は下から上へ画像が移動して表示されてもよい。このように表示されることによって、そのロケーション(
図5では第一ロケーション)において異なる時刻にどのような状態なっていたかを容易に閲覧することが可能となる。第二ロケーションのロケーションサムネイル画像91(91_6)は、所定の画像が表示される。
【0043】
ロケーション選択画面においていずれか一つのロケーションが選択されると、ユーザー端末10のスペース制御部182は、そのロケーションにアクセスすることを示す情報をコミュニケーション制御装置20に送信する。コミュニケーション制御装置20のスペース制御部232は、選択されたロケーションに位置するスペースのうち、予め定められた初期スペースにユーザーをアクセスさせてもよい。また、コミュニケーション制御装置20のスペース制御部232は、ロケーションを選択したユーザーに対し、アクセス先となるスペースを選択させてもよい。
【0044】
ユーザーのアクセス先となるスペースが決定すると、表示情報生成部233は、アクセス先となっているスペースに関する表示情報を、アクセス中のユーザー端末10に送信する。ユーザー端末10の表示制御部181は、スペースにアクセスしている際に表示される画面(以下「スペース画面」という。)を表示する。なお、スペース画面は、そのスペースにログインしているユーザーのユーザー端末10にも送信されるし、そのスペースのスペース端末40にも送信され、それぞれの端末で表示される。
【0045】
図6は、スペース画面の具体例を示す図である。ユーザー端末10の表示部13の表示画面131には、
図6に示すようなスペース画面が表示されてもよい。
図6の例では、スペース画面は横に4つの領域が並んで表示されている。
【0046】
スペース画面の一番左の領域には、複数のロケーションサムネイル画像92が表示されている。ロケーションサムネイル画像92(92_1,92_2)は、ユーザーがアクセスしているロケーションのロケーションサムネイル画像92や、他のロケーションのロケーションサムネイル画像92を含む。ユーザーがこのロケーションサムネイル画像92を選択操作することによって、ユーザーは選択した対象のロケーションへアクセスすることができる。すなわち、ユーザー端末10のスペース制御部182は、このような操作に応じて、選択されたロケーションにアクセスすることを示す情報をコミュニケーション制御装置20に送信する。
【0047】
スペース画面の左から2番目の領域には、映像及び音声を用いたコミュニケーションが行われているスペースを示す“映像チャネル”の情報と、音声を用いたコミュニケーションが行われているスペースを示す“音声チャネル”の情報と、アーカイブの情報と、がそれぞれ表示されている。
【0048】
スペース画面の左から三番目の領域は、映像表示領域94として用いられる。映像表示領域94には、そのスペースのスペース端末40によって撮影されている映像が動画像として表示される。ネットワーク等の遅延は生じるものの、その時点で最新のリアルタイムな映像が映像表示領域94に表示される。アクセスユーザーやログインユーザーは、映像表示領域94に表示されている映像を見ることによって、スペースの現在の状況(例えばスペースに位置しているスペースユーザーの状況)を知ることが可能となる。
【0049】
映像表示領域94には、そのスペースにログインしているログインユーザーのサムネイル画像93が表示されてもよい。例えば、映像表示領域94の左上の所定の領域に、ログインユーザーのサムネイル画像93が表示されてもよい。
図6の例では、ユーザー名が“AAA”であるユーザーのサムネイル画像93_1と、ユーザー名が“BBB”であるユーザーのサムネイル画像93_2と、が表示されている。
【0050】
スペース画面の左から4番目の領域は、メンバーズ領域として用いられる。メンバーズ領域には、複数のユーザーの情報が表示される。ユーザーの情報として、各ユーザーのサムネイル画像95と、各ユーザーのユーザー名とが表示されている。ユーザーの情報の付近には、そのユーザーに対して“poke”を行う際に使用されるpokeボタン96が表示される。
【0051】
メンバーズ領域には、このスペースのログインユーザー、このスペースのアクセスユーザー、離席ユーザーの各ユーザーの情報が表示されてもよい。離席ユーザーには、このスペースのロケーションにはアクセスしている(例えば同じロケーションの他のスペースにアクセス又はログインしている状態)ユーザーと、他のロケーションにアクセスしているユーザーと、そもそもコミュニケーションシステム100にログインしていないユーザーとが含まれる。
【0052】
ある種別のユーザーは、他の種別のユーザーと異なる態様で画像や文字が表示されてもよい。例えば、このスペースのログインユーザー、このスペースのアクセスユーザー、このスペースのロケーションにはアクセスしているユーザーについては、例えば第一表示態様)で表示がなされ、他のロケーションにアクセスしているユーザーと、そもそもコミュニケーションシステム100にログインしていないユーザーとは、例えば第二表示態様で表示がなされてもよい。
図6の例では、サムネイル画像95_1~95_3は、実線で縁を描く表示態様(第一表示態様)で表示されているが、サムネイル画像95_4~95_5は、破線で縁を描く表示態様(第二表示態様)で表示されている。表示態様は、このように線種が異なるような表示態様であってもよいし、線の色、線の太さ、サムネイル画像の彩度や明度や大きさ、などが異なるように表示されてもよい。
【0053】
スペース画面には、各種の操作のためのボタン901が表示されてもよい。例えば、そのスペース(アクセス中のスペース)に対してログインするためのボタンが表示されてもよい。このようなログインするためのボタンは、アクセスユーザーのスペース画面に表示されてもよい。例えば、ログインユーザーのスペース画面には、自身の映像をオン・オフするためのボタン901_1や、自身の音声をオン・オフするためのボタン901_2や、音声の出力をオン・オフするためのボタン901_3や、ログアウトするためのボタン901_7が表示されてもよい。
【0054】
例えば、スペースにpokeするためのボタン901_4が表示されてもよい。
図7は、スペースにpokeが行われた場合のスペース画面の具体例を示す。スペースにpokeが行われると、pokeが行われたことを示すpoke画像97が映像表示領域94に表示される。poke画像97は、
図7に示される画像に限定される必要は無く、どのような画像が用いられてもよい。また、poke画像97が表示されるタイミングで、pokeに応じた音響が出力されてもよい。このような音響の出力は、例えば会話制御部234によって行われる。すなわち、このスペースのログインユーザーのユーザー端末10及びスペース端末40に送信される会話音声データに対し、pokeに応じた音響が合成され送信される。
【0055】
スペース画面には、ログインユーザー等の所定のユーザーの行為に関する情報(以下「ログ情報」という。)が表示されてもよい。このような表示は、例えば所定のボタン(例えばノーツボタン91_6)が操作されたことに応じて行われてもよい。
図7では、ログ情報表示領域98にログ情報が表示されている。例えば、あるユーザーがpokeしたことを示す情報や、あるユーザーがスペースにログインしたことを示す情報がログ情報として表示されてもよい。
【0056】
例えば、スペースにリアクトするためのボタン901_5が表示されてもよい。
図8は、スペースに所定のリアクト(ハートを示すリアクト)が行われた場合のスペース画面の具体例を示す。スペースにリアクトが行われると、リアクトが行われたことを示すリアクト画像99が映像表示領域94に表示される。リアクト画像99は、
図8に示される画像に限定される必要は無く、どのような画像が用いられてもよい。また、リアクト画像99が表示されるタイミングで、リアクトに応じた音響が出力されてもよい。このような音響の出力は、例えば会話制御部234によって行われる。すなわち、このスペースのログインユーザーのユーザー端末10及びスペース端末40に送信される会話音声データに対し、リアクトに応じた音響が合成され送信される。
【0057】
所定の時間内(例えば1秒以内、5秒以内)に、複数のログインユーザーによって同種のリアクトが行われた場合、そのリアクトに応じたリアクト画像99は、それぞれ異なる画像位置で表示されてもよい。このように構成されることによって、リアクト画像99が画面の複数の場所で表示され、リアクトが複数の者によって行われたことを容易に各ユーザーが判断することが可能となる。このことに応じて、スペースにおける盛り上がりを演出することができる。
【0058】
所定の時間内(例えば1秒以内、5秒以内)に、所定の閾値以上の人数のログインユーザーによって同種のリアクトが行われた場合、そのリアクトに応じた特殊リアクト画像が表示されてもよい。例えば、
図8に示されているハートのリアクトにおいて、特殊リアクト画像として、さらに多くのハートの画像が映像表示領域94のより大きな領域(例えば全体)に表示されてもよい。このように構成されることによって、通常は見ることのできない特殊リアクト画像が表示され、リアクトがより多くの者によって行われたことを容易に各ユーザーが判断することが可能となる。このことに応じて、スペースにおけるさらなる盛り上がりを演出することができる。
【0059】
図9は、アーカイブ画面の具体例を示す図である。アーカイブ画面には、過去に記録された動画像又は静止画像のサムネイル画像が表示される。各サムネイル画像の周囲には、その動画像又は静止画像に対して与えられた評価を示す情報が表示される。例えば、
図9の例では、好印象を持ったユーザーがハートマークを操作したことに応じて、ハートマークを操作したユーザーの数を示す数字が表示される。アーカイブ画面に表示される動画像や静止画像は、所定の条件を満たしたタイミングで記録されてもよい。例えば、所定の時間内に行われたリアクトの回数が閾値を超えた場合に動画像又は静止画像が記録されてもよい。また、所定の周期で各スペース画像の静止画像が記録されてもよい。また、映像表示領域94に映った人の数が所定の閾値を超えた場合に、その画像が動画像又は静止画像として記録されてもよい。これらのアーカイブ画像は、複数のユーザーが同時にみることができてもよい。この場合、例えば複数のユーザーにおいて同期して動画像が再生されてもよい。
【0060】
アクセスユーザーは、自身の音声や映像をスペース端末40や他のログインユーザー等のユーザー端末10に表示させることなく、スペース端末40によって撮影された映像を見ることができる。このとき、アクセスユーザーのサムネイル画像も画面には表示されない。そのため、アクセスユーザーは、自身の存在をスペースユーザーやログインユーザー等の他のユーザーに示すことなく、スペース端末40によって撮影された映像を見ることができる。ただし、アクセスユーザーは、スペース端末40によって取得された音声は聞くことができない。このような制御が行われることによって、アクセスユーザーという形で気軽にスペース周辺の状況を確認することが可能となる。また、スペース周辺に位置するスペースユーザーにとっても、自身の音声がアクセスユーザーによって知らぬ間に得られているという心配が無いため、安心してスペースにおいて活動することが可能となる。このように、アクセスユーザーのニーズとスペースユーザーのプライバシーとのバランスをとることが可能となる。
【0061】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0062】
100…コミュニケーションシステム, 10…ユーザー端末, 20…コミュニケーション制御装置, 30…ロケーション, 40…スペース端末, 11…通信部, 12…操作部, 13…表示部, 14…撮像部, 15…音声入力部, 16…音声出力部, 17…記憶部, 171…ユーザー情報記憶部, 18…制御部, 181…表示制御部, 182…スペース制御部, 183…会話制御部, 184…行動制御部, 21…通信部, 22…記憶部, 221…ユーザー情報記憶部, 222…スペース情報記憶部, 23…制御部, 231…ユーザー制御部, 232…スペース制御部, 233…表示情報生成部, 234…会話制御部, 235…行動制御部, 41…通信部, 42…操作部, 43…表示部, 44…撮像部, 45…音声入力部, 46…音声出力部, 47…記憶部, 471…ユーザー情報記憶部, 48…制御部, 481…表示制御部, 482…スペース制御部, 483…会話制御部, 484…行動制御部
【要約】
【課題】実際に特定の場所(例えば職場)に位置している人と、ネットワークを介してコミュニケーションを図ろうとしている人との間のコミュニケーションを向上させること。
【解決手段】他の装置とネットワークを介して通信する通信部と、所定の位置であるスペースに設置されたスペース端末によって撮影された映像と音声とをネットワークを介して受信し、前記スペースに対して第一の状態であるユーザーのユーザー端末には前記映像を送信して前記音声は送信せず、前記スペースに対して第二の状態であるユーザーのユーザー端末には前記映像と前記音声とを送信する制御部と、を備えるコミュニケーション制御装置である。
【選択図】
図1