知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023001650
(43)【公開日】2023-01-06
(54)【発明の名称】情報処理システム、情報処理装置及びプログラム
(51)【国際特許分類】
G06F 13/00 20060101AFI20221226BHJP
H04M 3/56 20060101ALI20221226BHJP
G06T 7/20 20170101ALI20221226BHJP
【ＦＩ】
G06F13/00 520C
H04M3/56 C
G06T7/20 300B
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2021102494
(22)【出願日】2021-06-21
(71)【出願人】
【識別番号】520175189
【氏名又は名称】ｏＶｉｃｅ株式会社
(74)【代理人】
【識別番号】100207619
【弁理士】
【氏名又は名称】渡辺 知晴
(72)【発明者】
【氏名】ジョン・セーヒョン
(72)【発明者】
【氏名】長谷川 博和
【テーマコード（参考）】
5B084
5K201
5L096
【Ｆターム（参考）】
5B084AA02
5B084AA29
5B084AB06
5B084AB13
5B084BB15
5B084CA07
5B084CB06
5B084CB23
5B084DB01
5B084DC05
5B084DC06
5K201AA05
5K201BB09
5K201CA04
5K201CA05
5K201CA06
5K201CA07
5K201DC04
5K201DC05
5K201EC06
5L096CA04
5L096FA69
(57)【要約】
【課題】より簡便で、かつ安定して利用しやすいコミュニケーション手段を提供する。
【解決手段】音声情報等取得部８０は、送信者端末２から送信されてくる音声情報及び画像情報を、通信部１９を介して取得する。画像解析部８１は、音声情報等取得部８０で取得された画像情報を解析する。出力条件決定部８２は、画像解析部８１の解析結果等に基づいて、受信者に出力する出力情報に関する条件を決定する。音声情報等送信制御部８３は、音声情報等取得部８０で取得された音声情報、音声情報等取得部８０で取得された画像情報及び出力条件決定部８２で決定された条件に関する出力条件情報を、受信者端末３へ送信する。
【選択図】図３
【解決手段】音声情報等取得部８０は、送信者端末２から送信されてくる音声情報及び画像情報を、通信部１９を介して取得する。画像解析部８１は、音声情報等取得部８０で取得された画像情報を解析する。出力条件決定部８２は、画像解析部８１の解析結果等に基づいて、受信者に出力する出力情報に関する条件を決定する。音声情報等送信制御部８３は、音声情報等取得部８０で取得された音声情報、音声情報等取得部８０で取得された画像情報及び出力条件決定部８２で決定された条件に関する出力条件情報を、受信者端末３へ送信する。
【選択図】図３
【特許請求の範囲】
【請求項1】
情報の送信を希望する送信者により使用される送信者端末と、
前記情報を受信する受信者により使用される受信者端末と、
サーバと、
を含むように構成される情報処理システムであって、
前記送信者が送信を希望する前記情報を、送信情報として取得する送信情報取得手段と、
前記送信者の身体の一部を含む画像に関する情報を、画像情報として取得する画像情報取得手段と、
前記画像情報に基づいて、前記受信者に出力する出力情報に関する決定を行う条件決定手段と、
前記送信情報及び前記条件決定手段による前記決定の内容に基づいて生成される前記出力情報に関する処理を実行する出力情報生成手段と、
を備える情報処理システム。
前記情報を受信する受信者により使用される受信者端末と、
サーバと、
を含むように構成される情報処理システムであって、
前記送信者が送信を希望する前記情報を、送信情報として取得する送信情報取得手段と、
前記送信者の身体の一部を含む画像に関する情報を、画像情報として取得する画像情報取得手段と、
前記画像情報に基づいて、前記受信者に出力する出力情報に関する決定を行う条件決定手段と、
前記送信情報及び前記条件決定手段による前記決定の内容に基づいて生成される前記出力情報に関する処理を実行する出力情報生成手段と、
を備える情報処理システム。
【請求項2】
前記画像情報は、前記送信情報が取得されたタイミングにおける前記送信者の口の画像を含む、
請求項１に記載の情報処理システム。
請求項１に記載の情報処理システム。
【請求項3】
前記画像情報に基づいて、前記送信者の口の動きの有無を解析する解析手段をさらに備え、
前記条件決定手段は、前記解析手段による解析の結果に基づいて、前記出力情報に関する前記決定を行う、
請求項２に記載の情報処理システム。
前記条件決定手段は、前記解析手段による解析の結果に基づいて、前記出力情報に関する前記決定を行う、
請求項２に記載の情報処理システム。
【請求項4】
前記条件決定手段は、仮想空間内における前記送信者及び前記受信者の位置を考慮して前記決定を行う、
請求項１乃至３のうちいずれか１項に記載の情報処理システム。
請求項１乃至３のうちいずれか１項に記載の情報処理システム。
【請求項5】
情報の送信を希望する送信者と当該情報を受信する受信者との当該情報の伝達に利用される情報処理装置であって、
前記送信者が送信を希望する前記情報を、送信情報として取得する送信情報取得手段と、
前記送信者の身体の一部を含む画像に関する情報を、画像情報として取得する画像情報取得手段と、
前記画像情報に基づいて、前記受信者に出力する出力情報に関する決定を行う条件決定手段と、
前記送信情報及び前記条件決定手段による前記決定の内容に基づいて生成される前記出力情報に関する処理を実行する出力情報生成手段と、
を備える情報処理装置。
前記送信者が送信を希望する前記情報を、送信情報として取得する送信情報取得手段と、
前記送信者の身体の一部を含む画像に関する情報を、画像情報として取得する画像情報取得手段と、
前記画像情報に基づいて、前記受信者に出力する出力情報に関する決定を行う条件決定手段と、
前記送信情報及び前記条件決定手段による前記決定の内容に基づいて生成される前記出力情報に関する処理を実行する出力情報生成手段と、
を備える情報処理装置。
【請求項6】
情報の送信を希望する送信者により使用される送信者端末と、
前記情報を受信し得る受信者により使用される受信者端末と、
サーバと、
を含み構成される情報処理システムにおける情報処理装置に、
前記送信者が送信を希望する前記情報を、送信情報として取得する送信情報取得ステップと、
前記送信者の身体の一部を含む画像に関する情報を、画像情報として取得する画像情報取得ステップと、
前記画像情報に基づいて、前記受信者に出力する出力情報に関する決定を行う条件決定ステップと、
前記送信情報及び前記条件決定ステップによる前記決定の内容に基づいて生成される前記出力情報に関する処理を実行する出力情報生成ステップと、
を含む処理を実行させるプログラム。
前記情報を受信し得る受信者により使用される受信者端末と、
サーバと、
を含み構成される情報処理システムにおける情報処理装置に、
前記送信者が送信を希望する前記情報を、送信情報として取得する送信情報取得ステップと、
前記送信者の身体の一部を含む画像に関する情報を、画像情報として取得する画像情報取得ステップと、
前記画像情報に基づいて、前記受信者に出力する出力情報に関する決定を行う条件決定ステップと、
前記送信情報及び前記条件決定ステップによる前記決定の内容に基づいて生成される前記出力情報に関する処理を実行する出力情報生成ステップと、
を含む処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理装置及びプログラムに関する。
【背景技術】
【0002】
従来、ネットワークを介して音声や動画像を参加者が共有する技術が知られている。近年では、このような技術を利用したサービスは、例えば、ＷＥＢ会議やＶＲ会議等と呼ばれ、広く普及している。しかし、これらのサービスでは、話している人間の音声以外の雑音がうるさい、ハウリング等により音声が聞き取りにくい等、いわゆるノイズに関する問題が存在する。
この点、例えば、クライアントから取得されたノイズの音量に応じて通信方式を選択可能な技術が提案されている（例えば、特許文献１を参照）。
この点、例えば、クライアントから取得されたノイズの音量に応じて通信方式を選択可能な技術が提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－１１７９９８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、上述の特許文献１に記載の従来技術は、単に閾値以上のノイズが生じた場合に、音声での通話の代わりにテキスト等による代替手段を提供しているに過ぎず、現にノイズを低減等するわけではない。さらに言えば、利用者にとってテキスト等によるコミュニケーション手段は、煩雑であり、可能な限り音声等によるコミュニケーションを継続できる方が望ましい。
【0005】
本発明は、このような状況に鑑みてなされたものであり、より簡便で、かつ安定して利用しやすいコミュニケーション手段を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の一態様の情報処理システムは、
情報の送信を希望する送信者により使用される送信者端末と、
前記情報を受信する受信者により使用される受信者端末と、
サーバと、
を含むように構成される情報処理システムであって、
前記送信者が送信を希望する前記情報を、送信情報として取得する送信情報取得手段と、
前記送信者の身体の一部を含む画像に関する情報を、画像情報として取得する画像情報取得手段と、
前記画像情報に基づいて、前記受信者に出力する出力情報に関する決定を行う条件決定手段と、
前記送信情報及び前記条件決定手段による前記決定の内容に基づいて生成される前記出力情報に関する処理を実行する出力情報生成手段と、
を備える。
情報の送信を希望する送信者により使用される送信者端末と、
前記情報を受信する受信者により使用される受信者端末と、
サーバと、
を含むように構成される情報処理システムであって、
前記送信者が送信を希望する前記情報を、送信情報として取得する送信情報取得手段と、
前記送信者の身体の一部を含む画像に関する情報を、画像情報として取得する画像情報取得手段と、
前記画像情報に基づいて、前記受信者に出力する出力情報に関する決定を行う条件決定手段と、
前記送信情報及び前記条件決定手段による前記決定の内容に基づいて生成される前記出力情報に関する処理を実行する出力情報生成手段と、
を備える。
【発明の効果】
【0007】
本発明によれば、より簡便で、かつ安定して利用しやすいコミュニケーション手段を提供することができる。
【図面の簡単な説明】
【0008】
【図1】本発明の一実施形態の情報処理システムの構成の一例を示すブロック図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面を用いて説明する。なお、以下の説明において、「画像」いう用語を用いる場合、「動画像」及び「静止画像」の両方を含むものとする。
【0010】
【0011】
図１に示す通り、本システムは、サーバ１と、送信者端末２と、受信者端末３－１乃至３－ｎ（ｎは１以上の任意の整数値）とを含み構成される。サーバ１と、送信者端末２と、受信者端末３－１乃至３－ｎとは、インターネット等のネットワークＮを介して相互に接続されている。
また、ネットワークＮは必須の要素でもなく、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等が利用されてもよい。
なお、以降の説明において、受信者端末３－１乃至３－ｎの夫々を個々に区別する必要がない場合、これらをまとめて「受信者端末３」と呼ぶ。
また、ネットワークＮは必須の要素でもなく、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等が利用されてもよい。
なお、以降の説明において、受信者端末３－１乃至３－ｎの夫々を個々に区別する必要がない場合、これらをまとめて「受信者端末３」と呼ぶ。
【0012】
ここで、本システムは、遠隔地等から接続されたクライアント端末（例えば、送信者端末２）で入力された音声等を、他のクライアント端末（例えば、受信者端末３）に出力することができる。すなわち、送信者端末２及び受信者端末３を含む各クライアント端末は、サーバ１へとアクセスすることにより、各種インターフェース等を取得して本システムにかかるサービス（以下、「本サービス」と呼ぶ）の提供を受けることができる。なお、送信者端末２及び受信者端末３の夫々には、本サービスの提供を受けるためのブラウザ又はアプリケーション等が事前にインストールされているものとする。
【0013】
図２は、図１の情報処理システムのうちサーバのハードウェア構成の一例を示すブロック図である。なお、サーバ１は、本システムの管理者（本サービスの提供者）等により管理され、例えば、汎用的なパーソナルコンピュータ等により構成される。
【0014】
図２に示す通り、サーバ１は、制御部１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、出力部１６と、入力部１７と、記憶部１８と、通信部１９と、ドライブ２０とを備えている。
【0015】
制御部１１は、ＣＰＵやＧＰＵおよび半導体メモリを含むマイクロコンピュータ等で構成され、ＲＯＭ１２に記録されているプログラム、または記憶部１８からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１３には、制御部１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
ＲＡＭ１３には、制御部１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0016】
制御部１１、ＲＯＭ１２およびＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、出力部１６、入力部１７、記憶部１８、通信部１９およびドライブ２０が接続されている。
【0017】
出力部１６は、ディスプレイやスピーカ等で構成され、各種情報を画像や音声として出力する。
【0018】
入力部１７は、キーボードやマウス等で構成され、各種情報を入力する。
【0019】
記憶部１８は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。
【0020】
通信部１９は、インターネットを含むネットワークＮを介して他の装置との間で通信を行う。
【0021】
ドライブ２０は、必要に応じて設けられる。ドライブ２０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２０によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１８にインストールされる。また、リムーバブルメディア３１は、記憶部１８に記憶されている各種データも、記憶部１８と同様に記憶することができる。
【0022】
続いて、図３を参照しながら送信者端末２のハードウェア構成を説明する。図３は、図１の情報処理システムのうち送信者端末のハードウェア構成の一例を示す図である。なお、送信者端末２は、本サービスに参加する参加者のうち、音声等の送信を行う送信者（例えば、会議における発言者）により使用され、例えば、スマートフォンやタブレット等により構成される。
ただし、送信者端末２のハードウェア構成は、サーバ１のハードウェア構成と基本的に同様とすることができるので、ここでは必要な部分のみを説明する。
出力部４６は、例えば、汎用的なタッチパネル等で構成される。例えば、出力部４６は、各種画像を表示する表示部と、各種位置入力センサ等を含みタッチ操作がなされた位置座標を検出するタッチ操作入力部を含み構成される。
カメラ部４９は、例えば、汎用的なイメージセンサ等で構成される。カメラ部４９は、ユーザを含む、送信者端末２の周囲の画像を撮像し、その撮像画像のデータを取得する。
なお、受信者端末３は、送信者端末２のハードウェア構成と基本的に同様とすることができるので、説明を省略する。
ただし、送信者端末２のハードウェア構成は、サーバ１のハードウェア構成と基本的に同様とすることができるので、ここでは必要な部分のみを説明する。
出力部４６は、例えば、汎用的なタッチパネル等で構成される。例えば、出力部４６は、各種画像を表示する表示部と、各種位置入力センサ等を含みタッチ操作がなされた位置座標を検出するタッチ操作入力部を含み構成される。
カメラ部４９は、例えば、汎用的なイメージセンサ等で構成される。カメラ部４９は、ユーザを含む、送信者端末２の周囲の画像を撮像し、その撮像画像のデータを取得する。
なお、受信者端末３は、送信者端末２のハードウェア構成と基本的に同様とすることができるので、説明を省略する。
【0023】
続いて、図４を参照しながら、サーバ１、送信者端末２及び受信者端末３の機能的構成について説明する。
図４に示す通り、サーバ１の制御部１１は、各種プログラム等を実行することにより、音声情報等取得部８０と、画像解析部８１と、出力条件決定部８２と、音声情報等送信制御部８３とが機能する。
音声情報等取得部８０は、送信者端末２から送信されてくる音声情報及び画像情報を、通信部１９を介して取得する。
図４に示す通り、サーバ１の制御部１１は、各種プログラム等を実行することにより、音声情報等取得部８０と、画像解析部８１と、出力条件決定部８２と、音声情報等送信制御部８３とが機能する。
音声情報等取得部８０は、送信者端末２から送信されてくる音声情報及び画像情報を、通信部１９を介して取得する。
【0024】
画像解析部８１は、音声情報等取得部８０で取得された画像情報を解析する。具体的には、画像解析部８１は、画像情報に含まれる撮像された送信者の画像に基づいて、送信者の口元に動きがあるか否かを解析する。なお、画像解析部８１が画像情報の解析において利用するソフトウェアは、汎用的な画像解析に係るソフトウェアでよく、限定されない。
また、画像解析部８１は、画像情報を、受信者端末３へ送信する。
また、画像解析部８１は、画像情報を、受信者端末３へ送信する。
【0025】
出力条件決定部８２は、画像解析部８１の解析結果等に基づいて、受信者に出力する出力情報に関する条件を決定する。具体的に出力条件決定部８２は、画像解析部８１の解析結果において、送信者の口元に動きがある場合には出力情報を生成することを決定し、送信者の口元に動きがない場合には出力情報を出力しないことを決定する。
【0026】
音声情報等送信制御部８３は、音声情報等取得部８０で取得された音声情報、音声情報等取得部８０で取得された画像情報及び出力条件決定部８２で決定された条件に関する情報（以下、「出力条件情報」と呼ぶ）を、受信者端末３へ送信する。
【0027】
次に、送信者端末２の機能的構成を説明する。図４に示す通り、送信者端末２の制御部４１は、各種プログラム等を実行することにより、音声情報取得部１００と、画像情報取得部１０１とが機能する。
音声情報取得部１００は、入力部４７等で入力された送信者の音声のデータ（以下、「音声情報」と呼ぶ）を取得する。音声情報取得部１００は、取得した音声情報をサーバ１へ送信する。
音声情報取得部１００は、入力部４７等で入力された送信者の音声のデータ（以下、「音声情報」と呼ぶ）を取得する。音声情報取得部１００は、取得した音声情報をサーバ１へ送信する。
【0028】
画像情報取得部１０１は、カメラ部４９で撮像された送信者の身体の一部を含む画像のデータ（以下、「画像情報」と呼ぶ）を取得する。画像情報取得部１０１は、取得した画像情報をサーバ１へ送信する。なお、本実施形態において、送信者の身体の一部を含む画像とは、送信者の顔、特に口元及びその周囲を少なくとも含む画像である。サーバ１は、画像情報に基づいて、送信者が発声を行っているか否かを判断し、受信者への出力の有無を決定する。
【0029】
次に、受信者端末３の機能的構成を説明する。図４に示す通り、受信者端末３の制御部１２０は、各種プログラム等を実行することにより、出力条件等取得部１８０と、出力情報生成部１８１とが機能する。
ここで、受信者端末３－１乃至３－ｎは、いずれも同一の機能的構成を備えているため、特に区別することなく、受信者端末３の機能的構成としてまとめて説明する。また、本システムにおいて、送信者と受信者の関係性は情報の送受信において、入れ替わることがある。そのため、図示はしないが送信者端末２は受信者端末３の機能的構成を有することができるし、受信者端末３は送信者端末２の機能的構成を有することもできる。
ここで、受信者端末３－１乃至３－ｎは、いずれも同一の機能的構成を備えているため、特に区別することなく、受信者端末３の機能的構成としてまとめて説明する。また、本システムにおいて、送信者と受信者の関係性は情報の送受信において、入れ替わることがある。そのため、図示はしないが送信者端末２は受信者端末３の機能的構成を有することができるし、受信者端末３は送信者端末２の機能的構成を有することもできる。
【0030】
出力条件等取得部１８０は、サーバ１から送信されてくる音声情報、画像情報及び出力条件情報を、通信部１３０を介して取得する。
【0031】
出力条件等取得部１８０で取得された出力条件情報に出力情報を生成する旨の指示（条件）が含まれている場合、出力情報生成部１８１は、出力条件等取得部１８０で取得された音声情報及び画像情報等に基づいて、出力情報を生成する。
【0032】
出力制御部１８２は、各種情報を出力部１４０に出力するための制御処理を実行する。例えば、出力情報生成部１８１で生成された出力情報を、出力部１４０を介して出力する。
【0033】
次に、図５及び図６を参照しながら、画像解析部８１における画像解析の具体的なイメージについて説明する。図５及び図６は、図４の送信者端末２又は受信者端末３に表示される画像の一例を示す図である。
図５の例では、画像の中央に送信者Ｕ１が表示され、「今日の会議を始めましょう」というメッセージが合わせて表示されている。これは、情報の送信を行う送信者Ｕ１が、「今日の会議を始めましょう」という音声が具体的に入力されている状況を示している。ここで、図５の例において、送信者Ｕ１は大きく口を開けて発声しており、送信者端末２で入力された音声が、送信者Ｕ１の発声に基づくものであると考えるのが自然な状況である。送信者端末２で取得された画像情報が、このような画像に係るものであれば、サーバ１の画像解析部８１は、入力された音声情報をそのまま出力情報として出力することを決定する。
図５の例では、画像の中央に送信者Ｕ１が表示され、「今日の会議を始めましょう」というメッセージが合わせて表示されている。これは、情報の送信を行う送信者Ｕ１が、「今日の会議を始めましょう」という音声が具体的に入力されている状況を示している。ここで、図５の例において、送信者Ｕ１は大きく口を開けて発声しており、送信者端末２で入力された音声が、送信者Ｕ１の発声に基づくものであると考えるのが自然な状況である。送信者端末２で取得された画像情報が、このような画像に係るものであれば、サーバ１の画像解析部８１は、入力された音声情報をそのまま出力情報として出力することを決定する。
【0034】
これに対して、図６の例において、送信者Ｕ１は口を閉じており、特に発声等を行っている様子は見られない。このような状況で、送信者端末２に入力された音声は、送信者Ｕ１により発声されたメッセージ等ではなく、単なる雑音やノイズである可能性が高い。具体的に図６の例では、送信者は、口を閉じた状態で公園のベンチに座っている。このような状況において、送信者端末２に入力された音声は送信者Ｕ１の発声に基づく音声ではなく、周囲の雑音等が音声として入力されている可能性が高いと考えられる。
すなわち、送信者端末２で取得された画像情報が、図６の例のように発信者の口元に動きが確認できない画像の場合、サーバ１の画像解析部８１は、入力された音声情報は、送信者Ｕ１が送信を希望する音声（メッセージ）ではないと判定し、出力情報を生成しないことを決定する。
すなわち、送信者端末２で取得された画像情報が、図６の例のように発信者の口元に動きが確認できない画像の場合、サーバ１の画像解析部８１は、入力された音声情報は、送信者Ｕ１が送信を希望する音声（メッセージ）ではないと判定し、出力情報を生成しないことを決定する。
【0035】
【0036】
図７を参照しながら、送信者の口の動きの有無及び音声入力の有無、及び出力情報の生成の関係を具体的に説明する。例えば、図７のパターン１を見ると、画像解析の結果、送信者の口の動きがあり、音声の入力もなされている。このような場合、通常通り、出力情報が生成される。パターン２の例では、送信者の口の動きがなく、音声の入力がなされている。このような場合、入力された音声はノイズであると判断され、出力情報は生成されない。
一方、パターン３の例を見ると、送信者の口の動きがあるものの、音声が入力されていない。このような場合、サーバ１は、出力情報を生成しない旨を決定し、さらに音声が入力されていない旨のエラーメッセージを表示する旨の指示を、送信者端末２へ送信する。なお、パターン４のように、口の動きがなく、音声の入力のない場合には、当然ながら出力情報は生成されない。
一方、パターン３の例を見ると、送信者の口の動きがあるものの、音声が入力されていない。このような場合、サーバ１は、出力情報を生成しない旨を決定し、さらに音声が入力されていない旨のエラーメッセージを表示する旨の指示を、送信者端末２へ送信する。なお、パターン４のように、口の動きがなく、音声の入力のない場合には、当然ながら出力情報は生成されない。
【0037】
図８は、図４のサーバ、送信者端末２及び受信者端末３により実行されるノイズ低減出力情報生成処理の流れを説明するアローチャートである。
ステップＳ１において、送信者端末２の音声情報取得部１００は、入力部４７等で入力された送信者の音声情報を取得する。また、ステップＳ１において、送信者端末２の音声情報取得部１００は、取得した音声情報をサーバ１へ送信する。
ステップＳ１において、送信者端末２の音声情報取得部１００は、入力部４７等で入力された送信者の音声情報を取得する。また、ステップＳ１において、送信者端末２の音声情報取得部１００は、取得した音声情報をサーバ１へ送信する。
【0038】
ステップＳ２において、送信者端末２の画像情報取得部１０１は、カメラ部４９で撮像された送信者の身体の一部を含む画像の画像情報を取得する。また、ステップＳ２において、画像情報取得部１０１は、取得した画像情報をサーバ１へ送信する。
【0039】
ステップＳ２１において、サーバ１の音声情報等取得部８０は、送信者端末２から送信されてくる音声情報及び画像情報を、通信部１９を介して取得する。
【0040】
ステップＳ２２において、サーバ１の画像解析部８１は、音声情報等取得部８０で取得された画像情報を解析する。
【0041】
ステップＳ２３において、サーバ１の出力条件決定部８２は、画像解析部８１の解析結果等に基づいて、受信者に出力する出力情報に関する条件を決定する。
【0042】
ステップＳ２４において、サーバ１の音声情報等送信制御部８３は、音声情報等取得部８０で取得された音声情報、音声情報等取得部８０で取得された画像情報及び出力条件決定部８２で決定された条件に関する出力条件情報を、受信者端末３へ送信する。
【0043】
ステップＳ４１において、受信者端末３の出力条件等取得部１８０は、サーバ１から送信されてくる音声情報、画像情報及び出力条件情報を、通信部１３０を介して取得する。
【0044】
ステップＳ４２において、出力条件情報に出力情報を生成する旨の指示（条件）が含まれている場合、受信者端末３の出力情報生成部１８１は、出力条件等取得部１８０で取得された音声情報及び画像情報等に基づいて、出力情報を生成する。
【0045】
ステップＳ４３において、受信者端末３の出力制御部１８２は、出力情報生成部１８１で生成された出力情報を、出力部１４０を介して出力する。
【0046】
以上本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【0047】
ここで、図９を参照しながら、本システムに適用可能なＷＥＢ会議サービス（以下、「ＶＲ会議室サービス」と呼ぶ）の一例を説明する。
図９には、現実世界の会議室を模した仮想空間（以下、「オフィス空間」と呼ぶ）が表示されている。そして、図９の例では、ユーザの夫々に対応するアイコンＡ乃至Ｄがオフィス空間の所定の位置に表示されている。
図９には、現実世界の会議室を模した仮想空間（以下、「オフィス空間」と呼ぶ）が表示されている。そして、図９の例では、ユーザの夫々に対応するアイコンＡ乃至Ｄがオフィス空間の所定の位置に表示されている。
【0048】
上述のＶＲ会議室サービスでは、オフィス空間におけるアイコンの距離に応じて、出力される音声の音量などが調整される。例えば、図９の例では、アイコンＡとアイコンＢは互いに近い位置に配置されているのに対して、アイコンＡとアイコンＣは比較的離れた位置にアイコンが配置されている。アイコンＡとアイコンＤは、さらに離れた位置にアイコンが配置されている。
そのため、上述のＶＲ会議サービスでは、例えば「Ａ」のアイコンに対応するユーザにより入力された音声は、「Ｂ」のアイコンに対応するユーザの情報処理端末等では大きく出力され、「Ｃ」のアイコンに対応するユーザの情報処理端末等では小さく出力される。
なお、図４における点線は、例えば「Ａ」のアイコンに対応するユーザの音声の可聴域を示している。そのため、アイコン「Ｄ」に対応するユーザの情報処理端末等では、「Ａ」に対応するユーザの音声は出力されない。
そのため、上述のＶＲ会議サービスでは、例えば「Ａ」のアイコンに対応するユーザにより入力された音声は、「Ｂ」のアイコンに対応するユーザの情報処理端末等では大きく出力され、「Ｃ」のアイコンに対応するユーザの情報処理端末等では小さく出力される。
なお、図４における点線は、例えば「Ａ」のアイコンに対応するユーザの音声の可聴域を示している。そのため、アイコン「Ｄ」に対応するユーザの情報処理端末等では、「Ａ」に対応するユーザの音声は出力されない。
【0049】
ここで、上述のＶＲ会議サービスにおいて、ユーザの夫々は、例えば、アイコンをドラッグする操作などにより、自身に対応するアイコンをオフィス空間内で自由に移動させることができる。
そのため、例えば、ユーザは、他のユーザとの会話を希望するのであれば会話を希望するユーザの近くにアイコンを配置して、会話を行うことができる。他方、例えば、ユーザが仕事に集中したい場合であれば、敢えて他のユーザと遠い距離（可聴域外）にアイコンを配置することで、他のユーザの音声が出力されないように設定してもよい。
すなわち、上述のＶＲ会議サービスにおいて、ユーザの夫々は、仮想空間内で自身に対応するアイコンを任意の場所に配置することにより、仮想空間内に配置されたアイコンの位置（位置関係）に応じて、あたかも現実世界でのコミュニケーションと同様に、多種多様なコミュニケーションの態様を実現することができる。本システムは、このようなＶＲ会議システムと上手く組み合わせて利用することで、ユーザにとってさらに利便性の高いコミュニケーション環境を提供することができる。
そのため、例えば、ユーザは、他のユーザとの会話を希望するのであれば会話を希望するユーザの近くにアイコンを配置して、会話を行うことができる。他方、例えば、ユーザが仕事に集中したい場合であれば、敢えて他のユーザと遠い距離（可聴域外）にアイコンを配置することで、他のユーザの音声が出力されないように設定してもよい。
すなわち、上述のＶＲ会議サービスにおいて、ユーザの夫々は、仮想空間内で自身に対応するアイコンを任意の場所に配置することにより、仮想空間内に配置されたアイコンの位置（位置関係）に応じて、あたかも現実世界でのコミュニケーションと同様に、多種多様なコミュニケーションの態様を実現することができる。本システムは、このようなＶＲ会議システムと上手く組み合わせて利用することで、ユーザにとってさらに利便性の高いコミュニケーション環境を提供することができる。
【0050】
また、上述の実施形態において、送信者端末２及び受信者端末３の送受信の対象は、音声及び画像の情報であるものとして説明したが、限定されない。送受信の対象となる情報は、テキスト情報等の各種各様の情報であってもよいし、例えば、音声のみが送受信の対象であってもよい。
さらに言えば、上述の音声は、人により発生された声に限られない。音声には、例えば、各種雑音、人以外の動物等の声、音楽、可聴領域内か否かを問わず広く「音」の概念が含まれてもよい。
さらに言えば、上述の音声は、人により発生された声に限られない。音声には、例えば、各種雑音、人以外の動物等の声、音楽、可聴領域内か否かを問わず広く「音」の概念が含まれてもよい。
【0051】
また、本システム又は上述のＶＲ会議室において、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）等の他の仮想空間に関連する工学的な手法が採用されてもよい。
【0052】
また、本システム又は上述のＶＲ会議室において仮想空間としてオフィス空間が採用されているが、特にこれに限定されない。他のあらゆる仮想空間が採用されてもよい。具体的には例えば、イベント会場、パーティールーム、レストラン、お見合い会場など各種各様の仮想空間が採用されてもよい。
【0053】
また、上述の実施形態では説明を省略したが、サーバ１、送信者端末２及び受信者端末３として採用するハードウェアデバイスは任意であり、限定されない。例えば、サーバ１として、汎用的なスマートフォン、タブレット等の携帯型のハードウェアデバイス等を採用できるし、送信者端末２及び受信者端末３として、据え置き型のパーソナルコンピュータ等を採用することもできる。
【0054】
また、上述の実施形態では説明を省略したが、本サービスでは、既存のＷＥＢ会議等のサービスにおいて、実装されている各種機能が合わせて提供されてもよい。
具体的に例えば、本システムは、仮想的な会議室を複数設定する会議室機能を備えることができる。
また、例えば、本システムは、所定の参加者（例えば、送信者）により指定された画面を参加者間で共有する、いわゆる画面の共有機能を備えることができる。
具体的に例えば、本システムは、仮想的な会議室を複数設定する会議室機能を備えることができる。
また、例えば、本システムは、所定の参加者（例えば、送信者）により指定された画面を参加者間で共有する、いわゆる画面の共有機能を備えることができる。
【0055】
また、上述の実施形態において、出力条件決定部８２は、出力情報を生成する又は出力情報を生成しないことを決定するものとして説明したが、限定されない。例えば、出力条件決定部８２は、出力情報自体は生成し、受信者に出力情報を出力しないことを決定してもよい。
また、出力条件決定部８２は、出力情報を生成する又は出力情報を生成しないといういずれかではなく、出力情報を生成（又は出力）するための詳細な条件を決定してもよい。例えば、出力条件決定部８２は、５０％の音量で出力情報を出力する、受信者が希望した場合にのみ出力情報を出力する等の条件を決定してもよい。
また、出力条件決定部８２は、出力情報を生成する又は出力情報を生成しないといういずれかではなく、出力情報を生成（又は出力）するための詳細な条件を決定してもよい。例えば、出力条件決定部８２は、５０％の音量で出力情報を出力する、受信者が希望した場合にのみ出力情報を出力する等の条件を決定してもよい。
【0056】
【0057】
また例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【0058】
また例えば、本システムを構成する各種ハードウェアの数や使用者は任意であるし、他のハードウェア等を含み構成されてもよい。さらに言えば、上述の各種ハードウェアには、同一のコンピュータ等が採用されてもよい。
【0059】
また例えば、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
即ち、例えば、上述の実施形態における各種ハードウェアには、任意のコンピュータ、任意のスマートフォン等の携帯端末等が自由に採用されてもよい。さらに言えば、各種入力部や各種出力部等の種別や内容についても任意の組み合わせが採用されてもよい。
さらに言えば、上述の各種ハードウェアは、コンピュータ等の採用は任意であり、特に限定されない。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
即ち、例えば、上述の実施形態における各種ハードウェアには、任意のコンピュータ、任意のスマートフォン等の携帯端末等が自由に採用されてもよい。さらに言えば、各種入力部や各種出力部等の種別や内容についても任意の組み合わせが採用されてもよい。
さらに言えば、上述の各種ハードウェアは、コンピュータ等の採用は任意であり、特に限定されない。
【0060】
また例えば、このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に提供される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。
【0061】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理を含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【0062】
以上をまとめると、本発明が適用される情報処理システムは、次のような構成を有する各種各様の実施形態を取ることができる。
即ち、本発明が適用される情報処理システムは、
情報の送信を希望する送信者により使用される送信者端末と、
前記情報を受信する受信者により使用される受信者端末と、
サーバと、
を含むように構成される情報処理システムであって、
前記送信者が送信を希望する前記情報を、送信情報として取得する送信情報取得手段（例えば、音声情報等取得部８０）と、
前記送信者の身体の一部を含む画像に関する情報を、画像情報として取得する画像情報取得手段（例えば、音声情報等取得部８０）と、
前記画像情報に基づいて、前記受信者に出力する出力情報に関する決定を行う条件決定手段（例えば、出力条件決定部８２）と、
前記送信情報及び前記条件決定手段による前記決定の内容に基づいて生成される前記出力情報に関する処理を実行する出力情報生成手段（例えば、音声情報等送信制御部８３）と、
を備える。
即ち、本発明が適用される情報処理システムは、
情報の送信を希望する送信者により使用される送信者端末と、
前記情報を受信する受信者により使用される受信者端末と、
サーバと、
を含むように構成される情報処理システムであって、
前記送信者が送信を希望する前記情報を、送信情報として取得する送信情報取得手段（例えば、音声情報等取得部８０）と、
前記送信者の身体の一部を含む画像に関する情報を、画像情報として取得する画像情報取得手段（例えば、音声情報等取得部８０）と、
前記画像情報に基づいて、前記受信者に出力する出力情報に関する決定を行う条件決定手段（例えば、出力条件決定部８２）と、
前記送信情報及び前記条件決定手段による前記決定の内容に基づいて生成される前記出力情報に関する処理を実行する出力情報生成手段（例えば、音声情報等送信制御部８３）と、
を備える。
【0063】
前記画像情報は、前記送信情報が取得されたタイミングにおける前記送信者の口の画像を含んでもよい。
【0064】
前記情報処理システムは、前記画像情報に基づいて、前記送信者の口の動きの有無を解析する解析手段（例えば、画像解析部８１）をさらに備え、前記条件決定手段は、前記解析手段による解析の結果に基づいて、前記出力情報に関する前記決定を行ってもよい。
【0065】
前記条件決定手段は、仮想空間内における前記送信者及び前記受信者の位置を考慮して前記決定を行ってもよい。
【符号の説明】
【0066】
１ サーバ
１１ 制御部
８０ 音声情報等取得部
８１ 画像解析部
８２ 出力条件決定部
８３ 音声情報等送信制御部
２ 送信者端末
４１ 制御部
１００ 音声情報取得部
１０１ 画像情報取得部
３－１乃至３－ｎ 受信者端末
１２０ 制御部
１８０ 出力条件等取得部
１８１ 出力情報生成部
１８２ 出力制御部
１１ 制御部
８０ 音声情報等取得部
８１ 画像解析部
８２ 出力条件決定部
８３ 音声情報等送信制御部
２ 送信者端末
４１ 制御部
１００ 音声情報取得部
１０１ 画像情報取得部
３－１乃至３－ｎ 受信者端末
１２０ 制御部
１８０ 出力条件等取得部
１８１ 出力情報生成部
１８２ 出力制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
