(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023124648
(43)【公開日】2023-09-06
(54)【発明の名称】受信装置、音声映像品質改善方法、および音声映像受信システム
(51)【国際特許分類】
H04N 7/15 20060101AFI20230830BHJP
H04L 67/565 20220101ALI20230830BHJP
【FI】
H04N7/15
H04L67/565
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2022028538
(22)【出願日】2022-02-25
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】熊澤 雅之
(72)【発明者】
【氏名】越智 健敏
(72)【発明者】
【氏名】杉山 博一
(72)【発明者】
【氏名】星田 昌昭
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164FA10
5C164GA03
5C164UB41S
5C164VA21P
5C164YA11
5C164YA21
5C164YA24
(57)【要約】
【課題】ユーザが要望するコンテンツデータの品質改善を実行する。
【解決手段】受信装置は、送信装置から映像データおよび音声データを取得する取得部と、映像データおよび音声データを出力する出力部と、出力部から出力された映像および音声を視聴するユーザの映像および音声に対するユーザ評価を推定する評価推定部と、送信装置から取得される映像データおよび音声データの品質に関するパラメータを制御する品質制御部と、を備え、品質制御部は、ユーザ評価に基づいて、品質に関するパラメータを生成して、送信装置に出力する。
【選択図】
図11
【特許請求の範囲】
【請求項1】
送信装置から映像データおよび音声データを取得する取得部と、
前記映像データおよび前記音声データを出力する出力部と、
前記出力部から出力された映像および音声を視聴するユーザの前記映像および前記音声に対するユーザ評価を推定する評価推定部と、
前記送信装置から取得される前記映像データおよび前記音声データの品質に関するパラメータを制御する品質制御部と、を備え、
前記品質制御部は、前記ユーザ評価に基づいて、前記品質に関するパラメータを生成して、前記送信装置に出力する、
受信装置。
【請求項2】
前記送信装置との間で通信可能な通信帯域を推定する帯域推定部、をさらに備え、
前記品質制御部は、推定された前記通信帯域と、推定された前記ユーザ評価とに基づいて、前記品質に関するパラメータを生成する、
請求項1に記載の受信装置。
【請求項3】
前記ユーザを撮像可能なカメラ、をさらに備え、
前記評価推定部は、前記カメラにより撮像された撮像画像に基づいて、前記映像および前記音声を視聴する前記ユーザの動作を解析し、解析された前記ユーザの動作に基づいて、前記ユーザ評価を推定する、
請求項1に記載の受信装置。
【請求項4】
前記評価推定部は、前記カメラにより撮像された撮像画像に基づいて、前記ユーザが所定動作を行ったと判定した場合、前記所定動作に基づいて、ユーザ評価を推定し、
前記品質制御部は、推定された前記ユーザ評価に基づいて、前記品質に関するパラメータを生成する、
請求項3に記載の受信装置。
【請求項5】
前記ユーザの発話音声を収音可能なマイク、をさらに備え、
前記評価推定部は、前記マイクにより収音された前記発話音声を解析し、解析された発話内容に基づいて、前記ユーザ評価を推定し、
前記品質制御部は、推定された前記ユーザ評価に基づいて、前記品質に関するパラメータを生成する、
請求項1に記載の受信装置。
【請求項6】
前記ユーザ操作を受け付け可能な入力部、をさらに備え、
前記評価推定部は、前記ユーザ操作に基づいて、前記ユーザ評価を推定し、
前記品質制御部は、推定された前記ユーザ評価に基づいて、前記品質に関するパラメータを生成する、
請求項1に記載の受信装置。
【請求項7】
前記品質に関するパラメータは、
前記映像データの帯域、前記映像データの解像度、および前記映像データのフレームレートのうち少なくとも1つと、
前記音声データの帯域、前記音声データの形式、および前記音声データの符号化パラメータのうち少なくとも1つと、を含む、
請求項1に記載の受信装置。
【請求項8】
1つ以上のコンピュータを含んで構成され、送信装置と互いに通信可能な受信装置が行う音声映像品質改善方法であって、
前記送信装置から映像データおよび音声データを取得し、
前記映像データおよび前記音声データを出力し、
出力された映像および音声を視聴するユーザの前記映像および前記音声に対するユーザ評価を推定し、
推定された前記ユーザ評価に基づいて、前記送信装置から取得される前記映像データおよび前記音声データの品質に関するパラメータを生成して、前記送信装置に出力する、
音声映像品質改善方法。
【請求項9】
サーバと、
映像データおよび音声データを送信する送信装置と、
前記映像データおよび前記音声データを受信する受信装置と、を備え、
前記送信装置は、
前記映像データおよび前記音声データを前記受信装置に送信し、
前記受信装置は、
送信された前記映像データおよび前記音声データに基づいて、映像および音声を出力し、
出力された映像および音声を視聴するユーザの前記映像および前記音声に対するユーザ評価を推定して、前記サーバに送信し、
前記サーバは、
送信された前記ユーザ評価に基づいて、前記送信装置から送信される前記映像データおよび前記音声データの品質に関するパラメータを生成して、前記送信装置に送信する、
音声映像受信システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、受信装置、音声映像品質改善方法、および音声映像受信システムに関する。
【背景技術】
【0002】
特許文献1には、画像データおよび映像データ等の各コンテンツデータが端末装置に送信されるように制御する制御システムが開示されている。制御システムは、通信端末が受信する各コンテンツデータに対して品質の設定を受け付け、各コンテンツデータの品質、および通信ネットワークの可用帯域に応じて、通信端末が受信する各コンテンツデータの品質を決定し、各コンテンツデータが決定された品質により端末装置に送信されるように制御する。また、制御システムは、各コンテンツデータの品質の相対的な優先度の設定により、コンテンツデータの送信に割り当てられる帯域を決定する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した制御システムにより画像データ,映像データ等の各コンテンツデータの品質を制御する場合、ユーザは、各拠点から送信される各コンテンツデータの品質を、それぞれ手動で設定しなければならず、たいへん手間だった。また、ユーザは、コンテンツデータの利用目的により各コンテンツデータの優先度が変わる場合がある。このような場合、ユーザは、コンテンツデータの利用目的に応じて優先度を手動で設定しなければならないため、たいへん手間だった。
【0005】
本開示は、上述した従来の事情に鑑みて案出され、ユーザが要望するコンテンツデータの品質改善を実行する受信装置、音声映像品質改善方法、および音声映像受信システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示は、送信装置から映像データおよび音声データを取得する取得部と、前記映像データおよび前記音声データを出力する出力部と、前記出力部から出力された映像および音声を視聴するユーザの前記映像および前記音声に対するユーザ評価を推定する評価推定部と、前記送信装置から取得される前記映像データおよび前記音声データの品質に関するパラメータを制御する品質制御部と、を備え、前記品質制御部は、前記ユーザ評価に基づいて、前記品質に関するパラメータを生成して、前記送信装置に出力する、受信装置を提供する。
【0007】
また、本開示は、1つ以上のコンピュータを含んで構成され、送信装置と互いに通信可能な受信装置が行う音声映像品質改善方法であって、前記送信装置から映像データおよび音声データを取得し、前記映像データおよび前記音声データを出力し、出力された映像および音声を視聴するユーザの前記映像および前記音声に対するユーザ評価を推定し、推定された前記ユーザ評価に基づいて、前記送信装置から取得される前記映像データおよび前記音声データの品質に関するパラメータを生成して、前記送信装置に出力する、音声映像品質改善方法を提供する。
【0008】
また、本開示は、サーバと、映像データおよび音声データを送信する送信装置と、前記映像データおよび前記音声データを受信する受信装置と、を備え、前記送信装置は、前記映像データおよび前記音声データを前記受信装置に送信し、前記受信装置は、送信された前記映像データおよび前記音声データに基づいて、映像および音声を出力し、出力された映像および音声を視聴するユーザの前記映像および前記音声に対するユーザ評価を推定して、前記サーバに送信し、前記サーバは、送信された前記ユーザ評価に基づいて、前記送信装置から送信される前記映像データおよび前記音声データの品質に関するパラメータを生成して、前記送信装置に送信する、音声映像受信システムを提供する。
【発明の効果】
【0009】
本開示によれば、ユーザが要望するコンテンツデータの品質改善を実行できる。
【図面の簡単な説明】
【0010】
【
図1】実施の形態1に係る音声映像品質改善システムのシステム構成例を示す図
【
図2】実施の形態1における通信端末および他通信端末のそれぞれの内部構成例を示すブロック図
【
図3】実施の形態2および実施の形態2の変形例に係る音声映像品質改善システムの構成例を示す図
【
図4】実施の形態2における通信端末および他通信端末のそれぞれの内部構成例を示すブロック図
【
図5】実施の形態2におけるサーバの内部構成例を示すブロック図
【
図6】実施の形態2の変形例における通信端末および他通信端末のそれぞれの内部構成例を示すブロック図
【
図7】実施の形態2の変形例におけるサーバの内部構成例を示すブロック図
【
図8】実施の形態1、実施の形態2、および実施の形態2の変形例に係る音声映像品質改善システムの品質推定手順例を示すフローチャート
【
図9】実施の形態1、実施の形態2、および実施の形態2の変形例に係る音声映像品質改善システムの品質改善パラメータの決定手順例を示すフローチャート
【
図10】実施の形態2に係る音声映像品質改善システムの動作手順例を示すシーケンス図
【
図11】
図8および
図9に示す各動作手順と、各実施の形態に係る音声映像品質改善システムの動作手順との対応関係を示すテーブル
【
図12】映像品質(フレームレート)改善例を説明する図
【発明を実施するための形態】
【0011】
以下、添付図面を適宜参照しながら、本開示に係る受信装置、音声映像品質改善方法、および音声映像受信システムを具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0012】
(実施の形態1)
図1は、実施の形態1に係る音声映像品質改善システム100のシステム構成例を示す図である。実施の形態1に係る音声映像品質改善システム100は、少なくとも2台の通信端末(通信端末P1および他通信端末P2)のそれぞれと、ネットワークNWと、を含んで構成される。
【0013】
音声映像品質改善システム100は、複数の通信端末(通信端末P1,他通信端末P2,他通信端末P3,…)のそれぞれで送受信されるコンテンツデータの品質を制御するシステムである。なお、ここでいうコンテンツデータは、少なくとも1つの音声データおよび少なくとも1つの映像データを含むデータである。
【0014】
通信端末P1および他通信端末P2,P3,…のそれぞれは、例えば、PC(Personal Computer)、ノートPC、タブレット端末、スマートフォン等である。通信端末P1および他通信端末P2,P3,…のそれぞれの間は、ネットワークNWを介して、有線通信あるいは無線通信可能に接続される。ここでいう無線通信は、例えばBluetooth(登録商標)、NFC(登録商標)などの近距離無線通信、またはWi-Fi(登録商標)等の無線LAN(Local Area Network)を介した通信である。
【0015】
なお、本実施の形態1では、複数の通信端末のそれぞれのうち他通信端末P2がコンテンツデータの送信を行い、音声映像改善を実現するためのユーザ評価の取得処理、品質改善指令の生成処理等を行う例について説明する。なお、ここでいうコンテンツは、コンテンツデータを受信した通信端末、あるいは他通信端末により出力され、ユーザにより視聴される音声,映像を示す。
【0016】
次に、
図2を参照して、複数の通信端末(通信端末P1,他通信端末P2,他通信端末P3,…)のそれぞれの内部構成例について説明する。なお、他通信端末P2,…のそれぞれが同様の構成を有する。よって、
図2の説明では他通信端末P2の内部構成について説明し、他通信端末P3,…の内部構成の説明を省略する。
【0017】
通信端末P1は、通信端末P1を用いて他通信端末P2,…から送信された音声,映像等のコンテンツを視聴するユーザを撮像したり、ユーザの発話音声を収音したりする。通信端末P1は、撮像された撮像画像、あるいは収音された発話音声データに基づいて、コンテンツに対するユーザ評価を推定する。なお、通信端末P1は、ユーザインタフェースを介して、ユーザによるコンテンツに対する評価の入力操作(例えば、フリック操作)を受け付けてもよい。また、通信端末P1は、他通信端末P2,…から送信されたコンテンツデータの帯域と、符号化パラメータとを取得する。
【0018】
通信端末P1は、コンテンツに対するユーザのフィードバックに基づくユーザ評価と、コンテンツデータの使用帯域および符号化パラメータのそれぞれとに基づいて、他通信端末P2から送信されるコンテンツデータの品質を改善させるための制御指令を生成して、コンテンツデータを送信(配信)する他通信端末P2,…に送信する。通信端末P1は、データ通信部10と、プロセッサ11と、メモリ12と、カメラ13と、マイク14と、入力部15と、ディスプレイ16と、スピーカ17と、を含んで構成される。
【0019】
データ通信部10は、ネットワークNWを介して、複数の他通信端末P2,…のそれぞれとの間でデータ通信可能に接続される。データ通信部10は、複数の他通信端末P2,…のそれぞれから送信された各種データをプロセッサ11に出力する。また、データ通信部10は、プロセッサ11から出力された各種データを複数の他通信端末P2,…のそれぞれに送信する。
【0020】
プロセッサ11は、例えばCPU(Central Processing Unit)またはFPGA(Field Programmable Gate Array)を用いて構成されて、メモリ12と協働して、各種の処理および制御を行う。具体的に、プロセッサ11は、メモリ12に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、品質評価推定部111、品質決定部112、品質指示部113、復号部114等の各種機能を実現する。
【0021】
品質評価推定部111は、カメラ13、マイク14、あるいは入力部15等により取得されたフィードバックに基づいて、コンテンツの品質に関するユーザ評価を推定する。品質評価推定部111は、推定されたユーザ評価の結果を品質決定部112に出力する。
【0022】
品質決定部112は、品質評価推定部111から出力されたコンテンツの品質に関するユーザ評価の結果に基づいて、他通信端末P2から送信されているコンテンツデータの品質を改善するか否かを判定する。品質決定部112は、コンテンツの品質を改善すると判定した場合、コンテンツデータの現在の品質(パラメータ)と、ユーザ評価の結果とに基づいて、品質改善後のコンテンツデータのパラメータ(以降、「品質改善パラメータ」)を決定する。品質決定部112は、決定された品質改善パラメータの情報を品質指示部113に出力する。
【0023】
なお、ここでいうパラメータは、コンテンツの品質に影響を与えるコンテンツデータのパラメータであって、例えば、音声データの帯域、音声データの形式(例えば、ステレオ,モノラル等)、音声データに付与される冗長データの有無、映像データの帯域、映像データの形式、映像データの解像度,フレームレート、符号化パラメータ等である。上述した品質パラメータは、一例であって、これに限定されない。
【0024】
品質決定部112は、コンテンツの品質を改善すると判定した場合、コンテンツデータを受信する通信端末P1と、コンテンツデータを送信する他通信端末P2との間の現在の通信帯域を推定する。品質決定部112は、推定された現在の通信帯域と、現在のコンテンツデータの品質と、コンテンツの品質に関するユーザ評価の結果とに基づいて、コンテンツデータの品質改善パラメータを決定する。
【0025】
具体的に、品質決定部112は、コンテンツの品質に関するユーザ評価の結果に基づいて、コンテンツデータに含まれる1以上の映像データおよび1以上の音声データのそれぞれのうち品質改善対象となるコンテンツデータを特定する。品質決定部112は、現在の通信帯域を推定し、推定された通信帯域に対する映像データおよび音声データのそれぞれの使用帯域およびパラメータと、ユーザ評価の結果とに基づいて、コンテンツデータに含まれるすべての映像データおよび音声データのそれぞれの品質改善パラメータを決定する。
【0026】
品質指示部113は、通信端末P1に送信されるコンテンツデータの品質改善を要求する制御指令を生成する。品質指示部113は、生成された制御指令と、品質決定部112から出力された品質改善パラメータの情報とを対応付けて、データ通信部10に出力し、他通信端末P2に送信させる。
【0027】
復号部114は、他通信端末P2から送信され、データ通信部10から出力されたコンテンツデータを復号し、ディスプレイ16あるいはスピーカ17に出力する。
【0028】
メモリ12は、例えばプロセッサ11の各処理を実行する際に用いられるワークメモリとしてのRAM(Random Access Memory)と、プロセッサ11の動作を規定したプログラムおよびデータを格納するROM(Read Only Memory)とを有する。なお、メモリ12は、SSD(Solid State Drive)あるいはHDD(Hard Disk Drive)等によるストレージデバイスのうちいずれかを含む記憶デバイスを有してもよい。RAMには、プロセッサ11により生成あるいは取得されたデータもしくは情報が一時的に保存される。ROMには、プロセッサ11の動作を規定するプログラムが書き込まれている。
【0029】
メモリ12は、コンテンツデータの品質(パラメータ)情報等を記憶する。また、メモリ12は、ユーザのフィードバックに基づいて、コンテンツの品質に関するユーザ評価を推定するためのユーザ評価推定データを記憶する。ここでいうユーザ評価推定データは、ユーザのフィードバックと、品質改善パラメータとを対応付けたデータであって、品質決定部112による品質改善パラメータの決定処理に用いられる。
【0030】
カメラ13は、少なくともイメージセンサ(不図示)とレンズ(不図示)とを有して構成される。イメージセンサは、例えばCCD(Charged-Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)の固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。カメラ13は、プロセッサ11により制御され、撮像した撮像画像をプロセッサ11に出力する。
【0031】
マイク14は、ユーザの発話音声を収音し、収音されたユーザの発話音声(音)を電気信号に変換して、プロセッサ11に出力する。
【0032】
入力部15は、例えばタッチパネル、ボタン、キーボード等を用いて構成されたユーザインタフェースである。入力部15は、受け付けられたユーザ操作を電気信号(制御指令)に変換して、プロセッサ11に出力する。なお、ディスプレイ16がタッチパネルを用いて構成される場合、入力部15は、ディスプレイ16と一体的に構成される。
【0033】
入力部15は、コンテンツの品質に関するユーザ評価として、ディスプレイ16に表示された映像(画像)の拡大操作,縮小操作等を受け付けたりする。なお、入力部15は、タッチパネルを用いて構成される場合、フリック操作に基づいて、拡大操作,縮小操作等を受け付けてもよい。
【0034】
ディスプレイ16は、例えばLCD(Liquid Crystal Display)または有機EL(Electroluminescence)等を用いて構成される。ディスプレイ16は、プロセッサ11により制御されて、他通信端末P2,…のそれぞれから送信された映像を表示する。
【0035】
スピーカ17は、プロセッサ11により制御されて、他通信端末P2,…のそれぞれから送信された電気信号を音声に変換して出力する。
【0036】
他通信端末P2は、通信端末P1にコンテンツデータを送信する。他通信端末P2は、通信端末P1から送信された制御指令に基づいて、通信端末P1に送信するコンテンツデータの品質(パラメータ)を改善し、品質改善後のコンテンツデータを通信端末P1に送信する。他通信端末P2は、データ通信部20と、プロセッサ21と、メモリ22と、カメラ23と、マイク24と、入力部25と、ディスプレイ26と、スピーカ27と、を含んで構成される。
【0037】
データ通信部20は、ネットワークNWを介して、通信端末P1,複数の他通信端末P3,…のそれぞれとの間でデータ通信可能に接続される。データ通信部20は、通信端末P1から送信された制御指令をプロセッサ21に出力する。また、データ通信部20は、プロセッサ21から出力されたコンテンツデータ等の各種データを通信端末P1あるいは複数の他通信端末P3,…に送信する。
【0038】
プロセッサ21は、例えばCPUまたはFPGAを用いて構成されて、メモリ22と協働して、各種の処理および制御を行う。具体的に、プロセッサ21は、メモリ22に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、品質調整部211、符号化部212等の各種機能を実現する。
【0039】
品質調整部211は、通信端末P1から送信された制御指令と、品質改善パラメータの情報とを取得し、符号化部212に出力する。
【0040】
符号化部212は、品質調整部211から出力された品質改善パラメータの情報に基づいて、通信端末P1に送信されるコンテンツデータの符号化と、ディスプレイ26あるいはスピーカ27に出力されるコンテンツデータの符号化とを実行する。
【0041】
具体的に、符号化部212は、品質改善パラメータの情報に基づいて、カメラ23から出力された撮像画像(映像)、マイク24から出力された電気信号(音声)、あるいは入力部25を介した選択(指定)操作された映像または音声データ等を取得する。符号化部212は、品質改善パラメータに含まれる映像データおよび音声データのそれぞれのパラメータの情報に基づいて、現在の通信帯域でコンテンツデータを送信可能にするために、コンテンツデータの圧縮処理を行う。
【0042】
例えば、符号化部212は、品質改善パラメータに基づいて、映像データのフレームレート,解像度等の調整処理、あるいはFEC(Forward Error Correction)パケットを用いた冗長化処理等を実行して、通信端末P1で表示される映像データの品質調整(改善)を実行する。なお、冗長化処理は、通信端末P1との間の映像データの送受信において、映像データの損失をより抑制するための処理である。
【0043】
また、例えば、符号化部212は、品質改善パラメータの情報に基づいて、音声データの音声帯域幅,遅延の調整処理、あるいはFECパケットを用いた冗長化処理等を実行して、通信端末P1で出力される音声データの品質調整(改善)を実行する。
【0044】
符号化部212は、符号化後(つまり、品質改善後)のコンテンツデータをデータ通信部20に出力し、通信端末P1に送信させる。
【0045】
メモリ22は、例えばプロセッサ21の各処理を実行する際に用いられるワークメモリとしてのRAMと、プロセッサ21の動作を規定したプログラムおよびデータを格納するROMとを有する。なお、メモリ22は、SSDあるいはHDD等によるストレージデバイスのうちいずれかを含む記憶デバイスを有してもよい。RAMには、プロセッサ21により生成あるいは取得されたデータもしくは情報が一時的に保存される。ROMには、プロセッサ21の動作を規定するプログラムが書き込まれている。
【0046】
カメラ23は、少なくともイメージセンサ(不図示)とレンズ(不図示)とを有して構成される。イメージセンサは、例えばCCDまたはCMOSの固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。カメラ23は、プロセッサ21により制御され、撮像した撮像画像をプロセッサ21に出力する。
【0047】
マイク24は、他通信端末P2を操作するユーザの発話音声を収音し、収音されたユーザの発話音声(音)を電気信号に変換して、プロセッサ21に出力する。
【0048】
入力部25は、例えばタッチパネル,ボタン,キーボード等を用いて構成されたユーザインタフェースである。入力部25は、他通信端末P2を操作するユーザ操作を受け付け、電気信号(制御指令)に変換して、プロセッサ21に出力する。なお、ディスプレイ26がタッチパネルを用いて構成される場合、入力部25は、ディスプレイ26と一体的に構成される。
【0049】
入力部25は、操作を受け通信端末P1に送信されるコンテンツデータの選択操作等を受け付ける。
【0050】
ディスプレイ26は、例えばLCDまたは有機EL等を用いて構成される。ディスプレイ26は、プロセッサ21により制御されて、カメラ23により撮像された撮像画像(映像)、あるいは他通信端末P3,…のそれぞれから送信された映像を表示する。
【0051】
スピーカ27は、プロセッサ21により制御されて、他通信端末P3,…のそれぞれから送信された電気信号を音声に変換して出力する。
【0052】
(実施の形態2)
実施の形態1に係る音声映像品質改善システム100は、通信可能に接続された通信端末P1、および複数の他通信端末P2,…のそれぞれのうちコンテンツが送信されるいずれか1台の通信端末(例えば、通信端末P1)により、このコンテンツを視聴するユーザのフィードバックに基づく品質改善パラメータを生成する例について説明した。実施の形態2に係る音声映像品質改善システム100Aは、通信端末P1Aと、複数の他通信端末P2A,…のそれぞれとの間でデータ送受信可能に接続されたサーバS1により、コンテンツを視聴するユーザのフィードバックに基づく品質改善パラメータを生成する例について説明する。
【0053】
なお、以降の実施の形態2に係る音声映像品質改善システム100Aの説明において、実施の形態1に係る音声映像品質改善システム100とほぼ同一の構成を有する構成には同一の符号を付与し、その説明を省略する。
【0054】
図3を参照して、実施の形態2に係る音声映像品質改善システム100Aのシステム構成について説明する。
図3は、実施の形態2に係る音声映像品質改善システム100Aのシステム構成例を示す図である。
【0055】
実施の形態2に係る音声映像品質改善システム100Aは、少なくとも2台の通信端末(通信端末P1Aおよび他通信端末P2A)のそれぞれと、ネットワークNWAと、サーバS1と、を含んで構成される。
【0056】
音声映像品質改善システム100Aは、通信端末P1Aによりユーザのリアクションに基づくコンテンツの品質に関するユーザ評価の推定を実行する。音声映像品質改善システム100Aは、通信端末P1Aによるユーザ評価の推定結果に基づいて、サーバS1でコンテンツの品質を改善するための品質改善パラメータを生成する。音声映像品質改善システム100Aは、生成された品質改善パラメータに基づいて、コンテンツデータの送信元である他通信端末P2Aで送信されるコンテンツの品質改善を実行し、品質改善後のコンテンツデータを通信端末P1A、複数の他通信端末P3A,…のそれぞれに送信することで、コンテンツデータの配信(送信)をしながらユーザにより視聴されるコンテンツの品質を改善する。
【0057】
次に、
図4および
図5のそれぞれを参照して、通信端末P1A、他通信端末P2A,…のそれぞれ、およびサーバS1の内部構成について説明する。
図4は、実施の形態2における通信端末P1Aおよび他通信端末P2A,…のそれぞれの内部構成例を示すブロック図である。
図5は、実施の形態2におけるサーバS1の内部構成例を示すブロック図である。
【0058】
なお、実施の形態2では、複数の通信端末のそれぞれのうち通信端末P1Aが音声映像改善を実現するためのユーザ評価の取得処理を実行する例について説明する。また、他通信端末P2A,…のそれぞれは、同様の構成を有する。よって、
図4および
図5の説明では他通信端末P2Aの内部構成について説明し、他通信端末P3A,…の内部構成の説明を省略する。
【0059】
通信端末P1Aは、データ通信部10Aと、プロセッサ11Aと、メモリ12と、カメラ13と、マイク14と、入力部15と、ディスプレイ16と、スピーカ17と、を含んで構成される。
【0060】
データ通信部10Aは、ネットワークNWを介して、複数の他通信端末P2A,…のそれぞれと、サーバS1との間でそれぞれデータ送受信可能に接続される。データ通信部10Aは、複数の他通信端末P2,…のそれぞれから送信された各種データをプロセッサ11Aに出力する。また、データ通信部10Aは、プロセッサ11Aから出力された各種データをサーバS1に送信する。
【0061】
プロセッサ11Aは、例えばCPUまたはFPGAを用いて構成されて、メモリ12と協働して、各種の処理および制御を行う。具体的に、プロセッサ11Aは、メモリ12に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、品質評価推定部111、復号部114、品質評価通知部115等の各種機能を実現する。
【0062】
品質評価推定部111は、カメラ13、マイク14、あるいは入力部15等により取得されたフィードバックに基づいて、コンテンツの品質に関するユーザ評価を推定する。品質評価推定部111は、推定されたユーザ評価の結果を品質評価通知部115に出力する。
【0063】
品質評価通知部115は、通信端末P1Aに送信されるコンテンツデータの品質改善を要求する制御指令を生成する。品質評価通知部115は、生成された制御指令と、品質評価推定部111から出力されたユーザ評価の結果の情報とを対応付けて、データ通信部10Aに出力し、サーバS1に送信させる。
【0064】
他通信端末P2Aは、データ通信部20Aと、プロセッサ21と、メモリ22と、カメラ23と、マイク24と、入力部25と、ディスプレイ26と、スピーカ27と、を含んで構成される。
【0065】
データ通信部20Aは、通信端末P1Aと、複数の他通信端末P3A,…のそれぞれと、サーバS1との間でそれぞれデータ送受信可能に接続される。データ通信部20Aは、サーバS1から送信された各種データをプロセッサ21に出力する。また、データ通信部20Aは、プロセッサ21から出力された各種データを通信端末P1Aと、複数の他通信端末P3A,…のそれぞれと、サーバS1とに送信する。
【0066】
サーバS1は、通信端末P1Aから送信されたコンテンツの品質に関するユーザ評価の結果の情報に基づいて、コンテンツデータの品質改善パラメータを生成し、コンテンツデータの送信元である他通信端末P2Aに送信する。なお、サーバS1は、他通信端末P2Aから送信されるコンテンツデータを通信端末P1Aと、複数の他通信端末P3A,…のそれぞれにさらに送信することでコンテンツデータの中継処理を行ってもよい。サーバS1は、データ通信部30と、プロセッサ31と、メモリ32と、を含んで構成される。
【0067】
データ通信部30は、ネットワークNWを介して、通信端末P1A,複数の他通信端末P2A,…のそれぞれとの間でデータ通信可能に接続される。データ通信部30は、通信端末P1Aから送信された各種データをプロセッサ31に出力する。また、データ通信部30は、プロセッサ31から出力されたコンテンツデータ等の各種データを複数の他通信端末P2A,…に送信する。
【0068】
プロセッサ31は、例えばCPUまたはFPGAを用いて構成されて、メモリ32と協働して、各種の処理および制御を行う。具体的に、プロセッサ31は、メモリ32に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、品質決定部311、品質指示部312等の各種機能を実現する。
【0069】
品質決定部311は、通信端末P1Aから送信されたユーザ評価の結果の情報に基づいて、他通信端末P2Aから通信端末P1Aおよび複数の他通信端末P3A,…のそれぞれに送信されているコンテンツデータの品質(パラメータ)を改善するか否かを判定する。品質決定部311は、コンテンツデータの品質を改善すると判定した場合、他通信端末P2Aから送信されているコンテンツデータの現在の品質(パラメータ)と、取得されたコンテンツの品質に関するユーザ評価の結果とに基づいて、コンテンツデータの品質改善パラメータを決定する。品質決定部311は、決定された品質改善パラメータの情報を品質指示部312に出力する。
【0070】
品質決定部311は、コンテンツの品質を改善すると判定した場合、コンテンツデータを受信する通信端末P1Aと、コンテンツデータを送信する他通信端末P2Aとの間の現在の通信帯域を推定する。品質決定部311は、推定された現在の通信帯域と、現在のコンテンツデータの品質と、コンテンツの品質に関するユーザ評価の結果とに基づいて、コンテンツデータの品質改善パラメータを決定する。
【0071】
具体的に、品質決定部311は、コンテンツの品質に関するユーザ評価の結果に基づいて、コンテンツデータに含まれる1以上の映像データおよび1以上の音声データのそれぞれのうち品質改善対象となるコンテンツデータを特定する。品質決定部311は、現在の通信帯域を推定し、推定された通信帯域に対する映像データおよび音声データのそれぞれの使用帯域およびパラメータと、ユーザ評価の結果とに基づいて、コンテンツデータに含まれるすべての映像データおよび音声データのそれぞれの品質改善パラメータを決定する。
【0072】
品質指示部312は、コンテンツデータの品質改善を要求する制御指令を生成する。品質指示部312は、生成された制御指令と、品質決定部311から出力された品質改善パラメータの情報とを対応付けて、データ通信部30に出力し、他通信端末P2Aに送信させる。
【0073】
メモリ32は、例えばプロセッサ31の各処理を実行する際に用いられるワークメモリとしてのRAMと、プロセッサ31の動作を規定したプログラムおよびデータを格納するROMとを有する。なお、メモリ32は、SSDあるいはHDD等によるストレージデバイスのうちいずれかを含む記憶デバイスを有してもよい。RAMには、プロセッサ31により生成あるいは取得されたデータもしくは情報が一時的に保存される。ROMには、プロセッサ31の動作を規定するプログラムが書き込まれている。
【0074】
メモリ32は、コンテンツデータの品質(パラメータ)情報等を記憶する。また、メモリ32は、ユーザのフィードバックに基づいて、コンテンツの品質に関するユーザ評価を推定するためのユーザ評価推定データを記憶する。ここでいうユーザ評価推定データは、ユーザのフィードバックと、品質改善パラメータとを対応付けたデータであって、品質決定部311による品質改善パラメータの決定処理に用いられる。
【0075】
(実施の形態2の変形例)
実施の形態2に係る音声映像品質改善システム100Aは、通信端末P1Aによりユーザ評価結果を取得し、サーバS1によりコンテンツを視聴するユーザのフィードバックに基づいて、コンテンツデータの品質改善パラメータを生成する例について説明した。実施の形態2の変形例に係る音声映像品質改善システム100Bは、サーバS1Bによりユーザ評価の結果を取得し、コンテンツを視聴するユーザのフィードバックに基づいて、コンテンツデータの品質改善パラメータを生成する例について説明する。
【0076】
なお、以降の実施の形態2の変形例に係る音声映像品質改善システム100Bの説明において、実施の形態2に係る音声映像品質改善システム100Aとほぼ同一の構成を有する構成には同一の符号を付与し、その説明を省略する。
【0077】
実施の形態2の変形例に係る音声映像品質改善システム100B(
図3参照)は、少なくとも2台の通信端末(通信端末P1Bおよび他通信端末P2A)のそれぞれと、ネットワークNWAと、サーバS1Bと、を含んで構成される。
【0078】
音声映像品質改善システム100Bは、通信端末P1Bによりユーザのリアクションを取得する。音声映像品質改善システム100Bは、サーバS1Bより、ユーザのリアクションに基づくコンテンツの品質に関するユーザ評価の推定を実行する。音声映像品質改善システム100Bは、通信端末P1Bによるユーザ評価の推定結果に基づいて、サーバS1Bでコンテンツの品質を改善するための品質改善パラメータを生成する。音声映像品質改善システム100Bは、生成された品質改善パラメータに基づいて、コンテンツの送信元である他通信端末P2Aで送信されるコンテンツの品質改善を実行し、品質改善後のコンテンツを通信端末P1B、複数の他通信端末P3A,…のそれぞれに送信することで、コンテンツの配信(送信)をしながらコンテンツの品質を改善する。
【0079】
次に、
図6および
図7のそれぞれを参照して、通信端末P1B、他通信端末P2A,…のそれぞれ、およびサーバS1Bの内部構成について説明する。
図6は、実施の形態2の変形例における通信端末P1Bおよび他通信端末P2A,…のそれぞれの内部構成例を示すブロック図である。
図7は、実施の形態2の変形例におけるサーバS1Bの内部構成例を示すブロック図である。
【0080】
なお、実施の形態2の変形例では、複数の通信端末のそれぞれのうち通信端末P1Bがユーザのフィードバックを取得する例について説明するが、ユーザのフィードバックを取得する通信端末は、コンテンツの送信元である通信端末以外の通信端末であればよい。また、他通信端末P2A,…のそれぞれは、同様の構成を有する。よって、
図6および
図7の説明では他通信端末P2Aの内部構成について説明し、他通信端末P3A,…の内部構成の説明を省略する。
【0081】
通信端末P1Bは、ユーザを撮像した撮像画像(映像)、ユーザの発話音声に基づく電気信号(音声)、あるいはユーザ操作により入力された入力情報等を取得し、サーバS1Bに送信する。通信端末P1Bは、データ通信部10Aと、プロセッサ11Bと、メモリ12と、カメラ13と、マイク14と、入力部15と、ディスプレイ16と、スピーカ17と、を含んで構成される。
【0082】
プロセッサ11Bは、例えばCPUまたはFPGAを用いて構成されて、メモリ12と協働して、各種の処理および制御を行う。具体的に、プロセッサ11Bは、メモリ12に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、復号部114、符号化部116等の各種機能を実現する。
【0083】
符号化部116は、カメラ13により撮像されたユーザの撮像画像(映像)、マイク14により収音されたユーザの発話音声に基づく電気信号(音声)、あるいは入力部15を介して入力されたユーザ操作に基づく入力情報等のユーザのフィードバックを取得する。符号化部116は、取得されたフィードバックのデータを符号化し、符号化されたフィードバックのデータをデータ通信部10Aに出力して、サーバS1Bに送信させる。
【0084】
サーバS1Bは、通信端末P1Bから送信されたフィードバックのデータに基づいて、コンテンツの品質に関するユーザ評価を実行する。サーバS1Bは、ユーザ評価の結果に基づいて、コンテンツの品質を改善する品質改善パラメータを決定し、コンテンツデータを送信している他通信端末P2Aに送信する。サーバS1Bは、データ通信部30と、プロセッサ31Bと、メモリ32と、を含んで構成される。
【0085】
プロセッサ31Bは、例えばCPUまたはFPGAを用いて構成されて、メモリ32と協働して、各種の処理および制御を行う。具体的に、プロセッサ31Bは、メモリ32に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、品質評価推定部313、品質決定部311B、品質指示部312、復号部314等の各種機能を実現する。
【0086】
品質評価推定部313は、復号部314から出力された通信端末P1Bのユーザのフィードバックのデータに基づいて、コンテンツの品質に関するユーザ評価を推定する。品質評価推定部313は、推定されたユーザ評価の結果を品質決定部311Bに出力する。
【0087】
品質決定部311Bは、品質評価推定部313から出力されたコンテンツの品質に関するユーザ評価の結果に基づいて、他通信端末P2Aから送信されているコンテンツデータの品質を改善するか否かを判定する。品質決定部311Bは、コンテンツデータの品質を改善すると判定した場合、コンテンツの現在の品質(パラメータ)と、ユーザ評価の結果とに基づいて、品質改善パラメータを決定する。品質決定部311Bは、決定された品質改善パラメータの情報を品質指示部312に出力する。
【0088】
品質決定部311Bは、コンテンツの品質を改善すると判定した場合、コンテンツデータを受信する通信端末P1Bと、コンテンツデータを送信する他通信端末P2Aとの間の現在の通信帯域を推定する。品質決定部311Bは、推定された現在の通信帯域と、現在のコンテンツデータの品質と、コンテンツの品質に関するユーザ評価の結果とに基づいて、コンテンツデータの品質改善パラメータを決定する。
【0089】
具体的に、品質決定部311Bは、コンテンツの品質に関するユーザ評価の結果に基づいて、コンテンツデータに含まれる1以上の映像データおよび1以上の音声データのそれぞれのうち品質改善対象となるコンテンツデータを特定する。品質決定部311Bは、現在の通信帯域を推定し、推定された通信帯域に対する映像データおよび音声データのそれぞれの使用帯域およびパラメータと、ユーザ評価の結果とに基づいて、コンテンツデータに含まれるすべての映像データおよび音声データのそれぞれの品質改善パラメータを決定する。
【0090】
復号部314は、通信端末P1Bから送信されたフィードバックのデータを復号する。復号部314は、復号されたフィードバックのデータを品質評価推定部313に出力する。
【0091】
次に、
図8を参照して、音声映像品質改善システム100により実行される品質推定手順について説明する。
図8は、実施の形態1に係る音声映像品質改善システム100の品質推定手順例を示すフローチャートである。
【0092】
通信端末P1のプロセッサ11は、例えば、ユーザの撮像画像(映像)、ユーザの発話音声、あるいはユーザ操作に基づく入力情報等のフィードバックを取得する(St11)。プロセッサ11の品質評価推定部111は、取得されたフィードバックに基づいて、コンテンツの品質に関するユーザ評価(つまり、品質評価)を推定する(St12)。
【0093】
以下、ステップSt11およびステップSt12のそれぞれの処理について、具体的に説明する。
【0094】
品質評価推定部111は、カメラ13により撮像された撮像画像(撮像映像)に基づいて、コンテンツの品質に関するユーザのフィードバックがあるか否かを判定する。例えば、品質評価推定部111は、撮像された撮像画像を画像解析し、フィードバックを示すユーザの所定動作を検出する。ここでいう所定動作は、例えば、ユーザが首を傾げる動作、通信端末P1に耳を近づける動作、通信端末P1に耳を向ける動作、通信端末P1に顔を近づける動作等である。
【0095】
品質評価推定部111は、所定動作を検出した場合、ユーザによるコンテンツに対するフィードバックがあると判定するとともに、コンテンツの品質に関するユーザ評価を推定する。例えば、品質評価推定部111は、ユーザの通信端末P1に耳を近づける、頭を傾げる動作を検出した場合、ユーザ評価が「音声の品質が悪い」であると推定したり、ユーザが通信端末P1に顔を近づける動作を検出した場合、ユーザ評価が「映像(画像)の解像度が低い」であると推定したりする。
【0096】
また、品質評価推定部111は、マイク14により収音されたユーザの発話音声を解析する。品質評価推定部111は、解析された発話内容(言葉)に基づいて、コンテンツに対するユーザのフィードバックがあるか否かを判定する。例えば、品質評価推定部111は、発話音声を解析し、解析された発話内容にフィードバックを示す所定の発話内容が含まれているか否かを検出する。ここでいう所定の発話内容は、例えば、「映像がカクカク」、「映像が粗い」、「音が途切れる」、「資料が粗い」等である。
【0097】
品質評価推定部111は、解析された発話内容から所定の発話内容を検出した場合、ユーザによるコンテンツに対するフィードバックがあると判定するとともに、コンテンツの品質に関するユーザ評価を推定する。例えば、品質評価推定部111は、所定の発話内容「映像がカクカク」を検出した場合、ユーザ評価が「映像のフレームレートが低い」であると推定する。
【0098】
また、品質評価推定部111は、入力部15を介してユーザによる入力操作(例えば、ディスプレイ16に表示された映像(画像)の拡大操作,縮小操作等)を受け付けたりする。品質評価推定部111は、入力操作に基づくコンテンツに対するユーザのフィードバックを取得した場合、取得されたフィードバックに基づいて、コンテンツの品質に関するユーザ評価を推定する。例えば、品質評価推定部111は、ディスプレイ16に表示された映像(画像)の拡大操作を受け付けた場合、ユーザ評価が「映像(画像)の解像度が低い」であると推定する。
【0099】
一方、品質決定部112は、コンテンツの品質を改善しない(つまり、維持する)と判定した場合、現在のコンテンツデータの品質(パラメータ)情報をメモリ12に記憶する。
【0100】
品質決定部112は、品質評価推定部111により推定されたユーザ評価に基づいて、コンテンツの品質に関するユーザ評価に変化があるか否かを判定する(St13)。具体的に、品質決定部112は、ユーザ評価が良化、あるいは悪化を示しているか否かを判定する。なお、品質決定部112は、ユーザ評価がコンテンツの品質に関して快感、あるいは不快感を示すものであるか否かを判定してもよい。
【0101】
品質決定部112は、ステップSt13の処理において、ユーザ評価の結果(つまり、品質評価結果)に変化があると判定した場合(St13,YES)、コンテンツの品質に関するユーザ評価が良いか否かをさらに判定する(St14)。
【0102】
一方、品質決定部112は、ステップSt13の処理において、ユーザ評価の結果(つまり、品質評価結果)に変化がないと判定した場合(St13,NO)、ステップSt11の処理に戻る。
【0103】
品質決定部112は、ステップSt14の処理において、コンテンツの品質に関するユーザ評価が良いと判定した場合(St14,YES)、他通信端末P2から送信されるコンテンツデータの現在の品質の維持を決定する(St15)。
【0104】
一方、品質決定部112は、ステップSt14の処理において、コンテンツの品質に関するユーザ評価が良くないと判定した場合(St14,NO)、他通信端末P2から送信されるコンテンツデータの現在の品質の改善を決定する(St16)。
【0105】
次に、
図9を参照して、音声映像品質改善システム100により実行される品質改善パラメータの決定手順について説明する。
図9は、実施の形態1に係る音声映像品質改善システム100の品質改善パラメータの決定手順例を示すフローチャートである。
【0106】
品質決定部112は、品質評価推定部111から出力されたユーザ評価に基づいて、コンテンツデータの品質を改善するか否かを判定する(St21)。
【0107】
品質決定部112は、ステップSt21の処理において、コンテンツデータの品質を改善すると判定した場合(St21,YES)、他通信端末P2から送信され、取得されたコンテンツデータ(音声データ,映像データ)の受信品質(パラメータ)を取得する(St22)。
【0108】
一方、品質決定部112は、ステップSt21の処理において、コンテンツデータの品質を改善しない(つまり、維持する)と判定した場合(St21,NO)、コンテンツデータの現在の品質(パラメータ)情報をメモリ12に記憶する。
【0109】
品質決定部112は、他通信端末P2から送信され、通信端末P1により受信されたコンテンツデータにロスが発生しているか否かを判定する(St24)。
【0110】
品質決定部112は、ステップSt24の処理において、コンテンツデータにロスが発生していると判定した場合(St24,YES)、コンテンツデータのパラメータを、ロス耐性を向上させた品質改善パラメータに決定する(St25)。
【0111】
一方、品質決定部112は、ステップSt24の処理において、コンテンツデータにロスが発生していないと判定した場合(St24,NO)、コンテンツデータに含まれる音声データ,映像データの帯域、または映像データのメディア品質(例えば、フレームレート、解像度等)を向上させた品質改善パラメータに決定する(St26)。
【0112】
次に、
図10を参照して、実施の形態2に係る音声映像品質改善システム100Aの動作手順について説明する。
図10は、実施の形態2に係る音声映像品質改善システム100Aの動作手順例を示すシーケンス図である。なお、
図10に示すユーザは、通信端末P1Aを操作し、通信端末P1Aを用いて他通信端末P2Aから送信されたコンテンツを視聴するユーザである。
【0113】
他通信端末P2Aは、コンテンツデータを通信端末P1Aに送信する(St100)。
【0114】
通信端末P1Aは、他通信端末P2Aから送信されたコンテンツデータを復号化し、ディスプレイ16あるいはスピーカ17から出力する(St101)。通信端末P1Aは、コンテンツを視聴するユーザをカメラ13により撮像したり、ユーザの発話音声を収音したりする。通信端末P1Aは、撮像された撮像画像(映像)、あるいは、収音され、解析された発話内容に基づいて、ユーザによるコンテンツの品質に関するフィードバックを取得する。また、通信端末P1Aは、入力部15を介して、コンテンツの品質に関するユーザ操作を受け付け、入力された入力情報(フィードバック)を取得する。なお、入力部15を介して取得される入力情報は、音声の品質向上を要求する入力操作、映像の品質向上を要求する入力操作等であってよい。
【0115】
通信端末P1Aは、取得されたフィードバックに基づいて、コンテンツの品質に関するユーザ評価(つまり、品質評価)を推定する(St102)。通信端末P1Aは、推定されたユーザ評価の情報をサーバS1に送信(通知)する(St103)。
【0116】
サーバS1は、通信端末P1Aから送信されたユーザ評価の情報に基づいて、品質改善後のコンテンツデータの品質改善パラメータを決定する(St104)。サーバS1は、コンテンツの品質改善を要求する制御指令を生成し、生成された制御指令と、決定された品質改善パラメータとを対応付けて、他通信端末P2Aに送信する(St105)。
【0117】
他通信端末P2Aは、サーバS1から送信された制御指令と、品質改善パラメータとに基づいて、コンテンツデータの品質を調整(改善)する(St106)。他通信端末P2Aは、品質改善後のコンテンツデータを通信端末P1Aに送信する。
【0118】
次に、
図11を参照して、
図8および
図9に示す各動作手順と、各実施の形態に係る音声映像品質改善システム100,100A,100Bの動作手順との対応関係について説明する。
図11は、
図8および
図9に示す動作手順と、各実施の形態に係る音声映像品質改善システム100,100A,100Bの動作手順との対応関係を示すテーブルTB1である。
【0119】
実施の形態2に係る音声映像品質改善システム100Aは、通信端末P1Aの品質評価推定部111によりステップSt11~ステップSt12のそれぞれの処理を実行し、サーバS1の品質決定部311により、ステップSt13~ステップSt16、およびステップSt21~ステップSt26のそれぞれの処理を実行する。
【0120】
また、実施の形態2の変形例に係る音声映像品質改善システム100Bは、通信端末P1Bのプロセッサ11BによりステップSt11の処理を実行する。また、音声映像品質改善システム100Bは、サーバS1Bの品質評価推定部313によりステップSt12の処理を実行し、品質決定部311Bにより、ステップSt13~ステップSt16、およびステップSt21~ステップSt26のそれぞれの処理を実行する。
【0121】
図12を参照して、コンテンツの品質改善処理の一例について説明する。
図12は、映像品質(フレームレート)改善例を説明する図である。なお、
図12の説明では、実施の形態1に係る音声映像品質改善システム100により実行されるコンテンツの改善処理例について説明するが、実施の形態2および実施の形態2の変形例に係る音声映像品質改善システム100A,100Bのそれぞれでも同様の品質改善処理が実行される。
【0122】
時間t10~時間t11において、通信端末P1と他通信端末P2との間の通信帯域は、2Mbpsである。コンテンツデータは、他通信端末P2から通信端末P1に送信され、通信端末P1のディスプレイ16およびスピーカ17のそれぞれから出力される。他通信端末P2から送信されたコンテンツデータの品質は、音声データが所定の帯域であって、映像データの解像度が「HD(High Definition)」、フレームレートが「30fps」である。なお、ここで、解像度「HD」=1280pixel×720pixelである。
【0123】
時間t11~時間t12において、通信端末P1と他通信端末P2との間の通信帯域は、1Mbpsに減少する。この時、他通信端末P2から送信されたコンテンツデータの品質は、音声データが所定の帯域であって、映像データの解像度が「VGA(Video Graphics Array)」、フレームレートが「15fps」に劣化する。ここで、解像度「VGA」=640pixel×480pixelである。
【0124】
通信端末P1は、時間t12において、マイク14によりユーザの発話音声VO1「映像がカクカクだな」を収音する。通信端末P1は、収音された発話音声VO1を解析し、コンテンツの品質に関するユーザ評価が「映像のフレームレートが低い」であると推定する。
【0125】
通信端末P1は、推定されたユーザ評価に基づいて、品質改善パラメータを、コンテンツに含まれる映像データの解像度が「CIF(Common Intermediate Format)」、フレームレートが「30fps」に決定する。通信端末P1は、コンテンツデータの品質改善を要求する制御指令と、決定された品質改善パラメータとを対応付けて、他通信端末P2に送信する。
【0126】
他通信端末P2は、品質改善パラメータに基づいて、コンテンツデータに含まれる映像データを解像度「CIF」、フレームレート「30fps」に調整(改善)して、品質改善を実行する。他通信端末P2は、品質改善後のコンテンツデータを通信端末P1に送信する。
【0127】
時間t12~時間t13において、通信端末P1と他通信端末P2との間の通信帯域は、1Mbpsである。他通信端末P2から送信されたコンテンツデータの品質は、音声データが所定の帯域であって、映像データの解像度が「CIF」、フレームレートが「30fps」に改善される。
【0128】
以上により、音声映像品質改善システム100は、ユーザのフィードバック(発話音声VO1の発話内容)に基づいて、コンテンツの品質を自動改善できる。
【0129】
図13を参照して、コンテンツの品質改善処理の一例について説明する。
図13は、映像品質(解像度)改善例を説明する図である。なお、
図13の説明では、実施の形態1に係る音声映像品質改善システム100により実行されるコンテンツの改善処理例について説明するが、実施の形態2および実施の形態2の変形例に係る音声映像品質改善システム100A,100Bのそれぞれでも同様の品質改善処理が実行される。
【0130】
時間t20~時間t21において、通信端末P1と他通信端末P2との間の通信帯域は、2Mbpsである。他通信端末P2から送信されたコンテンツデータの品質は、音声データが所定の帯域であって、映像データの解像度が「HD」、フレームレートが「30fps」である。
【0131】
時間t21~時間t22において、通信端末P1と他通信端末P2との間の通信帯域は、1Mbpsに減少する。他通信端末P2から送信されたコンテンツデータの品質は、音声データが所定の帯域であって、映像データの解像度が「VGA」、フレームレートが「15fps」に劣化する。
【0132】
通信端末P1は、時間t22において、マイク14によりユーザの発話音声VO2「映像が粗いな」を収音する。通信端末P1は、収音された発話音声VO2を解析し、コンテンツの品質に関するユーザ評価が「映像の解像度が低い」であると推定する。
【0133】
通信端末P1は、推定されたユーザ評価に基づいて、品質改善パラメータを、コンテンツデータに含まれる映像データの解像度が「HD」、フレームレートが「10fps」に決定する。通信端末P1は、コンテンツデータの品質改善を要求する制御指令と、決定された品質改善パラメータとを対応付けて、他通信端末P2に送信する。
【0134】
他通信端末P2は、品質改善パラメータに基づいて、コンテンツデータに含まれる映像データの品質を解像度「HD」、フレームレート「10fps」に調整(改善)して、品質改善を実行する。他通信端末P2は、品質改善後のコンテンツデータを通信端末P1に送信する。
【0135】
時間t22~時間t23において、通信端末P1と他通信端末P2との間の通信帯域は、1Mbpsである。他通信端末P2から送信されたコンテンツデータの品質は、音声データが所定の帯域であって、映像データの解像度が「HD」、フレームレートが「10fps」に改善される。
【0136】
以上により、音声映像品質改善システム100は、ユーザのフィードバック(発話音声VO2の発話内容)に基づいて、コンテンツの品質を自動改善できる。
【0137】
図14を参照して、コンテンツの品質改善処理の一例について説明する。
図14は、音声品質改善例を説明する図である。なお、
図14の説明では、実施の形態1に係る音声映像品質改善システム100により実行されるコンテンツの改善処理例について説明するが、実施の形態2および実施の形態2の変形例に係る音声映像品質改善システム100A,100Bのそれぞれでも同様の品質改善処理が実行される。
【0138】
時間t30~時間t31において、通信端末P1と他通信端末P2との間の通信帯域は、2Mbpsである。他通信端末P2から送信されたコンテンツデータの品質は、音声データが所定の帯域であって、映像データの解像度が「HD」、フレームレートが「30fps」である。
【0139】
時間t31~時間t32において、通信端末P1と他通信端末P2との間の通信帯域は、1Mbpsに減少する。他通信端末P2から送信されたコンテンツデータの品質は、音声データが所定の帯域であって、映像データの解像度が「VGA」、フレームレートが「15fps」に劣化する。
【0140】
通信端末P1は、時間t32において、マイク14によりユーザの発話音声VO3「音が途切れるな」を収音する。通信端末P1は、収音された発話音声VO3を解析し、コンテンツの品質に関するユーザ評価が「音声の品質が低い」であると推定する。
【0141】
通信端末P1は、推定されたユーザ評価に基づいて、品質改善パラメータを、コンテンツデータに含まれる映像データの解像度が「CIF」、フレームレートが「10fps」、かつ、音声データの符号化処理に所定の冗長データを付与するパラメータに決定する。通信端末P1は、コンテンツデータの品質改善を要求する制御指令と、決定された品質改善パラメータとを対応付けて、他通信端末P2に送信する。
【0142】
他通信端末P2は、品質改善パラメータに基づいて、コンテンツデータの品質を解像度「CIF」、フレームレート「10fps」に調整(改善)するとともに、音声データに冗長データを付与して通信端末P1に送信することで、音声データの品質改善を実行する。
【0143】
時間t32~時間t33において、通信端末P1と他通信端末P2との間の通信帯域は、1Mbpsである。他通信端末P2から送信されたコンテンツデータの品質は、冗長データの付与により、コンテンツデータの送受信時の音声データの損失に起因する音声データの劣化を抑制し、音声データの品質を向上させる。
【0144】
以上により、音声映像品質改善システム100は、ユーザのフィードバック(発話音声VO3の発話内容)に基づいて、コンテンツの品質を自動改善できる。
【0145】
図15を参照して、コンテンツの品質改善処理の一例について説明する。
図15は、映像品質(解像度)改善例を説明する図である。なお、
図15の説明では、実施の形態1に係る音声映像品質改善システム100により実行されるコンテンツの改善処理例について説明するが、実施の形態2および実施の形態2の変形例に係る音声映像品質改善システム100A,100Bのそれぞれでも同様の品質改善処理が実行される。
【0146】
時間t40~時間t41において、通信端末P1と他通信端末P2との間の通信帯域は、2Mbpsである。他通信端末P2から送信されたコンテンツデータは、異なる複数の映像データを含み、他通信端末P2のカメラ23により撮像されたカメラ映像データと、他通信端末P2のデスクトップ画面に表示されているデスクトップ映像データとを含む。コンテンツデータの品質は、カメラ映像データに対応する音声データが所定の帯域であって、カメラ映像データの解像度が「HD」、フレームレートが「30fps」であって、デスクトップ映像データの解像度が「HD」、フレームレートが「30fps」である。
【0147】
通信端末P1は、時間t41において、マイク14によりユーザの発話音声VO4「資料が粗いな」を収音する。通信端末P1は、収音された発話音声VO3を解析し、コンテンツの品質に関するユーザ評価が「資料の解像度が低い」であり、ユーザ評価の対象である「資料」が「デスクトップ映像」であると推定する。つまり、通信端末P1は、コンテンツの品質に関するユーザ評価が「デスクトップ映像の解像度が低い」であると推定する。
【0148】
通信端末P1は、推定されたユーザ評価に基づいて、品質改善パラメータを、デスクトップ映像データの解像度が「FullHD」、フレームレートが「30fps」、カメラ映像データの解像度が「VGA」、フレームレートが「30fps」に決定する。通信端末P1は、コンテンツデータの品質改善を要求する制御指令と、決定された品質改善パラメータとを対応付けて、他通信端末P2に送信する。
【0149】
他通信端末P2は、品質改善パラメータに基づいて、コンテンツデータのうちデスクトップ映像データの品質を解像度「FullHD」、フレームレート「30fps」、カメラ映像データの品質を解像度「VGA」、フレームレート「30fps」に調整(改善)する。他通信端末P2は、品質改善後のデスクトップ映像データとカメラ映像データとを含むコンテンツデータを通信端末P1に送信する。
【0150】
時間t41~時間t42において、他通信端末P2から送信されたコンテンツデータの品質は、音声データが所定の帯域であって、デスクトップ映像データの品質が解像度「FullHD」、フレームレート「30fps」、カメラ映像データの品質が解像度「VGA」、フレームレート「30fps」に改善される。
【0151】
以上により、音声映像品質改善システム100は、コンテンツデータに複数の映像データのそれぞれが含まれる場合であっても、ユーザのフィードバック(発話音声VO4の発話内容)に基づいて、コンテンツデータの品質を自動改善できる。なお、コンテンツデータが複数の音声データのそれぞれを含む場合であっても同様である。
【0152】
例えば、品質改善パラメータの決定例は、上述の例に限定されない。音声映像品質改善システム100は、例えば、ユーザ評価に基づいて、映像データの品質が悪いと判定した場合であって、コンテンツの音声がステレオ音声である場合、ステレオ音声からモノラル音声に変更させる品質改善パラメータに決定することで、コンテンツデータの使用帯域に占める音声データの帯域を略半分に減少させて、映像データが使用可能な帯域を増加させることができる。
【0153】
以上により、実施の形態1における通信端末P1(受信装置の一例)は、他通信端末P2(送信装置の一例)から映像データおよび音声データを取得するデータ通信部10(取得部の一例)と、映像データおよび音声データを出力するディスプレイ16およびスピーカ17(出力部の一例)と、ディスプレイ16およびスピーカ17から出力された映像および音声を視聴するユーザの映像および音声に対するユーザ評価を推定する品質評価推定部(評価推定部の一例)と、他通信端末P2から取得される映像データおよび音声データの品質に関するパラメータを制御する品質決定部112および品質指示部113(品質制御部の一例)と、を備える。品質決定部112は、ユーザ評価に基づいて、品質改善パラメータ(品質に関するパラメータの一例)を生成して、他通信端末P2に出力する。
【0154】
これにより、実施の形態1における通信端末P1は、ユーザ評価に基づいて、データ通信部10により取得される(つまり、他通信端末P2から送信される)映像データおよび音声データの品質を改善できる。
【0155】
また、以上により、実施の形態1における通信端末P1は、他通信端末P2との間で通信可能な通信帯域を推定する品質決定部112(帯域推定部の一例)、をさらに備える。品質決定部112は、推定された通信帯域と、推定されたユーザ評価とに基づいて、品質改善パラメータを生成する。これにより、実施の形態1における通信端末P1は、推定された通信帯域と、推定されたユーザ評価とに基づいて、品質改善パラメータを生成できる。つまり、通信端末P1は、推定されたユーザ評価に基づいて、品質を改善すべき映像データあるいは音声データを特定するとともに、この品質を改善すべき映像データあるいは音声データの品質の改善にあたって、推定された通信帯域で送受信可能な映像データおよび音声データのそれぞれの品質改善パラメータを生成できる。
【0156】
また、以上により、実施の形態1における通信端末P1は、ユーザを撮像可能なカメラ13、をさらに備える。品質評価推定部111は、カメラ13により撮像された撮像画像に基づいて、映像および音声を視聴するユーザの動作を解析し、解析されたユーザの動作に基づいて、ユーザ評価を推定する。これにより、実施の形態1における通信端末P1は、ユーザ評価に基づいて、品質を改善すべき映像データあるいは音声データと、映像データあるいは音声データのうち品質を改善すべきパラメータとをより高精度に推定できる。
【0157】
また、以上により、実施の形態1における通信端末P1の品質評価推定部111は、カメラ13により撮像された撮像画像に基づいて、ユーザが所定動作を行ったと判定した場合、所定動作に基づいて、ユーザ評価を推定する。品質決定部112は、推定されたユーザ評価に基づいて、品質に関するパラメータを生成する。これにより、実施の形態1における通信端末P1は、所定動作(例えば、ユーザが首を傾げる動作、通信端末P1に耳または顔を近づける動作、通信端末P1に耳を向ける動作)に基づいて、品質を改善すべき対象(映像データあるいは音声データ)と、品質を改善すべきパラメータとをより高精度に推定できる。
【0158】
また、以上により、実施の形態1における通信端末P1は、ユーザの発話音声を収音可能なマイク14、をさらに備える。品質評価推定部111は、マイク14により収音された発話音声を解析し、解析された発話内容に基づいて、ユーザ評価を推定する。品質決定部112は、推定されたユーザ評価に基づいて、品質改善パラメータを生成する。これにより、実施の形態1における通信端末P1は、発話内容に基づいて、品質を改善すべき対象(映像データあるいは音声データ)と、品質を改善すべきパラメータとをより高精度に推定できる。
【0159】
また、以上により、実施の形態1における通信端末P1は、ユーザ操作を受け付け可能な入力部15、をさらに備える。評価推定部111は、ユーザ操作に基づいて、ユーザ評価を推定する。品質決定部112は、推定されたユーザ評価に基づいて、品質改善パラメータを生成する。これにより、実施の形態1における通信端末P1は、入力操作(例えば、フリック操作等)に基づいて、品質を改善すべき対象(映像データあるいは音声データ)と、品質を改善すべきパラメータとをより高精度に推定できる。
【0160】
また、以上により、実施の形態1における通信端末P1において、品質改善パラメータは、映像データの帯域、映像データの解像度、および映像データのフレームレートのうち少なくとも1つと、音声データの帯域、音声データの形式、および音声データの符号化パラメータのうち少なくとも1つと、を含む。これにより、実施の形態1における通信端末P1は、ユーザ評価に基づいて、データ通信部10により取得される(つまり、他通信端末P2から送信される)映像データおよび音声データの品質を改善するための品質改善パラメータを生成できる。
【0161】
以上により、実施の形態2に係る音声映像品質改善システム100A(音声映像受信システムの一例)は、サーバS1と、映像データおよび音声データを送信する他通信端末P2A(送信装置の一例)と、映像データおよび音声データを受信する通信端末P1A(受信装置の一例)と、を備える。他通信端末P2Aは、映像データおよび音声データを通信端末P1Aに送信する。通信端末P1Aは、送信された映像データおよび音声データに基づいて、映像および音声を出力し、出力された映像および音声を視聴するユーザの映像および音声に対するユーザ評価を推定して、サーバS1に送信する。サーバS1は、送信されたユーザ評価に基づいて、他通信端末P2Aから送信される映像データおよび音声データの品質改善パラメータ(品質に関するパラメータの一例)を生成して、他通信端末P2Aに送信する。
【0162】
これにより、実施の形態2に係る音声映像品質改善システム100Aは、通信端末P1Aで映像および音声を視聴するユーザのユーザ評価に基づいて、他通信端末P2Aから送信される映像データおよび音声データの品質を改善できる。
【0163】
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【0164】
本開示は、ユーザが要望するコンテンツデータの品質改善を実行する受信装置、音声映像品質改善方法、および音声映像受信システムとして有用である。
【符号の説明】
【0165】
10,10A,20,20A,30 データ通信部
11,11A,11B,21,31,31B プロセッサ
12,22,32 メモリ
13 カメラ
14 マイク
15 入力部
16 ディスプレイ
17 スピーカ
100,100A,100B 音声映像品質改善システム
111,313 品質評価推定部
112,311,311B 品質決定部
113,312 品質指示部
114,314 復号部
115 品質評価通知部
116,212 符号化部
211 品質調整部
NW,NWA ネットワーク
P1,P1A 通信端末
P2,P2A,P3,P3A 他通信端末
S1,S1B サーバ