特許 7524501 動画に提供情報を重畳する動画配信

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-19

(45)【発行日】2024-07-29

(54)【発明の名称】動画に提供情報を重畳する動画配信

(51)【国際特許分類】

   H04N 21/234 20110101AFI20240722BHJP

【ＦＩ】

H04N21/234

【請求項の数】 8

(21)【出願番号】P 2024519560

(86)(22)【出願日】2022-06-28

(86)【国際出願番号】 JP2022025840

(87)【国際公開番号】W WO2024004052

(87)【国際公開日】2024-01-04

【審査請求日】2024-03-29

【早期審査対象出願】

(73)【特許権者】

【識別番号】399037405

【氏名又は名称】楽天グループ株式会社

(74)【代理人】

【識別番号】100110135

【弁理士】

【氏名又は名称】石井 裕一郎

(74)【代理人】

【識別番号】100132883

【弁理士】

【氏名又は名称】森川 泰司

(74)【代理人】

【識別番号】100148633

【弁理士】

【氏名又は名称】桜田 圭

(74)【代理人】

【識別番号】100163452

【弁理士】

【氏名又は名称】南郷 邦臣

(74)【代理人】

【識別番号】100180312

【弁理士】

【氏名又は名称】早川 牧子

(72)【発明者】

【氏名】菊地 航

【審査官】鈴木 順三

(56)【参考文献】

【文献】特開２０２１－０５１７５７（ＪＰ，Ａ）

【文献】特開２０１２－１２００９８（ＪＰ，Ａ）

【文献】特開２００４－２９７２４５（ＪＰ，Ａ）

【文献】特開２００８－１９９６４５（ＪＰ，Ａ）

【文献】特開２０１４－０８６７７５（ＪＰ，Ａ）

【文献】特開２０００－２４１１３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ － ２１／８５８

(57)【特許請求の範囲】

【請求項1】

配信者を撮影した距離画像に基づいて動画をストリーミング配信するための情報処理装置であって、
前記情報処理装置は、１以上のプロセッサを備え、
前記プロセッサは、
前記距離画像における奥行きの分布を取得し、
前記取得された奥行きの分布に基づいて、閾値を決定し、
前記距離画像において、奥行きが前記閾値より大きい遠方領域と、奥行きが前記閾値より小さい近傍領域と、を特定し、
前記動画がストリーミング配信される視聴者端末に、前記動画と共に、前記遠方領域を背景に、前記近傍領域を前景にして、前記背景の上に提供情報を重ね、当該提供情報が重ねられた前記背景の上に前記前景を重ねる制御情報を提供する
処理を実行する情報処理装置。

【請求項2】

前記提供情報は、前記視聴者端末の視聴者により提供される情報であり、
前記プロセッサは、
前記提供情報を、前記視聴者端末の画面の外から中に向かって移動し続け、前記画面の外へ消えるように表示させる制御情報を提供する
処理を実行する請求項１に記載の情報処理装置。

【請求項3】

前記プロセッサは、
前記近傍領域を、当該近傍領域を含む所定形状の領域に補正し、
前記遠方領域を、前記所定形状の領域を除いた領域に補正し、
前記補正された遠方領域を前記背景に、前記補正された近傍領域を前記前景にする
処理を実行する請求項１又は２に記載の情報処理装置。

【請求項4】

前記取得された奥行きの分布は混合分布であり、
前記プロセッサは、
前記取得された奥行きの分布を、第１分布と、第２分布と、に分離し、
前記第１分布の第１代表値と、前記第２分布の第２代表値と、が十分に離間していれば、前記第１代表値と、前記第２代表値と、の中間の値を、前記閾値として決定する
処理を実行する請求項１又は２に記載の情報処理装置。

【請求項5】

前記プロセッサは、
前記第１代表値と前記第２代表値との差が、前記第１分布の標準偏差と前記第２分布の標準偏差との和に、所定の値を乗じた値よりも大きい場合に、前記第１分布の第１代表値と、前記第２分布の第２代表値と、が十分に離間していると判断する
処理を実行する請求項４に記載の情報処理装置。

【請求項6】

前記プロセッサは、
前記配信者が動画を撮影する配信者端末に、現在撮影されている動画、又は、距離画像を表示し、前記距離画像において、前記遠方領域と、前記近傍領域とを、異なる表示態様で表示させる制御情報を提供する
処理を実行する請求項１又は２に記載の情報処理装置。

【請求項7】

配信者を撮影した距離画像に基づいて動画をストリーミング配信するためのコンピュータが、
前記距離画像における奥行きの分布を取得し、
前記取得された奥行きの分布に基づいて、閾値を決定し、
前記距離画像において、奥行きが前記閾値より大きい遠方領域と、奥行きが前記閾値より小さい近傍領域と、を特定し、
前記動画がストリーミング配信される視聴者端末に、前記動画と共に、前記遠方領域を背景に、前記近傍領域を前景にして、前記背景の上に提供情報を重ね、当該提供情報が重ねられた前記背景の上に前記前景を重ねる制御情報を提供する
表示制御方法。

【請求項8】

配信者を撮影した距離画像に基づいて動画をストリーミング配信するためのコンピュータに、
前記距離画像における奥行きの分布を取得し、
前記取得された奥行きの分布に基づいて、閾値を決定し、
前記距離画像において、奥行きが前記閾値より大きい遠方領域と、奥行きが前記閾値より小さい近傍領域と、を特定し、
前記動画がストリーミング配信される視聴者端末に、前記動画と共に、前記遠方領域を背景に、前記近傍領域を前景にして、前記背景の上に提供情報を重ね、当該提供情報が重ねられた前記背景の上に前記前景を重ねる制御情報を提供する
処理を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、動画に提供情報を重畳する動画配信に関する。

【背景技術】

【0002】

近年、ストリーミング配信される動画に、動画について提供される提供情報を重畳して、視聴者の端末に表示させる技術が知られている。

【0003】

例えば、特許文献１には、端末装置が、動画配信サーバから配信される動画を動画表示領域に表示し、動画に関するコメントを管理するコメント配信サーバから受信したコメントの一部を、動画表示領域に表示された動画に重ねるように表示する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２２－０４６５７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ストリーミング配信される動画では、配信者が商品やフリップボード等のアイテムを所持し、アイテムについて説明する場合がある。このような場合、上記の技術のように、コメントのような提供情報を動画に重畳すると、アイテムに提供情報が重なってしまい、配信者が見せようとしているアイテムが見にくくなってしまうという問題がある。

【0006】

本開示は、上記事情に鑑みてなされたものであり、ストリーミング配信される動画において、動画に含まれる情報の視聴を妨げることなく提供情報を表示させることが可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示の第１の観点に係る情報処理装置は、
配信者を撮影した距離画像に基づいて動画をストリーミング配信するための情報処理装置であって、
前記情報処理装置は、１以上のプロセッサを備え、
前記プロセッサは、
前記距離画像における奥行きの分布を取得し、
前記取得された奥行きの分布に基づいて、閾値を決定し、
前記距離画像において、奥行きが前記閾値より大きい遠方領域と、奥行きが前記閾値より小さい近傍領域と、を特定し、
前記動画がストリーミング配信される視聴者端末に、前記動画と共に、前記遠方領域を背景に、前記近傍領域を前景にして、前記背景の上に提供情報を重ね、当該提供情報が重ねられた前記背景の上に前記前景を重ねる制御情報を提供する
処理を実行する。

【0008】

本開示の第２の観点に係る表示制御方法は、
配信者を撮影した距離画像に基づいて動画をストリーミング配信するためのコンピュータが、
前記距離画像における奥行きの分布を取得し、
前記取得された奥行きの分布に基づいて、閾値を決定し、
前記距離画像において、奥行きが前記閾値より大きい遠方領域と、奥行きが前記閾値より小さい近傍領域と、を特定し、
前記動画がストリーミング配信される視聴者端末に、前記動画と共に、前記遠方領域を背景に、前記近傍領域を前景にして、前記背景の上に提供情報を重ね、当該提供情報が重ねられた前記背景の上に前記前景を重ねる制御情報を提供する。

【0009】

本開示の第３の観点に係る記録媒体は、
配信者を撮影した距離画像に基づいて動画をストリーミング配信するためのコンピュータに、
前記距離画像における奥行きの分布を取得し、
前記取得された奥行きの分布に基づいて、閾値を決定し、
前記距離画像において、奥行きが前記閾値より大きい遠方領域と、奥行きが前記閾値より小さい近傍領域と、を特定し、
前記動画がストリーミング配信される視聴者端末に、前記動画と共に、前記遠方領域を背景に、前記近傍領域を前景にして、前記背景の上に提供情報を重ね、当該提供情報が重ねられた前記背景の上に前記前景を重ねる制御情報を提供する
処理を実行させるためのプログラムを記録する。

【発明の効果】

【0010】

本開示によれば、ストリーミング配信される動画において、動画に含まれる情報の視聴を妨げることなく提供情報を表示させることができる。

【図面の簡単な説明】

【0011】

【図1】実施形態に係る動画配信システムの全体構成を示す図である。

【図2】実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。

【図3】実施形態に係る配信サーバの機能構成を示す図である。

【図4】実施形態に係る配信者端末から受信する動画を説明するための図である。

【図5】実施形態に係る提供情報を説明するための図である。

【図6】実施形態に係る視聴者端末の画面に提供情報が表示された様子を示す図である。

【図7】実施形態に係る遠方領域と近傍領域とを説明するための図である。

【図8】実施形態に係る背景を説明するための図である。

【図9】実施形態に係る前景を説明するための図である。

【図10】実施形態に係る視聴者端末の画面に提供情報が表示された様子を示す図である。

【図11】実施形態に係る視聴者端末の画面に提供情報が表示された様子を示す図である。

【図12】実施形態に係る配信者端末の画面に近傍領域と遠方領域とが異なる表示態様で表示された様子を示す図である。

【図13】実施形態に係る表示制御処理を示すフローチャートである。

【発明を実施するための形態】

【0012】

（１．全体構成）
本開示の実施形態に係る動画配信システム１は、動画配信サービスを提供するシステムである。動画配信システム１は、図１に示すように、配信サーバ１００と、配信者端末２００と、複数の視聴者端末３００と、を含み、それぞれがインターネット等のコンピュータ通信網４００を介して通信可能に接続される。

【0013】

配信サーバ１００は、動画配信システム１が提供する動画配信サービスを管理する装置である。具体的には、配信サーバ１００は、配信者端末２００から受信した動画を管理する。また、配信サーバ１００は、動画の配信中に、複数の視聴者端末３００から提供情報を受信する。そして、配信サーバ１００は、視聴者端末３００からの要求に応じて、配信者端末２００から受信した動画と、提供情報とを視聴者端末３００に配信する。

【0014】

ここで、提供情報とは、配信中の動画の視聴者から提供される情報であって、視聴者端末３００の視聴者により提供される情報である。提供情報は、例えば、動画に関する視聴者のコメントである。

【0015】

配信者端末２００は、動画を配信する配信者が使用する端末である。配信者は、例えば、配信者端末２００を用いて、自身を撮影した動画を配信サーバ１００に送信し、配信サーバ１００を介して視聴者端末３００に動画を配信する。

【0016】

視聴者端末３００は、配信された動画を視聴する視聴者が使用する端末である。視聴者は、例えば、配信サーバ１００が管理する動画配信サービスに視聴者端末３００からログインし、配信サーバ１００を介して配信者端末２００から配信される動画を視聴する。また、視聴者は、例えば、配信される動画を視聴中に、視聴者端末３００を用いて提供情報を入力し、視聴者端末３００は、入力された提供情報を配信サーバ１００に送信する。

【0017】

（２．情報処理装置のハードウェア構成）
図２は、配信サーバ１００、配信者端末２００及び視聴者端末３００を実現する情報処理装置５００のハードウェア構成を示すブロック図である。

【0018】

情報処理装置５００は、図２に示すように、ＣＰＵ（Central Processing Unit）１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、記録媒体１４と、出力デバイス１５と、通信デバイス１６と、入力デバイス１７と、を備える。各構成要素は、バス１８により接続されている。

【0019】

ＣＰＵ１１は、情報処理装置５００全体の動作を制御し、各構成要素と接続され、制御信号やデータをやりとりする。

【0020】

ＲＯＭ１２には、情報処理装置５００全体の動作制御に必要なオペレーティングの記録媒体や各種のデータが記録される。

【0021】

ＲＡＭ１３は、データや記録媒体を一時的に記録するためのもので、記録媒体１４から読み出した記録媒体やデータ、その他、通信に必要なデータ等が保持される。

【0022】

記録媒体１４は、ハードディスクやフラッシュメモリ等から構成され、情報処理装置５００で処理するデータを記録する。

【0023】

出力デバイス１５は、ＬＣＤ（Liquid Crystal Display）及びバックライト等の表示装置や、スピーカ等の音声出力装置を備える。出力デバイス１５は、ＣＰＵ１１による制御の下、例えば、ＣＰＵ１１から出力されたデータを出力する。

【0024】

通信デバイス１６は、情報処理装置５００をインターネット等のコンピュータ通信網４００に接続するための通信インタフェースを含み、通信デバイス１６を介して他の情報処理装置等とやりとりをする。

【0025】

入力デバイス１７は、ボタン、キーボード、タッチパネル、マイク、カメラ、光学スキャナ等の入力装置を備える。入力デバイス１７は、情報処理装置５００の使用者から操作入力を受け付け、受け付けた操作入力に対応する信号をＣＰＵ１１に出力する。

【0026】

（３．実施形態の配信サーバの機能構成）
配信サーバ１００の機能構成について、図３を用いて説明する。

【0027】

配信サーバ１００は、機能的には、取得部１０１と、決定部１０２と、特定部１０３と、提供部１０４と、を備える。本実施形態において、ＣＰＵ１１及び通信デバイス１６が協働して、取得部１０１及び提供部１０４として機能し、ＣＰＵ１１が、決定部１０２及び特定部１０３として機能する。

【0028】

以下では、動画配信サービスにおいて配信される動画は、配信者が自身を撮影したものであるとする。配信サーバ１００は、配信者を撮影した距離画像に基づいて動画をストリーミング配信する。

【0029】

距離画像とは、各画素の値が被写体までの距離を示す画像である。距離画像は、デプスカメラのような専用ハードウェアにより撮影されて得られたものでもよいし、汎用的なカメラにより撮影された動画について距離推定処理を行うことにより得られたものであってもよい。したがって、距離画像は、動画を撮影する配信者端末２００が生成してもよいし、配信サーバ１００が受信した動画に基づいて生成してもよい。距離画像は、後述するように、取得部１０１による奥行きの分布の取得に用いられる。

【0030】

配信サーバ１００が視聴者端末３００に配信する動画には、配信者を撮影した動画と、視聴者端末３００を使用する視聴者から提供される提供情報と、が含まれる。図４に、配信者端末２００から受信した動画の画像６１０を示す。画像６１０は、配信者６０１が、アイテム６０２を体の前に所持して、アイテム６０２について説明している様子を示している。また、図５に、視聴者端末３００から受信した提供情報６０３～６０５が含まれる画像６２０を示す。提供情報６０３～６０５のそれぞれは、配信されている動画を視聴中の複数の視聴者により提供されたものである。提供情報は、配信サーバ１００により、例えば、ランダムな位置等、任意の位置に配置される。配信サーバ１００は、画像６１０に画像６２０を重畳するための情報を、視聴者端末３００に送信する。

【0031】

図６に、配信サーバ１００から配信された動画が視聴者端末３００の画面３１０に表示されている様子を示す。画面３１０では、提供情報６０３～６０５が、配信者６０１を撮影した動画に重畳して表示されている。提供情報６０３は、時間経過と共に、画面３１０の外から中に向かって、矢印６０６の方向に移動し続け、画面の外へ消える。

【0032】

図６の画面３１０では、提供情報６０５がアイテム６０２の上に重なり、アイテム６０２が提供情報６０５に隠されて見にくくなっている。以下では、提供情報６０５がアイテム６０２を隠さないように、提供情報を表示する手法について説明する。

【0033】

図３の取得部１０１は、距離画像における奥行きの分布を取得する。

【0034】

例えば、取得部１０１は、図４の画像６１０の距離画像を配信者端末２００から受信し、距離画像における被写体の奥行きの分布を取得する。

【0035】

ここで、取得された奥行きの分布には、配信者６０１の奥行きを示す分布Ｄ１と、アイテム６０２の奥行きを示す分布Ｄ２とが含まれる。したがって、取得された奥行きの分布は混合分布であると見なすことができる。

【0036】

決定部１０２は、取得された奥行きの分布に基づいて、閾値を決定する。

【0037】

具体的には、決定部１０２は、取得された奥行きの分布を、第１分布と、第２分布と、に分離し、第１分布の第１代表値と、第２分布の第２代表値と、が十分に離間していれば、第１代表値と、第２代表値と、の中間の値を、閾値として決定する。

【0038】

第１代表値とは、例えば、第１分布の平均値、中央値、最頻値等の第１分布を代表する値である。また、第２代表値とは、例えば、第２分布の平均値、中央値、最頻値等の第２分布を代表する値である。以下では、第１代表値を、第１分布の平均値、第２代表値を、第２分布の平均値とする。

【0039】

例えば、決定部１０２は、配信者６０１の奥行きを示す分布Ｄ１を第１分布、アイテム６０２の奥行きを示す分布Ｄ２を第２分布として、取得された奥行きの分布を分離する。なお、取得された奥行きの分布を、第１分布と第２分布とに分離する手法としては、例えば、正規混合分布に対するＥＭ（Expectation Maximization）アルゴリズムのような既知の手法を採用する。次に、決定部１０２は、配信者６０１の奥行きを示す分布Ｄ１の平均値μ１と、アイテム６０２の奥行きを示す分布Ｄ２の平均値μ２と、とが十分に離間していれば、分布Ｄ１の平均値μ１と分布Ｄ２の平均値μ２との中間の値（μ１＋μ２）／２を、閾値とする。

【0040】

ここで、決定部１０２は、第１代表値と第２代表値との差が、第１分布の標準偏差と第２分布の標準偏差との和に、所定の値を乗じた値よりも大きい場合に、第１分布の第１代表値と、第２分布の第２代表値と、が十分に離間していると判断する。

【0041】

例えば、決定部１０２は、配信者６０１の奥行きを示す分布Ｄ１の平均値μ１と、アイテム６０２の奥行きを示す分布Ｄ２の平均値μ２との差（μ１－μ２）が、分布Ｄ１の標準偏差σ１と分布Ｄ２の標準偏差σ２との和に正定数αを乗じた数（（σ１＋σ２）×α）より大きい場合に、分布Ｄ１の平均値μ１と分布Ｄ２の平均値μ２とが十分に離間していると判断する。なお、正定数αは、例えば、１～２の値が設定されるが、配信サーバ１００の管理者により適宜設定可能である。

【0042】

特定部１０３は、距離画像において、奥行きが閾値より大きい遠方領域と、奥行きが閾値より小さい近傍領域と、を特定する。

【0043】

遠方領域は、奥行きが閾値より大きい領域であり、相対的に画面の手前から遠方にある領域である。近傍領域は、奥行きが閾値より小さい領域であり、相対的に画面の手前の近傍にある領域である。

【0044】

例えば、閾値が、分布Ｄ１の平均値μ１と分布Ｄ２の平均値μ２の中間の値（μ１＋μ２）／２とすると、特定部１０３は、配信者端末２００から受信した動画のうち、アイテム６０２を含む領域を近傍領域として特定し、近傍領域以外の領域であって、配信者６０１を含む領域及び配信者６０１以外のその他の領域を遠方領域として特定する。

【0045】

ここで、特定部１０３は、近傍領域を所定形状の領域に補正し、遠方領域を所定形状の領域以外の領域に補正する。

【0046】

所定形状とは、矩形、楕円形等の任意の形状であり、配信サーバ１００の管理者が任意に定めることができる。所定形状の領域とは、近傍領域を含む、近傍領域よりも大きな領域である。したがって、所定形状の領域は、補正前の近傍領域と、補正前の遠方領域の一部を含む。

【0047】

距離画像の精度によっては、特定された近傍領域にアイテム６０２の端の部分が含まれないことが考えられる。よって、特定された近傍領域を含む所定形状の領域に補正することにより、近傍領域にアイテム６０２全体を含めるようにすることができる。以下では、所定形状を矩形とし、所定形状の領域は、近傍領域の面積に正定数β（βは１より大きい）を乗じた面積を有し、中心が補正前の近傍領域の中心と重なる領域であるとする。

【0048】

図７に補正後の近傍領域６０７及び補正後の遠方領域６０８を示す。近傍領域６０７には、アイテム６０２が映された領域が全て含まれる。遠方領域６０８には、近傍領域６０７以外の領域が含まれる。

【0049】

提供部１０４は、動画がストリーミング配信される視聴者端末３００に、動画と共に、遠方領域を背景に、近傍領域を前景にして、背景の上に提供情報を重ね、当該提供情報が重ねられた背景の上に前景を重ねる制御情報を提供する。

【0050】

制御情報とは、視聴者端末３００に表示される提供情報の表示態様を制御するための情報である。配信サーバ１００は、視聴者が使用する視聴者端末３００に制御情報を送信し、視聴者端末３００に、視聴者から提供された提供情報を制御情報に基づいて表示させる。

【0051】

ここで、提供部１０４は、提供情報を、視聴者端末の画面の外から中に向かって移動し続け、画面の外へ消えるように表示させる制御情報を提供する。

【0052】

例えば、提供部１０４は、提供情報６０３～６０５を、時間経過と共に、画面３１０の外から中に向かって、矢印６０６の方向に移動させ続け、画面３１０の外へ消える制御情報を提供する。

【0053】

図８に、画像６１０の背景６３０、図９に、画像６１０の前景６４０を示す。背景６３０は、図７の画像６１０のうち遠方領域６０８を映したものであり、前景６４０は、図７の画像６１０のうち近傍領域６０７のみを映したものである。提供部１０４は、図８の背景６３０の上に、図５の提供情報６０３～６０５が含まれる画像６２０を重ね、さらに、その上に図９の前景６４０を重ねた制御情報を生成する。すなわち、提供部１０４は、背景６３０のレイヤの上に、図５の提供情報の画像６２０のレイヤを重ね、その上に前景６４０のレイヤを重ねる制御情報を生成する。そして、提供部１０４は、動画がストリーミング配信される視聴者端末３００に、動画と共に、生成した制御情報を送信する。

【0054】

図１０に、配信サーバ１００から送信された制御情報に基づいて、視聴者端末３００の画面３１０に表示される動画の様子を示す。図１０の画面３１０では、提供情報６０５は、アイテム６０２を含む近傍領域の後ろに表示される。

【0055】

図１１に、図１０から数秒後の画面３１０の様子を示す。図１１の画面３１０では、提供情報６０５は、矢印６０６が示す方向に移動し、アイテム６０２を含む近傍領域の後ろであって、配信者６０１を含む遠方領域の前に表示される。

【0056】

また、提供部１０４は、配信者が動画を撮影する配信者端末２００に、現在撮影されている動画、又は、距離画像を表示し、距離画像において、遠方領域と、近傍領域とを、異なる表示態様で表示させる制御情報を提供する。

【0057】

例えば、提供部１０４は、一方の領域に赤色フィルタをかけ、他方の領域に青色フィルタをかけることにより、遠方領域と近傍領域とを異なる表示態様で表示させる制御情報を生成し、配信者端末２００に送信する。

【0058】

図１２に、配信サーバ１００から送信された制御情報に基づいて動画が配信者端末２００の画面２１０に表示されている様子を示す。図１２の画面２１０では、近傍領域６０７と遠方領域６０８とが異なる表示態様で表示される。配信者６０１は、動画の撮影中に、所持しているアイテム６０２が提供情報に隠れずに前景になっているかを確認することができる。

【0059】

（４．実施形態の配信サーバの動作）
本実施形態の配信サーバ１００の動作について、図１３を用いて説明する。図１３の表示制御処理は、例えば、配信サーバ１００が配信する動画のフレーム毎に実行される。

【0060】

取得部１０１は、距離画像における奥行きの分布を取得する（ステップＳ１０１）。

【0061】

例えば、取得部１０１は、図４の画像６１０の距離画像を配信者端末２００から受信し、距離画像における被写体の奥行きの分布を取得する。

【0062】

決定部１０２は、取得された奥行きの分布を、第１分布と、第２分布と、に分離する（ステップＳ１０２）。

【0063】

例えば、決定部１０２は、取得された奥行きの分布を、既知の手法により、配信者６０１の奥行きを示す分布Ｄ１を第１分布、アイテム６０２の奥行きを示す分布Ｄ２を第２分布として分離する。

【0064】

次に、決定部１０２は、第１分布の第１代表値と、第２分布の第２代表値と、が十分に離間しているか否かを判断する（ステップＳ１０３）。決定部１０２は、第１代表値と、第２代表値と、が十分に離間していると判断すると（ステップＳ１０３；ＹＥＳ）、閾値を決定する（ステップＳ１０４）。一方、決定部１０２は、第１代表値と、第２代表値と、が十分に離間していないと判断すると（ステップＳ１０３；ＮＯ）、処理を終了する。

【0065】

例えば、配信者６０１の奥行きを示す分布Ｄ１の平均値μ１と、アイテム６０２の奥行きを示す分布Ｄ２の平均値μ２との差（μ１－μ２）が、分布Ｄ１の標準偏差σ１と分布Ｄ２の標準偏差σ２との和に１を乗じた数（（σ１＋σ２）×１）より大きい場合、決定部１０２は、第１代表値と、第２代表値と、が十分に離間していると判断する。そして、決定部１０２は、分布Ｄ１の平均値μ１と分布Ｄ２の平均値μ２との中間の値（μ１＋μ２）／２を、閾値とする。一方、差（μ１－μ２）が数（（σ１＋σ２）×１）以下の場合、決定部１０２は、第１代表値と、第２代表値と、が十分に離間していないと判断し、処理を終了する。

【0066】

特定部１０３は、距離画像において、奥行きが閾値より大きい遠方領域と、奥行きが閾値より小さい近傍領域と、を特定する（ステップＳ１０５）。

【0067】

例えば、特定部１０３は、配信者端末２００から受信した動画のうち、アイテム６０２を含む領域を近傍領域として特定し、特定した近傍領域を所定形状の領域により補正し、近傍領域６０７を特定する。また、特定部１０３は、近傍領域６０７以外の領域であって、配信者６０１を含む領域及び配信者６０１以外のその他の領域を遠方領域６０８として特定する。

【0068】

提供部１０４は、動画がストリーミング配信される視聴者端末３００に、動画と共に、遠方領域を背景に、近傍領域を前景にして、背景の上に提供情報を重ね、当該提供情報が重ねられた背景の上に前景を重ねる制御情報を提供する（ステップＳ１０６）。

【0069】

例えば、提供部１０４は、図８の背景６３０の上に、図５の提供情報６０３～６０５が含まれる画像６２０を重ね、さらに、その上に図９の前景６４０を重ねる制御情報を生成する。そして、提供部１０４は、動画がストリーミング配信される視聴者端末３００に、動画と共に、生成した制御情報を送信する。

【0070】

配信者が撮影される動画において、配信者がアイテムについて言及する場合、アイテムは配信者よりも奥行きが相対的に手前側に配置されることが多い。本実施形態によれば、ストリーミング配信される動画において、距離画像に基づき奥行きが相対的に手前側の近傍領域を特定し、近傍領域を前景として提供情報の上に重ねるように表示することができる。これにより、動画において、配信者が言及するアイテムのような、相対的に手前側に映されているものに、提供情報を重ねることなく表示することができる。したがって、ストリーミング配信される動画において、動画に含まれる情報の視聴を妨げることなく提供情報を表示させることができる。

【0071】

また、本実施形態によれば、距離画像に基づき奥行きが相対的に遠方の遠方領域を特定し、遠方領域を背景として提供情報を上に重ねるように表示することができる。これにより、遠方領域に映されている配信者の映像に提供情報を重ねるように表示することができる。したがって、視聴者は、提供情報を見ながら配信者の様子を視聴することができる。

【0072】

また、本実施形態によれば、視聴者により提供された提供情報を画面において移動させて表示することができる。これにより、提供情報が近傍領域に隠されてしまったとしても、時間経過に伴い、提供情報の全体を把握することができる。

【0073】

また、本実施形態によれば、近傍領域を、近傍領域を含む所定形状の領域に補正し、遠方領域を、所定形状の領域を除いた領域に補正することができる。これにより、距離画像の精度が低い場合でも、相対的に手前側に映されているものを適切に近傍領域に含めることができ、相対的に手前側に映されているものに提供情報を重ねることなく表示することができる。

【0074】

また、本実施形態によれば、距離画像から取得された奥行きの分布を混合分布として２つの分布に分離し、分離した２つの分布の代表値が十分に離間していれば、それら代表値の中間の値を閾値として決定する。これにより、近傍領域と遠方領域とを特定するための閾値を、分離された分布から適切に決定することができる。

【0075】

また、本実施形態によれば、閾値の決定に際し、２つの分布の代表値の差が、２つの分布の標準偏差の和に所定の値を乗じた値よりも大きい場合に、２つの分布の代表値が十分に離間していると判断する。これにより、分離した２つの分布の代表値が十分に離間しているか否かを、分布から得られる情報に基づいて適切に判断することができる。

【0076】

また、本実施形態によれば、配信者が動画を撮影する配信者端末の画面に、現在撮影されている距離画像を表示し、遠方領域と近傍領域とを異なる表示態様で表示させることができる。これにより、配信者は、撮影をしながら、画面において相対的に手前に映したいものが提供情報に隠れずに前景となっているかを確認することができる。

【0077】

（５．変形例）
以上、本開示の実施形態を説明したが、本開示を実施するにあたっては、種々の形態による変形及び応用が可能である。

【0078】

上記実施形態において、動画配信システム１には１つの配信サーバ１００が含まれているが、これに限らない。配信サーバ１００の機能は、複数のサーバにより実現されてもよい。また、配信サーバ１００は、少なくとも１つ以上のプロセッサを備える。例えば、配信サーバ１００が２以上のプロセッサを備える場合、これらのプロセッサが、取得部１０１、決定部１０２、特定部１０３及び提供部１０４が実行する処理を、分散しておこなってもよい。

【0079】

また、上記実施形態において、配信サーバ１００が制御情報を提供するとしたが、これに限らず、視聴者端末３００が制御情報を、視聴者端末３００自身に提供してもよい。つまり、視聴者端末３００は、取得部１０１、決定部１０２、特定部１０３及び提供部１０４の機能を有しても良い。

【0080】

また、上記実施形態において、動画は、配信者が自身を撮影したものであるとするとしたが、これに限らず、撮影空間の奥行きの分布を取得できるものであればどのような動画でもよい。動画は、例えば、仮想空間においてアバターが撮影されたものでもよい。

【0081】

また、上記実施形態に係る配信サーバ１００の動作を規定するプログラムを、既存のパーソナルコンピュータ又は情報端末装置に適用することで、当該パーソナルコンピュータ又は情報端末装置を、実施形態に係る配信サーバ１００として機能させることも可能である。

【0082】

また、上記プログラムは、非一時的な（non-transitory）記録媒体に記録されてもよい。非一時的な記録媒体は、コンピュータとは独立して配布・販売することができる。ここで、非一時的な記録媒体とは、有形な（tangible）記録媒体をいう。非一時的な記録媒体は、例えば、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等である。また、一時的な（transitory）記録媒体とは、伝送媒体（伝搬信号）それ自体を示す。一時的な記録媒体は、例えば、電気信号、光信号、電磁波等である。なお、一時的な（temporary）記憶領域とは、データや記録媒体を一時的に記憶するための領域であり、例えば、ＲＡＭ等の揮発性メモリである。

【0083】

（付記）
［１］
配信者を撮影した距離画像に基づいて動画をストリーミング配信するための情報処理装置であって、
前記情報処理装置は、１以上のプロセッサを備え、
前記プロセッサは、
前記距離画像における奥行きの分布を取得し、
前記取得された奥行きの分布に基づいて、閾値を決定し、
前記距離画像において、奥行きが前記閾値より大きい遠方領域と、奥行きが前記閾値より小さい近傍領域と、を特定し、
前記動画がストリーミング配信される視聴者端末に、前記動画と共に、前記遠方領域を背景に、前記近傍領域を前景にして、前記背景の上に提供情報を重ね、当該提供情報が重ねられた前記背景の上に前記前景を重ねる制御情報を提供する
処理を実行する情報処理装置。

【0084】

［２］
前記提供情報は、前記視聴者端末の視聴者により提供される情報であり、
前記プロセッサは、
前記提供情報を、前記視聴者端末の画面の外から中に向かって移動し続け、前記画面の外へ消えるように表示させる制御情報を提供する
処理を実行する［１］に記載の情報処理装置。

【0085】

［３］
前記プロセッサは、
前記近傍領域を、当該近傍領域を含む所定形状の領域に補正し、
前記遠方領域を、前記所定形状の領域を除いた領域に補正し、
前記補正された遠方領域を前記背景に、前記補正された近傍領域を前記前景にする
処理を実行する［１］又は［２］に記載の情報処理装置。

【0086】

［４］
前記取得された奥行きの分布は混合分布であり、
前記プロセッサは、
前記取得された奥行きの分布を、第１分布と、第２分布と、に分離し、
前記第１分布の第１代表値と、前記第２分布の第２代表値と、が十分に離間していれば、前記第１代表値と、前記第２代表値と、の中間の値を、前記閾値として決定する
処理を実行する［１］から［３］のいずれか１つに記載の情報処理装置。

【0087】

［５］
前記プロセッサは、
前記第１代表値と前記第２代表値との差が、前記第１分布の標準偏差と前記第２分布の標準偏差との和に、所定の値を乗じた値よりも大きい場合に、前記第１分布の第１代表値と、前記第２分布の第２代表値と、が十分に離間していると判断する
処理を実行する［４］に記載の情報処理装置。

【0088】

［６］
前記プロセッサは、
前記配信者が動画を撮影する配信者端末に、現在撮影されている動画、又は、距離画像を表示し、前記距離画像において、前記遠方領域と、前記近傍領域とを、異なる表示態様で表示させる制御情報を提供する
処理を実行する［１］から［５］のいずれか１つに記載の情報処理装置。

【0089】

［７］
配信者を撮影した距離画像に基づいて動画をストリーミング配信するためのコンピュータが、
前記距離画像における奥行きの分布を取得し、
前記取得された奥行きの分布に基づいて、閾値を決定し、
前記距離画像において、奥行きが前記閾値より大きい遠方領域と、奥行きが前記閾値より小さい近傍領域と、を特定し、
前記動画がストリーミング配信される視聴者端末に、前記動画と共に、前記遠方領域を背景に、前記近傍領域を前景にして、前記背景の上に提供情報を重ね、当該提供情報が重ねられた前記背景の上に前記前景を重ねる制御情報を提供する
表示制御方法。

【0090】

［８］
配信者を撮影した距離画像に基づいて動画をストリーミング配信するためのコンピュータに、
前記距離画像における奥行きの分布を取得し、
前記取得された奥行きの分布に基づいて、閾値を決定し、
前記距離画像において、奥行きが前記閾値より大きい遠方領域と、奥行きが前記閾値より小さい近傍領域と、を特定し、
前記動画がストリーミング配信される視聴者端末に、前記動画と共に、前記遠方領域を背景に、前記近傍領域を前景にして、前記背景の上に提供情報を重ね、当該提供情報が重ねられた前記背景の上に前記前景を重ねる制御情報を提供する
処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

【0091】

本開示は、本開示の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、本開示の範囲を限定するものではない。すなわち、本開示の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。

【産業上の利用可能性】

【0092】

本開示によれば、ストリーミング配信される動画において、動画に含まれる情報の視聴を妨げることなく提供情報を表示させることができる動画配信に好適に採用され得る。

【符号の説明】

【0093】

１ 動画配信システム、１１ ＣＰＵ、１２ ＲＯＭ、１３ ＲＡＭ、１４ 記録媒体、１５ 出力デバイス、１６ 通信デバイス、１７ 入力デバイス、１８ バス、１００ 配信サーバ、１０１ 取得部、１０２ 決定部、１０３ 特定部、１０４ 提供部、２００ 配信者端末、２１０，３１０ 画面、３００ 視聴者端末、４００ コンピュータ通信網、５００ 情報処理装置、６０１ 配信者、６０２ アイテム、６０３～６０５ 提供情報、６０６ 矢印、６０７ 近傍領域、６０８ 遠方領域、６１０，６２０ 画像、６３０ 背景、６４０ 前景

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】