(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-06
(45)【発行日】2024-11-14
(54)【発明の名称】ライブ配信中に映像を表示する配信者端末、表示方法、および、プログラム
(51)【国際特許分類】
H04N 21/854 20110101AFI20241107BHJP
【FI】
H04N21/854
(21)【出願番号】P 2024500767
(86)(22)【出願日】2022-02-16
(86)【国際出願番号】 JP2022006174
(87)【国際公開番号】W WO2023157124
(87)【国際公開日】2023-08-24
【審査請求日】2024-04-04
【早期審査対象出願】
(73)【特許権者】
【識別番号】399037405
【氏名又は名称】楽天グループ株式会社
(74)【代理人】
【識別番号】100110135
【氏名又は名称】石井 裕一郎
(74)【代理人】
【識別番号】100132883
【氏名又は名称】森川 泰司
(74)【代理人】
【識別番号】100148633
【氏名又は名称】桜田 圭
(74)【代理人】
【識別番号】100163452
【氏名又は名称】南郷 邦臣
(74)【代理人】
【識別番号】100180312
【氏名又は名称】早川 牧子
(72)【発明者】
【氏名】菊地 航
【審査官】富樫 明
(56)【参考文献】
【文献】特表2016-509683(JP,A)
【文献】特開2008-054331(JP,A)
【文献】特開2015-230684(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00-21/858
(57)【特許請求の範囲】
【請求項1】
撮影部により撮影されているライブ映像内における所定の合成位置にオブジェクトを合成した映像であって、視聴者端末に向けた配信のための視聴者用映像の送信と、
前記ライブ映像を反転させた鏡像映像に前記オブジェクトを合成した映像であって、前記合成位置に対する鏡像の位置に前記オブジェクトを
反転させることなく合成した配信者用映像の表示と、
を実行するプロセッサ、
を備えることを特徴とする配信者端末。
【請求項2】
前記プロセッサは、
前記配信者用映像内における前記オブジェクトに対する配信者からの操作に従って、前記ライブ映像及び前記鏡像映像に合成する前記オブジェクトについての表示態様の変更、を更に実行する、
ことを特徴とする請求項1に記載の配信者端末。
【請求項3】
前記表示態様の変更には、前記オブジェクトの大きさ、形状、色彩、模様、明度、輝度の少なくとも1つの変更が含まれる、
ことを特徴とする請求項2に記載の配信者端末。
【請求項4】
前記プロセッサは、
配信者からの操作によって前記配信者用映像内における前記オブジェクトが新たな位置へ移動されると、前記ライブ映像に合成する前記オブジェクトについての前記新たな位置に対する正像の位置への変更、を更に実行する、
ことを特徴とする請求項1又は2に記載の配信者端末。
【請求項5】
前記オブジェクトには、商品を販売する販売サーバへ遷移するための遷移情報が付加されている、
ことを特徴とする請求項1又は2に記載の配信者端末。
【請求項6】
前記オブジェクトには、文字情報が含まれている、
ことを特徴とする請求項1又は2に記載の配信者端末。
【請求項7】
コンピュータが、
撮影部により撮影されているライブ映像内における所定の合成位置にオブジェクトを合成した映像であって、視聴者端末に向けた配信のための視聴者用映像の送信と、
前記ライブ映像を反転させた鏡像映像に前記オブジェクトを合成した映像であって、前記合成位置に対する鏡像の位置に前記オブジェクトを
反転させることなく合成した配信者用映像の表示と、
を実行することを特徴とする表示方法。
【請求項8】
コンピュータに、
撮影部により撮影されているライブ映像内における所定の合成位置にオブジェクトを合成した映像であって、視聴者端末に向けた配信のための視聴者用映像の送信、
前記ライブ映像を反転させた鏡像映像に前記オブジェクトを合成した映像であって、前記合成位置に対する鏡像の位置に前記オブジェクトを
反転させることなく合成した配信者用映像の表示、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ライブ配信中に映像を表示する配信者端末、表示方法、および、記録媒体に関する。
【背景技術】
【0002】
近年、「ライブコマース」と呼ばれる電子商取引が注目されている。このライブコマースとは、配信者が商品について紹介するライブ映像を配信し、そのライブ映像を視聴している視聴者が商品を購入できるという形態の電子商取引である。
【0003】
例えば、特許文献1には、出品者(配信者)が自身の端末(配信者端末)を介してライブ動画(ライブ映像)を配信し、ライブ動画を視聴している視聴者が出品者に質問を行うなどしながら商品を購入できるオンライン商取引支援システムが開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述したライブコマースに限られず、配信者が自身のライブ映像を配信する場合において、配信者端末の表示部に、カメラ(撮影部)によって撮影されているライブ映像をそのまま表示するのではなく、ライブ映像を反転(鏡面反転)させた鏡像映像を表示するのが一般的である。つまり、配信者は、鏡の前で自身の姿を確認するのと同じように、配信者端末の表示部に表示される鏡像映像を確認しながら配信を行うことになる。
【0006】
このようなライブ映像では、例えば、視聴者に報知するための文字情報を含んだオブジェクト(ライブコマースであれば、商品の購入ボタンや商品の特徴が記された字幕等)が合成されることもある。その際、配信者端末の表示部では、そのようなオブジェクトも反転されて表示されるため、配信者にとって、オブジェクトに含まれる文字情報の可読性が著しく低下してしまうという問題があった。なお、ライブ映像を反転させた後の鏡像映像に、オブジェクトを合成することも考えられるが、単純にライブ映像と同じ位置にオブジェクトを合成してしまうと、配信者がオブジェクトを指し示すような動作をした場合に、視聴者が視聴しているライブ画像におけるオブジェクトとは異なる位置を指し示してしまうことも起こり得る。
【0007】
本開示は、上述のような課題を解決するためになされたものであり、配信者を適切に支援することのできる配信者端末、表示方法、および、記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0008】
本開示の第1の観点に係る配信者端末は、
撮影部により撮影されているライブ映像内における所定の合成位置にオブジェクトを合成した映像であって、視聴者端末に向けた配信のための視聴者用映像の送信と、
前記ライブ映像を反転させた鏡像映像に前記オブジェクトを合成した映像であって、前記合成位置に対する鏡像の位置に前記オブジェクトを合成した配信者用映像の表示と、
を実行するプロセッサ、
を備えることを特徴とする。
【0009】
また、上記観点に係る配信者端末において、
前記プロセッサは、
前記配信者用映像内における前記オブジェクトに対する配信者からの操作に従って、前記ライブ映像及び前記鏡像映像に合成する前記オブジェクトについての表示態様の変更、を更に実行するようにしてもよい。
【0010】
また、上記観点に係る配信者端末において、
前記表示態様の変更には、前記オブジェクトの大きさ、形状、色彩、模様、明度、輝度の少なくとも1つの変更が含まれるようにしてもよい。
【0011】
また、上記観点に係る配信者端末において、
前記プロセッサは、
配信者からの操作によって前記配信者用映像内における前記オブジェクトが新たな位置へ移動されると、前記ライブ映像に合成する前記オブジェクトについての前記新たな位置に対する正像の位置への変更、を更に実行するようにしてもよい。
【0012】
また、上記観点に係る配信者端末において、
前記オブジェクトには、商品を販売する販売サーバへ遷移するための遷移情報が付加されていてもよい。
【0013】
また、上記観点に係る配信者端末において、
前記オブジェクトには、文字情報が含まれていてもよい。
【0014】
本開示の第2の観点に係る表示方法は、
コンピュータが、
撮影部により撮影されているライブ映像内における所定の合成位置にオブジェクトを合成した映像であって、視聴者端末に向けた配信のための視聴者用映像の送信と、
前記ライブ映像を反転させた鏡像映像に前記オブジェクトを合成した映像であって、前記合成位置に対する鏡像の位置に前記オブジェクトを合成した配信者用映像の表示と、
を実行することを特徴とする。
【0015】
本開示の第3の観点に係る記録媒体は、
コンピュータに、
撮影部により撮影されているライブ映像内における所定の合成位置にオブジェクトを合成した映像であって、視聴者端末に向けた配信のための視聴者用映像の送信、
前記ライブ映像を反転させた鏡像映像に前記オブジェクトを合成した映像であって、前記合成位置に対する鏡像の位置に前記オブジェクトを合成した配信者用映像の表示、
を実行させるためのプログラムを記録したことを特徴とする。
【発明の効果】
【0016】
本開示によれば、配信者を適切に支援することができる。
【図面の簡単な説明】
【0017】
【
図1】本開示の実施形態1に係るライブ配信システムの全体構成の一例を示す模式図である。
【
図2】配信者端末等が実現される典型的な情報処理装置の概要構成の一例を示すブロック図である。
【
図3】配信サーバの機能構成の一例を示すブロック図である。
【
図4】実施形態1に係る配信者端末の機能構成の一例を示すブロック図である。
【
図5】配信者を撮影する様子の一例を示す模式図である。
【
図6】撮影されているライブ映像の一例を示す模式図である。
【
図7】ライブ映像にオブジェクトが合成された視聴者用映像の一例を示す模式図である。
【
図8】鏡像映像にオブジェクトが合成された配信者用映像が配信者端末に表示されている場合の一例を示す模式図である。
【
図9】配信者用映像内のオブジェクトが配信者によりピンチ操作(ピンチアウト)された場合の様子を示す模式図である。
【
図10】配信者のピンチ操作に応じて、視聴者用映像に合成されるオブジェクトの大きさが変化する様子を示す模式図である。
【
図11】配信者用映像内のオブジェクトが配信者によりドラッグ操作された場合の様子を示す模式図である。
【
図12】配信者のドラッグ操作に応じて、視聴者用映像に合成されるオブジェクトの位置が変化する様子を示す模式図である。
【
図13】実施形態1に係る配信処理を説明するためのフローチャートである。
【
図14】本開示の実施形態2に係るライブ配信システムの全体構成の一例を示す模式図である。
【
図15】販売サーバの機能構成の一例を示すブロック図である。
【
図16】実施形態2に係る配信者端末の機能構成の一例を示すブロック図である。
【
図17】ライブコマースのために撮影されているライブ映像の一例を示す模式図である。
【
図18】ライブ映像に複数のオブジェクトが合成された視聴者用映像の一例を示す模式図である。
【
図19】鏡像映像に複数のオブジェクトが合成された配信者用映像が配信者端末に表示されている場合の一例を示す模式図である。
【
図20】視聴者端末に表示される視聴者用映像の一例を示す模式図である。
【
図21】視聴者端末に表示される販売ページの一例を示す模式図である。
【発明を実施するための形態】
【0018】
以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付す。また、以下では、配信者端末が、映像にオブジェクトを合成する場合について説明するが、後述するように、配信サーバにおいて、映像にオブジェクトを合成する場合でも、同様に本開示を適用することができる。すなわち、以下に説明する実施形態は説明のためのものであり、本開示の範囲を制限するものではない。従って、当業者であればこれらの各要素または全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本開示の範囲に含まれる。
【0019】
(実施形態1)
図1は、本開示の実施形態1に係るライブ配信システム1の全体構成の一例を示す模式図である。このライブ配信システム1は、一例として、配信を管理する配信サーバ100と、配信者に使用される配信者端末200と、視聴者に使用される視聴者端末300とがインターネット900を介して通信可能に接続されている。なお、視聴者端末300は、システムを利用する視聴者の数に応じて、多数存在しているものとする。
【0020】
配信サーバ100は、例えば、サーバ用のコンピュータ等であり、ライブ配信システム1全体を管理する。配信サーバ100は、配信者端末200から送られた映像(後述する視聴者用映像)を受信して、視聴者端末300に向けて配信する。なお、本開示において映像には、映像データだけでなく、音声データも含まれているものとして、以下説明する。
【0021】
配信者端末200は、例えば、スマートフォン、タブレット、PC(Personal Computer)等の端末であり、ライブ映像の配信を行う配信者に使用される。配信者は、後述するように、配信者端末200の撮影部(後述する撮影部210)から自身を撮影して、ライブ配信を行う。その際、撮影されたライブ映像を反転させた鏡像映像が表示部(後述する表示部260)に表示されるため、配信者は、その鏡像映像を見ながら、自身の動作等を確認する。
【0022】
視聴者端末300は、例えば、スマートフォン、タブレット、PC等の端末であり、ライブ配信を視聴する視聴者に使用される。視聴者は、視聴者端末300を操作して、配信サーバ100へログインするなどした後に、配信サーバ100を介して配信者端末200から配信されるライブ映像を視聴する。
【0023】
(情報処理装置400の概要構成)
本開示の実施形態1に係る配信サーバ100、及び、配信者端末200等が実現される典型的な情報処理装置400について説明する。
【0024】
情報処理装置400は、
図2に示すように、CPU(Central Processing Unit)401と、ROM(Read Only Memory)402と、RAM(Random Access Memory)403と、NIC(Network Interface Card)404と、画像処理部405と、音声処理部406と、補助記憶部407と、インターフェース408と、撮影ユニット409と、操作ユニット410と、表示ユニット411とを備える。
【0025】
CPU 401は、情報処理装置400全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。
【0026】
ROM 402には、電源投入直後に実行されるIPL(Initial Program Loader)が記録され、これが実行されることにより、補助記憶部407に記憶されたプログラムをRAM 403に読み出してCPU 401による当該プログラムの実行が開始される。
【0027】
RAM 403は、データやプログラムを一時的に記憶するためのもので、補助記憶部407から読み出されたプログラムやデータ、その他、通信に必要なデータ等が保持される。
【0028】
NIC 404は、情報処理装置400をインターネット等のコンピュータ通信網に接続するためのものであり、LAN(Local Area Network)を構成する際に用いられる10BASE-T/100BASE-T規格にしたがうものや、電話回線を用いてインターネットに接続するためのアナログモデム、ISDN(Integrated Services Digital Network)モデム、ADSL(Asymmetric Digital Subscriber Line)モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデム等から構成される。
【0029】
画像処理部405は、補助記憶部407等から読み出された画像データをCPU 401や画像処理部405が備える画像演算プロセッサ(図示せず)によって加工処理した後、これを画像処理部405が備えるフレームメモリ(図示せず)に記録する。フレームメモリに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され、インターフェース408等を介して表示ユニット411に出力される。つまり、画像処理部405は、CPU 401の制御の下、情報処理装置400が行う処理の進行の中で必要となる画像を生成し、その画像を表示ユニット411に表示させる。
【0030】
音声処理部406は、補助記憶部407等から読み出された音楽データや音声データを音声信号に変換し、インターフェース408等を介して外部に出力する。なお、情報処理装置400が内部にスピーカを備えている場合において、音声処理部406は、変換した音声信号を当該スピーカに出力する。つまり、音声処理部406は、CPU 401の制御の下、情報処理装置400が行う処理の進行の中で発生させるべき楽曲音や音声を生成し、その楽曲音等を内部又は外部のスピーカから出力させる。
【0031】
補助記憶部407は、ハードディスク、SSD(Solid State Drive)等であり、情報処理装置400全体の動作制御に必要な各種のプログラムや各種のデータを記憶する。例えば、補助記憶部407には、実施形態に係る配信者端末200等を実現するためのプログラムが記憶される。そして、CPU 401の制御によって、補助記憶部407は、記憶されたプログラムやデータを適宜読み出し、これらをRAM 403等に一時的に記憶させる。
【0032】
インターフェース408は、例えば、HDMI(登録商標)、USB(Universal Serial Bus)、I2C(Inter-Integrated Circuit)等の規格に準拠しており、撮影ユニット409、操作ユニット410、及び、表示ユニット411が接続される。なお、インターフェース408は、この他に接続された外部機器との間で必要な情報を送受信してもよい。
【0033】
撮影ユニット409は、例えば、単焦点のレンズ、及び、所定画素数の撮像素子(CMOS;Complementary Metal Oxide SemiconductorやCCD;Charge Coupled Device)等であり、静止画又は動画を撮影する。
【0034】
操作ユニット410は、情報処理装置400を利用する作業者等の操作入力を受け付ける。
【0035】
表示ユニット411は、画像処理部405により出力された画像データに応じた画像を描画し、情報処理装置400を利用する作業者等に提示する。
【0036】
この他に、情報処理装置400は、補助記憶部407の代わりに、DVD(Digital Versatile Disc)-ROM等のドライブユニットを備えるようにしてもよい。この場合、情報処理装置400は、ドライブユニットに装着されるDVD-ROM等からプログラムやデータを読み出して、上記と同様に動作する。
【0037】
以下、上記の情報処理装置400において実現される配信サーバ100、及び、配信者端末200の機能等について、
図3~
図12を参照して説明する。情報処理装置400に電源が投入されると、実施形態1に係る配信サーバ100、及び、配信者端末200として機能させるプログラムが実行され、実施形態1に係る配信サーバ100、及び、配信者端末200が実現される。なお、視聴者端末300も同様に情報処理装置400によって実現されるが、配信者端末200とほとんど同じ構成であるため、説明については省略する。
【0038】
(配信サーバ100の機能構成)
図3は、配信サーバ100の機能構成の一例を示すブロック図である。図示するように、配信サーバ100は、受信部110と、送信部120と、記憶部130と、制御部140とを備える。
【0039】
受信部110は、インターネット900を介して配信者端末200や視聴者端末300から送られる種々の情報を受信する。例えば、受信部110は、配信者端末200から送られた映像(後述する視聴者用映像)を受信する。また、受信部110は、視聴者端末300からログイン要求等を受信する。なお、上述したNIC 404が、このような受信部110として機能しうる。
【0040】
送信部120は、視聴者端末300等に向けた種々の情報を、インターネット900を介して送信する。例えば、送信部120は、制御部140(後述する配信制御部142)に制御され、配信者端末200から受信した映像を視聴者端末300へ配信する。なお、上述したNIC 404が、このような送信部120として機能しうる。
【0041】
記憶部130は、配信サーバ100における処理に必要な種々の情報を記憶する。例えば、記憶部130は、視聴者端末300を使用する視聴者のIDやパスワード等を記憶する。なお、上述した補助記憶部407等が、このような記憶部130として機能しうる。
【0042】
制御部140は、配信サーバ100全体を制御する。この制御部140は、例えば、管理部141、及び、配信制御部142を含んでいる。
【0043】
管理部141は、例えば、ログインを要求する視聴者端末300から送られるIDやパスワード等と、記憶部130に記憶されるIDやパスワード等とを照合し、視聴者を認証する。
【0044】
配信制御部142は、受信部110及び送信部120を制御し、配信者端末200から受信した映像を視聴者端末300へ配信する。
【0045】
上述したCPU 401等が、このような構成からなる制御部140として機能しうる。
【0046】
(配信者端末200の機能構成)
図4は、実施形態1に係る配信者端末200の機能構成の一例を示すブロック図である。図示するように、配信者端末200は、撮影部210と、送受信部220と、操作受付部230と、記憶部240と、制御部250と、表示部260とを備える。
【0047】
撮影部210は、例えば、配信者端末200の内側(表示部260側)に配置されたカメラであり、配信者を撮影する。一例として、
図5に示すように、三脚等で支えられた配信者端末200が配信者DIの前面に配置され、配信者DIを撮影する。そして、撮影部210は、
図6に示すような配信者DIを含んだライブ映像LVを出力する。なお、上述した撮影ユニット409が、このような撮影部210として機能しうる。
【0048】
図4に戻って、送受信部220は、インターネット900を介した配信サーバ100との間で種々の情報を送受信する。例えば、送受信部220は、制御部250(後述する配信部252)により制御され、後述する視聴者用映像を配信サーバ100へ送信する(配信サーバ100を介して視聴者端末300へ配信する)。なお、上述したNIC 404が、このような送受信部220として機能しうる。
【0049】
操作受付部230は、タッチパネルやポインティングデバイス(マウス等)であり、配信者からの各種の操作を受け付ける。例えば、操作受付部230は、表示部260に表示される配信者用映像(より詳細には、後述するオブジェクト)に向けた操作を受け付ける。なお、上述した操作ユニット410が、このような操作受付部230として機能しうる。
【0050】
記憶部240は、配信者端末200における処理に必要な種々の情報を記憶する。例えば、記憶部240は、ライブ映像等に合成するためのオブジェクトについての情報やオブジェクトの合成位置等を記憶する。一例として、オブジェクトは、ライブ配信において、視聴者へ報知するための文字情報を含んだ字幕(バナー)である。また、合成位置は、ライブ映像内におけるオブジェクトを合成する位置である。つまり、合成位置は、ライブ映像を基準として規定されている。なお、上述した補助記憶部407等が、このような記憶部240として機能しうる。
【0051】
制御部250は、配信者端末200全体を制御する。この制御部250は、例えば、生成部251、配信部252、及び、変更部253を含んでいる。
【0052】
生成部251は、撮影部210により撮影されているライブ映像内における所定の合成位置にオブジェクトを合成した視聴者用映像を生成する。例えば、生成部251は、記憶部240に記憶されたオブジェクトの情報及び合成位置に従って、
図7に示すように、ライブ映像LVにオブジェクトOJを合成した視聴者用映像を生成する。なお、
図7では、「ABC」という単純な文字情報が含まれているオブジェクトOJを合成する場合を示しているが、説明を容易にするためであり、実際には、視聴者へ報知するために必要な文字情報が含まれているオブジェクトOJを合成するものとする。
【0053】
また同時に、生成部251は、ライブ映像を反転させた鏡像映像にオブジェクトを合成した配信者用映像を生成する。なお、鏡像映像にオブジェクトを合成する位置は、上述した合成位置とは異なっている。つまり、生成部251は、鏡像映像内における、合成位置に対する鏡像の位置にオブジェクトを合成する。例えば、生成部251は、記憶部240に記憶されたオブジェクトの情報及び合成位置に対する鏡像の位置に従って、
図8に示すように、鏡像映像MVにオブジェクトOJを合成した配信者用映像を生成する。なお、
図8では、配信者用映像が表示部260に表示されている様子を示している。これより、配信者DIは、表示部260に表示される鏡像映像MVに合成されるオブジェクトOJの文字情報を普通に読むことができ、また、そのオブジェクトOJを普通に指し示すことで、上述した
図7の視聴者用映像においても、オブジェクトOJが正しく指し示されることになる。この結果、ライブ配信を行っている配信者を適切に支援することができる。
【0054】
図4に戻って、配信部252は、生成部251により生成された視聴者用映像を視聴者端末300に向けた配信のために配信サーバ100へ送信する。すなわち、配信部252は、送受信部220を制御して、上述した
図7に示すような視聴者用映像を配信サーバ100へ送信し、その配信サーバ100を介して視聴者端末300へ視聴者用映像を配信する。
【0055】
変更部253は、配信者用映像内におけるオブジェクトに対する配信者からの操作に従って、ライブ映像及び鏡像映像に合成するオブジェクトの表示態様を変更する。例えば、変更部253は、表示部260に表示されている
図8に示すような配信者用映像内におけるオブジェクトOJへのピンチ操作に応じて、オブジェクトOJの大きさを変更する。具体的に、変更部253は、操作受付部230にて、配信者によるオブジェクトOJへのピンチアウト(2本指でオブジェクトOJを押した状態で、それらの指を開く操作)を受け付けると、
図9に示すように、オブジェクトOJの大きさを拡大させる。逆に、変更部253は、操作受付部230にて、配信者によるオブジェクトOJへのピンチイン(2本指でオブジェクトOJを押した状態で、それらの指を閉じる操作)を受け付けると、オブジェクトOJの大きさを縮小させる。なお、変更部253は、配信者用映像内のオブジェクトOJの大きさを変更すると、記憶部240に記憶されているオブジェクトの情報も更新する。例えば、
図9のように、オブジェクトOJの大きさを拡大させると、変更部253は、記憶部240におけるオブジェクトの情報(一例として、表示倍率)についても値を大きくする。これにより、ライブ映像に対しても、上述した生成部251が、オブジェクトの大きさを拡大させて合成することになる。つまり、生成部251は、
図10に示すように、大きさを拡大させたオブジェクトOJをライブ映像LVに合成させた視聴者用映像を生成することになる。そして、配信者が指を離した後では、生成部251が更新後のオブジェクトの情報等に従って、鏡像映像MVにオブジェクトOJを合成した配信者用映像を生成することになるため、配信者用映像においても拡大されたオブジェクトOJが維持されることになる。
【0056】
なお、このような配信者からの操作に従って、オブジェクトの表示態様を変更するのは、オブジェクトの大きさに限られない。変更部253は、配信者からの操作に従って、オブジェクトの形状、色彩、模様、明度、輝度の何れかを変更するようにしてもよい。これらのように、配信者は、表示部260に表示される鏡像映像内のオブジェクトを、配信中に直接操作して、そのオブジェクトを意図に沿った表示態様に変更することができる。
【0057】
また、変更部253は、配信者からの操作によって配信者用映像内におけるオブジェクトが新たな位置へ移動されると、ライブ映像に合成するオブジェクトをその新たな位置に対する正像の位置へ変更する。例えば、変更部253は、操作受付部230にて、オブジェクトOJへのドラッグ操作(オブジェクトOJを指で押した状態で移動させる操作)を受け付けると、
図11に示すように、オブジェクトOJをドラッグ操作に応じた新たな位置へ移動させる。なお、変更部253は、配信者用映像内のオブジェクトOJを移動させると、記憶部240に記憶されているオブジェクトの合成位置も更新する。具体的に変更部253は、合成位置を、配信者用映像内で移動させたオブジェクトOJの新たな位置に対する正像の位置へ変更する。これにより、生成部251は、
図12に示すように、ライブ映像LVに対してもオブジェクトOJを適切に移動して合成させた視聴者用映像を生成することになる。そして、配信者が指を離した後では、生成部251が、更新後の合成位置に対する鏡像映像MVにおける鏡像の位置に、オブジェクトOJを合成した配信者用映像を生成することになるため、配信者用映像においても移動したオブジェクトOJの位置が維持されることになる。このように、配信者は、表示部260に表示される鏡像映像内のオブジェクトを、配信中に直接操作して、そのオブジェクトを自由に移動させることができる。
【0058】
なお、上述したCPU 401等が、このような構成からなる制御部250として機能しうる。
【0059】
図4に戻って、表示部260は、上述した生成部251等により生成された配信者用映像を表示する。つまり、表示部260は、上述した
図8、
図9、及び、
図11に示すような配信者用映像を表示する。
【0060】
(配信者端末200の動作)
以下、配信者端末200の動作について
図13を参照して説明する。
図13は、実施形態1に係る配信処理を説明するためのフローチャートである。この配信処理は、配信者によるライブ配信が開始されると開始され、ライブ配信が終了すると終了する。つまり、配信処理は、ライブ配信が行われている間に渡って配信者端末200にて実行される。
【0061】
まず、配信者端末200は、撮影されたライブ映像の合成位置にオブジェクトを合成した視聴者用映像を生成する(ステップS11)。すなわち、制御部250(生成部251)は、記憶部240に記憶されたオブジェクトの情報及び合成位置に従って、上述した
図7に示すように、ライブ映像LVにオブジェクトOJを合成した視聴者用映像を生成する。
【0062】
配信者端末200は、鏡像映像における、合成位置に対する鏡像の位置にオブジェクトを合成した配信者用映像を生成する(ステップS12)。すなわち、制御部250(生成部251)は、記憶部240に記憶されたオブジェクトの情報及び合成位置に対する鏡像の位置に従って、上述した
図8に示すように、鏡像映像MVにオブジェクトOJを合成した配信者用映像を生成する。
【0063】
配信者端末200は、視聴者用映像を配信し、配信者用映像を表示部260に表示する(ステップS13)。すなわち、制御部250(配信部252)は、上述したステップS11にて生成した視聴者用映像を視聴者端末300に向けた配信のために配信サーバ100へ送信する。つまり、制御部250は、送受信部220を制御して、上述した
図7に示すような視聴者用映像を配信サーバ100へ送信し、その配信サーバ100を介して視聴者端末300へ視聴者用映像を配信する。また、表示部260は、上述したステップS12にて生成した配信者用映像を表示する。つまり、表示部260は、上述した
図8に示すような配信者用映像を表示する。これより、配信者DIは、鏡像映像MVに合成されるオブジェクトOJの文字情報を普通に読むことができ、また、そのオブジェクトOJを普通に指し示すことで、
図7の視聴者用映像においても、オブジェクトOJが正しく指し示されることになる。この結果、ライブ配信を行っている配信者を適切に支援することができる。
【0064】
配信者端末200は、オブジェクトへの操作があったか否かを判別する(ステップS14)。つまり、制御部250は、表示部260に表示される配信者用映像内のオブジェクトに向けた操作を、操作受付部230にて受け付けたかどうかを判別する。
【0065】
配信者端末200は、オブジェクトへの操作がなかったと判別すると(ステップS14;No)、上述したステップS11に処理を戻す。
【0066】
一方、オブジェクトへの操作があったと判別した場合(ステップS14;Yes)に、配信者端末200は、その操作がピンチ操作であるか否かを判別する(ステップS15)。
【0067】
配信者端末200は、ピンチ操作であると判別すると(ステップS15;Yes)、オブジェクトの大きさを変更する(ステップS16)。すなわち、制御部250(変更部253)は、配信者用映像内におけるオブジェクトへのピンチ操作に応じて、オブジェクトの大きさを変更する。具体的に、制御部250は、オブジェクトへのピンチアウトであれば、上述した
図9に示すように、オブジェクトOJの大きさを拡大させる。逆に、オブジェクトへのピンチインであれば、制御部250は、オブジェクトの大きさを縮小させる。なお、制御部250は、配信者用映像内のオブジェクトの大きさを変更すると、記憶部240に記憶されているオブジェクトの情報も更新する。例えば、
図9のように、オブジェクトOJの大きさを拡大させると、制御部250は、記憶部240におけるオブジェクトの情報についても値を大きくする。これにより、制御部250は、ライブ映像に対しても、オブジェクトの大きさを拡大させて合成することになる。つまり、制御部250は、上述した
図10に示すように、大きさを拡大させたオブジェクトOJをライブ映像LVに合成させた視聴者用映像を生成することになる。そして、配信者が指を離した後では、制御部250が更新後のオブジェクトの情報等に従って、鏡像映像にオブジェクトを合成した配信者用映像を生成することになるため、配信者用映像においても拡大されたオブジェクトが維持されることになる。
【0068】
このようにオブジェクトの大きさを変更すると、配信者端末200は、上述したステップS11に処理を戻す。
【0069】
一方、ピンチ操作でないと判別した場合(ステップS15;No)に、配信者端末200は、その操作がドラッグ操作であるか否かを判別する(ステップS17)。
【0070】
配信者端末200は、ドラッグ操作でないと判別すると(ステップS17;No)、上述したステップS11に処理を戻す。
【0071】
一方、ドラッグ操作であると判別した場合(ステップS17;Yes)に、配信者端末200は、オブジェクトの合成位置を変更する(ステップS18)。すなわち、制御部250(変更部253)は、
図11に示すように、配信者用映像内のオブジェクトOJをドラッグ操作に応じた新たな位置へ移動させる。なお、制御部250は、配信者用映像内のオブジェクトOJを移動させると、記憶部240に記憶されているオブジェクトの合成位置も更新する。具体的に制御部250は、合成位置を、配信者用映像内で移動させたオブジェクトOJの新たな位置に対する正像の位置へ変更する。これにより、制御部250(生成部251)は、
図12に示すように、ライブ映像LVに対してもオブジェクトOJを適切に移動して合成させた視聴者用映像を生成することになる。そして、配信者が指を離した後では、制御部250が、更新後の合成位置に対する鏡像映像における鏡像の位置に、オブジェクトを合成した配信者用映像を生成することになるため、配信者用映像においても移動したオブジェクトの位置が維持されることになる。
【0072】
こうしてオブジェクトの合成位置を変更すると、配信者端末200は、上述したステップS11に処理を戻す。
【0073】
なお、
図13に示す配信処理では、配信者からのピンチ操作に従って、オブジェクトの大きさを変更する場合について説明したが、このようなオブジェクトの大きさ以外に、オブジェクトの形状、色彩、模様、明度、輝度の何れかを変更するようにしてもよい。
【0074】
このような配信処理によって、
図8に示すように、鏡像映像MVにおける適切な位置にオブジェクトOJが合成されるため、配信者は、オブジェクトOJの文字情報を普通に読むことができ、また、そのオブジェクトOJを普通に指し示すことで、
図7の視聴者用映像においても、オブジェクトOJが正しく指し示されることになる。この結果、ライブ配信を行っている配信者を適切に支援することができる。
【0075】
また、配信処理によって、配信者は、表示部260に表示される鏡像映像内のオブジェクトを、配信中に直接操作して、そのオブジェクトを意図に沿った表示態様に変更することができる。
【0076】
また、配信処理によって、表示部260に表示される鏡像映像内のオブジェクトを、配信中に直接操作して、そのオブジェクトを自由に移動させることができる。
【0077】
(実施形態2)
上記の実施形態1では、シンプルなライブ配信システム1について説明したが、ライブコマースに対応したライブ配信システムであってもよい。以下、ライブコマースに対応したライブ配信システムについて説明する。
【0078】
図14は、本開示の実施形態2に係るライブ配信システム2の全体構成の一例を示す模式図である。このライブ配信システム2は、ライブコマースに対応したシステムであって、一例として、配信を管理する配信サーバ100と、販売を管理する販売サーバ500と、配信者に使用される配信者端末600と、視聴者に使用される視聴者端末300とがインターネット900を介して通信可能に接続されている。なお、配信サーバ100及び視聴者端末300は、上述した
図1のライブ配信システム1における配信サーバ100及び視聴者端末300と同じ構成である。また、視聴者端末300は、システムを利用する視聴者の数に応じて、多数存在しているものとする。
【0079】
販売サーバ500は、例えば、サーバ用のコンピュータ等であり、配信者端末600からの配信中に配信者によって紹介される商品を販売する。より詳細には、販売サーバ500(より詳細には、商品の販売ページ)へ遷移する遷移情報に従って遷移して来た視聴者端末300(視聴者)に商品を販売する。
【0080】
配信者端末600は、例えば、スマートフォン、タブレット、PC等の端末であり、ライブ映像の配信を行う配信者に使用される。配信者端末600は、配信において紹介している商品を購入するための遷移情報が付加されたオブジェクト(後述する購入ボタン)等をライブ映像に合成した視聴者用映像を、視聴者端末300へ配信する。
【0081】
以下、上述した
図2の情報処理装置400において実現される販売サーバ500、及び、配信者端末600の機能等について、
図15~
図19を参照して説明する。情報処理装置400に電源が投入されると、実施形態2に係る販売サーバ500、及び、配信者端末600として機能させるプログラムが実行され、実施形態2に係る販売サーバ500、及び、配信者端末600が実現される。
【0082】
(販売サーバ500の機能構成)
図15は、販売サーバ500の機能構成の一例を示すブロック図である。図示するように、販売サーバ500は、送受信部510と、記憶部520と、制御部530とを備える。
【0083】
送受信部510は、インターネット900を介した視聴者端末300との間で種々の情報を送受信する。例えば、送受信部510は、遷移情報に従った視聴者端末300からのアクセスに応答して、商品の販売ページを視聴者端末300へ送信する。なお、上述したNIC 404が、このような送受信部510として機能しうる。
【0084】
記憶部520は、販売サーバ500における処理に必要な種々の情報を記憶する。例えば、記憶部520は、販売する商品についての詳細情報、価格情報、及び、在庫情報を記憶する。また、記憶部520は、視聴者端末300を使用する視聴者の個人情報(ID、氏名、住所、及び、クレジットカード番号等)を記憶する。なお、上述した補助記憶部407等が、このような記憶部520として機能しうる。
【0085】
制御部530は、販売サーバ500全体を制御する。この制御部530は、例えば、販売処理部531を含んでいる。
【0086】
販売処理部531は、商品の販売ページを閲覧した視聴者端末300(視聴者)からの操作に従って、商品の販売を確定する。
【0087】
上述したCPU 401等が、このような構成からなる制御部530として機能しうる。
【0088】
(配信者端末600の機能構成)
図16は、実施形態2に係る配信者端末600の機能構成の一例を示すブロック図である。図示するように、配信者端末600は、撮影部210と、送受信部220と、操作受付部230と、記憶部640と、制御部650と、表示部260とを備える。なお、撮影部210、送受信部220、操作受付部230、及び、表示部260は、上述した
図4の配信者端末200における撮影部210、送受信部220、操作受付部230、及び、表示部260と同じ構成である。なお、撮影部210は、
図17に示すような紹介する商品PD、及び、配信者DIを含んだライブ映像LVを出力する。
【0089】
図16に戻って、記憶部640は、配信者端末600における処理に必要な種々の情報を記憶する。例えば、記憶部640は、ライブ映像等に合成するためのオブジェクトについての情報やオブジェクトの合成位置等の他に、配信中に紹介する商品を購入するための遷移情報を記憶する。例えば、遷移情報は、販売サーバ500における該当する商品の販売ページへのリンク情報である。なお、上述した補助記憶部407等が、このような記憶部640として機能しうる。
【0090】
制御部650は、配信者端末600全体を制御する。この制御部650は、例えば、付加部651、生成部251、配信部252、及び、変更部253を含んでいる。なお、生成部251、配信部252、及び、変更部253は、上述した
図4の配信者端末200(制御部250)における生成部251、配信部252、及び、変更部253と同じ構成である。
【0091】
付加部651は、記憶部640に記憶される特定のオブジェクト(一例として、購入ボタン)に、配信中に紹介されている商品の遷移情報を付加する。なお、既に紹介を終えた商品の遷移情報がオブジェクトに付加されている場合に、付加部651は、現在紹介されている商品の遷移情報を上書きしてオブジェクトに付加する。このような遷移情報が付加されたオブジェクトが視聴者端末300にてタップ操作されると、販売サーバ500における該当する商品の販売ページへ遷移することができる。
【0092】
そして、生成部251は、撮影部210により撮影されているライブ映像内における所定の合成位置に必要なオブジェクトを合成した視聴者用映像を生成する。例えば、生成部251は、記憶部640に記憶されたオブジェクトの情報及び合成位置に従って、
図18に示すように、ライブ映像LVにオブジェクトOJ1,OJ2を合成した視聴者用映像を生成する。なお、オブジェクトOJ1は、商品PDを説明するための字幕(バナー)であり、商品名や価格等の文字情報が含まれている。また、オブジェクトOJ2は、購入ボタンであり、「購入」の文字情報と、付加部651によって付加された遷移情報とが含まれている。
【0093】
また同時に、生成部251は、ライブ映像を反転させた鏡像映像にオブジェクトを合成した配信者用映像を生成する。例えば、生成部251は、記憶部640に記憶されたオブジェクトの情報及び合成位置に対する鏡像の位置に従って、
図19に示すように、鏡像映像MVにオブジェクトOJ1,OJ2を合成した配信者用映像を生成する。なお、
図19では、配信者用映像が表示部260に表示されている様子を示している。これより、配信者DIは、表示部260に表示される鏡像映像MVに合成されるオブジェクトOJ1,OJ2の文字情報を普通に読むことができ、また、それらオブジェクトOJ1,OJ2を普通に指し示すことで、上述した
図18の視聴者用映像においても、オブジェクトOJ1,OJ2が正しく指し示されることになる。この結果、ライブ配信を行っている配信者を適切に支援することができる。
【0094】
なお、変更部253は、上述した実施形態1と同様に、配信者用映像内におけるオブジェクトに対する配信者からの操作に従って、ライブ映像及び鏡像映像に合成するオブジェクトの表示態様を変更する。また、変更部253は、上述した実施形態1と同様に、配信者からの操作によって配信者用映像内におけるオブジェクトが新たな位置へ移動されると、ライブ映像に合成するオブジェクトをその新たな位置に対する正像の位置へ変更する。
【0095】
なお、上述したCPU 401等が、このような構成からなる制御部650として機能しうる。
【0096】
(視聴者端末300での操作)
以下、視聴者端末300での視聴者の操作について
図20、及び、
図21を参照して説明する。
【0097】
配信者端末600から視聴者用映像が配信されると、視聴者端末300は、例えば、
図20に示すような視聴者用映像を表示部に表示する。そして、配信中に紹介された商品PDの購入を望む場合、視聴者は、オブジェクトOJ2をタップ操作することになる。
【0098】
視聴者がオブジェクトOJ2をタップ操作すると、視聴者端末300は、オブジェクトOJ2に付加された遷移情報に従って、販売サーバ500へアクセスし、
図21に示すような販売ページSPを表示部に表示する。なお、販売ページを表示する前に、視聴者端末300は、販売サーバ500へログインするための認証画面を表示するようにしてもよい。そして、販売ページSPにて購入が確定されると、販売が完了する。
【0099】
このように、ライブコマースに対応したライブ配信システム2によっても、配信者は、表示部260に表示される
図19に示すような鏡像映像MVに合成されるオブジェクトOJ1,OJ2の文字情報を普通に読むことができ、また、それらオブジェクトOJ1,OJ2を普通に指し示すことで、
図18の視聴者用映像においても、オブジェクトOJ1,OJ2が正しく指し示されることになる。この結果、ライブ配信を行っている配信者を適切に支援することができる。
【0100】
(他の実施形態)
上記の実施形態1,2では、配信者端末200,600の制御部250,650に生成部251等が含まれており、配信者端末200,600が、オブジェクトをライブ映像及び鏡像映像に合成する場合について説明したが、この生成部251等と同じ構成を配信サーバ100の制御部140に付加するようにしてもよい。この場合、配信サーバ100側で、オブジェクトをライブ映像及び鏡像映像に合成し、配信者端末200,600が、配信サーバ100から返される配信者用映像を表示部260に表示することになる。この場合も、配信者は、表示部260に表示される鏡像映像に合成されるオブジェクトの文字情報を普通に読むことができ、また、それらオブジェクトを普通に指し示すことで、視聴者用映像においても、オブジェクトが正しく指し示されることになる。この結果、ライブ配信を行っている配信者を適切に支援することができる。
【0101】
上記の実施形態1,2では、文字情報を含んだオブジェクトをライブ映像及び鏡像映像に合成する場合について説明したが、例えば、複数の画像を含んだオブジェクトをライブ映像及び鏡像映像に合成する場合でも適宜適用可能である。具体的に、2つの瓶の画像のオブジェクトをライブ映像及び鏡像映像に合成する場合に、配信者は、オブジェクトの画像を確認し、その並びのまま、「右側が塩瓶で、左側が胡椒瓶です」といった説明を正しく行うことができる。
【0102】
上記の実施形態1,2では、配信者端末200,600等によって実行されるプログラムは、CD-ROM(Compact Disc Read Only Memory),DVD(Digital Versatile Disc),MO(Magneto-Optical Disk),USBメモリ,メモリカード等のコンピュータ読み取り可能な記録媒体に格納して配布することも可能である。そして、かかるプログラムを特定の又は汎用のコンピュータにインストールすることによって、当該コンピュータを上記の実施形態1,2における配信者端末200,600として機能させることも可能である。
【0103】
また、上記のプログラムをインターネットといった通信ネットワーク上のサーバ装置が有するディスク装置に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロードするようにしてもよい。また、通信ネットワークを介してプログラムを転送しながら起動実行することによっても、上述の処理を達成することができる。さらに、プログラムの全部又は一部をサーバ装置上で実行させ、その処理に関する情報をコンピュータが通信ネットワークを介して送受信しながらプログラムを実行することによっても、上述の処理を達成することができる。
【0104】
なお、上述の機能を、OS(Operating System)が分担して実現する場合又はOSとアプリケーションとの協働により実現する場合等には、OS以外の部分のみを上記の記録媒体に格納して配布してもよく、また、コンピュータにダウンロードしてもよい。
【0105】
[1]
撮影部により撮影されているライブ映像内における所定の合成位置にオブジェクトを合成した映像であって、視聴者端末に向けた配信のための視聴者用映像の送信と、
前記ライブ映像を反転させた鏡像映像に前記オブジェクトを合成した映像であって、前記合成位置に対する鏡像の位置に前記オブジェクトを合成した配信者用映像の表示と、
を実行するプロセッサ、
を備えることを特徴とする配信者端末。
[2]
前記プロセッサは、
前記配信者用映像内における前記オブジェクトに対する配信者からの操作に従って、前記ライブ映像及び前記鏡像映像に合成する前記オブジェクトについての表示態様の変更、を更に実行する、
ことを特徴とする[1]に記載の配信者端末。
[3]
前記表示態様の変更には、前記オブジェクトの大きさ、形状、色彩、模様、明度、輝度の少なくとも1つの変更が含まれる、
ことを特徴とする[2]に記載の配信者端末。
[4]
前記プロセッサは、
配信者からの操作によって前記配信者用映像内における前記オブジェクトが新たな位置へ移動されると、前記ライブ映像に合成する前記オブジェクトについての前記新たな位置に対する正像の位置への変更、を更に実行する、
ことを特徴とする[1]乃至[3]の何れか1つに記載の配信者端末。
[5]
前記オブジェクトには、商品を販売する販売サーバへ遷移するための遷移情報が付加されている、
ことを特徴とする[1]乃至[4]の何れか1つに記載の配信者端末。
[6]
前記オブジェクトには、文字情報が含まれている、
ことを特徴とする[1]乃至[5]の何れか1つに記載の配信者端末。
[7]
コンピュータが、
撮影部により撮影されているライブ映像内における所定の合成位置にオブジェクトを合成した映像であって、視聴者端末に向けた配信のための視聴者用映像の送信と、
前記ライブ映像を反転させた鏡像映像に前記オブジェクトを合成した映像であって、前記合成位置に対する鏡像の位置に前記オブジェクトを合成した配信者用映像の表示と、
を実行することを特徴とする表示方法。
[8]
コンピュータに、
撮影部により撮影されているライブ映像内における所定の合成位置にオブジェクトを合成した映像であって、視聴者端末に向けた配信のための視聴者用映像の送信、
前記ライブ映像を反転させた鏡像映像に前記オブジェクトを合成した映像であって、前記合成位置に対する鏡像の位置に前記オブジェクトを合成した配信者用映像の表示、
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【産業上の利用可能性】
【0106】
本開示は、配信者を適切に支援することのできる配信者端末、表示方法、および、記録媒体に好適に採用され得る。
【符号の説明】
【0107】
1,2 ライブ配信システム
100 配信サーバ
110 受信部
120 送信部
130 記憶部
140 制御部
141 管理部
142 配信制御部
200,600 配信者端末
210 撮影部
220 送受信部
230 操作受付部
240,640 記憶部
250,650 制御部
251 生成部
252 配信部
253 変更部
651 付加部
260 表示部
300 視聴者端末
400 情報処理装置
401 CPU
402 ROM
403 RAM
404 NIC
405 画像処理部
406 音声処理部
407 補助記憶部
408 インターフェース
409 撮影ユニット
410 操作ユニット
411 表示ユニット
500 販売サーバ
510 送受信部
520 記憶部
530 制御部
531 販売処理部
900 インターネット