特許 7433617 サーバおよびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-02-09

(45)【発行日】2024-02-20

(54)【発明の名称】サーバおよびコンピュータプログラム

(51)【国際特許分類】

   H04N 21/278 20110101AFI20240213BHJP

   G06F 16/532 20190101ALI20240213BHJP

   G06Q 50/10 20120101ALI20240213BHJP

   H04N 21/232 20110101ALI20240213BHJP

   H04N 21/235 20110101ALI20240213BHJP

【ＦＩ】

H04N21/278

G06F16/532

G06Q50/10

H04N21/232

H04N21/235

【請求項の数】 5

(21)【出願番号】P 2023123651

(22)【出願日】2023-07-28

【審査請求日】2023-07-28

【早期審査対象出願】

(73)【特許権者】

【識別番号】517287224

【氏名又は名称】１７ＬＩＶＥ株式会社

(74)【代理人】

【識別番号】100126572

【弁理士】

【氏名又は名称】村越 智史

(74)【代理人】

【識別番号】100199277

【弁理士】

【氏名又は名称】西守 有人

(72)【発明者】

【氏名】柳瀬 綾子

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】国際公開第２０２０／０７１２１６（ＷＯ，Ａ１）

【文献】特開２０１１－２０３７７６（ＪＰ，Ａ）

【文献】特許第７３１６５９８（ＪＰ，Ｂ１）

【文献】中国特許出願公開第１１１９８４８５２（ＣＮ，Ａ）

【文献】特開２０２１－１１１１０２（ＪＰ，Ａ）

【文献】Rintaro Yanagi, Ren Togo, Takahiro Ogawa, Miki Haseyama，“Query is GAN: Scene Retrieval With Attentional Text-to-Image Generative Adversarial Network”，IEEE Access，Vol.7，2019年，p.153183-153193，DOI: 10.1109/ACCESS.2019.2947409

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

Ｇ０６Ｆ １６／５３２

Ｇ０６Ｑ ５０／１０

(57)【特許請求の範囲】

【請求項1】

動画配信プラットフォームで配信される複数の動画の各々ついて、各動画を識別する配信動画ＩＤと対応付けて各動画に関連する画像を保持する画像保持部と、
前記動画配信プラットフォームのユーザのユーザ端末からネットワークを介して、検索要求を受け付ける要求受付部と、
前記検索要求に含まれる前記ユーザにより入力された検索情報を機械学習モデルの入力とすることで、当該検索情報に対応して当該機械学習モデルが生成した生成画像を取得する生成画像取得部と、
前記生成画像に基づき前記画像保持部に対して画像検索を実行することで、前記画像保持部に保持されている画像のうち前記検索情報に対応するマッチング画像と、前記画像保持部において前記マッチング画像と対応付けられている配信動画ＩＤにより識別される動画を示す配信動画情報と、を含む検索結果を生成する検索部と、
前記検索部により実行された画像検索の結果を、前記ユーザ端末に前記ネットワークを介して提供する提供部と、
前記検索結果において前記配信動画情報が選択された場合に前記配信動画情報を識別する配信動画ＩＤを含む配信要求を受信し、前記複数の動画のうち前記配信動画情報を識別する前記配信動画ＩＤにより識別される動画を前記ユーザ端末に配信する配信部と、
を備えるサーバ。

【請求項2】

前記生成画像取得部は、前記検索要求に含まれる前記ユーザにより入力された前記検索情報に対応して前記機械学習モデルが生成した複数の生成画像を取得し、
前記サーバはさらに、前記ユーザによる、前記複数の生成画像のうちの少なくともひとつの生成画像の選択を受け付ける選択受付部をさらに備え、
前記検索部は、選択された前記少なくともひとつの生成画像に基づき前記画像保持部に対して画像検索を実行する請求項１に記載のサーバ。

【請求項3】

前記検索要求に含まれる前記ユーザにより入力された前記検索情報は、テキストと、属性と、を含み、
前記機械学習モデルは前記テキストに対応しかつ前記属性に合致する生成画像を生成する請求項１に記載のサーバ。

【請求項4】

前記動画配信プラットフォームで配信される前記動画は配信者によりリアルタイムで配信され、
前記画像保持部は、前記動画の配信中に前記動画から生成された画像を保持する請求項１に記載のサーバ。

【請求項5】

前記画像保持部は、前記複数の動画を配信する複数の配信者を特定する配信者ＩＤと対応付けて各配信者に関連する画像をさらに保持し、
前記画像検索の結果は、前記画像保持部において前記マッチング画像と対応付けられている配信者ＩＤにより識別される配信者を示す配信者情報をさらに含む、
請求項１に記載のサーバ。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、サーバおよびコンピュータプログラムに関する。

【背景技術】

【0002】

ＩＴ技術の発展と共に情報のやりとりの様も移り変わってきた。昭和の時代には新聞やテレビなどの一方通行の情報伝達が主であった。平成になると、ケータイやパソコンが普及し、インターネットの通信速度も大きく改善されたので、チャットサービスなどの即時双方向通信サービスが台頭し、また記憶コストの低減に伴ってオンデマンド型の動画配信サービスが受け入れられていった。そして、現在、令和の時代となり、スマートフォンの高機能化や５Ｇに代表されるネットワークの速度のさらなる向上を受けて、動画によるリアルタイムのコミュニケーションを実現するサービス、特にライブ配信（Live Streaming）サービスが急速に認知度を高めている。ライブ配信サービスは、離れた場所にいても皆が同じ楽しい時間を共有できるサービスとして、若者を中心に利用者が拡大している。

【0003】

ライブ配信プラットフォームでは、配信者は自分が好きなときにライブ配信を開始することができ、視聴者は自分の好きなときに興味のある配信者のライブ配信を視聴できる。特許文献３には、機械学習を用いてライブストリーミングコンテンツを推奨する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２１－１５８６１２号公報

【文献】国際公開第２０１８／１８０２０１号パンフレット

【文献】特表２０２０－５２１２０７号公報

【非特許文献】

【0005】

【文献】「バーチャル配信の始め方」、17LIVE株式会社、URL:https://jp.17.live/userguide/23783/

【文献】「世界を変えた画像生成AI、さらに進化「Stable Diffusion XL（SDXL）」いよいよ正式公開」、新清士、URL:https://ascii.jp/elem/000/004/145/4145553/

【発明の概要】

【発明が解決しようとする課題】

【0006】

ライブ配信やその配信者に関する情報は、プロフィール画像やアバター画像や動画そのものなど多くの画像を含む。このような画像を検索の対象とすることができれば、ライブ配信検索や配信者検索の精度を高めることができる。

【0007】

本開示はこうした課題に鑑みてなされたものであり、その目的は、動画やその配信者の検索を改善することができる技術の提供にある。

【課題を解決するための手段】

【0008】

本発明のある態様は、サーバに関する。このサーバは、動画配信プラットフォームで配信される動画に関連する画像を保持する画像保持部と、動画配信プラットフォームのユーザのユーザ端末からネットワークを介して、検索要求を受け付ける要求受付部と、検索要求に含まれるユーザにより入力された情報を機械学習モデルの入力とすることで、当該情報に対応して当該機械学習モデルが生成した生成画像を取得する生成画像取得部と、生成画像に基づき画像保持部に対して画像検索を実行する検索部と、検索部により実行された画像検索の結果を、ユーザ端末にネットワークを介して提供する提供部と、を備える。

【0009】

本発明の別の態様は、コンピュータプログラムである。このコンピュータプログラムは、検索条件の入力を受け付ける検索条件受付画面をディスプレイに表示させる機能と、検索条件受付画面を介して入力された検索条件を機械学習モデルに入力することで生成された複数の生成画像を含む生成画像表示画面をディスプレイに表示させる機能と、生成画像表示画面において、複数の生成画像からの少なくともひとつの生成画像の選択を受け付ける機能と、選択の結果に対応する画像検索の結果を含む画像検索結果表示画面をディスプレイに表示させる機能と、を端末に実現させる。

【0010】

なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を装置、方法、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。

【発明の効果】

【0011】

本発明によれば、動画やその配信者の検索を改善することができる。

【図面の簡単な説明】

【0012】

【図1】本開示の実施の形態に係るライブ配信システムの構成を示す模式図である。

【図2】図１のユーザ端末の機能および構成を示すブロック図である。

【図3】図１のサーバの機能および構成を示すブロック図である。

【図4】図３のストリームＤＢの一例を示すデータ構造図である。

【図5】図３のユーザＤＢの一例を示すデータ構造図である。

【図6】図３のギフトＤＢの一例を示すデータ構造図である。

【図7】サーバにおける配信者検索に係る一連の処理の流れを示すフローチャートである。

【図8】アクティブユーザのユーザ端末のディスプレイに表示される検索条件受付画面の代表画面図である。

【図9】アクティブユーザのユーザ端末のディスプレイに表示される生成画像表示画面の代表画面図である。

【図10】アクティブユーザのユーザ端末のディスプレイに表示される画像検索結果表示画面の代表画面図である。

【図11】本実施の形態に係る情報処理装置のハードウェア構成例を示すブロック図である。

【発明を実施するための形態】

【0013】

以下、各図面に示される同一または同等の構成要素、部材、処理、信号には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。

【0014】

実施の形態に係るライブ配信システムでは、ユーザは求める配信者のイメージを表す検索条件を入力する。サーバは、検索条件にマッチするプロフィール画像やライブ配信中の画像を有する配信者を検索結果としてユーザに提示する。この際、画像に付されたタグに基づくテキスト－画像検索を行う代わりに、本実施の形態ではまず画像生成用の機械学習モデルを用いて検索条件に対応する画像を生成する。ユーザは生成された画像が自分の思っているものに合致するかあるいは近いかを確認する。生成された画像をユーザが承諾すると、サーバは生成された画像を検索キーとする画像－画像検索をプロフィール画像やライブ配信中の画像に対して行う。サーバは、マッチングスコアの高いプロフィール画像を有する配信者を検索結果としてユーザに提示する。これにより、検索対象の画像にタグ付けを行わなくても画像に基づく配信者検索が可能となるので、タグ付けの手間を削減できる。特にライブ配信プラットフォームではプロフィール画像の更新頻度は高いので、更新の都度配信者や管理者がタグ付けをしなくてもよくなることにより配信者・管理者の負担を軽減できる。また、ユーザは機械学習モデルにより生成された画像を確認して修正や選択を行えるので、マッチングの精度が向上する。

【0015】

図１は、本開示の実施の形態に係るライブ配信システム１の構成を示す模式図である。ライブ配信システム１は、配信者（ライバー、ストリーマ（Streamer）ともいう）ＬＶと視聴者（オーディエンスともいう）ＡＵ（ＡＵ１、ＡＵ２、…）とがリアルタイムでやりとりできる双方向型のライブ配信サービスを提供する。図１に示すように、ライブ配信システム１は、サーバ１０と、配信者側のユーザ端末２０と、視聴者側のユーザ端末３０（３０ａ、３０ｂ、…）と、を備える。ライブ配信を配信している配信者、ライブ配信を視聴している視聴者の他に、ライブ配信プラットフォームにログインしたが配信も視聴もしていないユーザもいる。このようなユーザをアクティブユーザという。配信者、視聴者およびアクティブユーザをユーザと総称することがある。サーバ１０は、ネットワークＮＷに接続された一または複数の情報処理装置によって構成されてもよい。ユーザ端末２０、３０は例えばスマートフォンやタブレット型端末やラップトップＰＣやレコーダや携帯型ゲーム機やウェアラブル装置などの携帯端末であってもよいし、デスクトップＰＣなどの据え置き型の装置であってもよい。サーバ１０、ユーザ端末２０およびユーザ端末３０は、有線または無線の各種ネットワークＮＷにより互いに通信可能に接続される。

【0016】

ライブ配信システム１には、配信者ＬＶと、視聴者ＡＵと、サーバ１０を管理する管理者（不図示）と、が関与する。配信者ＬＶは、自分の歌や、トーク、パフォーマンス、占い、ゲーム実況などのコンテンツを自身のユーザ端末２０で録音・録画してそのままサーバ１０にアップロードすることで、リアルタイムにコンテンツを発信する者である。管理者は、サーバ１０においてコンテンツのライブ配信のためのプラットフォームを提供し、また、配信者ＬＶと視聴者ＡＵとのリアルタイムのやりとりを仲介または管理する。視聴者ＡＵは、ユーザ端末３０でプラットフォームにアクセスして所望のコンテンツを選択し、視聴する。このコンテンツのライブ配信中に視聴者ＡＵがユーザ端末３０を介してコメントをしたり応援したり占いを依頼したりするための操作を行い、当該コンテンツを提供する配信者ＬＶがそのようなコメントや応援や依頼に反応し、当該反応が映像および／または音声で視聴者ＡＵに伝わることで、双方向のコミュニケーションが成立する。

【0017】

本明細書において「ライブ配信」は、配信者ＬＶのユーザ端末２０で録音・録画されたコンテンツが実質的にリアルタイムで視聴者ＡＵのユーザ端末３０で再生され視聴可能となる状態を実現するデータの伝送態様を意味するものであってもよく、またはそのような伝送態様により実現される配信そのものを意味してもよい。ライブ配信は、HTTP Live StreamingやCommon Media Application FormatやWeb Real-Time CommunicationsやReal-Time Messaging ProtocolやMPEG DASHなどの既存のライブ配信技術を用いて実現されてもよい。ライブ配信は、配信者ＬＶがコンテンツを録音・録画しているときに、視聴者ＡＵが所定の遅延をもって当該コンテンツを視聴可能な伝送態様を含む。遅延の大きさについて、少なくとも、配信者ＬＶと視聴者ＡＵとのやりとりが成立する程度の大きさの遅延は許される。ただし、ライブ配信は、コンテンツを録音・録画したデータ全体をいったんサーバに保存し、その後の任意のタイミングでユーザからの求めに応じて当該データをサーバからユーザに提供するいわゆるオンデマンド型の配信とは区別される。

【0018】

本明細書において「動画データ」は、ユーザ端末２０、３０の撮像機能により生成される画像データ（ビデオデータともいう）と、ユーザ端末２０、３０の音声入力機能により生成される音声データ（オーディオデータともいう）と、を含むデータである。動画データは、ユーザ端末２０、３０で再生されることで、ユーザによるコンテンツの視聴を可能とする。本実施の形態では、動画データが配信者のユーザ端末で生成されてから視聴者のユーザ端末で再生されるまでの間に、圧縮や伸張や符号化や復号やトランスコーディングなどの、データの形式やサイズや仕様を変更する処理が行われることが想定されている。このような処理の前後で動画データが表す内容（例えば、動画像や音声）は実質的に変わらないので、本実施の形態ではそのような処理が行われた後の動画データはそのような処理が行われる前の動画データと同じであるとして説明する。すなわち、動画データが配信者のユーザ端末で生成されてからサーバ１０を経由して視聴者のユーザ端末で再生される場合、配信者のユーザ端末で生成された動画データと、サーバ１０を通過する動画データと、視聴者のユーザ端末で受信されて再生される動画データと、は全て同じ動画データである。

【0019】

図１の例では、配信者ＬＶがトークをライブ配信している。配信者ＬＶのユーザ端末２０はトークを行っている配信者ＬＶの像および音声を録画・録音することで動画データを生成し、ネットワークＮＷを介してサーバ１０に送信する。併せてユーザ端末２０は、録画された配信者ＬＶの動画像ＶＤをユーザ端末２０のディスプレイに表示させることで、配信者ＬＶによる配信内容の確認を可能とする。

【0020】

配信者ＬＶのライブ配信の視聴をプラットフォームに要求した視聴者ＡＵ１、ＡＵ２のユーザ端末３０ａ、３０ｂはそれぞれ、ネットワークＮＷを介してライブ配信に係る動画データを受信し、受信した動画データを再生することでディスプレイに動画像ＶＤ１、ＶＤ２を表示させると共にスピーカーから音声を出力する。各ユーザ端末３０ａ、３０ｂで表示される動画像ＶＤ１、ＶＤ２は配信者ＬＶのユーザ端末２０が撮像した動画像ＶＤと実質的に同一であり、各ユーザ端末３０ａ、３０ｂで出力される音声も配信者ＬＶのユーザ端末２０が録音した音声と実質的に同一である。

【0021】

配信者ＬＶのユーザ端末２０における録音・録画と、視聴者ＡＵ１、ＡＵ２のユーザ端末３０ａ、３０ｂにおける動画データの再生と、は実質的に同時に行われる。配信者ＬＶのトークの内容についてひとりの視聴者ＡＵ１がコメントをユーザ端末３０ａに入力すると、サーバ１０は当該コメントをリアルタイムで配信者ＬＶのユーザ端末２０に表示させると共に各視聴者ＡＵ１、ＡＵ２のユーザ端末３０ａ、３０ｂにも表示させる。当該コメントを読んだ配信者ＬＶがその内容に被せたトークを展開すると、そのトークの動画像と音声が各視聴者ＡＵ１、ＡＵ２のユーザ端末３０ａ、３０ｂで出力され、これにより配信者ＬＶと視聴者ＡＵ１との会話が成立したと認識される。このように、ライブ配信システム１では、一方通行でない双方向のコミュニケーションを可能とするライブ配信が実現される。

【0022】

図２は、図１のユーザ端末２０の機能および構成を示すブロック図である。ユーザ端末３０はユーザ端末２０と同様の機能および構成を有する。図２および以後のブロック図に示す各ブロックは、ハードウェア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組み合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。

【0023】

配信者ＬＶおよび視聴者ＡＵは、ダウンロードサイトからネットワークＮＷを介して、本実施の形態に係るライブ配信アプリケーションプログラム（以下、ライブ配信アプリという）をユーザ端末２０、３０にダウンロードし、インストールする。あるいはまた、ライブ配信アプリはユーザ端末２０、３０にプリインストールされていてもよい。ライブ配信アプリがユーザ端末２０、３０により実行されることにより、ユーザ端末２０、３０はネットワークＮＷを介してサーバ１０と通信し、各種機能を実現する。以下、ユーザ端末２０、３０（のＣＰＵなどのプロセッサ）がライブ配信アプリを実行することにより実現する機能をユーザ端末２０、３０の機能として説明する。それらの機能は実際はライブ配信アプリがユーザ端末２０、３０に実現させる機能である。なお、他の実施の形態では、これらの機能は、サーバ１０からユーザ端末２０、３０のウェブブラウザにネットワークＮＷを介して送信され、そのウェブブラウザによって実行される、ＨＴＭＬ（HyperText Markup Language）などのプログラミング言語により記述されたコンピュータプログラムにより実現されてもよい。

【0024】

ユーザ端末２０は、ユーザの像および音声を記録した動画データを生成してサーバ１０に提供する配信部１００と、サーバ１０から動画データを取得して再生する視聴部２００と、アクティブユーザによる要求を処理する配信外処理部４００と、を備える。ユーザは、配信を行う場合は配信部１００を、視聴を行う場合は視聴部２００を、視たいライブ配信や配信者を探したり配信者のプロフィールを視たりアーカイブを視たりする場合は配信外処理部４００を、それぞれ起動する。配信部１００がアクティブとなっているユーザ端末は配信者側、つまり動画データの生成側のユーザ端末であり、視聴部２００がアクティブとなっているユーザ端末は視聴者側、つまり動画データの再生側のユーザ端末であり、配信外処理部４００がアクティブとなっているユーザ端末はアクティブユーザのユーザ端末である。

【0025】

配信部１００は、撮像制御部１０２と、音声制御部１０４と、動画送信部１０６と、配信側ＵＩ制御部１０８と、配信側通信部１１０と、を含む。撮像制御部１０２は図２では不図示のカメラと接続され、カメラによる撮像を制御する。撮像制御部１０２はカメラから画像データを取得する。音声制御部１０４は図２では不図示のマイクロフォンと接続され、マイクロフォンによる音声入力を制御する。音声制御部１０４は、マイクロフォンから音声データを取得する。動画送信部１０６は、撮像制御部１０２により取得された画像データおよび音声制御部１０４により取得された音声データを含む動画データを、ネットワークＮＷを介してサーバ１０に送信する。動画送信部１０６による動画データの送信はリアルタイムで行われる。すなわち、撮像制御部１０２および音声制御部１０４による動画データの生成と、生成された動画データの動画送信部１０６による送信と、は実質的に同時に行われる。

【0026】

配信側ＵＩ制御部１０８は、配信者向けのＵＩを制御する。配信側ＵＩ制御部１０８は、図２では不図示のディスプレイと接続され、動画送信部１０６による送信対象となっている動画データを再生することにより動画像をディスプレイに表示させる。配信側ＵＩ制御部１０８は、図２では不図示のタッチパネルやキーボードやディスプレイなどの入力手段と接続され、それら入力手段を介して配信者による入力を取得する。配信側ＵＩ制御部１０８は、動画像に所定のフレーム画像を重畳させる。フレーム画像は、配信者から入力を受け付けるための様々なユーザインタフェースオブジェクト（以下、単にオブジェクトという）と、視聴者により入力されたコメントと、サーバ１０から取得した情報と、を含む。配信側ＵＩ制御部１０８は例えば配信者によるオブジェクトに対するタップ入力を受け付ける。

【0027】

配信側通信部１１０は、ライブ配信中のサーバ１０との間の通信を制御する。配信側通信部１１０は、配信側ＵＩ制御部１０８が取得した配信者による入力の内容を、サーバ１０にネットワークＮＷを介して送信する。配信側通信部１１０は、ライブ配信に関連付けられた各種の情報をサーバ１０からネットワークＮＷを介して受信する。

【0028】

視聴部２００は、視聴側ＵＩ制御部２０２と、視聴側通信部２０４と、を含む。視聴側通信部２０４は、ライブ配信中のサーバ１０との間の通信を制御する。視聴側通信部２０４は、ネットワークＮＷを介してサーバ１０から、配信者と視聴者とが参加するライブ配信に係る動画データを受信する。

【0029】

視聴側ＵＩ制御部２０２は、視聴者向けのＵＩを制御する。視聴側ＵＩ制御部２０２は、図２では不図示のディスプレイおよびスピーカと接続され、受信された動画データを再生することにより動画像をディスプレイに表示させると共に音声をスピーカから出力させる。ディスプレイに画像が出力されると共にスピーカから音声が出力されることを、合わせて「動画データが再生」されていると言うことができる。視聴側ＵＩ制御部２０２は、図２では不図示のタッチパネルやキーボードやディスプレイなどの入力手段と接続され、それら入力手段を介して視聴者による入力を取得する。視聴側ＵＩ制御部２０２は、サーバ１０から取得された動画データの画像に所定のフレーム画像を重畳させる。フレーム画像は、視聴者から入力を受け付けるための様々なオブジェクトと、視聴者により入力されたコメントと、サーバ１０から取得した情報と、を含む。視聴側通信部２０４は、視聴側ＵＩ制御部２０２が取得した視聴者による入力の内容を、ネットワークＮＷを介してサーバ１０に送信する。

【0030】

配信外処理部４００は、配信外ＵＩ制御部４０２と、配信外通信部４０４と、を含む。配信外ＵＩ制御部４０２は、アクティブユーザ向けのＵＩを制御する。例えば、配信外ＵＩ制御部４０２は、現在参加可能なライブ配信のリストを表示してアクティブユーザによるライブ配信の選択を受け付けるライブ配信選択画面を生成し、ディスプレイに表示させる。配信外ＵＩ制御部４０２は、任意のユーザのプロフィール画面を生成し、ディスプレイに表示させる。配信外ＵＩ制御部４０２は、検索キーワードや検索属性などのライブ配信や配信者を検索するための検索条件の入力を受け付ける検索条件受付画面を生成し、ディスプレイに表示させる。配信外ＵＩ制御部４０２は、検索条件受付画面を介して入力された検索条件を機械学習モデルに入力することで生成された少なくともひとつの生成画像を含む生成画像表示画面を生成し、ディスプレイに表示させる。配信外ＵＩ制御部４０２は、生成画像表示画面においてアクティブユーザから、少なくともひとつの生成画像に対する選択を受け付ける。配信外ＵＩ制御部４０２は、生成画像表示画面におけるアクティブユーザによる選択の結果に対応する画像検索の結果を含む画像検索結果表示画面を生成し、ディスプレイに表示させる。配信外ＵＩ制御部４０２は、過去のライブ配信を録音・録画することにより生成されたアーカイブを再生する。

【0031】

配信外通信部４０４は、ライブ配信外のサーバ１０との間の通信を制御する。配信外通信部４０４は、ネットワークＮＷを介してサーバ１０から、ライブ配信選択画面を生成するための情報や、生成画像およびその選択結果や、配信者・ライブ配信の検索結果や、プロフィール画面を生成するための情報や、アーカイブのデータを受信する。配信外通信部４０４は、アクティブユーザによる入力の内容を、ネットワークＮＷを介してサーバ１０に送信する。

【0032】

図３は、図１のサーバ１０の機能および構成を示すブロック図である。サーバ１０は、配信情報提供部３０２と、中継部３０４と、ギフト処理部３０８と、支払い処理部３１０と、ストリームＤＢ３１４と、ユーザＤＢ３１８と、ギフトＤＢ３２０と、配信者検索部３２２と、を備える。

【0033】

図４は、図３のストリームＤＢ３１４の一例を示すデータ構造図である。ストリームＤＢ３１４は現在行われているライブ配信の情報および過去に行われたライブ配信（アーカイブ）の情報を保持する。特にストリームＤＢ３１４は、ライブ配信中に当該ライブ配信のそれまでの動画から生成された画像を保持する。ストリームＤＢ３１４は、ライブ配信システム１が提供するライブ配信プラットフォームにおいてライブ配信を特定するストリームＩＤと、当該ライブ配信の配信者を特定するユーザＩＤである配信者ＩＤと、当該ライブ配信の視聴者を特定するユーザＩＤである視聴者ＩＤと、当該ライブ配信の現在までの動画から抽出された画像である抽出画像と、を対応付けて保持する。

【0034】

本実施の形態に係るライブ配信システム１が提供するライブ配信プラットフォームでは、ユーザがライブ配信を行う場合そのユーザは配信者となり、また同じユーザが他のユーザが配信するライブ配信を視聴する場合は視聴者となる。したがって、配信者・視聴者の別は固定的なものではなく、あるとき配信者ＩＤとして登録されていたユーザＩＤが別のタイミングでは視聴者ＩＤとして登録されることもある。

【0035】

抽出画像は、現在行われているライブ配信を代表するかまたはよく表す画像であり、当該ライブ配信が始まってから現在までの動画から生成または抽出される。例えば、サーバ１０はライブ配信が始まってから現在までの動画から、配信者が映っている画像を特定して抽出し、抽出された画像を当該ライブ配信に対応付けてストリームＤＢ３１４に登録してもよい。あるいはまた、サーバ１０は、ライブ配信の盛り上がりの度合いを監視し、度合いが所定のしきい値を超えたときの画像を取得してもよい。ライブ配信の動画からの画像の抽出は、例えば特許文献１に記載される技術を用いて実現されてもよい。

【0036】

図５は、図３のユーザＤＢ３１８の一例を示すデータ構造図である。ユーザＤＢ３１８は、ユーザに関する情報を保持する。特にユーザＤＢ３１８は、ライブ配信プラットフォームで配信される動画の配信者に関連する画像を保持する。ユーザＤＢ３１８は、ユーザを特定するユーザＩＤと、当該ユーザが有しているポイントと、当該ユーザに付与された報酬と、当該ユーザの属性と、当該ユーザのプロフィール画面に表示される画像であるプロフィール画像と、当該ユーザのアバター画像と、を対応付けて保持する。ユーザの属性は、当該ユーザの年齢の範囲と、当該ユーザの性別と、当該ユーザの髪の色と、当該ユーザがライブ配信アプリを使用している地域を示すリージョンと、当該ユーザがバーチャル配信者であるかリアル配信者であるかの別を示す情報（以下、Ｖリアルフラグという）と、を含む。バーチャル配信者は、配信者自身の姿ではなく二次元的または三次元的に描画されたキャラクターまたはオブジェクトの姿で配信する配信者を指す（例えば、非特許文献１を参照）。プロフィール画像は、ユーザが所望の画像をライブ配信プラットフォームにアップロードすることにより登録される。アバター画像はライブ配信アプリによって生成されてもよいし、ユーザが所望の画像を用いて生成するものであってもよい。

【0037】

ポイントは、ライブ配信プラットフォーム内で流通する電子的価値である。ユーザはクレジットカードや他の決済手段によりポイントを購入する。報酬はライブ配信プラットフォーム内で定義される電子的価値であり、配信者がライブ配信プラットフォームの管理者から受け取る金銭の額を決めるための指標である。ライブ配信プラットフォームでは、ライブ配信内やライブ配信外で視聴者が配信者にギフトを贈ると、視聴者のポイントが消費され、併せて配信者の報酬が相応分だけ増加する。

【0038】

図６は、図３のギフトＤＢ３２０の一例を示すデータ構造図である。ギフトＤＢ３２０は、ライブ配信において視聴者が使用可能なギフトに関する情報を保持する。ギフトは、以下の特徴を有する電子データである。
・ポイントや金銭を対価として購入可能、または無料で付与可能。
・視聴者が配信者に贈ることができるもの。配信者にギフトを贈ることを、ギフトを使用する、またはギフトを投げるともいう。
・ギフトの購入と使用とがセットで同時に発生するタイプのものもあれば、購入した後、視聴者が任意のタイミングで使用可能なタイプのものもある。
・視聴者が配信者にギフトを贈ると、その配信者に相応の報酬が付与される。
・ギフトが使用された場合、ギフトに関連付けられた効果が生じることがある。例えば、ギフトに対応するエフェクトがライブ配信ルーム画面に表れる。

【0039】

ギフトＤＢ３２０は、ギフトを特定するギフトＩＤと、当該ギフトを配信者に贈った場合に当該配信者に付与される報酬である付与報酬と、当該ギフトを使用する際に支払うべき対価である対価ポイントと、を対応付けて保持する。視聴者は、ライブ配信の視聴中に、所望のギフトの対価ポイントを支払うことで配信者に当該ギフトを贈ることができる。この対価ポイントの支払いは適宜の電子的決済手段により行われてもよく、例えば対価ポイントを視聴者が管理者に支払うことで行われてもよい。あるいはまた、銀行振込やクレジットカードによる支払いが用いられてもよい。付与報酬と対価ポイントとの関係は管理者が任意に設定可能である。例えば、付与報酬＝対価ポイントに設定してもよい。または付与報酬に１．２などの所定の係数を乗じて得られるポイントを対価ポイントに設定してもよいし、付与報酬に所定の手数料ポイントを加算して得られるポイントを対価ポイントに設定してもよい。

【0040】

図３に戻り、配信者検索部３２２は、アクティブユーザのユーザ端末から配信者の検索要求を受けると、配信者の検索を実行し、検索の結果を当該ユーザ端末に返す。配信者検索部３２２は、検索要求受付部３３０と、生成画像取得部３３２と、画像生成モデル３３８と、調整部３４０と、画像検索部３３４と、提供部３３６と、を含む。

【0041】

検索要求受付部３３０は、ライブ配信プラットフォームのアクティブユーザのユーザ端末からネットワークＮＷを介して、検索要求を受け付ける。検索要求は、要求元のアクティブユーザのユーザＩＤと、当該アクティブユーザが入力した検索対象のキーワード（テキスト形式で入力される。以下、検索キーワードという）と、当該アクティブユーザが指定した配信者の属性と、を含む。検索キーワードおよび属性は、検索要求元のアクティブユーザが探したい配信者の特徴を反映する。ここで指定される属性は、図５を参照して説明したユーザＤＢ３１８に保持される属性と同様である。

【0042】

画像生成モデル３３８は、検索キーワードおよび属性を入力とし、それらに対応する画像を出力とする、画像生成用の機械学習モデルである。画像生成モデル３３８は、非特許文献２に記載されるような公知の画像生成ＡＩ技術により実現されてもよい。画像生成モデル３３８は、入力された検索キーワードに対応しかつ入力された属性に合致する異なる複数の画像（以下、生成画像という）を生成する。

【0043】

生成画像取得部３３２は、検索要求受付部３３０が受け付けた検索要求に含まれる検索キーワードおよび属性を画像生成モデル３３８の入力とすることで、当該検索キーワードおよび属性に対応して画像生成モデル３３８が生成した複数の生成画像を取得する。

【0044】

調整部３４０は、生成画像取得部３３２により取得された複数の生成画像を調整することで、後段の画像検索部３３４で実行される画像－画像検索で検索キーとして用いられる画像を特定または生成する。調整部３４０は、検索要求元のアクティブユーザに複数の生成画像を提示し、そのなかから少なくともひとつの生成画像を選ばせる。一つの生成画像が選択された場合はその生成画像が検索キーとなる。複数の生成画像が選択された場合、選択された生成画像のそれぞれを検索キーとする画像－画像検索の結果を選択された生成画像に亘って合成することでひとつの検索結果を得てもよいし、選択された複数の生成画像を合成することで新たなひとつの画像を生成し、それを検索キーとしてもよい。

【0045】

調整部３４０は、検索条件の変更を受け付けてもよい。この場合、変更された検索条件にて新たに生成画像が生成され、アクティブユーザに提示される。調整部３４０は、絞り込み条件を受け付けてもよい。この場合、生成画像取得部３３２により取得された複数の生成画像のうち絞り込み条件に合致するものが抽出され、アクティブユーザに提示される。

【0046】

調整部３４０は、検索要求元のアクティブユーザによる、複数の生成画像のうちの少なくともひとつの生成画像の選択を受け付ける。具体的には、調整部３４０は、生成画像取得部３３２により取得された複数の生成画像を含む選択要求を生成し、ネットワークＮＷを介して検索要求元のユーザ端末に送信する。ユーザ端末は、受信した選択要求に基づいて生成画像表示画面を生成し、ディスプレイに表示させる。ユーザ端末は、アクティブユーザによる、生成画像表示画面に表示された複数の生成画像のうちの少なくともひとつの生成画像の選択を受け付ける。ユーザ端末は、選択された少なくとも一つの生成画像を特定する情報を含む選択応答を生成し、ネットワークＮＷを介して調整部３４０に送信する。調整部３４０は、受信した選択応答に基づき、アクティブユーザによる複数の生成画像のうちの少なくともひとつの生成画像の選択を受け付ける。

【0047】

画像検索部３３４は、選択された少なくともひとつの生成画像に基づきストリームＤＢ３１４およびユーザＤＢ３１８に対して画像検索を実行する。ひとつの生成画像が選択された場合、画像検索部３３４は当該生成画像を検索キーとしてストリームＤＢ３１４の抽出画像およびユーザＤＢ３１８のプロフィール画像およびアバター画像に対して画像－画像検索を実行する。画像検索部３３４における画像－画像検索の結果は、マッチングスコアの高い抽出画像／プロフィール画像／アバター画像と、それに対応する配信者ＩＤと、当該配信者ＩＤで特定される配信者が行っているライブ配信を特定するストリームＩＤと、の組を含む。画像検索部３３４における画像－画像検索は例えば特許文献２に記載される検索技術を用いて実現されてもよい。

【0048】

複数の生成画像が選択された場合、画像検索部３３４は各生成画像を検索キーとして画像－画像検索を実行する。画像検索部３３４は、得られた検索結果を選択された複数の生成画像に亘って合成することで最終的な検索結果を生成する。検索結果の合成は追加や平均や重み付けなど公知の技術により実現されてもよい。

【0049】

提供部３３６は、画像検索部３３４により実行された画像検索の結果を、検索要求元のユーザ端末にネットワークＮＷを介して提供する。

【0050】

検索要求元のユーザ端末の配信外ＵＩ制御部４０２は、受信した画像検索の結果に基づいて画像検索結果表示画面を生成し、ユーザ端末のディスプレイに表示させる。配信外ＵＩ制御部４０２は、画像検索結果表示画面におけるアクティブユーザによるライブ配信の選択を受け付けると、選択されたライブ配信のストリームＩＤを含む配信要求を生成し、ネットワークＮＷを介してサーバ１０に送信する。配信情報提供部３０２は、受信した配信要求に含まれるストリームＩＤにより特定されるライブ配信の、要求元のユーザ端末への提供を開始する。配信情報提供部３０２は、当該ストリームＩＤの視聴者ＩＤに要求元のユーザ端末のアクティブユーザのユーザＩＤが含まれるようにストリームＤＢ３１４を更新する。これにより、アクティブユーザは選択されたライブ配信の視聴者となる。

【0051】

中継部３０４は、配信情報提供部３０２によって開始されたライブ配信において、配信者のユーザ端末２０から視聴者のユーザ端末３０への動画データの伝送を中継する。中継部３０４は、ライブ配信中すなわち動画データの再生中における視聴者によるユーザ入力を示す信号を視聴側通信部２０４から受信する。ユーザ入力を示す信号は、ユーザ端末３０のディスプレイに表示されたオブジェクトの指定を示すオブジェクト指定信号であってもよく、当該オブジェクト指定信号は、視聴者の視聴者ＩＤと、視聴者が視聴しているライブ配信を行っている配信者の配信者ＩＤと、オブジェクトを特定するオブジェクトＩＤと、を含む。オブジェクトがギフトアイコンである場合、オブジェクトＩＤはギフトＩＤとなる。その場合のオブジェクト指定信号は、視聴者による配信者に対するギフトの使用を示すギフト使用信号となる。同様に、中継部３０４は、動画データの再生中における配信者によるユーザ入力を示す信号、例えばオブジェクト指定信号をユーザ端末２０の配信部１００の配信側通信部１１０から受信する。

【0052】

ギフト処理部３０８は、ギフト使用信号に含まれるギフトＩＤで特定されるギフトの付与報酬に応じて配信者の報酬を増加させるようにユーザＤＢ３１８を更新する。ギフト処理部３０８は、ギフトＤＢ３２０を参照し、受信したギフト使用信号に含まれるギフトＩＤに対応する付与報酬を特定する。ギフト処理部３０８は、ギフト使用信号に含まれる配信者ＩＤに対応する報酬に、特定された付与報酬を加えるようユーザＤＢ３１８を更新する。

【0053】

支払い処理部３１０は、ギフト使用信号の受信に応じて、視聴者によるギフトの対価の支払いを処理する。支払い処理部３１０は、ギフトＤＢ３２０を参照し、ギフト使用信号に含まれるギフトＩＤで特定されるギフトの対価ポイントを特定する。支払い処理部３１０は、ギフト使用信号に含まれる視聴者ＩＤで特定される視聴者のポイントから特定された対価ポイントを差し引くようユーザＤＢ３１８を更新する。

【0054】

以上の構成によるライブ配信システム１の動作を説明する。
図７は、サーバ１０における配信者検索に係る一連の処理の流れを示すフローチャートである。サーバ１０は、ネットワークＮＷを介してユーザ端末から検索要求を受け付ける（Ｓ２０２）。サーバ１０は、受け付けた検索要求に含まれる検索キーワードおよび希望属性を画像生成モデル３３８に入力する（Ｓ２０４）。サーバ１０は、画像生成モデル３３８が生成した生成画像を含む選択要求を、ネットワークＮＷを介して要求元のユーザ端末に送信する（Ｓ２０６）。サーバ１０は、ユーザにより選択された生成画像の情報を含む選択応答を、要求元のユーザ端末から受信する（Ｓ２０８）。サーバ１０は、選択された生成画像を検索キーとして、ユーザＤＢ３１８に保持される画像およびストリームＤＢ３１４に保持される画像に対して画像検索を実行する（Ｓ２１０）。サーバ１０は、検索の結果得られた配信者の情報および当該配信者が行っているライブ配信およびアーカイブの情報を、要求元のユーザ端末に送信する（Ｓ２１２）。

【0055】

図８は、アクティブユーザのユーザ端末のディスプレイに表示される検索条件受付画面６００の代表画面図である。検索条件受付画面６００はアクティブユーザによる検索条件の入力を受け付ける。検索条件受付画面６００は、アクティブユーザによる検索キーワードの入力をテキスト自由入力形式で受け付けるキーワード入力領域６０２と、アクティブユーザによる属性の指定をプルダウン形式で受け付ける属性指定領域６０４と、検索ボタン６０６と、を有する。

【0056】

アクティブユーザは、所望の検索キーワードをキーワード入力領域６０２に入力し、所望の属性を属性指定領域６０４で選択し、検索ボタン６０６を押す。ユーザ端末の配信外通信部４０４は、検索ボタン６０６の押下を検出すると、キーワード入力領域６０２に入力された検索キーワードと、属性指定領域６０４で選択された属性と、アクティブユーザのユーザＩＤと、を含む検索要求を生成し、ネットワークＮＷを介してサーバ１０に送信する。

【0057】

図９は、アクティブユーザのユーザ端末のディスプレイに表示される生成画像表示画面６０８の代表画面図である。生成画像表示画面６０８は、図８の検索条件受付画面６００を介して入力された検索条件（検索キーワードおよび属性）を画像生成モデル３３８に入力することで生成された複数の生成画像を含む。生成画像表示画面６０８は、検索要求に応じてサーバ１０から受信した選択要求に含まれる複数の生成画像６１２を表示する生成画像表示領域６１０と、検索条件追加ボタン６１４と、画像検索実行ボタン６１６と、を有する。

【0058】

アクティブユーザが検索条件追加ボタン６１４をタップすると、配信外ＵＩ制御部４０２は、検索条件を追加または更新して生成画像の生成をやり直すためのインタフェースを提供する。ユーザ端末は当該インタフェースを介して生成画像に対する更新要求を受け付ける。または、配信外ＵＩ制御部４０２は、検索条件を追加して検索結果を絞り込むためのインタフェースを提供する。

【0059】

アクティブユーザは、生成画像表示領域６１０に表示される複数の生成画像のなかから、自分の欲している配信者のイメージにより近い生成画像を選択または指定し、画像検索実行ボタン６１６を押す。配信外ＵＩ制御部４０２は、画像検索実行ボタン６１６の押下を検出すると、生成画像表示画面６１０において、複数の生成画像からの少なくともひとつの生成画像の選択または指定を受け付ける。配信外通信部４０４は、生成画像表示領域６１０で選択または指定されている生成画像を特定する情報を含む選択応答を生成し、ネットワークＮＷを介してサーバ１０に送信する。

【0060】

図１０は、アクティブユーザのユーザ端末のディスプレイに表示される画像検索結果表示画面６１８の代表画面図である。画像検索結果表示画面６１８は、図９の生成画像表示画面６０８における生成画像の選択の結果に対応する画像検索の結果を含む。配信外通信部４０４は、図９の生成画像表示画面６０８を介して送信された選択応答に対応する画像検索の結果をサーバ１０から受信する。配信外ＵＩ制御部４０２は、受信した画像検索の結果に基づいて画像検索結果表示画面６１８を生成し、ディスプレイに表示させる。画像検索結果表示画面６１８は、画像検索の結果に含まれる配信者ＩＤ６２０と、当該配信者ＩＤで特定される配信者のプロフィール画像６２２と、当該配信者ＩＤで特定される配信者が現在行なっているライブ配信を表すサムネイル６２４と、当該配信者の過去のライブ配信のアーカイブを表すサムネイル６２６と、を含む。

【0061】

上述の実施の形態において、保持部の例は、ハードディスクや半導体メモリである。また、本明細書の記載に基づき、各部を、図示しないＣＰＵや、インストールされたアプリケーションプログラムのモジュールや、システムプログラムのモジュールや、ハードディスクから読み出したデータの内容を一時的に記憶する半導体メモリなどにより実現できることは本明細書に触れた当業者には理解される。

【0062】

本実施の形態に係るライブ配信システム１によると、テキストからの画像の生成を利用することで、画像にタグ付けをしなくても配信者のテキスト－画像検索が可能となる。これにより、ユーザや管理者の負担を軽減できる。また、ライブ配信の抽出画像など頻繁に画像の更新が生じる場合でも検索の精度を維持または向上することができる。

【0063】

また、本実施の形態に係るライブ配信システム１では、検索条件から生成される異なる複数の生成画像がユーザに候補として提示される。ユーザは、候補のなかから求めるものにより近い生成画像を指定できる。これにより、配信者検索の確度を高めることができる。例えば、文化の違いによるテキストの意味の違いを吸収することができる。例えば、「かわいい」というテキストの意味するところは我が国と外国とでは異なる。我が国における「かわいい」の意味が反映された生成画像と、外国における「かわいい」の意味が反映された生成画像と、をユーザに提示することで、そのような意味のずれによる検索結果のずれを抑制または防止することができる。

【0064】

従来の画像のタグに基づく検索では、検索キーワードとタグとの合致がない場合は検索結果無しとなることが多い。これに対して、本実施の形態に係るライブ配信システム１では、検索条件から機械学習モデルが生成画像を生成し、当該生成画像を検索キーとした画像検索が行われる。したがって、どのような検索条件に対しても何らかの検索結果を返すことができる。これにより、検索結果が無いことによるユーザ満足度の低下を抑えることができる。

【0065】

また、本実施の形態に係るライブ配信システム１では、生成画像とその選択結果とをデータとして取得し活用することができる。例えば、流行の顔を分析する際にそのようなデータを利用することができる。

【0066】

図１１を参照して、本実施の形態に係る情報処理装置のハードウェア構成について説明する。図１１は、本実施の形態に係る情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置９００は、例えば、本実施の形態におけるサーバ１０およびユーザ端末２０、３０のそれぞれを実現しうる。

【0067】

情報処理装置９００は、ＣＰＵ９０１、ＲＯＭ（Read Only Memory）９０２、およびＲＡＭ（Random Access Memory）９０３を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インタフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２５、通信装置９２９を含んでもよい。さらに、情報処理装置９００は、カメラなどの撮像装置（不図示）を含む。また、情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）またはＡＳＩＣ（Application Specific Integrated Circuit）と呼ばれるような処理回路を有してもよい。

【0068】

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、ストレージ装置９１９、またはリムーバブル記録媒体９２３に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。例えば、ＣＰＵ９０１は、本実施の形態におけるサーバ１０およびユーザ端末２０、３０のそれぞれに含まれる各機能部の動作全般を制御する。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０２、およびＲＡＭ９０３は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９１１に接続されている。

【0069】

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置であってもよいし、マイクロフォンなどの音センサ、加速度センサ、傾きセンサ、赤外線センサ、深度センサ、温度センサ、湿度センサなど物理量を電気信号に変換する装置であってもよい。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２７であってもよい。入力装置９１５は、ユーザが入力した情報または感知した物理量に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。

【0070】

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ、ＰＤＰ、ＯＥＬＤなどのディスプレイ、スピーカおよびヘッドホンなどの音響出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音響などの音として出力したりする。

【0071】

ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

【0072】

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２３のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２３に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２３に記録を書き込む。

【0073】

接続ポート９２５は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９２５は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。また、接続ポート９２５は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート９２５に外部接続機器９２７を接続することで、情報処理装置９００と外部接続機器９２７との間で各種のデータが交換されうる。

【0074】

通信装置９２９は、例えば、ネットワークＮＷに接続するための通信デバイスなどで構成された通信インタフェースである。通信装置９２９は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless USB）用の通信カードなどでありうる。また、通信装置９２９は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２９は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２９に接続される通信ネットワークＮＷは、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。なお、通信装置９２９は、通信部としての機能を実現する。

【0075】

カメラなどの撮像装置（不図示）は、例えばＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。当該撮像装置は、静止画を撮像するものであってもよいし、または動画を撮像するものであってもよい。

【0076】

以上、実施の形態に係るライブ配信システム１の構成と動作について説明した。この実施の形態は例示であり、各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解される。

【0077】

実施の形態ではライブ配信プラットフォームを例として説明したが、これに限られず、ＶＯＤ（Video On Demand）などの他の動画配信プラットフォームにも本実施の形態に係る技術的思想を適用可能である。

【0078】

実施の形態では、配信者を検索する場合を説明したが、これに限られない。例えば、ライブ配信やアーカイブを検索する場合にも本実施の形態に係る技術的思想を適用可能である。

【0079】

実施の形態では、複数の生成画像をユーザに提示して選択させる場合を説明したが、これに限られない。例えば、ひとつの生成画像をユーザに提示して、それを採用するかまたは検索条件を変更するかを問い合わせてもよい。あるいはまた、生成画像を生成した後、ユーザに問い合わせることなく当該生成画像を検索キーとして画像検索を行ってもよい。

【0080】

実施の形態では、ユーザが検索条件として指定した属性を画像生成モデル３３８の入力とする場合を説明したが、これに限られない。例えば、画像生成モデル３３８の入力とすることに代えてまたは加えて、ユーザが検索条件として指定した属性をユーザＤＢ３１８で配信者を予め絞り込むために用いてもよい。例えば、検索条件としてバーチャル配信者が指定された場合、サーバは、ユーザＤＢ３１８に保持される画像のうち配信者のＶリアルフラグがバーチャルに設定されている配信者の画像を予め抽出して画像検索の母集団としてもよい。

【0081】

実施の形態では、検索要求が検索キーワードと属性とを含む場合を説明したが、これに限られず、検索要求は検索キーワードまたは属性のいずれか一方を含んでもよい。あるいはまた、検索要求は、画像や音声や要求元のユーザのプロフィール情報や閲覧履歴を含んでもよい。

【0082】

実施の形態では、アクティブユーザのユーザ端末が検索要求を生成する場合を説明したが、これに限られず、例えばユーザに配信者をリコメンドする場合にも本実施の形態に係る技術的思想を適用することができる。この場合、検索要求はユーザのプロフィール情報や閲覧履歴を含んでもよい。閲覧履歴は、ユーザが過去に閲覧したライブ配信の配信者のプロフィール画像を含んでもよい。この場合、このようなプロフィール画像を入力として画像生成モデルにより生成される生成画像は、ユーザが好みそうな画像となる。

【0083】

実施の形態におけるギフトの対価ポイントから付与報酬への換算率は一例であって、これらは例えばライブ配信システムの管理者により適宜設定されてもよい。

【0084】

実施の形態に係る技術的思想をライブコマースに適用してもよい。例えば、ユーザが入力したテキストからユーザが欲しい商品の画像を生成し、生成された画像をキーとしてライブコマースで扱われている商品の画像を検索したり、ライブコマースのライブ配信動画から抽出された画像を検索してもよい。例えば、ユーザが「緑 服」と入力するとシステムは緑色の服の生成画像を複数生成してユーザに提示する。そのなかからユーザが自分のテイストに合った生成画像を選択すると、システムは選択された生成画像に含まれる緑色の服を検索キーとする画像検索を実行する。その結果、検索キーの服と色や形が似ている服の商品画像が検索結果として得られるか、または、検索キーの服と同様の服を着ている配信者のライブコマース配信が検索結果として得られる。

【0085】

本明細書において説明された処理手順、特にフロー図、フローチャートを用いて説明された処理手順においては、その処理手順を構成する工程（ステップ）の一部を省略すること、その処理手順を構成する工程として明示されていない工程を追加すること、及び／又は当該工程の順序を入れ替えることが可能であり、このような省略、追加、順序の変更がなされた処理手順も本開示の趣旨を逸脱しない限り本開示の範囲に含まれる。

【0086】

サーバ１０により実現される機能の少なくとも一部は、サーバ１０以外の装置、例えばユーザ端末２０、３０により実現されてもよい。ユーザ端末２０、３０により実現される機能の少なくとも一部は、ユーザ端末２０、３０以外の装置、例えば、サーバ１０により実現されてもよい。例えば、視聴者のユーザ端末で行われる動画データの画像への所定のフレーム画像の重畳は、サーバ１０で行われてもよいし、配信者のユーザ端末で行われてもよい。

【要約】

【課題】動画やその配信者の検索を改善する。
【解決手段】サーバは、動画配信プラットフォームで配信される動画に関連する画像を保持する画像保持部と、動画配信プラットフォームのユーザのユーザ端末からネットワークを介して、検索要求を受け付ける要求受付部と、検索要求に含まれるユーザにより入力された情報を機械学習モデルの入力とすることで、当該情報に対応して当該機械学習モデルが生成した生成画像を取得する生成画像取得部と、生成画像に基づき画像保持部に対して画像検索を実行する検索部と、検索部により実行された画像検索の結果を、ユーザ端末にネットワークを介して提供する提供部と、を備える。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】