ホーム > 特許ランキング > 楽天グループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024039774
(43)【公開日】2024-03-25
(54)【発明の名称】ライブ配信システム、推定方法、及びプログラム
(51)【国際特許分類】
H04N 21/235 20110101AFI20240315BHJP
G06Q 50/10 20120101ALI20240315BHJP
H04N 21/24 20110101ALI20240315BHJP
【ＦＩ】
H04N21/235
G06Q50/10
H04N21/24
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2022144377
(22)【出願日】2022-09-12
(71)【出願人】
【識別番号】399037405
【氏名又は名称】楽天グループ株式会社
(74)【代理人】
【識別番号】110000154
【氏名又は名称】弁理士法人はるか国際特許事務所
(72)【発明者】
【氏名】及川 佑人
(72)【発明者】
【氏名】中山 祐輝
(72)【発明者】
【氏名】村上 浩司
【テーマコード（参考）】
5C164
5L049
【Ｆターム（参考）】
5C164FA06
5C164SB08P
5C164SB41P
5C164YA11
5L049CC12
(57)【要約】
【課題】ライブ配信サービスにおける視聴者コメントが適切であるか否かを推定するコンピュータの処理負荷を軽減する。
【解決手段】ライブ配信システム（１）の視聴者コメント取得部（１０１）は、ライブ配信サービスの視聴者により入力された視聴者コメントを取得する。第１推定部（１０２）は、第１訓練コメントが学習された第１モデルに基づいて、視聴者コメントが適切であるか否かを推定する。第１基準判定部（１０３）は、第１モデルの推定精度に関する第１スコアが所定の第１基準を満たすか否かを判定する。第２推定部（１０４）は、第１スコアが第１基準を満たすと判定された場合には、第２訓練コメントが学習された第２モデルに基づく推定を行わずに、第１スコアが第１基準を満たさないと判定された場合に、第２モデルに基づいて、視聴者コメントが適切であるか否かを推定する。
【選択図】図４
【解決手段】ライブ配信システム（１）の視聴者コメント取得部（１０１）は、ライブ配信サービスの視聴者により入力された視聴者コメントを取得する。第１推定部（１０２）は、第１訓練コメントが学習された第１モデルに基づいて、視聴者コメントが適切であるか否かを推定する。第１基準判定部（１０３）は、第１モデルの推定精度に関する第１スコアが所定の第１基準を満たすか否かを判定する。第２推定部（１０４）は、第１スコアが第１基準を満たすと判定された場合には、第２訓練コメントが学習された第２モデルに基づく推定を行わずに、第１スコアが第１基準を満たさないと判定された場合に、第２モデルに基づいて、視聴者コメントが適切であるか否かを推定する。
【選択図】図４
【特許請求の範囲】
【請求項1】
ライブ配信サービスの視聴者により入力された視聴者コメントを取得する視聴者コメント取得部と、
第１訓練コメントが学習された第１モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する第１推定部と、
前記第１モデルの推定精度に関する第１スコアが所定の第１基準を満たすか否かを判定する第１基準判定部と、
前記第１スコアが前記第１基準を満たすと判定された場合には、第２訓練コメントが学習された第２モデルに基づく推定を行わずに、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記第２モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する第２推定部と、
を含むライブ配信システム。
第１訓練コメントが学習された第１モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する第１推定部と、
前記第１モデルの推定精度に関する第１スコアが所定の第１基準を満たすか否かを判定する第１基準判定部と、
前記第１スコアが前記第１基準を満たすと判定された場合には、第２訓練コメントが学習された第２モデルに基づく推定を行わずに、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記第２モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する第２推定部と、
を含むライブ配信システム。
【請求項2】
前記第２推定部は、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記第１モデルの推定結果と、前記第２モデルと、に基づいて、前記視聴者コメントが適切であるか否かを推定する、
請求項１に記載のライブ配信システム。
請求項１に記載のライブ配信システム。
【請求項3】
前記第２推定部は、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記第１スコアと、前記第２モデルと、に基づいて、前記視聴者コメントが適切であるか否かを推定する、
請求項１又は２に記載のライブ配信システム。
請求項１又は２に記載のライブ配信システム。
【請求項4】
前記ライブ配信システムは、前記視聴者コメントに所定のキーワードが含まれるか否かを判定するキーワード判定部を更に含み、
前記第２推定部は、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記視聴者コメントに前記キーワードが含まれるか否かの判定結果と、前記第２モデルと、に基づいて、前記視聴者コメントが適切であるか否かを推定する、
請求項１又は２に記載のライブ配信システム。
前記第２推定部は、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記視聴者コメントに前記キーワードが含まれるか否かの判定結果と、前記第２モデルと、に基づいて、前記視聴者コメントが適切であるか否かを推定する、
請求項１又は２に記載のライブ配信システム。
【請求項5】
前記キーワード判定部は、
前記視聴者コメントに、第１キーワード群における第１キーワードが含まれるか否かを判定する第１キーワード判定部と、
前記視聴者コメントに、第２キーワード群における第２キーワードが含まれるか否かを判定する第２キーワード判定部と、
を含み、
前記第２推定部は、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記視聴者コメントに前記第１キーワードが含まれるか否かの第１判定結果、前記視聴者コメントに前記第２キーワードが含まれるか否かの第２判定結果、及び前記第２モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する、
請求項４に記載のライブ配信システム。
前記視聴者コメントに、第１キーワード群における第１キーワードが含まれるか否かを判定する第１キーワード判定部と、
前記視聴者コメントに、第２キーワード群における第２キーワードが含まれるか否かを判定する第２キーワード判定部と、
を含み、
前記第２推定部は、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記視聴者コメントに前記第１キーワードが含まれるか否かの第１判定結果、前記視聴者コメントに前記第２キーワードが含まれるか否かの第２判定結果、及び前記第２モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する、
請求項４に記載のライブ配信システム。
【請求項6】
前記ライブ配信サービスでは、商品を紹介する動画が配信され、前記商品に関する属性ごとに、キーワード群が用意されており、
前記キーワード判定部は、前記視聴者が視聴中の前記動画で紹介されている前記商品の前記属性に関連付けられた前記キーワード群に基づいて、前記視聴者コメントに前記キーワードが含まれるか否かを判定する、
請求項４に記載のライブ配信システム。
前記キーワード判定部は、前記視聴者が視聴中の前記動画で紹介されている前記商品の前記属性に関連付けられた前記キーワード群に基づいて、前記視聴者コメントに前記キーワードが含まれるか否かを判定する、
請求項４に記載のライブ配信システム。
【請求項7】
前記ライブ配信システムは、第３訓練コメントが学習された第３モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する第３推定部を更に含み、
前記第２推定部は、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記第３モデルの推定結果と、前記第２モデルと、に基づいて、前記視聴者コメントが適切であるか否かを推定する、
請求項１又は２に記載のライブ配信システム。
前記第２推定部は、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記第３モデルの推定結果と、前記第２モデルと、に基づいて、前記視聴者コメントが適切であるか否かを推定する、
請求項１又は２に記載のライブ配信システム。
【請求項8】
前記第１モデルは、前記第２モデルよりも高速なモデルである、
請求項１又は２に記載のライブ配信システム。
請求項１又は２に記載のライブ配信システム。
【請求項9】
前記第２モデルは、条件分岐を有するモデルであり、
前記第２推定部は、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記視聴者コメントが満たす前記条件分岐に応じた出力を取得することによって、前記視聴者コメントが適切であるか否かを推定する、
請求項１又は２に記載のライブ配信システム。
前記第２推定部は、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記視聴者コメントが満たす前記条件分岐に応じた出力を取得することによって、前記視聴者コメントが適切であるか否かを推定する、
請求項１又は２に記載のライブ配信システム。
【請求項10】
前記ライブ配信システムは、
前記第２モデルの推定精度に関する第２スコアが所定の第２基準を満たすか否かを判定する第２基準判定部と、
前記第２スコアが前記第２基準を満たすと判定された場合には、第４訓練コメントが学習された第４モデルに基づく推定を行わずに、前記第２スコアが前記第２基準を満たさないと判定された場合に、前記第４モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する第４推定部と、
を更に含む請求項１又は２に記載のライブ配信システム。
前記第２モデルの推定精度に関する第２スコアが所定の第２基準を満たすか否かを判定する第２基準判定部と、
前記第２スコアが前記第２基準を満たすと判定された場合には、第４訓練コメントが学習された第４モデルに基づく推定を行わずに、前記第２スコアが前記第２基準を満たさないと判定された場合に、前記第４モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する第４推定部と、
を更に含む請求項１又は２に記載のライブ配信システム。
【請求項11】
前記第２推定部は、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記第１スコアに基づいて、複数の前記第２モデルのうちの何れかを選択し、当該選択された第２モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する、
請求項１又は２に記載のライブ配信システム。
請求項１又は２に記載のライブ配信システム。
【請求項12】
前記第１推定部及び前記第２推定部の少なくとも一方は、前記視聴者に関する特徴に基づいて、前記視聴者コメントが適切であるか否かを推定する、
請求項１又は２に記載のライブ配信システム。
請求項１又は２に記載のライブ配信システム。
【請求項13】
前記ライブ配信システムは、前記第１モデル及び前記第２モデルの少なくとも一方の推定結果に基づいて、前記視聴者コメントを表示するか否かを制御する表示制御部を更に含む、
請求項１又は２に記載のライブ配信システム。
請求項１又は２に記載のライブ配信システム。
【請求項14】
ライブ配信サービスの視聴者により入力された視聴者コメントを取得する視聴者コメント取得ステップと、
第１訓練コメントが学習された第１モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する第１推定ステップと、
前記第１モデルの推定精度に関する第１スコアが所定の第１基準を満たすか否かを判定する第１基準判定ステップと、
前記第１スコアが前記第１基準を満たすと判定された場合には、第２訓練コメントが学習された第２モデルに基づく推定を行わずに、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記第２モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する第２推定ステップと、
を含む推定方法。
第１訓練コメントが学習された第１モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する第１推定ステップと、
前記第１モデルの推定精度に関する第１スコアが所定の第１基準を満たすか否かを判定する第１基準判定ステップと、
前記第１スコアが前記第１基準を満たすと判定された場合には、第２訓練コメントが学習された第２モデルに基づく推定を行わずに、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記第２モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する第２推定ステップと、
を含む推定方法。
【請求項15】
ライブ配信サービスの視聴者により入力された視聴者コメントを取得する視聴者コメント取得部、
第１訓練コメントが学習された第１モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する第１推定部、
前記第１モデルの推定精度に関する第１スコアが所定の第１基準を満たすか否かを判定する第１基準判定部、
前記第１スコアが前記第１基準を満たすと判定された場合には、第２訓練コメントが学習された第２モデルに基づく推定を行わずに、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記第２モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する第２推定部、
としてコンピュータを機能させるためのプログラム。
第１訓練コメントが学習された第１モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する第１推定部、
前記第１モデルの推定精度に関する第１スコアが所定の第１基準を満たすか否かを判定する第１基準判定部、
前記第１スコアが前記第１基準を満たすと判定された場合には、第２訓練コメントが学習された第２モデルに基づく推定を行わずに、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記第２モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する第２推定部、
としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ライブ配信システム、推定方法、及びプログラムに関する。
【背景技術】
【0002】
従来、動画又は音声等の情報をリアルタイムで配信するライブ配信サービスが知られている。ライブ配信サービスでは、視聴者が不適切な視聴者コメントを入力することがあるので、視聴者コメントが適切であるか否かを推定することが求められている。例えば、特許文献１には、訓練コメントが適切であるか否かを人手で分類して訓練データを作成し、機械学習手法を利用して訓練データを学習させたモデルに基づいて、未分類のコメントが適切であるか否かを分類する技術が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表２０２２－５０６２７４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば、特許文献１の技術をライブ配信サービスに適用した場合、特許文献１のモデルによって、視聴者コメントが適切であるか否かを推定できる。この点、１つのモデルだけでは、推定精度が十分ではないことがあるので、互いに異なる訓練データを学習させた複数のモデルを併用することが考えられる。しかしながら、全ての視聴者コメントに対し、複数のモデルに基づく推定を実行したとすると、視聴者コメントが適切であるか否かを推定するコンピュータの処理負荷が高まる。
【0005】
本開示の目的の１つは、ライブ配信サービスにおける視聴者コメントが適切であるか否かを推定するコンピュータの処理負荷を軽減することである。
【課題を解決するための手段】
【0006】
本開示に係るライブ配信システムは、ライブ配信サービスの視聴者により入力された視聴者コメントを取得する視聴者コメント取得部と、第１訓練コメントが学習された第１モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する第１推定部と、前記第１モデルの推定精度に関する第１スコアが所定の第１基準を満たすか否かを判定する第１基準判定部と、前記第１スコアが前記第１基準を満たすと判定された場合には、第２訓練コメントが学習された第２モデルに基づく推定を行わずに、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記第２モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する第２推定部と、を含む。
【発明の効果】
【0007】
本開示によれば、ライブ配信サービスにおける視聴者コメントが適切であるか否かを推定するコンピュータの処理負荷を軽減できる。
【図面の簡単な説明】
【0008】
【図1】ライブ配信システムの全体構成の一例を示す図である。
【図2】ライブ配信サービスで配信される動画の一例を示す図である。
【図3】ライブ配信システムで実現される機能の一例を示す図である。
【図4】配信データベースの一例を示す図である。
【図5】第１モデル及び第２モデルに基づいて、視聴者コメントが適切であるか否かを推定する処理の一例を示す図である。
【図6】ライブ配信システムで実行される処理の一例を示す図である。
【図7】ライブ配信システムで実行される処理の一例を示す図である。
【図8】変形例で実現される機能の一例を示す図である。
【図9】第２モデルの処理の一例を示す図である。
【発明を実施するための形態】
【0009】
［１．ライブ配信システムの全体構成］
本開示に係るライブ配信システムの実施形態の一例を説明する。図１は、ライブ配信システムの全体構成の一例を示す図である。例えば、ライブ配信システム１は、サーバ１０、運営者端末２０、配信者端末３０、及び視聴者端末４０を含む。サーバ１０、運営者端末２０、配信者端末３０、及び視聴者端末４０の各々は、インターネット又はＬＡＮ等のネットワークＮに接続可能である。
本開示に係るライブ配信システムの実施形態の一例を説明する。図１は、ライブ配信システムの全体構成の一例を示す図である。例えば、ライブ配信システム１は、サーバ１０、運営者端末２０、配信者端末３０、及び視聴者端末４０を含む。サーバ１０、運営者端末２０、配信者端末３０、及び視聴者端末４０の各々は、インターネット又はＬＡＮ等のネットワークＮに接続可能である。
【0010】
サーバ１０は、ライブ配信サービスを提供するサーバコンピュータである。ライブ配信サービスは、リアルタイムで情報を配信するサービスである。例えば、サーバ１０は、制御部１１、記憶部１２、及び通信部１３を含む。制御部１１は、少なくとも１つのプロセッサを含む。記憶部１２は、ＲＡＭ等の揮発性メモリと、フラッシュメモリ等の不揮発性メモリと、を含む。通信部１３は、有線通信用の通信インタフェースと、無線通信用の通信インタフェースと、の少なくとも一方を含む。
【0011】
運営者端末２０は、運営者のコンピュータである。運営者は、ライブ配信サービスを運営する企業である。例えば、運営者端末２０は、パーソナルコンピュータ、タブレット端末、又はスマートフォンである。例えば、運営者端末２０は、制御部２１、記憶部２２、通信部２３、操作部２４、及び表示部２５を含む。制御部２１、記憶部２２、及び通信部２３の物理的構成は、それぞれ制御部１１、記憶部１２、及び通信部１３と同様である。操作部２４は、タッチパネル等の入力デバイスである。表示部２５は、液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイである。
【0012】
配信者端末３０は、配信者のコンピュータである。配信者は、ライブ配信サービスで情報を配信するユーザである。例えば、配信者端末３０は、パーソナルコンピュータ、タブレット端末、又はスマートフォンである。例えば、配信者端末３０は、制御部３１、記憶部３２、通信部３３、操作部３４、及び表示部３５を含む。制御部３１、記憶部３２、通信部３３、操作部３４、及び表示部３５の物理的構成は、それぞれ制御部１１、記憶部１２、通信部１３、操作部２４、及び表示部２５と同様である。配信者端末３０には、カメラ３６が接続される。カメラ３６は、配信者端末３０の内部に含まれてもよい。
【0013】
視聴者端末４０は、視聴者のコンピュータである。視聴者は、ライブ配信サービスで情報を視聴するユーザである。例えば、視聴者端末４０は、パーソナルコンピュータ、タブレット端末、又はスマートフォンである。例えば、視聴者端末４０は、制御部４１、記憶部４２、通信部４３、操作部４４、及び表示部４５を含む。制御部４１、記憶部４２、通信部４３、操作部４４、及び表示部４５の物理的構成は、それぞれ制御部１１、記憶部１２、通信部１３、操作部２４、及び表示部２５と同様である。
【0014】
なお、記憶部１２，２２，３２，４２に記憶されるプログラムは、ネットワークＮを介して供給されてもよい。また、コンピュータ読み取り可能な情報記憶媒体に記憶されたプログラムが、情報記憶媒体を読み取る読取部（例えば、光ディスクドライブやメモリカードスロット）、又は、外部機器とデータの入出力をするための入出力部（例えば、ＵＳＢポート）を介して供給されてもよい。
【0015】
また、ライブ配信システム１は、少なくとも１つのコンピュータを含めばよく、図１の例に限られない。例えば、ライブ配信システム１は、サーバ１０だけを含み、運営者端末２０、配信者端末３０、及び視聴者端末４０は、ライブ配信システム１の外部に存在してもよい。例えば、ライブ配信システム１は、サーバ１０及び運営者端末２０だけを含み、配信者端末３０及び視聴者端末４０は、ライブ配信システム１の外部に存在してもよい。
【0016】
［２．ライブ配信システムの概要］
本実施形態では、商品を宣伝する動画を配信するライブ配信サービスを例に挙げる。ライブ配信サービスは、種々のタイプであってよく、本実施形態の例に限られない。例えば、ゲーム実況、セミナー、サービスを宣伝する動画、配信者による歌唱若しくは演奏、配信者との雑談、又はバラエティ番組を配信するライブ配信サービスであってもよい。ライブ配信サービスでは、画像及び音声の両方ではなく、画像又は音声の何れか一方だけが配信されてもよい。本実施形態では、視聴者は、画像を見るだけの者と、音声を聴くだけの者と、も含む意味である。
本実施形態では、商品を宣伝する動画を配信するライブ配信サービスを例に挙げる。ライブ配信サービスは、種々のタイプであってよく、本実施形態の例に限られない。例えば、ゲーム実況、セミナー、サービスを宣伝する動画、配信者による歌唱若しくは演奏、配信者との雑談、又はバラエティ番組を配信するライブ配信サービスであってもよい。ライブ配信サービスでは、画像及び音声の両方ではなく、画像又は音声の何れか一方だけが配信されてもよい。本実施形態では、視聴者は、画像を見るだけの者と、音声を聴くだけの者と、も含む意味である。
【0017】
図２は、ライブ配信サービスで配信される動画の一例を示す図である。例えば、配信者は、カメラ３６の前で、オンラインショッピングモールで販売される商品を宣伝する。配信者端末３０は、サーバ１０に対し、カメラ３６により生成された動画を送信する。サーバ１０は、不特定多数の視聴者の視聴者端末４０に対し、配信者端末３０から受信した動画をリアルタイムで配信する。視聴者端末４０の表示部４５には、リアルタイムで動画が表示される。視聴者は、視聴中の動画における商品を気に入れば、ボタンＢを選択することによって、商品を購入することができる。
【0018】
例えば、視聴者は、入力フォームＦに対し、コメントを入力できる。以降、視聴者により入力されたコメントを、視聴者コメントという。視聴者コメントは、任意の文字列を含むことができる。例えば、視聴者コメントは、配信者又は他の視聴者に向けたメッセージである。視聴者コメントは、他人に向けたメッセージではなく、独り言のような内容であってもよい。例えば、ウィンドウＷには、複数の視聴者コメントが時系列順に並べて表示される。図２のように、商品の感想や配信者の印象といった種々の視聴者コメントがウィンドウＷに表示される。本実施形態では、視聴者コメントは、原則として、配信者と視聴者を含む全ての者に公開されるものとする。
【0019】
例えば、視聴者は、不適切な視聴者コメントを入力することがある。不適切な視聴者コメントは、ライブ配信サービスの利用規約に違反する内容を含む。不適切な視聴者コメントは、公開しない方が良い視聴者コメントということもできる。例えば、不適切な視聴者コメントは、誹謗中傷、卑猥な内容、他人が不快に感じるその他の内容、又は意味不明な内容を含む。図２の例では、視聴者Ｃ，Ｅにより入力された視聴者コメントは、不適切である。
【0020】
例えば、管理者が、全ての視聴者コメントをチェックして不適切な視聴者コメントを削除しようとすると、非常に手間がかかる。本実施形態では、管理者の手間を軽減するために、機械学習手法を利用した学習モデルに基づいて、視聴者コメントが適切であるか否かを推定するようにしている。機械学習手法自体は、種々の手法を利用可能である。例えば、学習モデルは、教師有り学習、半教師有り学習、又は教師無し学習の何れの機械学習手法を利用したモデルであってもよい。機械学習手法の具体例は、後述する。
【0021】
本実施形態では、全ての視聴者コメントは、ひとまずウィンドウＷに表示される。学習モデルによって不適切であると推定された視聴者コメントは、運営者端末２０に通知される。運営者は、視聴者コメントが本当に不適切であるか否かをチェックする。運営者は、視聴者コメントが不適切であると判定すると、運営者端末２０の操作部２４を操作して、視聴者コメントを削除する。このため、学習モデルによって不適切であると推定された視聴者コメントは、運営者により削除されるまでは、ウィンドウＷに表示される。
【0022】
本実施形態では、不適切な視聴者コメントの推定精度を高めるために、第１モデル及び第２モデルといった複数の学習モデルが併用される。しかしながら、全ての視聴者コメントに対し、第１モデル及び第２モデルの両方に基づく推定を実行すると、サーバ１０の処理負荷が高くなる。例えば、サーバ１０の処理負荷が高くなると、ライブ配信サービスで配信される動画に遅延が生じたり、不適切な視聴者コメントを検出するのに時間がかかったりする可能性がある。
【0023】
そこで、本実施形態のライブ配信システム１は、第１モデルの推定精度が高い場合には、第１モデルの推定結果を信用できるので、第２モデルに基づく推定を実行しないようにしている。ライブ配信システム１は、第１モデルの推定精度が低い場合には、第１モデルの推定結果をあまり信用できないので、第２モデルに基づく推定を実行するようにしている。これにより、サーバ１０の処理負荷を軽減するようにしている。以降、本実施形態の詳細を説明する。
【0024】
［３．ライブ配信システムで実現される機能］
図３は、ライブ配信システム１で実現される機能の一例を示す図である。
図３は、ライブ配信システム１で実現される機能の一例を示す図である。
【0025】
［３－１．サーバで実現される機能］
例えば、サーバ１０は、データ記憶部１００、視聴者コメント取得部１０１、第１推定部１０２、第１基準判定部１０３、第２推定部１０４、及び通知部１０５を含む。データ記憶部１００は、記憶部１２により実現される。視聴者コメント取得部１０１、第１推定部１０２、第１基準判定部１０３、第２推定部１０４、及び通知部１０５の各々は、制御部１１により実現される。
例えば、サーバ１０は、データ記憶部１００、視聴者コメント取得部１０１、第１推定部１０２、第１基準判定部１０３、第２推定部１０４、及び通知部１０５を含む。データ記憶部１００は、記憶部１２により実現される。視聴者コメント取得部１０１、第１推定部１０２、第１基準判定部１０３、第２推定部１０４、及び通知部１０５の各々は、制御部１１により実現される。
【0026】
［データ記憶部］
データ記憶部１００は、ライブ配信サービスを提供するために必要なデータを記憶する。例えば、データ記憶部１００は、配信データベースＤＢ１を記憶する。
データ記憶部１００は、ライブ配信サービスを提供するために必要なデータを記憶する。例えば、データ記憶部１００は、配信データベースＤＢ１を記憶する。
【0027】
図４は、配信データベースＤＢ１の一例を示す図である。配信データベースＤＢ１は、ライブ配信サービスで配信中の動画に関するデータが格納されたデータベースである。例えば、配信データベースＤＢ１には、動画ＩＤ、配信者ＩＤ、動画のタイトル、動画の実データ、視聴者コメントの実データ、視聴者ＩＤ、投稿日時、及び推定結果が格納される。配信中の動画だけではなく、過去に配信された動画のアーカイブが配信データベースＤＢ１に格納されていてもよい。
【0028】
動画ＩＤは、動画を一意に識別可能な情報である。ライブ配信サービスで動画の配信が開始されると、サーバ１０は、他の動画ＩＤと重複しないように新たな動画ＩＤを発行し、配信データベースＤＢ１に新たなレコードを作成する。配信者ＩＤは、動画の配信者を一意に識別可能な情報である。動画のタイトルは、配信者により入力された動画の名前である。動画の実データは、任意の形式であってよく、例えば、ＭＰＥＧ形式、ＭＰ４形式、ＭＯＶ形式、又はＡＶＩ形式であってもよい。
【0029】
視聴者コメントの実データは、任意の形式であってよく、例えば、テキスト形式、リッチテキスト形式、又はメッセージ形式であってもよい。視聴者ＩＤは、視聴者コメントを入力した視聴者を一意に識別可能な情報である。投稿日時は、視聴者コメントが投稿された日時である。推定結果は、第１モデルＭ１及び第２モデルＭ２の少なくとも一方による推定結果である。視聴者が視聴者コメントを入力するたびに、視聴者コメントの実データ、視聴者ＩＤ、投稿日時、及び推定結果が配信データベースＤＢ１に格納される。
【0030】
例えば、データ記憶部１００は、学習済みの第１モデルＭ１と、学習済みの第２モデルＭ２と、を記憶する。学習済みとは、パラメータの調整が完了したことを意味する。データ記憶部１００は、第１モデルＭ１及び第２モデルＭ２の各々のプログラム及びパラメータを記憶する。本実施形態では、第１モデルＭ１及び第２モデルＭ２の各々の学習が運営者端末２０によって実行される場合を説明するが、第１モデルＭ１及び第２モデルＭ２の各々の学習が運営者端末２０以外の他のコンピュータによって実行されてもよい。第１モデルＭ１及び第２モデルＭ２は、１つのデータとして結合されていてもよい。即ち、１つのモデルの中に、第１モデルＭ１及び第２モデルＭ２が含まれていてもよい。
【0031】
図５は、第１モデルＭ１及び第２モデルＭ２に基づいて、視聴者コメントが適切であるか否かを推定する処理の一例を示す図である。以降、第１モデルＭ１に入力されるデータを、第１入力データという。第１モデルによる推定結果を、第１推定結果という。第２モデルＭ２に入力されるデータを、第２入力データという。第２モデルによる推定結果を、第２推定結果という。第１入力データ、第２入力データ、第１推定結果、及び第２推定結果は、任意の形式であってよい。
【0032】
例えば、第１モデルＭ１は、fastTextを利用したモデルである。fastTextは、インターネット百科事典等のテキストデータに基づいて、単語の意味を特徴ベクトル化するモデルである。fastTextは、Word2Vec等の他のモデルよりも高速に、単語の特徴ベクトルを計算できる。例えば、第１モデルＭ１には、第１入力データとして、視聴者コメントそのものが入力される。第１モデルＭ１は、第１入力データに対して形態素解析を実行し、単語ごとの特徴ベクトルを計算する。
【0033】
例えば、第１モデルＭ１は、単語ごとの特徴ベクトルに基づいて、第１入力データ全体の特徴ベクトルを計算する。第１モデルＭ１は、第１入力データ全体の特徴ベクトルに応じた第１推定結果及び第１スコアを出力する。なお、第１モデルＭ１の外部で形態素解析が実行され、第１入力データは、視聴者コメントが単語に分解された後の単語の並びであってもよい。また、第１モデルＭ１の外部で単語の特徴ベクトルが計算され、第１入力データは、特徴ベクトルの並びであってもよい。
【0034】
本実施形態では、第１モデルＭ１は、視聴者コメントが適切であるか否かを示す２値データを、第１推定結果として出力する。第１推定結果は、視聴者コメントの適否に関するデータであればよく、本実施形態の例に限られない。例えば、第１推定結果は、２値データではなく、中間値が存在してもよい。例えば、視聴者コメントの適否を５段階で分類する場合には、第１推定結果は、５段階で表現されてもよい。第１モデルＭ１は、視聴者コメントの適否を分類するので、第１推定結果は、視聴者コメントの適否の分類結果ということもできる。
【0035】
第１スコアは、第１モデルＭ１の推定精度に関するスコアである。第１スコアは、第１モデルＭ１がどの程度自信を持って推定しているかを示す指標である。第１スコアは、第１推定結果の信頼度ということもできる。本実施形態では、第１入力データごとに計算されるconfidence scoreと呼ばれる指標が第１スコアに相当する場合を説明する。confidence scoreの計算方法自体は、公知の種々の方法を利用可能である。例えば、Log Loss（クロスエントロピー）、AUC(Area Under the Curve)、又はジニ係数を利用して、第１スコアが計算されてもよい。本実施形態では、第１スコアは、０～１００の数値で表現される場合を説明するが、第１スコアは、任意の数値範囲で表現可能である。
【0036】
なお、第１スコアは、confidence scoreではなく、他の指標であってもよい。例えば、第１スコアは、視聴者コメントの特徴ベクトルと、後述の第１訓練コメントの特徴ベクトルと、のコサイン類似度であってもよい。この場合、コサイン類似度が高いほど、視聴者コメントが学習済みの第１訓練コメントと似ているので、推定結果の精度が高くなる。第１スコアは、Ｆ値、正解率、又は適合率といった指標であってもよい。
【0037】
本実施形態では、第２モデルＭ２は、条件分岐を有するモデルである。例えば、第２モデルＭ２は、LightGBM（Light Gradient Boosting Machine）を利用したモデルである。LightGBMは、決定木の勾配ブースティングアルゴリズムを利用したモデルである。LightGBMは、複数の決定木を含む。LightGBMは、自身に入力されたデータに基づいて、複数の条件分岐の各々が示す条件を満たすか否かを判定し、当該判定結果に応じた推定結果を出力する。LightGBMは、決定木の勾配ブースティングアルゴリズムの一種であるXGBoostよりも高速かつ高精度であることが知られているが、本実施形態では、fastTextよりも低速であるものとする。
【0038】
図５の例では、第２モデルＭ２は、条件１～７といった複数の条件分岐を含む。例えば、第２モデルＭ２には、第２入力データとして、視聴者コメントの特徴に関する複数の項目が入力される。各項目は、視聴者コメントの何らかの特徴に関するものであればよく、例えば、視聴者コメントの文字数、視聴者コメントに含まれる単語数、又は視聴者コメント全体の特徴ベクトルであってもよい。後述する変形例のように、第２入力データは、キーワードとの比較結果等の他の項目を含んでもよい。決定木における条件は、第２入力データに含まれる項目によって判定可能な条件であればよい。例えば、視聴者コメントの文字数、単語数、又は特徴ベクトルの閾値が条件として設定されていてもよい。
【0039】
例えば、第２モデルＭ２に含まれる複数の条件分岐の各々は、第２入力データに含まれる少なくとも１つの項目に基づいて判定される条件を有する。図５の例では、第２モデルＭ２は、第２入力データに基づいて、１つ目の条件１が満たされるか否かを判定する。第２モデルＭ２は、条件１が満たされると判定された場合には、第２入力データに基づいて、条件２が満たされるか否かを判定する。第２モデルＭ２は、条件１が満たされないと判定された場合には、第２入力データに基づいて、条件３が満たされるか否かを判定する。以降同様に、第２モデルＭ２は、決定木の末尾に到達するまで、ツリー状の条件分岐の条件が満たされるか否かを判定する。決定木の末尾には、第２推定結果が関連付けられる。第２モデルＭ２は、決定木の末尾の第２推定結果を出力する。
【0040】
本実施形態では、第２モデルＭ２は、視聴者コメントが適切であるか否かを示す２値データを、第２推定結果として出力する。第２推定結果は、視聴者コメントの適否に関するデータであればよく、本実施形態の例に限られない。例えば、第２推定結果は、２値データではなく、中間値が存在してもよい。例えば、視聴者コメントの適否を５段階で分類する場合には、第２推定結果は、５段階で表現されてもよい。第１推定結果と第２推定結果の段階数が異なってもよい。第２モデルＭ２は、視聴者コメントの適否を分類するので、第２推定結果は、視聴者コメントの適否の分類結果ということもできる。
【0041】
本実施形態では、第１モデルＭ１は、第２モデルＭ２よりも高速なモデルであるものとする。第１モデルＭ１は、第２モデルＭ２よりも計算量が少ないモデルということもできる。例えば、あるｎ（ｎは自然数）個の視聴者コメントが、第１モデルＭ１及び第２モデルＭ２による推定の対象になったとする。第１モデルＭ１が推定するｎ個の視聴者コメントと、第２モデルＭ２が推定するｎ個の視聴者コメントと、は互いに同じである。第１モデルＭ１がｎ個全ての第１推定結果を出力するのに要する第１時間は、第２モデルＭ２がｎ個全ての第２推定結果を出力するのに要する第２時間よりも短い。
【0042】
本実施形態では、第２モデルＭ２は、第１モデルＭ１よりも精度が高いものとする。例えば、予め正解が分かっているｎ個の視聴者コメントが、第１モデルＭ１及び第２モデルＭ２の各々に入力されたとする。第１モデルＭ１が推定するｎ個の視聴者コメントと、第２モデルＭ２が推定するｎ個の視聴者コメントと、は互いに同じである。この場合、第２モデルＭ２の正解率は、第１モデルＭ１の正解率よりも高い。正解率ではなく、適合率又はＦ値といった他の指標も、第２モデルＭ２の方が第１モデルＭ１よりも高いものとする。
【0043】
なお、第１モデルＭ１及び第２モデルＭ２は、fastText及びLightGBM以外の他の機械学習手法を利用したモデルであってもよく、本実施形態の例に限られない。第１モデルＭ１及び第２モデルＭ２は、任意の組み合わせであってよい。例えば、第１モデルＭ１は、Word2Vec、XGBoost、BERT、BERT以外のTransformer、ニューラルネットワーク、長・短期記憶、又はサポートベクターマシンを利用したモデルであってもよい。第２モデルＭ２は、これら例示した機械学習手法のうち、第１モデルＭ１とは異なる他の機械学習手法であってもよい。第１モデルＭ１及び第２モデルＭ２は、同じ機械学習手法を利用したモデルであるが、互いに異なる訓練データが学習されたモデルであってもよい。
【0044】
また、第１モデルＭ１は、第２モデルＭ２よりも低速であってもよい。第１モデルＭ１は、第２モデルＭ２よりも精度が高くてもよい。例えば、本実施形態の例とは逆に、第１モデルＭ１がLightGBMを利用したモデルであり、第２モデルＭ２がfastTextを利用したモデルであってもよい。第１モデルＭ１の機械学習手法と、第２モデルＭ２の機械学習法と、が互いに異なっていればよい。
【0045】
［視聴者コメント取得部］
視聴者コメント取得部１０１は、ライブ配信サービスの視聴者により入力された視聴者コメントを取得する。視聴者コメントを取得するとは、視聴者コメントの実データを取得することである。本実施形態では、視聴者コメント取得部１０１がサーバ１０により実現されるので、視聴者コメント取得部１０１は、視聴者端末４０の視聴者コメント送信部４０１により送信された視聴者コメントを取得する。視聴者コメント取得部１０１は、ある動画に対して入力された視聴者コメントの実データを、この動画の動画ＩＤに関連付けて、視聴者コメントを入力した視聴者の視聴者ＩＤ及び投稿日時とともに配信データベースＤＢ１に格納する。
視聴者コメント取得部１０１は、ライブ配信サービスの視聴者により入力された視聴者コメントを取得する。視聴者コメントを取得するとは、視聴者コメントの実データを取得することである。本実施形態では、視聴者コメント取得部１０１がサーバ１０により実現されるので、視聴者コメント取得部１０１は、視聴者端末４０の視聴者コメント送信部４０１により送信された視聴者コメントを取得する。視聴者コメント取得部１０１は、ある動画に対して入力された視聴者コメントの実データを、この動画の動画ＩＤに関連付けて、視聴者コメントを入力した視聴者の視聴者ＩＤ及び投稿日時とともに配信データベースＤＢ１に格納する。
【0046】
［第１推定部］
第１推定部１０２は、第１訓練コメントが学習された第１モデルＭ１に基づいて、視聴者コメントが適切であるか否かを推定する。第１訓練コメントは、第１モデルＭ１に学習させる訓練用のコメントである。第１訓練コメントは、後述の第１訓練データベースＤＢ２に格納されている。例えば、第１推定部１０２は、視聴者コメントを第１入力データとして第１モデルＭ１に入力する。第１モデルＭ１は、第１入力データに基づいて、視聴者コメント全体の特徴ベクトルを計算し、当該特徴ベクトルに応じた推定結果を出力する。第１推定部１０２は、第１モデルＭ１の推定結果を取得することによって、視聴者コメントが適切であるか否かを推定する。
第１推定部１０２は、第１訓練コメントが学習された第１モデルＭ１に基づいて、視聴者コメントが適切であるか否かを推定する。第１訓練コメントは、第１モデルＭ１に学習させる訓練用のコメントである。第１訓練コメントは、後述の第１訓練データベースＤＢ２に格納されている。例えば、第１推定部１０２は、視聴者コメントを第１入力データとして第１モデルＭ１に入力する。第１モデルＭ１は、第１入力データに基づいて、視聴者コメント全体の特徴ベクトルを計算し、当該特徴ベクトルに応じた推定結果を出力する。第１推定部１０２は、第１モデルＭ１の推定結果を取得することによって、視聴者コメントが適切であるか否かを推定する。
【0047】
［第１基準判定部］
第１基準判定部１０３は、第１スコアが所定の第１基準を満たすか否かを判定する。本実施形態では、第１スコアが第１モデルＭ１によって計算され、第１基準判定部１０３が、第１モデルＭ１から出力された第１スコアを取得する場合を説明するが、第１スコアは、第１モデルＭ１の内部処理を示すデータが第１スコアの計算アリゴリズムに入力されることによって計算されてもよい。また、本実施形態では、第１スコアが高いほど第１モデルＭ１の推定精度が高いことを意味する場合を説明するが、第１スコアと、第１モデルＭ１の推定精度と、の間に相関関係があればよく、第１スコアが低いほど第１モデルＭ１の推定精度が高いことを意味してもよい。
第１基準判定部１０３は、第１スコアが所定の第１基準を満たすか否かを判定する。本実施形態では、第１スコアが第１モデルＭ１によって計算され、第１基準判定部１０３が、第１モデルＭ１から出力された第１スコアを取得する場合を説明するが、第１スコアは、第１モデルＭ１の内部処理を示すデータが第１スコアの計算アリゴリズムに入力されることによって計算されてもよい。また、本実施形態では、第１スコアが高いほど第１モデルＭ１の推定精度が高いことを意味する場合を説明するが、第１スコアと、第１モデルＭ１の推定精度と、の間に相関関係があればよく、第１スコアが低いほど第１モデルＭ１の推定精度が高いことを意味してもよい。
【0048】
第１基準は、第２モデルＭ２に基づく推定を実行するか否かを判定するための基準である。本実施形態では、第１スコアが高いほど第１モデルＭ１の推定精度が高いことを意味するので、第１スコアが所定の第１閾値以上であることが第１基準に相当する。第１閾値は、運営者が指定可能な可変値であってもよいし、予め定められた固定値であってもよい。なお、第１スコアが低いほど第１モデルＭ１の推定精度が高いことを意味する場合、第１スコアが第１閾値未満であることが第１基準に相当すればよい。
【0049】
例えば、第１基準判定部１０３は、第１スコアが第１閾値以上であるか否かを判定することによって、第１スコアが第１基準を満たすか否かを判定する。第１基準判定部１０３は、第１スコアが第１閾値以上である場合に、第１スコアが第１基準を満たすと判定する。第１基準判定部１０３は、第１スコアが第１閾値未満である場合に、第１スコアが第１基準を満たさないと判定する。
【0050】
［第２推定部］
第２推定部１０４は、第１スコアが第１基準を満たすと判定された場合には、第２訓練コメントが学習された第２モデルＭ２に基づく推定を行わず、第１スコアが第１基準を満たさないと判定された場合に、第２モデルＭ２に基づいて、視聴者コメントが適切であるか否かを推定する。図５のように、第２推定部１０４は、第１スコアが第１基準を満たすと判定された場合には、視聴者コメントに基づく第２入力データを第２モデルＭ２に入力せず、第１スコアが第１基準を満たさないと判定された場合に、第２入力データを第２モデルＭ２に入力する。
第２推定部１０４は、第１スコアが第１基準を満たすと判定された場合には、第２訓練コメントが学習された第２モデルＭ２に基づく推定を行わず、第１スコアが第１基準を満たさないと判定された場合に、第２モデルＭ２に基づいて、視聴者コメントが適切であるか否かを推定する。図５のように、第２推定部１０４は、第１スコアが第１基準を満たすと判定された場合には、視聴者コメントに基づく第２入力データを第２モデルＭ２に入力せず、第１スコアが第１基準を満たさないと判定された場合に、第２入力データを第２モデルＭ２に入力する。
【0051】
本実施形態では、第２モデルＭ２が条件分岐を有するので、第２推定部１０４は、第１スコアが第１基準を満たさないと判定された場合に、視聴者コメントが満たす条件分岐に応じた出力を取得することによって、視聴者コメントが適切であるか否かを推定する。例えば、第２モデルＭ２は、視聴者コメントの特徴に関する複数の項目を含む第２入力データを生成し、第２入力データに基づいて、複数の条件分岐の各々の条件を満たすか否かを判定し、当該判定結果に応じた第２推定結果を出力する。第２推定部１０４は、第２モデルＭ２の第２推定結果を取得することによって、視聴者コメントが適切であるか否かを推定する。
【0052】
［通知部］
通知部１０５は、運営者端末２０に対し、第１モデルＭ１及び第２モデルＭ２の少なくとも一方の推定結果を通知する。例えば、通知部１０５は、運営者端末２０に対し、第１モデルＭ１により適切ではないと推定された視聴者コメントを通知する。通知部１０５は、運営者端末２０に対し、第２モデルＭ２により適切ではないと推定された視聴者コメントを通知する。通知部１０５は、第１モデルＭ１により適切ではないと推定されたが、第２モデルＭ２により適切であると推定された視聴者コメントについては、運営者端末２０に通知しなくてもよい。通知部１０５は、第１モデルＭ１により適切であると推定されたが、第２モデルＭ２により適切ではないと推定された視聴者コメントを、運営者端末２０に通知してもよい。
通知部１０５は、運営者端末２０に対し、第１モデルＭ１及び第２モデルＭ２の少なくとも一方の推定結果を通知する。例えば、通知部１０５は、運営者端末２０に対し、第１モデルＭ１により適切ではないと推定された視聴者コメントを通知する。通知部１０５は、運営者端末２０に対し、第２モデルＭ２により適切ではないと推定された視聴者コメントを通知する。通知部１０５は、第１モデルＭ１により適切ではないと推定されたが、第２モデルＭ２により適切であると推定された視聴者コメントについては、運営者端末２０に通知しなくてもよい。通知部１０５は、第１モデルＭ１により適切であると推定されたが、第２モデルＭ２により適切ではないと推定された視聴者コメントを、運営者端末２０に通知してもよい。
【0053】
なお、サーバ１０は、第１推定結果及び第２推定結果の少なくとも一方に基づいて、所定の処理を実行すればよい。所定の処理は、通知部１０５による通知に限られない。例えば、後述する変形例１０における表示制御部１１０による処理も、所定の処理の一例である。所定の処理は、通知部１０５又は表示制御部１１０による処理以外の他の処理であってもよく、例えば、投稿者コメントの表示を一定時間待機する処理、投稿者コメントの表示順を下げる処理、又は投稿者コメントを小さく表示する処理であってもよい。
【0054】
例えば、サーバ１０は、第１スコアが第１基準を満たすと判定された場合には、第１推定結果に基づいて、所定の処理を実行する。サーバ１０は、第１スコアが第１基準を満たさないと判定された場合には、第１推定結果には基づかずに、第２推定結果に基づいて、所定の処理を実行する。サーバ１０は、第１スコアが第１基準を満たさないと判定された場合には、第１推定結果及び第２推定結果の両方に基づいて、所定の処理を実行してもよい。
【0055】
［３－２．運営者端末で実現される機能］
例えば、運営者端末２０は、データ記憶部２００、学習部２０１、及び制限部２０２を含む。データ記憶部２００は、記憶部２２により実現される。学習部２０１及び制限部２０２は、制御部２１により実現される。
例えば、運営者端末２０は、データ記憶部２００、学習部２０１、及び制限部２０２を含む。データ記憶部２００は、記憶部２２により実現される。学習部２０１及び制限部２０２は、制御部２１により実現される。
【0056】
［データ記憶部］
データ記憶部２００は、ライブ配信サービスの運営に必要なデータを記憶する。例えば、データ記憶部２００は、学習前の第１モデルＭ１及び第２モデルＭ２を記憶する。学習前の第１モデルＭ１及び第２モデルＭ２は、パラメータが初期値のモデルである。学習前の第１モデルＭ１及び第２モデルＭ２は、学習部２０１によって学習される。例えば、データ記憶部２００は、第１訓練データベースＤＢ２及び第２訓練データベースＤＢ３を記憶する。
データ記憶部２００は、ライブ配信サービスの運営に必要なデータを記憶する。例えば、データ記憶部２００は、学習前の第１モデルＭ１及び第２モデルＭ２を記憶する。学習前の第１モデルＭ１及び第２モデルＭ２は、パラメータが初期値のモデルである。学習前の第１モデルＭ１及び第２モデルＭ２は、学習部２０１によって学習される。例えば、データ記憶部２００は、第１訓練データベースＤＢ２及び第２訓練データベースＤＢ３を記憶する。
【0057】
第１訓練データベースＤＢ２は、複数の第１訓練データが格納されたデータベースである。第１訓練データは、第１モデルＭ１に学習させる訓練データである。第１訓練データには、第１訓練コメント（入力部分）と、第１訓練コメントが適切であるか否かを示す正解（出力部分）と、の関係が示されている。第１訓練データの入力部分は、第１入力データと同じ形式である。第１訓練データの出力部分は、第１推定結果と同じ形式である。第１訓練コメントは、ライブ配信サービスで過去に入力された投稿者コメントであってもよいし、運営者が訓練用に用意した仮想的なコメントであってもよい。正解は、運営者により人手でラベリングされるものとするが、自動的にラベリングを実行するツールが利用されてもよい。
【0058】
第２訓練データベースＤＢ３は、複数の第２訓練データが格納されたデータベースである。第２訓練データは、第２モデルＭ２に学習させる訓練データである。第２訓練データは、第２訓練コメント（入力部分）と、第２訓練コメントが適切であるか否かを示す正解（出力部分）と、を含む。第２訓練データの入力部分は、第２入力データと同じ形式である。第２訓練データの出力部分は、第２推定結果と同じ形式である。第２訓練コメントは、ライブ配信サービスで過去に入力された投稿者コメントであってもよいし、運営者が訓練用に用意した仮想的なコメントであってもよい。正解は、運営者により人手でラベリングされるものとするが、自動的にラベリングを実行するツールが利用されてもよい。
【0059】
［学習部］
学習部２０１は、第１モデルＭ１及び第２モデルＭ２の学習を行う。例えば、学習部２０１は、ある第１訓練データに含まれる第１訓練コメントが入力された場合に、この第１訓練データに含まれる正解が出力されるように、第１モデルＭ１のパラメータを調整する。学習部２０１は、ある第２訓練データに含まれる第２訓練コメントが入力された場合に、この第２訓練データに含まれる正解が出力されるように、第２モデルＭ２のパラメータを調整する。
学習部２０１は、第１モデルＭ１及び第２モデルＭ２の学習を行う。例えば、学習部２０１は、ある第１訓練データに含まれる第１訓練コメントが入力された場合に、この第１訓練データに含まれる正解が出力されるように、第１モデルＭ１のパラメータを調整する。学習部２０１は、ある第２訓練データに含まれる第２訓練コメントが入力された場合に、この第２訓練データに含まれる正解が出力されるように、第２モデルＭ２のパラメータを調整する。
【0060】
なお、第１モデルＭ１及び第２モデルＭ２の学習手法自体は、機械学習手法で利用されている手法を利用すればよい。本実施形態の例であれば、学習部２０１は、FastTextで利用されている学習手法に基づいて、第１モデルＭ１の学習を行う。学習部２０１は、Light GBMで利用されている学習手法に基づいて、第２モデルＭ２の学習を行う。例えば、第１モデルＭ１及び第２モデルＭ２に利用する機械学習手法によっては、誤差逆伝播法又は勾配降下法といった手法が利用されて、第１モデルＭ１及び第２モデルＭ２の学習が実行されてもよい。
【0061】
［制限部］
制限部２０２は、第１モデルＭ１及び第２モデルＭ２の少なくとも一方により適切ではないと判定された投稿者コメントが表示されることを制限する。本実施形態では、制限部２０２は、運営者端末２０に通知された投稿者コメントのうち、運営者が指定した投稿者コメントの表示を制限する。例えば、制限部２０２は、運営者が適切ではないと判定した投稿者コメントを、配信データベースＤＢ１から削除する。制限部２０２は、投稿者コメントを削除するのではなく、表示を制限する旨のフラグをオンにすることによって、投稿者コメントの表示を制限してもよい。この場合、このフラグは、配信データベースＤＢ１に格納されているものとする。フラグがオンの投稿者コメントは、ウィンドウＷに表示されない。
制限部２０２は、第１モデルＭ１及び第２モデルＭ２の少なくとも一方により適切ではないと判定された投稿者コメントが表示されることを制限する。本実施形態では、制限部２０２は、運営者端末２０に通知された投稿者コメントのうち、運営者が指定した投稿者コメントの表示を制限する。例えば、制限部２０２は、運営者が適切ではないと判定した投稿者コメントを、配信データベースＤＢ１から削除する。制限部２０２は、投稿者コメントを削除するのではなく、表示を制限する旨のフラグをオンにすることによって、投稿者コメントの表示を制限してもよい。この場合、このフラグは、配信データベースＤＢ１に格納されているものとする。フラグがオンの投稿者コメントは、ウィンドウＷに表示されない。
【0062】
［３－３．配信者端末で実現される機能］
例えば、配信者端末３０は、データ記憶部３００及び配信部３０１を含む。データ記憶部３００は、記憶部３２により実現される。配信部３０１は、制御部３１により実現される。
例えば、配信者端末３０は、データ記憶部３００及び配信部３０１を含む。データ記憶部３００は、記憶部３２により実現される。配信部３０１は、制御部３１により実現される。
【0063】
［データ記憶部］
データ記憶部３００は、配信者がライブ配信サービスを利用するために必要なデータを記憶する。例えば、データ記憶部３００は、配信者が動画を配信するためのブラウザ、又は、ライブ配信サービス専用のアプリケーションを記憶する。
データ記憶部３００は、配信者がライブ配信サービスを利用するために必要なデータを記憶する。例えば、データ記憶部３００は、配信者が動画を配信するためのブラウザ、又は、ライブ配信サービス専用のアプリケーションを記憶する。
【0064】
［配信部］
配信部３０１は、視聴者に対し、カメラ３６により生成された動画を配信する。例えば、配信部３０１は、サーバ１０に対し、動画を送信する。
配信部３０１は、視聴者に対し、カメラ３６により生成された動画を配信する。例えば、配信部３０１は、サーバ１０に対し、動画を送信する。
【0065】
［３－４．視聴者端末で実現される機能］
例えば、視聴者端末４０は、データ記憶部４００及び視聴者コメント送信部４０１を含む。データ記憶部４００は、記憶部４２により実現される。視聴者コメント送信部４０１は、制御部４１により実現される。
例えば、視聴者端末４０は、データ記憶部４００及び視聴者コメント送信部４０１を含む。データ記憶部４００は、記憶部４２により実現される。視聴者コメント送信部４０１は、制御部４１により実現される。
【0066】
［データ記憶部］
データ記憶部４００は、視聴者がライブ配信サービスを利用するために必要なデータを記憶する。例えば、データ記憶部４００は、視聴者が動画を視聴するためのブラウザ、又は、ライブ配信サービス専用のアプリケーションを記憶する。
データ記憶部４００は、視聴者がライブ配信サービスを利用するために必要なデータを記憶する。例えば、データ記憶部４００は、視聴者が動画を視聴するためのブラウザ、又は、ライブ配信サービス専用のアプリケーションを記憶する。
【0067】
［視聴者コメント送信部］
視聴者コメント送信部４０１は、サーバ１０に対し、視聴者コメントを送信する。
視聴者コメント送信部４０１は、サーバ１０に対し、視聴者コメントを送信する。
【0068】
［４．ライブ配信システムで実行される処理］
図６及び図７は、ライブ配信システム１で実行される処理の一例を示す図である。図６及び図７の処理は、制御部１１，２１，３１，４１がそれぞれ記憶部１２，２２，３２，４２に記憶されたプログラムに従って動作することによって実行される。図６及び図７では、ライブ配信サービスで配信される動画に対し、視聴者コメントが入力される流れが示されている。
図６及び図７は、ライブ配信システム１で実行される処理の一例を示す図である。図６及び図７の処理は、制御部１１，２１，３１，４１がそれぞれ記憶部１２，２２，３２，４２に記憶されたプログラムに従って動作することによって実行される。図６及び図７では、ライブ配信サービスで配信される動画に対し、視聴者コメントが入力される流れが示されている。
【0069】
図６のように、配信者端末３０は、サーバ１０に対し、カメラ３６により生成された動画を送信する（Ｓ１）。サーバ１０は、配信者端末３０から動画を受信すると（Ｓ２）、視聴者端末４０に対し、動画を配信する（Ｓ３）。視聴者端末４０は、動画を受信すると（Ｓ４）、動画を表示部４５に表示させる（Ｓ５）。視聴者端末４０は、入力フォームＦに対する視聴者コメントの入力を受け付けて（Ｓ６）、サーバ１０に対し、視聴者コメントを送信する（Ｓ７）。
【0070】
サーバ１０は、視聴者端末４０から視聴者コメントを受信すると（Ｓ８）、視聴者コメントを配信データベースＤＢ１に格納して、視聴者端末４０に対し、ウィンドウＷに視聴者コメントを表示させる旨の要求を送信する（Ｓ９）。本実施形態では、視聴者コメントが表示された後に第１モデルＭ１による推定が実行される場合を説明するが、第１モデルＭ１又は第２モデルＭ２による推定が実行された後に、視聴者コメントが表示されてもよい。視聴者端末４０は、サーバ１０から要求を受信すると（Ｓ１０）、視聴者コメントをウィンドウＷに表示させる（Ｓ１１）。
【0071】
サーバ１０は、第１モデルＭ１に基づいて、視聴者コメントが適切であるか否かを推定する（Ｓ１２）。Ｓ１２では、サーバ１０は、第１モデルＭ１に第１入力データを入力し、第１モデルＭ１から出力された第１推定結果及び第１スコアを取得する。第１推定結果は、配信データベースＤＢ１に格納される。サーバ１０は、第１スコアが第１基準を満たすか否かを判定する（Ｓ１３）。第１スコアが第１基準を満たすと判定された場合（Ｓ１３：Ｙ）、サーバ１０は、第１推定結果を参照する（Ｓ１４）。第１モデルＭ１の推定結果が適切であることを示す場合（Ｓ１４：適切）、本処理は終了する。この場合、ウィンドウＷに視聴者コメントが表示されたままになる。
【0072】
Ｓ１４において、第１モデルＭ１の推定結果が不適切であることを示す場合（Ｓ１４：不適切）、サーバ１０は、運営者端末２０に対し、視聴者コメントを送信する（Ｓ１５）。運営者端末２０は、視聴者コメントを受信すると（Ｓ１６）、視聴者コメントを表示部２５に表示させる（Ｓ１７）。運営者は、表示部２５に表示された視聴者コメントをチェックする。運営者端末２０は、操作部２４から、運営者による判定結果を受け付ける（Ｓ１８）。
【0073】
図７に移り、運営者端末２０は、サーバ１０に対し、運営者による判定結果を送信する（Ｓ１９）。サーバ１０は、運営者による判定結果を受信すると（Ｓ２０）、当該判定結果を参照する（Ｓ２１）。運営者による判定結果が適切を示す場合（Ｓ２１：適切）、本処理は終了する。この場合、ウィンドウＷに視聴者コメントが表示されたままになる。Ｓ２１において、運営者による判定結果が不適切を示す場合（Ｓ２１：不適切）、サーバ１０は、配信データベースＤＢ１に格納された視聴者コメントを削除し、視聴者端末４０に対し、ウィンドウＷから視聴者コメントの削除を要求する（Ｓ２２）。視聴者端末４０は、要求を受信すると（Ｓ２３）、視聴者コメントをウィンドウＷから削除し（Ｓ２４）、本処理は終了する。
【0074】
図６のＳ１３において、第１スコアが第１基準を満たさないと判定された場合（Ｓ１３：Ｎ）、図７に移り、サーバ１０は、第２モデルＭ２に基づいて、視聴者コメントが適切であるか否かを推定する（Ｓ２５）。Ｓ２５では、サーバ１０は、第２モデルＭ２に第２入力データを入力し、第２モデルＭ２から出力された第２推定結果を取得する。第２推定結果は、配信データベースＤＢ１に格納される。第２モデルＭ２の推定結果が適切であることを示す場合（Ｓ２６：適切）、本処理は終了する。この場合、ウィンドウＷに視聴者コメントが表示されたままになる。Ｓ２６において、第２モデルＭ２の推定結果が不適切であることを示す場合（Ｓ２６：不適切）、Ｓ１５の処理に移行する。第１モデルＭ１の推定結果に関係なく、第２モデルＭ２の推定結果が優先されることになる。
【0075】
ライブ配信システム１によれば、第１スコアが第１基準を満たすと判定された場合には、第２モデルＭ２に基づく推定を行わずに、第１スコアが第１基準を満たさないと判定された場合に、第２モデルＭ２に基づいて、視聴者コメントが適切であるか否かを推定する。これにより、第１スコアが第１基準を満たす場合には、第１モデルＭ１による推定結果の信頼性が高いので、第２モデルＭ２による推定を省略することによって、サーバ１０の処理負荷を軽減できる。更に、第２モデルＭ２のよる推定を省略することによって、視聴者コメントが適切であるか否かを、より高速に推定できるようになる。第１スコアが第１基準を満たさない場合には、第１モデルＭ１による推定結果の信頼性が低いので、第２モデルＭ２による推定を実行することによって、視聴者コメントが適切であるか否かを精度良く推定できる。例えば、サーバ１０の処理負荷を軽減することによって、動画の遅延が生じるといったライブ配信サービスのリアルタイム性が損なわれることを防止できる。推定を高速化することによって、不適切な視聴者コメントが表示されたままになるといったことも防止できる。動画配信サービスでは、種々の動画が同時に配信されることもあるが、サーバ１０の処理負荷を軽減することによって、配信中の動画の数が増えても問題なく対応できるようになる。
【0076】
また、ライブ配信システム１は、第１モデルＭ１は、第２モデルＭ２よりも高速なモデルである。これにより、より高速な第１モデルＭ１を最初に利用することによって、サーバ１０の処理負荷を効果的に軽減できる。更に、視聴者コメントが適切であるか否かを、より高速に推定できるようになる。
【0077】
また、ライブ配信システム１は、第１スコアが第１基準を満たさないと判定された場合に、視聴者コメントが満たす条件分岐に応じた第２モデルＭ２の出力を取得することによって、視聴者コメントが適切であるか否かを推定する。これにより、条件分岐を有する第２モデルＭ２によって、視聴者コメントが適切であるか否かの推定精度が高まる。
【0078】
［５．変形例］
なお、本開示は、以上に説明した実施形態に限定されるものではない。本開示の趣旨を逸脱しない範囲で、適宜変更可能である。
なお、本開示は、以上に説明した実施形態に限定されるものではない。本開示の趣旨を逸脱しない範囲で、適宜変更可能である。
【0079】
図８は、変形例で実現される機能の一例を示す図である。図８のように、以降説明する変形例では、サーバ１０は、キーワード判定部１０６、第３推定部１０７、第２基準判定部１０８、第４推定部１０９、及び表示制御部１１０を含む。これらの機能は、制御部１１により実現される。
【0080】
［変形例１］
例えば、実施形態では、第２モデルＭ２に入力される第２入力データは、実施形態の例に限られない。第２入力データには、第１推定結果が含まれてもよい。変形例１では、第１推定結果として、実施形態と同様に、視聴者コメントが適切であるか否かを示す２値データを例に挙げるが、中間値が存在する推定結果であってもよい。第２モデルＭ２の少なくとも１つの条件分岐は、第１推定結果に関する条件となる。第１推定結果に応じて、少なくとも１つの条件分岐の条件が満たされるか否かが変わる。
例えば、実施形態では、第２モデルＭ２に入力される第２入力データは、実施形態の例に限られない。第２入力データには、第１推定結果が含まれてもよい。変形例１では、第１推定結果として、実施形態と同様に、視聴者コメントが適切であるか否かを示す２値データを例に挙げるが、中間値が存在する推定結果であってもよい。第２モデルＭ２の少なくとも１つの条件分岐は、第１推定結果に関する条件となる。第１推定結果に応じて、少なくとも１つの条件分岐の条件が満たされるか否かが変わる。
【0081】
図９は、第２モデルＭ２の処理の一例を示す図である。図９では、変形例１～６における第２モデルＭ２の処理がまとめて示されている。第２入力データは、変形例１～６で説明する全ての項目を含まなければならないわけではなく、一部の項目だけを含んでいてもよい。変形例１の第２モデルＭ２には、ある第２訓練コメントの第１推定結果と、この第２訓練コメントの適否の正解と、の関係を示す第２訓練データが学習されている。第２訓練コメントの第１推定結果は、学習済みの第１モデルＭ１に対し、第２訓練コメントに応じた第１入力データが入力されることによって取得されてもよいし、運営者が手動で指定してもよい。第２訓練データに含まれる内容が実施形態とは異なるが、学習方法自体は、実施形態と同様である。
【0082】
変形例１の第２推定部１０４は、第１スコアが第１基準を満たさないと判定された場合に、第１推定結果と、第２モデルＭ２と、に基づいて、視聴者コメントが適切であるか否かを推定する。例えば、第２推定部１０４は、第１推定結果を含む第２入力データを第２モデルＭ２に入力する。第２モデルＭ２は、複数の条件分岐の各々の条件を第２入力データが満たすか否かを判定する。第２モデルＭ２は、第２入力データが満たす条件に応じた第２推定結果を出力する。第２推定部１０４は、第２モデルＭ２から出力された第２推定結果を取得することによって、視聴者コメントが適切であるか否かを推定する。
【0083】
変形例１のライブ配信システム１は、第１スコアが第１基準を満たさないと判定された場合に、第１推定結果と、第２モデルＭ２と、に基づいて、視聴者コメントが適切であるか否かを推定する。第１スコアが第１基準を満たさなかったとしても、第１推定結果がある程度参考になることがあるので、第２モデルＭ２による推定精度が高まる。
【0084】
［変形例２］
例えば、図９のように、第２入力データには、第１スコアが含まれてもよい。変形例２の第２モデルＭ２には、ある第２訓練コメントの第１スコアと、この第２訓練コメントの適否の正解と、の関係を示す第２訓練データが学習されている。第２訓練コメントの第１スコアは、学習済みの第１モデルＭ１に対し、第２訓練コメントに応じた第１入力データが入力されることによって取得されてもよいし、運営者が手動で指定してもよい。第２訓練データに含まれる内容が実施形態とは異なるが、学習方法自体は、実施形態と同様である。
例えば、図９のように、第２入力データには、第１スコアが含まれてもよい。変形例２の第２モデルＭ２には、ある第２訓練コメントの第１スコアと、この第２訓練コメントの適否の正解と、の関係を示す第２訓練データが学習されている。第２訓練コメントの第１スコアは、学習済みの第１モデルＭ１に対し、第２訓練コメントに応じた第１入力データが入力されることによって取得されてもよいし、運営者が手動で指定してもよい。第２訓練データに含まれる内容が実施形態とは異なるが、学習方法自体は、実施形態と同様である。
【0085】
変形例２の第２推定部１０４は、第１スコアが第１基準を満たさないと判定された場合に、第１スコアと、第２モデルＭ２と、に基づいて、視聴者コメントが適切であるか否かを推定する。例えば、第２推定部１０４は、第１スコアを含む第２入力データを第２モデルＭ２に入力する。第２モデルＭ２は、複数の条件分岐の各々の条件を第２入力データが満たすか否かを判定する。第２モデルＭ２は、第２入力データが満たす条件に応じた第２推定結果を出力する。第２推定部１０４は、第２モデルＭ２から出力された第２推定結果を取得することによって、視聴者コメントが適切であるか否かを推定する。
【0086】
変形例２のライブ配信システム１は、第１スコアが第１基準を満たさないと判定された場合に、第１スコアと、第２モデルＭ２と、に基づいて、視聴者コメントが適切であるか否かを推定する。第１スコアが第１基準を満たさなかったとしても、第１スコアと投稿者コメントの適否との間に相関関係が存在することがあるので、第２モデルＭ２による推定精度が高まる。
【0087】
［変形例３］
例えば、図９のように、第２入力データには、キーワードが含まれるか否かの判定結果が含まれてもよい。変形例３のデータ記憶部１００は、キーワードデータベースＤＢ４を記憶する。例えば、キーワードデータベースＤＢ４には、適切なキーワードと、不適切なキーワードと、の少なくとも一方が格納される。変形例３では、適切なキーワードと、不適切なキーワードと、の両方がキーワードデータベースＤＢ４に格納される場合を説明するが、キーワードデータベースＤＢ４には、適切なキーワード又は不適切なキーワードの何れか一方のみが格納されていてもよい。キーワードデータベースＤＢ４に格納されるキーワードは、運営者によって指定されるものとする。
例えば、図９のように、第２入力データには、キーワードが含まれるか否かの判定結果が含まれてもよい。変形例３のデータ記憶部１００は、キーワードデータベースＤＢ４を記憶する。例えば、キーワードデータベースＤＢ４には、適切なキーワードと、不適切なキーワードと、の少なくとも一方が格納される。変形例３では、適切なキーワードと、不適切なキーワードと、の両方がキーワードデータベースＤＢ４に格納される場合を説明するが、キーワードデータベースＤＢ４には、適切なキーワード又は不適切なキーワードの何れか一方のみが格納されていてもよい。キーワードデータベースＤＢ４に格納されるキーワードは、運営者によって指定されるものとする。
【0088】
変形例３のライブ配信システム１は、キーワード判定部１０６を含む。キーワード判定部１０６は、視聴者コメントに所定のキーワードが含まれるか否かを判定する。例えば、キーワード判定部１０６は、キーワードデータベースＤＢ４に格納された複数のキーワードの各々が視聴者コメントに含まれているか否かを判定する。変形例３では、キーワード判定部１０６がキーワードとの完全一致を判定する場合を説明するが、キーワード判定部１０６は、キーワードとの部分一致又はあいまい一致（あいまい検索）を判定してもよい。
【0089】
変形例３の第２モデルＭ２には、ある第２訓練コメントにキーワードが含まれるか否かの判定結果と、この第２訓練コメントの適否の正解と、の関係を示す第２訓練データが学習されている。判定結果は、キーワードの数、キーワードの長さ、及びキーワードの種類のうちの少なくとも１つである。キーワードごとに、適切度が関連付けられている場合には、判定結果は、キーワードの適切度であってもよい。第２訓練データに含まれる内容が実施形態とは異なるが、学習方法自体は、実施形態と同様である。
【0090】
変形例３の第２推定部１０４は、第１スコアが第１基準を満たさないと判定された場合に、視聴者コメントにキーワードが含まれるか否かの判定結果と、第２モデルＭ２と、に基づいて、視聴者コメントが適切であるか否かを推定する。判定結果の意味は、第２訓練コメントにおける判定結果と同様である。例えば、第２推定部１０４は、キーワードが含まれるか否かの判定結果を含む第２入力データを第２モデルＭ２に入力する。第２モデルＭ２は、複数の条件分岐の各々の条件を第２入力データが満たすか否かを判定する。第２モデルＭ２は、第２入力データが満たす条件に応じた第２推定結果を出力する。第２推定部１０４は、第２モデルＭ２から出力された第２推定結果を取得することによって、視聴者コメントが適切であるか否かを推定する。
【0091】
変形例３のライブ配信システム１は、第１スコアが第１基準を満たさないと判定された場合に、視聴者コメントにキーワードが含まれるか否かの判定結果と、第２モデルＭ２と、に基づいて、視聴者コメントが適切であるか否かを推定する。これにより、第２モデルＭ２による推定精度が高まる。
【0092】
［変形例４］
例えば、変形例３のようにキーワードが利用される場合に、キーワードに応じて不適切の程度が異なることがある。このため、最も不適切なブラックワードのキーワード群と、ある程度不適切なグレーワードのキーワード群と、を使い分けるようにしてもよい。変形例４のキーワードデータベースＤＢ４には、ブラックワードのキーワード群と、グレーワードのキーワード群と、が格納されている。キーワードがブラックワードであるかグレーワードであるかを示す情報は、予めキーワードデータベースＤＢ４に格納されているものとする。ブラックワードのキーワード群と、グレーワードのキーワード群と、は別々のデータベースに格納されていてもよい。
例えば、変形例３のようにキーワードが利用される場合に、キーワードに応じて不適切の程度が異なることがある。このため、最も不適切なブラックワードのキーワード群と、ある程度不適切なグレーワードのキーワード群と、を使い分けるようにしてもよい。変形例４のキーワードデータベースＤＢ４には、ブラックワードのキーワード群と、グレーワードのキーワード群と、が格納されている。キーワードがブラックワードであるかグレーワードであるかを示す情報は、予めキーワードデータベースＤＢ４に格納されているものとする。ブラックワードのキーワード群と、グレーワードのキーワード群と、は別々のデータベースに格納されていてもよい。
【0093】
変形例４のキーワード判定部１０６は、第１キーワード判定部１０６Ａ及び第２キーワード判定部１０６Ｂを含む。第１キーワード判定部１０６Ａは、視聴者コメントに、第１キーワード群における第１キーワードが含まれるか否かを判定する。変形例４では、ブラックワードのキーワード群が第１キーワード群に相当する場合を説明する。変形例４では、第１キーワード判定部１０６Ａが第１キーワードとの完全一致を判定する場合を説明するが、第１キーワード判定部１０６Ａは、第１キーワードとの部分一致又はあいまい一致（あいまい検索）を判定してもよい。
【0094】
第２キーワード判定部１０６Ｂは、視聴者コメントに、第２キーワード群における第２キーワードが含まれるか否かを判定する。変形例４では、グレーワードのキーワード群が第２キーワード群に相当する場合を説明する。即ち、第１キーワード群の適切度は、第２キーワード群の適切度よりも低い場合を説明するが、第１キーワード群の適切度は、第２キーワード群の適切度よりも高くてもよい。例えば、グレーワードが第１キーワード群に相当し、ブラックワードが第２キーワード群に相当してもよい。第１キーワード群及び第２キーワード群は、ブラックワード及びグレーワードに限られない。例えば、第１キーワード群又は第２キーワード群の何れかは、適切なキーワードであるホワイトワードであってもよい。変形例４では、第２キーワード判定部１０６Ｂが第２キーワードとの完全一致を判定する場合を説明するが、第２キーワード判定部１０６Ｂは、第２キーワードとの部分一致又はあいまい一致（あいまい検索）を判定してもよい。
【0095】
変形例４の第２モデルＭ２には、ある第２訓練コメントに第１キーワードが含まれるか否かの判定結果及び第２キーワードが含まれるか否かの判定結果と、この第２訓練コメントの正解と、の関係を示す第２訓練データが学習されている。判定結果の意味は、変形例３と同様である。第２訓練データに含まれる内容が実施形態とは異なるが、学習方法自体は、実施形態と同様である。
【0096】
変形例４の第２推定部１０４は、第１スコアが第１基準を満たさないと判定された場合に、視聴者コメントに第１キーワードが含まれるか否かの第１判定結果、視聴者コメントに第２キーワードが含まれるか否かの第２判定結果、及び第２モデルＭ２に基づいて、視聴者コメントが適切であるか否かを推定する。例えば、第２推定部１０４は、第１判定得結果及び第２判定結果を含む第２入力データを第２モデルＭ２に入力する。第２モデルＭ２は、複数の条件分岐の各々の条件を第２入力データが満たすか否かを判定する。第２モデルＭ２は、第２入力データが満たす条件に応じた第２推定結果を出力する。第２推定部１０４は、第２モデルＭ２から出力された第２推定結果を取得することによって、視聴者コメントが適切であるか否かを推定する。
【0097】
変形例４のライブ配信システム１は、第１スコアが第１基準を満たさないと判定された場合に、第１判定結果、第２判定結果、及び第２モデルＭ２に基づいて、視聴者コメントが適切であるか否かを推定する。これにより、第２モデルＭ２による推定精度が高まる。
【0098】
［変形例５］
例えば、変形例３及び変形例４で説明したキーワードは、商品の属性ごとに用意されていてもよい。変形例５のライブ配信サービスでは、商品を紹介する動画が配信され、商品に関する属性ごとに、キーワード群が用意されている。例えば、変形例５のキーワードデータベースＤＢ４には、商品の属性ごとに、キーワード群が用意されている。商品の属性は、商品を何らかの観点で分類するための情報である。商品の属性は、商品のカテゴリ又はジャンルと呼ばれることもある。商品の属性ごとに、別々のデータベースが用意されていてもよい。
例えば、変形例３及び変形例４で説明したキーワードは、商品の属性ごとに用意されていてもよい。変形例５のライブ配信サービスでは、商品を紹介する動画が配信され、商品に関する属性ごとに、キーワード群が用意されている。例えば、変形例５のキーワードデータベースＤＢ４には、商品の属性ごとに、キーワード群が用意されている。商品の属性は、商品を何らかの観点で分類するための情報である。商品の属性は、商品のカテゴリ又はジャンルと呼ばれることもある。商品の属性ごとに、別々のデータベースが用意されていてもよい。
【0099】
変形例５のキーワード判定部１０６は、視聴者が視聴中の動画で紹介されている商品の属性に関連付けられたキーワード群に基づいて、視聴者コメントにキーワードが含まれるか否かを判定する。商品の属性は、配信者が指定してもよいし、商品の属性が定義された商品データベースをデータ記憶部１００に用意しておいて、商品データベースが参照されることによって取得されてもよい。
【0100】
変形例５のキーワード判定部１０６は、データ記憶部１００に記憶されたキーワードデータベースＤＢ４のうち、キーワードデータベースＤＢ４のうち、商品の属性に関連付けられたキーワード群に基づいて、視聴者コメントにキーワードが含まれるか否かを判定する。商品の属性以外の他の属性に関連付けられたキーワード群は、判定対象にはならない。判定対象となるキーワード群が商品の属性に応じたものである点で変形例３及び変形例４とは異なるが、他の点については同様である。
【0101】
変形例５のライブ配信システム１は、視聴者が視聴中の動画で紹介されている商品の属性に関連付けられたキーワード群に基づいて、視聴者コメントにキーワードが含まれるか否かを判定する。これにより、第２モデルＭ２が商品の属性に応じた推定を実行できるので、第２モデルＭ２による推定精度が高まる。例えば、商品の属性が洋服であれば、「お尻」といった単語を含む投稿者コメントが適切であることが多いが、他の属性の商品であれば不適切になる可能性があるので、属性に応じたキーワード群を利用することによって、第２モデルＭ２による推定精度が高まる。
【0102】
［変形例６］
例えば、図９のように、第２入力データには、第１モデルＭ１及び第２モデルＭ２とは異なる機械学習手法を利用した第３モデルＭ３による第３推定結果が含まれてもよい。変形例６では、第３モデルＭ３がサポートベクターマシンを利用したモデルである場合を例に挙げる。第３モデルＭ３は、第１モデルＭ１及び第２モデルＭ２とは異なる機械学習手法を利用したモデルであればよく、サポートベクターマシンを利用したモデルに限られない。例えば、第３モデルＭ３は、ニューラルネットワークを利用したモデルであってもよい。
例えば、図９のように、第２入力データには、第１モデルＭ１及び第２モデルＭ２とは異なる機械学習手法を利用した第３モデルＭ３による第３推定結果が含まれてもよい。変形例６では、第３モデルＭ３がサポートベクターマシンを利用したモデルである場合を例に挙げる。第３モデルＭ３は、第１モデルＭ１及び第２モデルＭ２とは異なる機械学習手法を利用したモデルであればよく、サポートベクターマシンを利用したモデルに限られない。例えば、第３モデルＭ３は、ニューラルネットワークを利用したモデルであってもよい。
【0103】
変形例６のライブ配信システム１は、第３推定部１０７を含む。第３推定部１０７は、第３訓練コメントが学習された第３モデルＭ３に基づいて、視聴者コメントが適切であるか否かを推定する。第３モデルＭ３には、第３訓練コメントと、第３訓練コメントの適否の正解と、の関係を示す第３訓練データが学習されている。第３訓練データは、データ記憶部２００が記憶する第３訓練データベースＤＢ５に格納されている。実施形態と同様に、運営者端末２０のデータ記憶部２００に第３訓練データが記憶されており、学習部２０１によって第３モデルＭ３の学習が実行されてもよい。学習部２０１は、ある第３訓練データに含まれる第３訓練コメントが入力された場合に、この第３訓練データに含まれる正解となる推定結果が出力されるように、第３モデルＭ３のパラメータを調整する。
【0104】
変形例６の第２推定部１０４は、第１スコアが第１基準を満たさないと判定された場合に、第３モデルＭ３の推定結果と、第２モデルＭ２と、に基づいて、視聴者コメントが適切であるか否かを推定する。例えば、第２推定部１０４は、第３推定結果を含む第２入力データを第２モデルＭ２に入力する。第２モデルＭ２は、複数の条件分岐の各々の条件を第２入力データが満たすか否かを判定する。第２モデルＭ２は、第２入力データが満たす条件に応じた第２推定結果を出力する。第２推定部１０４は、第２モデルＭ２から出力された第２推定結果を取得することによって、視聴者コメントが適切であるか否かを推定する。
【0105】
変形例６のライブ配信システム１は、第１スコアが第１基準を満たさないと判定された場合に、第３推定結果と、第２モデルＭ２と、に基づいて、視聴者コメントが適切であるか否かを推定する。これにより、第２モデルＭ２が、第３推定結果を参考にすることができるので、第２モデルＭ２による推定精度が高まる。
【0106】
［変形例７］
例えば、実施形態では、第２モデルＭ２が第１モデルＭ１よりも低速であるが高精度のモデルである場合を説明したが、第２モデルＭ２による推定精度が十分でないこともある。この場合、第１モデルＭ１及び第２モデルＭ２とは異なる機械学習手法を利用した第４モデルＭ４を利用した推定が実行されてもよい。変形例７では、第４モデルＭ４がBERTを利用したモデルである場合を例に挙げる。第４モデルＭ４は、第１モデルＭ１及び第２モデルＭ２とは異なる機械学習手法を利用したモデルであればよく、BERTを利用したモデルに限られない。例えば、第４モデルＭ４は、BERT以外のTransformerを利用したモデルであってもよい。第４モデルＭ４には、第４訓練コメントと、第４訓練コメントの適否の正解と、の関係を示す第４訓練データが学習されている。第４訓練データは、データ記憶部２００が記憶する第４訓練データベースＤＢ６に格納されている。
例えば、実施形態では、第２モデルＭ２が第１モデルＭ１よりも低速であるが高精度のモデルである場合を説明したが、第２モデルＭ２による推定精度が十分でないこともある。この場合、第１モデルＭ１及び第２モデルＭ２とは異なる機械学習手法を利用した第４モデルＭ４を利用した推定が実行されてもよい。変形例７では、第４モデルＭ４がBERTを利用したモデルである場合を例に挙げる。第４モデルＭ４は、第１モデルＭ１及び第２モデルＭ２とは異なる機械学習手法を利用したモデルであればよく、BERTを利用したモデルに限られない。例えば、第４モデルＭ４は、BERT以外のTransformerを利用したモデルであってもよい。第４モデルＭ４には、第４訓練コメントと、第４訓練コメントの適否の正解と、の関係を示す第４訓練データが学習されている。第４訓練データは、データ記憶部２００が記憶する第４訓練データベースＤＢ６に格納されている。
【0107】
変形例７のライブ配信システム１は、第２基準判定部１０８及び第４推定部１０９を含む。第２基準判定部１０８は、第２モデルＭ２の推定精度に関する第２スコアが所定の第２基準を満たすか否かを判定する。第２スコアは、第２モデルＭ２の推定精度に関するスコアという点で第１スコアとは異なるが、他の点については、第１スコアと同様である。第２基準は、第２スコアに関する基準という点で第１基準とは異なるが、他の点については、第２基準と同様である。このため、第１スコア及び第１基準の説明における第１スコア、第１基準、及び第１モデルＭ１の記載を、第２スコア、第２基準、及び第２モデルＭ２と読み替えることができる。
【0108】
例えば、第２基準判定部１０８は、第２モデルＭ２により出力された第２スコアを取得する。第２基準判定部１０８は、第２スコアが第２閾値以上であるか否かを判定することによって、第２スコアが第２基準を満たすか否かを判定する。第２基準判定部１０８は、第２スコアが第２閾値以上である場合に、第２スコアが第２基準を満たすと判定する。第２基準判定部１０８は、第２スコアが第２閾値未満である場合に、第２スコアが第２基準を満たさないと判定する。
【0109】
第４推定部１０９は、第２スコアが第２基準を満たすと判定された場合には、第４訓練コメントが学習された第４モデルＭ４に基づく推定を行わずに、第２スコアが第２基準を満たさないと判定された場合に、第４モデルＭ４に基づいて、視聴者コメントが適切であるか否かを推定する。第４推定部１０９は、第２スコアが第２基準を満たすと判定された場合には、視聴者コメントを第４モデルＭ４に入力せず、第２スコアが第２基準を満たさないと判定された場合に、視聴者コメントを第４モデルＭ４に入力する。実施形態で説明した所定の処理は、第４モデルＭ４による推定結果に基づいて実行される。
【0110】
変形例７のライブ配信システム１は、第２スコアが第２基準を満たすと判定された場合には、第４訓練コメントが学習された第４モデルＭ４に基づく推定を行わずに、第２スコアが第２基準を満たさないと判定された場合に、第４モデルＭ４に基づいて、視聴者コメントが適切であるか否かを推定する。これにより、第２モデルＭ２の推定精度が高くなかったとしても、第４モデルＭ４に基づく推定を実行することによって、視聴者コメントが適切であるか否かの推定精度が高まる。また、第２モデルＭ２の推定精度が高かった場合には、第２推定結果を信頼できるので、第４モデルＭ４に基づく推定を実行しないようにすることで、サーバ１０の処理負荷を軽減できる。
【0111】
［変形例８］
例えば、互いに異なる機械学習手法の複数の第２モデルＭ２、又は、互いに異なる第２訓練データが学習された複数の第２モデルＭ２を用意しておき、第１スコアに応じた第２モデルＭ２が利用されてもよい。第２推定部１０４は、第１スコアが第１基準を満たさないと判定された場合に、第１スコアに基づいて、複数の第２モデルＭ２のうちの何れかを選択し、当該選択された第２モデルＭ２に基づいて、視聴者コメントが適切であるか否かを推定する。
例えば、互いに異なる機械学習手法の複数の第２モデルＭ２、又は、互いに異なる第２訓練データが学習された複数の第２モデルＭ２を用意しておき、第１スコアに応じた第２モデルＭ２が利用されてもよい。第２推定部１０４は、第１スコアが第１基準を満たさないと判定された場合に、第１スコアに基づいて、複数の第２モデルＭ２のうちの何れかを選択し、当該選択された第２モデルＭ２に基づいて、視聴者コメントが適切であるか否かを推定する。
【0112】
なお、第１スコアと第２モデルＭ２の関係は、予めデータ記憶部１００に記憶されているものとする。例えば、第１スコアが低いほど（第１推定結果の精度が低いほど）、高精度かつ低速の第２モデルＭ２が選択されるように、これらの関係が定義されている。第２推定部１０４は、第１スコアに関連付けられた第２モデルＭ２を選択すればよい。第２モデルＭ２に基づく推定自体は、実施形態で説明した通りである。実施形態で説明した条件分岐を有する第２モデルＭ２以外の他の第２モデルＭ２が利用される場合には、当該他の第２モデルＭ２の機械学習手法に応じた処理が実行されることによって、第２推定結果が取得されるようにすればよい。
【0113】
変形例８のライブ配信システム１は、第１スコアが第１基準を満たさないと判定された場合に、第１スコアに基づいて、複数の第２モデルＭ２のうちの何れかを選択し、当該選択された第２モデルＭ２に基づいて、視聴者コメントが適切であるか否かを推定する。これにより、第１スコアに応じた第２モデルＭ２に基づく推定を実行できるので、視聴者コメントが適切であるか否かの推定精度と、視聴者コメントが適切であるか否かを推定する速度と、をバランスよく両立できる。例えば、第１スコアが第１基準を満たさないが、ある程度は第１推定結果を信頼できる場合には、ある程度高精度かつ高速の第２モデルＭ２を利用することによって、高速な処理で高精度な第２推定結果を得ることができる。例えば、第１スコアが非常に低く、第１推定結果を全く信頼できない場合には、より高精度な第２モデルＭ２を利用することによって、あまり高速ではないが高精度な第２推定結果を得ることができる。
【0114】
［変形例９］
例えば、不適切な視聴者コメントは、特定の視聴者によって入力されることがある。このため、第１推定部１０２及び第２推定部１０４の少なくとも一方は、視聴者に関する特徴に基づいて、視聴者コメントが適切であるか否かを推定してもよい。視聴者に関する特徴は、過去に入力された視聴者コメントに関する特徴である。例えば、ある視聴者が過去に不適切な視聴者コメントを入力した回数が多いほど、この視聴者の不正度が高まるように、特徴が取得される。
例えば、不適切な視聴者コメントは、特定の視聴者によって入力されることがある。このため、第１推定部１０２及び第２推定部１０４の少なくとも一方は、視聴者に関する特徴に基づいて、視聴者コメントが適切であるか否かを推定してもよい。視聴者に関する特徴は、過去に入力された視聴者コメントに関する特徴である。例えば、ある視聴者が過去に不適切な視聴者コメントを入力した回数が多いほど、この視聴者の不正度が高まるように、特徴が取得される。
【0115】
例えば、サーバ１０は、配信データベースＤＢ１を参照し、視聴者ごとに、当該視聴者が入力した過去の視聴者コメントの第１推定結果及び第２推定結果を取得する。サーバ１０は、第１推定結果及び第２推定結果が不適切を示す視聴者コメントが多いほど、視聴者の不正度が高くなるように、視聴者の特徴を計算する。変形例９では、視聴者の不正度が特徴として利用される場合を説明するが、視聴者の正当度が特徴として利用されてもよい。サーバ１０は、ライブ配信サービス以外にも、ＳＮＳ等の他のサービスにおける視聴者のコメントの入力実績に応じた特徴を取得してもよい。
【0116】
変形例９では、第１推定部１０２及び第２推定部１０４の両方が、視聴者に関する特徴に基づいて、視聴者コメントが適切であるか否かを推定する場合を説明するが、第１推定部１０２又は第２推定部１０４の何れか一方のみが、視聴者に関する特徴に基づいて、視聴者コメントが適切であるか否かを推定してもよい。変形例９では、第１訓練データ及び第２訓練データには、視聴者に関する特徴も含まれる。第１モデルＭ１及び第２モデルＭ２は、視聴者に関する特徴が学習されている。
【0117】
例えば、第１推定部１０２は、視聴者に関する特徴を含む第１入力データを、第１モデルＭ１に入力する。第１モデルＭ１は、視聴者に関する特徴に応じた第１推定結果を出力する。第１推定部１０２は、第１モデルＭ１から出力された第１推定結果を取得する。第２推定部１０４は、視聴者に関する特徴を含む第２入力データを、第２モデルＭ２に入力する。第２モデルＭ２は、視聴者に関する特徴に応じた第２推定結果を出力する。第２推定部１０４は、第２モデルＭ２から出力された第２推定結果を取得する。
【0118】
なお、視聴者の特徴を第１入力データ又は第２入力データに含めるのではなく、複数の第１モデルＭ１と、複数の第２モデルＭ２と、を用意しておき、視聴者の特徴に応じた第１モデルＭ１及び第２モデルＭ２が利用されてもよい。例えば、第１推定部１０２は、視聴者の不正度が高いほど高精度の第１モデルＭ１を選択してもよい。第２推定部１０４は、視聴者の不正度が高いほど高精度の第２モデルＭ２を選択してもよい。即ち、視聴者の特徴に応じて、第１モデルＭ１及び第２モデルＭ２が使い分けられてもよい。
【0119】
変形例９のライブ配信システム１は、視聴者に関する特徴に基づいて、視聴者コメントが適切であるか否かを推定する。これにより、視聴者に関する特徴も顧慮できるので、視聴者コメントの推定精度が高まる。例えば、普段から不適切な視聴者コメントを入力する視聴者については、速度ではなく精度を重視した第１モデルＭ１及び第２モデルＭ２で推定を実行するといったこともできる。
【0120】
［変形例１０］
例えば、実施形態では、適切ではないと推定された視聴者コメントが運営者によるチェックに回される場合を例に挙げたが、適切ではないと推定された視聴者コメントは、運営者によるチェックに回すのではなく、そもそもウィンドウＷに表示されないようにしてもよい。更に、第１モデルＭ１又は第２モデルＭ２によって適切ではないと推定された視聴者コメントが、運営者によって適切であると判定された場合には、ウィンドウＷに表示されるようにしてもよい。
例えば、実施形態では、適切ではないと推定された視聴者コメントが運営者によるチェックに回される場合を例に挙げたが、適切ではないと推定された視聴者コメントは、運営者によるチェックに回すのではなく、そもそもウィンドウＷに表示されないようにしてもよい。更に、第１モデルＭ１又は第２モデルＭ２によって適切ではないと推定された視聴者コメントが、運営者によって適切であると判定された場合には、ウィンドウＷに表示されるようにしてもよい。
【0121】
変形例１０のライブ配信システム１は、表示制御部１１０を含む。表示制御部１１０は、第１モデルＭ１及び第２モデルＭ２の少なくとも一方の推定結果に基づいて、視聴者コメントを表示するか否かを制御する。例えば、表示制御部１１０は、第１スコアが第１基準を満たす視聴者コメントについては、第１モデルＭ１の推定結果に基づいて、視聴者コメントを表示するか否かを制御する。表示制御部１１０は、第１モデルＭ１により適切ではないと推定された視聴者コメントをウィンドウＷに表示させず、第１モデルＭ１により適切と推定された視聴者コメントをウィンドウＷに表示させる。
【0122】
例えば、表示制御部１１０は、第１スコアが第１基準を満たさない視聴者コメントについては、第２モデルＭ２の推定結果に基づいて、視聴者コメントを表示するか否かを制御する。表示制御部１１０は、第２モデルＭ２により適切ではないと推定された視聴者コメントをウィンドウＷに表示させず、第２モデルＭ２により適切と推定された視聴者コメントをウィンドウＷに表示させる。第１モデルＭ１又は第２モデルＭ２により適切と推定された視聴者コメントだったとしても、運営者のチェックによって不適切と判定された場合には、視聴者コメントが削除されてもよい。
【0123】
変形例１０のライブ配信システム１は、第１モデルＭ１及び第２モデルＭ２の少なくとも一方の推定結果に基づいて、視聴者コメントを表示するか否かを制御する。これにより、不適切な視聴者コメントが公開されることを防止できる。
【0124】
［その他の変形例］
例えば、上記説明した変形例を組み合わせてもよい。
例えば、上記説明した変形例を組み合わせてもよい。
【0125】
例えば、サーバ１０で実現されるものとして説明した機能は、運営者端末２０、配信者端末３０、視聴者端末４０、又は他のコンピュータで実現されてもよい。例えば、１台のコンピュータで実現されるものとして説明した機能は、複数のコンピュータで分担されてもよい。各機能は、少なくとも１つのコンピュータで実現されるようにすればよい。
【0126】
［６．付記］
例えば、ライブ配信システムは、下記のような構成も可能である。
例えば、ライブ配信システムは、下記のような構成も可能である。
【0127】
（１）
ライブ配信サービスの視聴者により入力された視聴者コメントを取得する視聴者コメント取得部と、
第１訓練コメントが学習された第１モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する第１推定部と、
前記第１モデルの推定精度に関する第１スコアが所定の第１基準を満たすか否かを判定する第１基準判定部と、
前記第１スコアが前記第１基準を満たすと判定された場合には、第２訓練コメントが学習された第２モデルに基づく推定を行わずに、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記第２モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する第２推定部と、
を含むライブ配信システム。
（２）
前記第２推定部は、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記第１モデルの推定結果と、前記第２モデルと、に基づいて、前記視聴者コメントが適切であるか否かを推定する、
（１）に記載のライブ配信システム。
（３）
前記第２推定部は、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記第１スコアと、前記第２モデルと、に基づいて、前記視聴者コメントが適切であるか否かを推定する、
（１）又は（２）に記載のライブ配信システム。
（４）
前記ライブ配信システムは、前記視聴者コメントに所定のキーワードが含まれるか否かを判定するキーワード判定部を更に含み、
前記第２推定部は、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記視聴者コメントに前記キーワードが含まれるか否かの判定結果と、前記第２モデルと、に基づいて、前記視聴者コメントが適切であるか否かを推定する、
（１）～（３）の何れかに記載のライブ配信システム。
（５）
前記キーワード判定部は、
前記視聴者コメントに、第１キーワード群における第１キーワードが含まれるか否かを判定する第１キーワード判定部と、
前記視聴者コメントに、第２キーワード群における第２キーワードが含まれるか否かを判定する第２キーワード判定部と、
を含み、
前記第２推定部は、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記視聴者コメントに前記第１キーワードが含まれるか否かの第１判定結果、前記視聴者コメントに前記第２キーワードが含まれるか否かの第２判定結果、及び前記第２モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する、
（４）に記載のライブ配信システム。
（６）
前記ライブ配信サービスでは、商品を紹介する動画が配信され、前記商品に関する属性ごとに、キーワード群が用意されており、
前記キーワード判定部は、前記視聴者が視聴中の前記動画で紹介されている前記商品の前記属性に関連付けられた前記キーワード群に基づいて、前記視聴者コメントに前記キーワードが含まれるか否かを判定する、
（４）又は（５）に記載のライブ配信システム。
（７）
前記ライブ配信システムは、第３訓練コメントが学習された第３モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する第３推定部を更に含み、
前記第２推定部は、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記第３モデルの推定結果と、前記第２モデルと、に基づいて、前記視聴者コメントが適切であるか否かを推定する、
（１）～（６）の何れかに記載のライブ配信システム。
（８）
前記第１モデルは、前記第２モデルよりも高速なモデルである、
（１）～（７）の何れかに記載のライブ配信システム。
（９）
前記第２モデルは、条件分岐を有するモデルであり、
前記第２推定部は、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記視聴者コメントが満たす前記条件分岐に応じた出力を取得することによって、前記視聴者コメントが適切であるか否かを推定する、
（１）～（８）の何れかに記載のライブ配信システム。
（１０）
前記ライブ配信システムは、
前記第２モデルの推定精度に関する第２スコアが所定の第２基準を満たすか否かを判定する第２基準判定部と、
前記第２スコアが前記第２基準を満たすと判定された場合には、第４訓練コメントが学習された第４モデルに基づく推定を行わずに、前記第２スコアが前記第２基準を満たさないと判定された場合に、前記第４モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する第４推定部と、
を更に含む（１）～（９）の何れかに記載のライブ配信システム。
（１１）
前記第２推定部は、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記第１スコアに基づいて、複数の前記第２モデルのうちの何れかを選択し、当該選択された第２モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する、
（１）～（１０）の何れかに記載のライブ配信システム。
（１２）
前記第１推定部及び前記第２推定部の少なくとも一方は、前記視聴者に関する特徴に基づいて、前記視聴者コメントが適切であるか否かを推定する、
（１）～（１１）の何れかに記載のライブ配信システム。
（１３）
前記ライブ配信システムは、前記第１モデル及び前記第２モデルの少なくとも一方の推定結果に基づいて、前記視聴者コメントを表示するか否かを制御する表示制御部を更に含む、
（１）～（１２）の何れかに記載のライブ配信システム。
ライブ配信サービスの視聴者により入力された視聴者コメントを取得する視聴者コメント取得部と、
第１訓練コメントが学習された第１モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する第１推定部と、
前記第１モデルの推定精度に関する第１スコアが所定の第１基準を満たすか否かを判定する第１基準判定部と、
前記第１スコアが前記第１基準を満たすと判定された場合には、第２訓練コメントが学習された第２モデルに基づく推定を行わずに、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記第２モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する第２推定部と、
を含むライブ配信システム。
（２）
前記第２推定部は、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記第１モデルの推定結果と、前記第２モデルと、に基づいて、前記視聴者コメントが適切であるか否かを推定する、
（１）に記載のライブ配信システム。
（３）
前記第２推定部は、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記第１スコアと、前記第２モデルと、に基づいて、前記視聴者コメントが適切であるか否かを推定する、
（１）又は（２）に記載のライブ配信システム。
（４）
前記ライブ配信システムは、前記視聴者コメントに所定のキーワードが含まれるか否かを判定するキーワード判定部を更に含み、
前記第２推定部は、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記視聴者コメントに前記キーワードが含まれるか否かの判定結果と、前記第２モデルと、に基づいて、前記視聴者コメントが適切であるか否かを推定する、
（１）～（３）の何れかに記載のライブ配信システム。
（５）
前記キーワード判定部は、
前記視聴者コメントに、第１キーワード群における第１キーワードが含まれるか否かを判定する第１キーワード判定部と、
前記視聴者コメントに、第２キーワード群における第２キーワードが含まれるか否かを判定する第２キーワード判定部と、
を含み、
前記第２推定部は、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記視聴者コメントに前記第１キーワードが含まれるか否かの第１判定結果、前記視聴者コメントに前記第２キーワードが含まれるか否かの第２判定結果、及び前記第２モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する、
（４）に記載のライブ配信システム。
（６）
前記ライブ配信サービスでは、商品を紹介する動画が配信され、前記商品に関する属性ごとに、キーワード群が用意されており、
前記キーワード判定部は、前記視聴者が視聴中の前記動画で紹介されている前記商品の前記属性に関連付けられた前記キーワード群に基づいて、前記視聴者コメントに前記キーワードが含まれるか否かを判定する、
（４）又は（５）に記載のライブ配信システム。
（７）
前記ライブ配信システムは、第３訓練コメントが学習された第３モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する第３推定部を更に含み、
前記第２推定部は、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記第３モデルの推定結果と、前記第２モデルと、に基づいて、前記視聴者コメントが適切であるか否かを推定する、
（１）～（６）の何れかに記載のライブ配信システム。
（８）
前記第１モデルは、前記第２モデルよりも高速なモデルである、
（１）～（７）の何れかに記載のライブ配信システム。
（９）
前記第２モデルは、条件分岐を有するモデルであり、
前記第２推定部は、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記視聴者コメントが満たす前記条件分岐に応じた出力を取得することによって、前記視聴者コメントが適切であるか否かを推定する、
（１）～（８）の何れかに記載のライブ配信システム。
（１０）
前記ライブ配信システムは、
前記第２モデルの推定精度に関する第２スコアが所定の第２基準を満たすか否かを判定する第２基準判定部と、
前記第２スコアが前記第２基準を満たすと判定された場合には、第４訓練コメントが学習された第４モデルに基づく推定を行わずに、前記第２スコアが前記第２基準を満たさないと判定された場合に、前記第４モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する第４推定部と、
を更に含む（１）～（９）の何れかに記載のライブ配信システム。
（１１）
前記第２推定部は、前記第１スコアが前記第１基準を満たさないと判定された場合に、前記第１スコアに基づいて、複数の前記第２モデルのうちの何れかを選択し、当該選択された第２モデルに基づいて、前記視聴者コメントが適切であるか否かを推定する、
（１）～（１０）の何れかに記載のライブ配信システム。
（１２）
前記第１推定部及び前記第２推定部の少なくとも一方は、前記視聴者に関する特徴に基づいて、前記視聴者コメントが適切であるか否かを推定する、
（１）～（１１）の何れかに記載のライブ配信システム。
（１３）
前記ライブ配信システムは、前記第１モデル及び前記第２モデルの少なくとも一方の推定結果に基づいて、前記視聴者コメントを表示するか否かを制御する表示制御部を更に含む、
（１）～（１２）の何れかに記載のライブ配信システム。
【符号の説明】
【0128】
１ ライブ配信システム、１０ サーバ、１１，２１，３１，４１ 制御部、１２，２２，３２，４２ 記憶部、１３，２３，３３，４３ 通信部、２０ 運営者端末、２４，３４，４４ 操作部、２５，３５，４５ 表示部、３０ 配信者端末、３６ カメラ、４０ 視聴者端末、Ｂ ボタン、Ｆ 入力フォーム、Ｎ ネットワーク、Ｗ ウィンドウ、Ｍ１ 第１モデル、Ｍ２ 第２モデル、Ｍ３ 第３モデル、Ｍ４ 第４モデル、１００ データ記憶部、１０１ 視聴者コメント取得部、１０２ 第１推定部、１０３ 第１基準判定部、１０４ 第２推定部、１０５ 通知部、１０６ キーワード判定部、１０７ 第３推定部、１０８ 第２基準判定部、１０９ 第４推定部、１１０ 表示制御部、２００ データ記憶部、２０１ 学習部、２０２ 制限部、３００ データ記憶部、３０１ 配信部、４００ データ記憶部、４０１ 視聴者コメント送信部、ＤＢ１ 配信データベース、ＤＢ２ 第１訓練データベース、ＤＢ３ 第２訓練データベース、ＤＢ４ キーワードデータベース、ＤＢ５ 第３訓練データベース、ＤＢ６ 第４訓練データベース。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】