特開 2022-122491 システム、方法、コンピュータプログラム、ユーザ装置及びサーバ装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022122491

(43)【公開日】2022-08-23

(54)【発明の名称】システム、方法、コンピュータプログラム、ユーザ装置及びサーバ装置

(51)【国際特許分類】

   G06F 13/00 20060101AFI20220816BHJP

   H04M 11/00 20060101ALI20220816BHJP

   H04M 3/493 20060101ALI20220816BHJP

【ＦＩ】

G06F13/00 540A

H04M11/00 302

H04M3/493

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2021019750

(22)【出願日】2021-02-10

(71)【出願人】

【識別番号】519028427

【氏名又は名称】ＳＨＯＷＲＯＯＭ株式会社

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100158551

【弁理士】

【氏名又は名称】山崎 貴明

(72)【発明者】

【氏名】マシュー ウェイド ジョンソン

(72)【発明者】

【氏名】ヴァレリオ サルブッチ

(72)【発明者】

【氏名】ヴオチティアン セア

(72)【発明者】

【氏名】瀬沼 健吾

(72)【発明者】

【氏名】ジョシュア パトリック イーステン

(72)【発明者】

【氏名】クォン チョルホ

(72)【発明者】

【氏名】杉▲崎▼ 勝弥

(72)【発明者】

【氏名】中原 隆弘

【テーマコード（参考）】

5B084

5K201

【Ｆターム（参考）】

5B084AA01

5B084AA12

5B084AB11

5B084AB39

5B084BB19

5B084CA13

5B084CB23

5B084CC15

5B084CC16

5B084CD23

5B084CF02

5B084DB11

5B084DC02

5B084DC03

5B084DC06

5B084DC25

5K201AA07

5K201BA06

5K201CA07

5K201EA05

5K201EC06

5K201ED05

(57)【要約】

【課題】ポストされた日時や、ポストしたユーザの属性などに応じた順序などで、コメントが掲示されるインターネットにおける掲示板機能において、個人を誹謗、中傷するコメントなどのような不適切なコメントがユーザ装置に表示されることは、差別や、いじめなどの社会問題を生じさせる原因となっている。
【解決手段】システムは、コメントを送信するユーザ装置と、前記コメントを受信し、記憶するサーバ装置とを備え、前記サーバ装置は、前記コメントが不適切なコメントであるか否かを判定するように構成されている。
【選択図】図１

【特許請求の範囲】

【請求項1】

システムであって、
コメントを送信するユーザ装置と、
前記コメントを受信し、記憶するサーバ装置と、を備え、
前記サーバ装置は、前記コメントが不適切なコメントであるか否かを判定するように構成されている、システム。

【請求項2】

前記サーバ装置は、ニューラルネットワークを備えたＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）部を有し、前記ＡＩ部は、前記コメントを入力として受け取り、前記コメントが不適切なコメントであるか否かを判定する、請求項１に記載のシステム。

【請求項3】

前記サーバ装置は、対象情報と前記対象情報が不適切コメントで有るか否かを示す情報とを含む教師データを用いて、前記ニューラルネットワークを訓練する、請求項２に記載のシステム。

【請求項4】

前記サーバ装置は、外部のサーバ装置が管理するＡＩ部にて用いられている学習済みモデルを受け取り、前記サーバ装置のＡＩ部に適用する、請求項２又は３に記載のシステム。

【請求項5】

前記サーバ装置は、コンテンツ及び前記コンテンツに関付けされたコメントを配信するように構成されており、さらに、不適切なコメントと判断されたコメントを配信しないように構成されている、請求項１～４の何れか一項に記載のシステム。

【請求項6】

前記サーバ装置は、コメントをリアルタイムで配信するように構成されている、請求項５に記載のシステム。

【請求項7】

前記サーバ装置は、前記コンテンツの提供者の属性に応じて、前記コンテンツに関連する前記コメントが不適切なコメントであるか否かを判定するように構成されている、請求項５又は６に記載のシステム。

【請求項8】

前記サーバ装置は、前記コンテンツの属性に応じて、前記コンテンツに関連付けされた前記コメントが不適切なコメントであるか否かを判定するように構成されている、請求項５～７の何れか一項に記載のシステム。

【請求項9】

前記サーバ装置は、前記コンテンツに関連付けされているコメントにおける不適切なコメントの数に基づいて、前記コンテンツに関連する前記コメントが不適切なコメントであるか否かを判定するように構成されている、請求項５～８の何れか一項に記載のシステム。

【請求項10】

前記サーバ装置は、前記ユーザ装置のユーザ属性に応じて、前記コメントが不適切なコメントであるか否かを判定するように構成されている、請求項１～９の何れか一項に記載のシステム。

【請求項11】

前記サーバ装置は、不適切コメントとして判定されたコメントのユーザのアクションを制限するように構成されている、請求項１～１０の何れか一項に記載のシステム。

【請求項12】

システムが実行する方法であって、
ユーザ装置が、コメントを送信するステップと、
サーバ装置が、前記コメントを受信し、記憶し、さらに、前記コメントが不適切なコメントであるか否かを判定するステップとを含む、方法。

【請求項13】

コンピュータプログラムであって、
ユーザ装置に、コメントを送信させ、
サーバ装置に、前記コメントを受信し、記憶させ、さらに、前記コメントが不適切なコメントであるか否かを判定させる、コンピュータプログラム。

【請求項14】

ユーザ装置であって、
一又は二以上のユーザ装置からコメントを受信し、記憶し、さらに、前記コメントが不適切なコメントであるか否かを判定するサーバ装置から、適切なコメントを受信する、ユーザ装置。

【請求項15】

サーバ装置であって、
一又は二以上のユーザ装置からコメントを受信し、記憶し、さらに、前記コメントが不適切なコメントであるか否かを判定し、適切なコメントをユーザ装置に送信する、サーバ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、システム、方法、コンピュータプログラム、ユーザ装置及びサーバ装置に関する。

【背景技術】

【0002】

ユーザがコメントなどをポストすることによって、当該ユーザがコメントを一又は二以上の他のユーザと共有することができるような掲示板機能が知られている。掲示板機能は、遠隔にあるユーザ同士でもコメントを共有することができることから、人気がある機能である。特に、ソーシャルネットワークサービスや、画像や音声、映像などのコンテンツ提供サービスなどにおいて、掲示板機能は欠かすことができない機能となっている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

ポストされた日時や、ポストしたユーザの属性などに応じた順序などで、コメントが掲示されるインターネットにおける掲示板機能において、個人を誹謗、中傷するコメントなどのような不適切なコメントがユーザ装置に表示されることは、差別や、いじめなどの社会問題を生じさせる原因となっている。また、このような事象は、差別や、いじめなどの対象となった個人の精神的苦痛や、場合によってはうつ病等の病気に繋り、著名人などが自殺してしまう事例も発生している。

【課題を解決するための手段】

【0004】

本発明の実施例によるシステムは、コメントを送信するユーザ装置と、前記コメントを受信し、記憶するサーバ装置とを備え、前記サーバ装置は、前記コメントが不適切なコメントであるか否かを判定するように構成されている。

【0005】

本発明の実施例による前記サーバ装置は、ニューラルネットワークを備えたＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）部を有し、前記ＡＩ部は、前記コメントを入力として受け取り、前記コメントが不適切なコメントであるか否かを判定することができる。

【0006】

本発明の実施例による前記サーバ装置は、対象情報と前記対象情報が不適切コメントで有るか否かを示す情報とを含む教師データを用いて、前記ニューラルネットワークを訓練することができる。

【0007】

本発明の実施例による前記サーバ装置は、外部のサーバ装置が管理するＡＩ部にて用いられている学習済みモデルを受け取り、前記サーバ装置のＡＩ部に適用することができる。

【0008】

本発明の実施例による前記サーバ装置は、コンテンツ及び前記コンテンツに関付けされたコメントを配信するように構成されており、さらに、不適切なコメントと判断されたコメントを配信しないように構成されている。

【0009】

本発明の実施例による前記サーバ装置は、コメントをリアルタイムで配信するように構成されている。

【0010】

本発明の実施例による前記サーバ装置は、前記コンテンツの提供者の属性に応じて、前記コンテンツに関連する前記コメントが不適切なコメントであるか否かを判定するように構成されている。

【0011】

本発明の実施例による前記サーバ装置は、前記コンテンツの属性に応じて、前記コンテンツに関連付けされた前記コメントが不適切なコメントであるか否かを判定するように構成されている。

【0012】

本発明の実施例による前記サーバ装置は、前記コンテンツに関連付けされているコメントにおける不適切なコメントの数に基づいて、前記コンテンツに関連する前記コメントが不適切なコメントであるか否かを判定するように構成されている。

【0013】

本発明の実施例による前記サーバ装置は、前記ユーザ装置のユーザ属性に応じて、前記コメントが不適切なコメントであるか否かを判定するように構成されている。

【0014】

本発明の実施例による前記サーバ装置は、不適切コメントとして判定されたコメントのユーザのアクションを制限するように構成されている。

【0015】

本発明の実施例によるシステムが実行する方法は、ユーザ装置が、コメントを送信するステップと、サーバ装置が、前記コメントを受信し、記憶し、さらに、前記コメントが不適切なコメントであるか否かを判定するステップとを含む。

【0016】

本発明の実施例によるコンピュータプログラムは、ユーザ装置に、コメントを送信させ、サーバ装置に、前記コメントを受信し、記憶させ、さらに、前記コメントが不適切なコメントであるか否かを判定させることができる。

【0017】

本発明の実施例によるユーザ装置は、一又は二以上のユーザ装置からコメントを受信し、記憶し、さらに、前記コメントが不適切なコメントであるか否かを判定するサーバ装置から、適切なコメントを受信することができる。

【0018】

本発明の実施例によるサーバ装置は、一又は二以上のユーザ装置からコメントを受信し、記憶し、さらに、前記コメントが不適切なコメントであるか否かを判定し、適切なコメントをユーザ装置に送信することができる。

【図面の簡単な説明】

【0019】

【図1】本発明の実施例によるシステムを示す。

【図2】サーバ装置、管理者装置、及びユーザ装置を含む情報処理装置の構成を示す。

【図3】本発明の実施例による処理フローを示す。

【発明を実施するための形態】

【0020】

［システム構成］
図１は、本発明の実施例によるシステム１００を示す。システム１００は、サーバ装置１０５、管理者装置１１０、及びユーザ装置１２０を有する。サーバ装置１０５、管理者装置１１０、及びユーザ装置１２０は、それぞれ、インターネット１５０を介して接続されている。サーバ装置１０５、管理者装置１１０、及びユーザ装置１２０は、それぞれ、一又は二以上の装置であってもよい。管理者装置１１０は、サーバ装置１０５に直接接続されていてもよい、又は、管理者装置１１０はサーバ装置１０５に組み込まれていてもよい。サーバ装置１０５及び管理者装置１１０は、例えば、ラップトップコンピュータ、デスクトップコンピュータ、タブレットなどのコンピュータ装置である。ユーザ装置は、典型的には、スマートフォンだが、これに限定されず、他の装置であってもよい。

【0021】

ユーザは、ユーザ装置１２０を介して、サーバ装置１０５にコメントをポストでき、ポストされたコメントを閲覧、修正、削除などを行うことができる。例えは、第１のユーザがコメントをポストすると、第１及び第２のユーザは第１のユーザのコメントを閲覧でき、第１のユーザは、さらに、自身のコメントを修正や削除することができる。また、第１及び第２のユーザは第１のユーザのコメントに対してさらなるコメントを追加することができる。一実施例において、ユーザは、ユーザ装置１２０を介して、コメントを、音声や映像、写真などのコンテンツとともにポストすることができる。例えば、ソーシャルネットワーク（ＳＮＳ）などにおいて、ユーザは、コメント及び写真を一緒にポストすることができる。

【0022】

さらに、ストリーミングサービスなどにおいて、ユーザは、コンテンツ、又は、コンテンツ及びコンテンツに関連するコメントをポストすることもできる。これにより、コンテンツ及び／又はコメントは配信される。一又は二以上のユーザ装置１２０は、コメントを、ユーザが閲覧中のコンテンツに対してポストできるように動作してもよい。この場合、ユーザ装置１２０は、ポストされたコメントをサーバ装置１０５に送信し、サーバ装置１０５は、ポストされたコメントをサーバ装置１０５が提供しているコンテンツとともにユーザ装置１２０に提供することができる。例えば、コメントがコンテンツにオーバーレイされたコンテンツや、コンテンツの一部に設けられたコメント欄にコメントが追加されたコンテンツなどの修正コンテンツがサーバ装置１０５からユーザ装置１２０に提供されてもよい。これにより、ユーザは閲覧中のビデオなどのコンテンツにコメントをポストすることができ、さらに、コンテンツ及びコメントを閲覧することもできる。

【0023】

本実施例において、サーバ装置１０５は、ユーザ装置１２０からコメントを受信すると、コメントをユーザ装置１２０に配信する前に、一時的に格納し、コメントが不適切であるか否かを判定する。サーバ装置１０５は、コメントが適切である場合、コメントを配信し、コメントが不適切である場合、コメントを配信しない。これにより、不適切なコメントの配信が防止される。不適切なコメントは、典型的には、コメントがポストされるコンテンツの所有者を誹謗、中傷するようなコメントが典型であるが、これに限定されず、コメントに関連するコンテンツや、ユーザの属性などに基づいてコメントの表示が適切できないようなコメントを含む。

【0024】

従来技術において、サーバ装置は、コメントを配信した後、ユーザからのコメントが不適切であることを他のユーザから問い合わせを受けることによって、当該コメントを削除していた。従来技術において、不適切なコメントは削除されていたが、コメントが配信されてからコメントが削除されるまでの間、コメントは、ポストされた日時の昇順又は降順などの順序により表示され、コメントをポストしたユーザ以外のユーザであっても、不適切コメントを閲覧できていた。しかしながら、本発明の実施例によれば、不適切コメントが配信されないことから、コメントをポストしたユーザ以外のユーザは、不適切コメントの存在自体を感知できず、不快な思いをしないで済む。例えば、音声、映像、画像などを配信するコンテンツ配信システムにおいて、コメントは、コンテンツとともに配信されることから、コンテンツの中断などの影響なしで、不適切コメントのみをユーザが感知できないようにすることは重要である。特に、ストリーミング配信、ライブ配信、ライブストリーミングなどのリアルタイムでコンテンツが配信されるシステムにおいて、コメントもリアルタイムで配信されてしまうことから、不適切コメントをユーザに感知させないために、不適切コメントの配信を行わないことは重要である。ここで、リアルタイム配信は、演者のパフォーマンスなどのコンテンツが即座に視聴者などに配信されることを含み、さらに、技術的制約、商業的制約、地理的制約、又は、他の制約などにより、コンテンツが遅れて配信される態様も含む。

【0025】

図２は、サーバ装置１０５、管理者装置１１０、及びユーザ装置１２０を含む情報処理装置の構成を示す。管理者装置１１０、及びユーザ装置１２０は、情報処理装置であり、情報処理装置は、図２に示すように、プロセッサ２０５、メモリ２１０、ストレージ２１５、入出力装置２２０、及び、通信装置２２５を備える。プロセッサ２０５、メモリ２１０、ストレージ２１５、入出力装置２２０、及び、通信装置２２５は、互いにバスを介して接続される。情報処理装置の構成は、例示であり、情報処理装置は、図に示した装置の一部を有していなくてもよい、及び／又は、他の装置を有していてもよい。

【0026】

［処理フロー］
図３は、本発明の実施例による処理フローを示す。サーバ装置１０５は、コメントを、ユーザ装置１２０の少なくとも一つから受信する（ステップ３０５）。サーバ装置１０５は、受信したコメントをメモリ２１０又はストレージ２１５に格納する。サーバ装置１０５は、受信したコンテンツが不適切であるか否かを判定する（ステップ３１０）。サーバ装置１０５は、コンテンツが不適切である場合、コメントを配信しない（ステップ３１５）。サーバ装置１０５は、コンテンツが適切である場合、コメントを配信する（ステップ３２０）。サーバ装置１０５は、コメント規制に関連する処理を実行する（ステプ３２５）。例えば、サーバ装置１０５は、不適切コメントをポストしたユーザが所定の期間コメントをポストできないように制御してもよい。

【0027】

［判定に関する処理］
サーバ装置１０５は、受信したコメントを一時記憶装置（又は記憶装置）に記憶し、所定の条件を満たしたときに、一時記憶装置に記憶した一又は二以上のコメントが不適切であるか否かを判定することができる。所定の条件の例としては、コメントを受信してから所定の時間が経過したことに応じて、記憶装置に記憶したコメントの数が所定の数に到達したことに応じて、記憶装置に記憶したコメントの合計文字数が所定の数になったことに応じて、又は、記憶装置に記憶したコメントのサイズが所定のサイズ（例えば、２５６Ｋバイト）になったことに応じて、所定の条件を満たしたとして、判定が実行されてもよい。また、これらの条件の組み合わせが用いられてもよい。例えば、記憶装置に記憶したコメントの数が所定の数に到達せずに、コメントを受信してから所定の時間が経過したことに応じて、判定が実行されてもよい。例えば、リアルタイムでコメントが付加されたコンテンツが配信される場合、記憶装置に記憶するコメントの数をサーバ装置１０５が所定の時間内で判定できるコメントの数（閾値）以下とすることで、コンテンツへのコメントの追加がリアルタイムで実現される。すなわち、記憶装置に記憶するコメントの数が閾値を超えると、サーバ装置１０５は、コメントの判定がリアルタイムでできなくなることから、及び／又は、コメントをコンテンツにリアルタイムで追加できなくなることから、所定の時間を待たずに、記憶装置に記憶するコメントの数が閾値を超えたことに応じて、コメントをコンテンツに追加する。

【0028】

サーバ装置１０５は、受信したコメントと、予め記憶装置に不適切コメントとして記憶されているコメントとを比較して、受信したコメントと記憶されているコメントとの一致点又は類似点が所定の閾値以上である（例えば一致する割合が７５％以上など）場合、受信したコメントを不適切コメントとして判定してもよい。

【0029】

サーバ装置１０５は、不適切と判定したコメントを、コメントをポストしたユーザの属性に応じて、コメントが適切であると再判定してもよい、または、適切と判定したコメントを不適切コメントとして再判定してもよい。例えば、サーバ装置１０５は、ユーザを識別可能なユーザ識別子、及び、ユーザ識別子に関連したユーザの属性を管理する。例えば、ユーザ識別子及びユーザの属性が、関連付けされて、サーバ装置１０５のストレージ２１５に記憶される。ユーザ装置１２０が、コメントとともに、ユーザ識別子又はユーザ識別子に関連する情報をサーバ装置１０５に送信することにより、サーバ装置１０５は、ユーザ識別子又は関連する情報に基づいて、ユーザの属性を得ることができる。ユーザの属性は、例えば、過去に不適切コメントをポストした数及びポストされた全てのコメント数に対する不適切コメント数（コメントの内容のみにより不適切と判断されたコメント数でもよい）の割合や、サーバ装置１０５が提供するサービスの使用頻度、サーバ装置１０５が提供するサービスにおけるユーザの課金状況などとすることができる。例えば、ユーザがポストしたコメントが不適切と判定されたとしても、サーバ装置１０５は、ユーザの過去の不適切コメントが少ないことや、ユーザが過去の所定の期間に渡って所定の金額以上の課金を行っていることなどに応じて、不適切コメントを適切なコメントとして扱うことができる。

【0030】

コメントがコンテンツに関連付けされる（付加される）場合、サーバ装置１０５は、不適切と判定したコメントを、コメントが付加される対象のコンテンツの属性に応じて、コメントが適切であると再判定してもよい、または、適切と判定したコメントを不適切コメントとして再判定してもよい。例えば、コンテンツの提供者が当該コンテンツにおいて予め不適切なコメントを受け入れることに同意している場合や、コンテンツが大人向けである又はコンテンツが暴力シーンを含んでいて、卑猥な言葉や暴力的な言葉が許容されるべきである場合など、サーバ装置１０５は、コンテンツの属性に応じて不適切コメントを適切なコメントとして扱う。

【0031】

他の実施例において、サーバ装置１０５は、不適切と判定したコメントを、コメントが付加されるコンテンツの提供者の属性に応じて、コメントが適切であると再判定してもよい、または、適切と判定したコメントを不適切コメントとして再判定してもよい。例えば、コンテンツの提供者が予め不適切なコメントを受け入れることに同意している場合など、不適切と判定したコメントをコメントが適切であると再判定されてもよい。

【0032】

他の実施例において、コンテンツの提供者が提供したコンテンツにおいてポストされた全コメント数に対する不適切コメント数の割合が所定の値以下又は大きい場合、サーバ装置１０５は、不適切コメントを適切なコメントとして扱ってもよい、または、適切なコメントを不適切なコメントとして扱ってもよい。例えば、所定のコンテンツ提供者が提供したコンテンツにおける全コメント数に対する不適切コメント数（コメントの内容のみにより不適切と判断されたコメント数でもよい）の割合が５５％の場合、すなわち、不適切コメントの数が適切コメントの数のより大きい場合、サーバ装置１０５は、不適切コメントを適切なコメントとして扱ってもよい。

【0033】

他の実施例において、ユーザがユーザ装置１２０を介して、コメントとともに、映像や、画像、音声などのコンテンツをポストする場合、サーバ装置１０５は、コンテンツに応じて、不適切なコメントを適切なコメントとして、又は、適切なコメントを不適切なコメントとして扱ってもよい。この実施例において、サーバ装置１０５は、コンテンツに応じて、コンテンツ自体を不適切なコンテンツ、又は、適切なコンテンツと判定してもよい。例えば、コンテンツが暴力シーンや、卑猥なシーンなどを含んでいる場合、コンテンツ及び／又はコンテンツに関連するコメントは、不適切と判断される。

【0034】

他の実施例において、ユーザがユーザ装置１２０を介して、コメントとともに、映像や、画像、音声などのコンテンツをポストする場合、又は、既存のコンテンツ（例えば、自分又は他人が予めポストしたコンテンツ、又は、ポストしているコンテンツ（例えば、ストリーミングコンテンツなど））にコメントをポストする場合、サーバ装置１０５は、コンテンツ及びコンテンツに関連付けされたコメントの関連性に応じて、不適切なコメントを適切なコメントとして、又は、適切なコメントを不適切なコメントとして扱ってもよい。例えば、コンテンツが歌手が歌うシーンであって、コメントにランチの評価が記載されている場合や、コンテンツがサッカーのシーンであって、コメントに昨日の野球の試合結果が記載されている場合など、サーバ装置１０５は、コンテンツ及びコメントの関連性が低いと判断し、コメントが不適切であると判断する。

【0035】

サーバ装置１０５は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）部を有していてもよい。ＡＩ部は、コメントが不適切であるか否かを判定することができる。ＡＩ部は、ニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）や、多層構造のニューラルネットワークによるディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｇ）などの機械学習技術によって実現される。ＡＩ部は、教師データを受けとり、教師データを用いて、過去のコメントなどに基づく訓練を行うことができる。サーバ装置１０５は、教師データを、ＡＩ部に入力データとして送信することができる。教師データは、過去のコメントや、他のデータなどの対象情報と、この対象情報が不適切コメントである否かを示す情報とを少なくとも含む。これにより、ＡＩ部は、教師データを用いてニューラルネットワークを訓練し、学習済みモデルを取得することができる。したがって、本実施例において、サーバ装置１０５は、過去のコメントや、外部データなどの情報を教師データとして用いてニューラルネットワークを訓練することにより、学習済みモデルを取得し、ＡＩ部において学習済みモデルを用いることができる。コメントが不適切である否かを示す情報は、人間、ＡＩ部、又は他の手段によって、不適切である否かを示す情報に対応する対象情報（コメント以外でもよい）に関連付けて付加されてもよい。

【0036】

サーバ装置１０５は、ＡＩ部を訓練するときに、転移学習（Ｔｒａｎｓｆｅｒ Ｌｅａｒｎｉｎｇ）を用いることができる。サーバ装置１０５は、サーバ装置１０５に接続された外部のサーバ装置が管理するＡＩ部にて用いられている学習済みモデルを受け取り、外部ＡＩ部の学習済みモデルをサーバ装置１０５のＡＩ部の学習済みモデルに適用する。これにより、サーバ装置１０５は、外部ＡＩ部の学習済みモデルが適用された強化学習モデルを取得することができる。サーバ装置１０５は、強化学習モデル及び教師データを用いて、サーバ装置１０５のＡＩ部におけるニューラルネットワークをさらに訓練させることができる。外部サーバ装置は、例えば、グーグルや、ウイキペディアに記憶された情報を用いて学習モデルを作成する。サーバ装置１０５は、転移学習を用いることにより、外部サーバ装置のリソースを活用することができることから、サーバ装置１０５のＡＩ部の訓練を、より迅速かつ正確に実現する。

【0037】

［コメント規制に関する処理］
サーバ装置１０５は、コメント規制に関する処理を実行することができる。一実施例において、サーバ装置１０５は、コンテンツと、コンテンツに関連付けされたコメントとをユーザ装置１２０に提供することができる。サーバ装置１０５は、不適切コメントをポストしたユーザのアクションを制限する。
例えば、サーバ装置１０５は、ユーザ装置１２０を、以下のように制御してもよい。
－ユーザが所定の期間、コメントをポストできない。例えば、ポストを実行するための画面に遷移できない、ポストするためのボタンやリンクなどが押下できないなどと制御することができる。
－コメントに関連するコンテンツ、当該コンテンツの他のコメント、又は当該コンテンツに興味を示している他のユーザ又はそのユーザのコメント／コンテンツにアクセスできない
－コメントの所有者又は所有者の他のコンテンツにアクセスできない
コメント／コンテンツにアクセスできないようにする例としては、コメントのポストが、チャットルームなどの特定のスペースに入ることにより行えるように制御されている場合、サーバ装置１０５は、不適切コメントをポストしたユーザが所定の期間、特定のスペースに入ることができないように制御することができる。
－不適切なコメントしたユーザは、不適切なコメント及び／又はそれに続くコメントをポストできるが、サーバ装置１０５は、不適切なコメントしたユーザのそれらコメントを、他のユーザのユーザ装置１２０に送信しない、表示させないなどのように制御する。

【0038】

サーバ装置１０５は、コンテンツに関連付けされた全コメント数、適切なコメント数、不適切なコメント数、及び、全コメント数に対する適切なコメント数又は不適切なコメント数の割合の少なくとも一つがユーザ装置１２０に表示されるように制御することができる。これにより、ユーザは、コンテンツにおいて、不適切コメントが多いこと又は少ないことを確認することができる。

【0039】

サーバ装置１０５は、コンテンツの視聴者数、適切なコメントをポストしたユーザ数、不適切なコメントをポストしたユーザ数、及び、コンテンツの視聴者数に対する適切又は不適切なコメントをポストしたユーザ数の割合の少なくとも一つがユーザ装置１２０に表示されるように制御することができる。

【0040】

サーバ装置１０５は、不適切なコメントをポストしたユーザを特定する。さらに、サーバ装置１０５は、不適切なコメントをポストしたユーザのユーザ識別子や、ユーザ名などのユーザ情報を、不適切なコメントをポストしたユーザ以外のユーザのユーザ装置１２０、及び／又は、コンテンツを提供しているユーザのユーザ装置１２０に表示されるように制御することができる。

【0041】

上記の実施例により、ユーザは、コンテンツを閲覧する前に予め不適切コメントが多いコンテンツや、ユーザなどを特定することができ、不適切コメントの閲覧を控えることができる。他の実施例において、ユーザ装置１２０は、不適切コメントが多いコンテンツや、不適切コメントが多いユーザのコメントなどを表示しないように制御してもよい。

【0042】

［その他］
サーバ装置１０５、管理者装置１１０、及びユーザ装置１２０、及び他の装置の少なくとも一部に記憶されたコンピュータプログラムが実行されたとき、コンピュータプログラムは、それら装置に、上記の実施例における処理の一部又は全部を実行させる。

【0043】

上記の実施例において、ハードウエアで実現するよう説明されたいくつかの要素の一部又は全ては、ソフトウエアで実現することができ、そして、ソフトウエアで実現するよう説明されたいくつかの要素の一部又は全ては、ハードウエアで実現することができることは理解されるであろう。

【0044】

以上に説明した処理又は処理順序において、ある処理において、その処理ではまだ利用することができないはずのデータを利用しているなどの処理又は処理順序上の矛盾が生じない限りにおいて、処理又は処理順序を自由に変更することができる。

【0045】

以上に説明してきた各実施例に関し、各実施例の一部又は全部を組み合わせて一つの実施例として実現されてもよい。

【0046】

以上に説明してきた各実施例は、本発明を説明するための例示であり、本発明はこれらの実施例に限定されるものではない。本発明は、その要旨を逸脱しない限り、種々の形態で実施することができる。

【符号の説明】

【0047】

１００ ：システム
１０５ ：サーバ装置
１１０ ：管理者装置
１２０ ：ユーザ装置
１５０ ：インターネット
２０５ ：プロセッサ
２１０ ：メモリ
２１５ ：ストレージ
２２０ ：入出力装置
２２５ ：通信装置

【図1】

【図2】

【図3】