特許 7275181 申告評価装置およびその動作方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-09

(45)【発行日】2023-05-17

(54)【発明の名称】申告評価装置およびその動作方法

(51)【国際特許分類】

   G06Q 50/00 20120101AFI20230510BHJP

   G16Y 20/40 20200101ALI20230510BHJP

   G16Y 40/20 20200101ALI20230510BHJP

   G16Y 40/30 20200101ALI20230510BHJP

【ＦＩ】

G06Q50/00 300

G16Y20/40

G16Y40/20

G16Y40/30

【請求項の数】 12

(21)【出願番号】P 2021040065

(22)【出願日】2021-03-12

(65)【公開番号】P2021149965

(43)【公開日】2021-09-27

【審査請求日】2021-03-12

(31)【優先権主張番号】10-2020-0031244

(32)【優先日】2020-03-13

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】519130063

【氏名又は名称】ハイパーコネクト リミテッド ライアビリティ カンパニー

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(72)【発明者】

【氏名】サンギル アン

(72)【発明者】

【氏名】ボムジュン シン

(72)【発明者】

【氏名】ソクジュン ソ

(72)【発明者】

【氏名】ヒョンミン ビュン

(72)【発明者】

【氏名】ミンギュン チェ

【審査官】新里 太郎

(56)【参考文献】

【文献】特表２０１１－５０２３０７（ＪＰ，Ａ）

【文献】特開２０２０－００４２４８（ＪＰ，Ａ）

【文献】特開２０１７－０１６３４３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

電子装置において実行される申告評価方法であって、
少なくとも一つ以上のクライアント端末機からレポートを受信する段階と、
前記レポートに含まれたコンテンツの種類、前記レポートに対応する言語の種類、または前記レポートの生成要請経路のうちいずれか一つに基づいて、受信した前記レポートのカテゴリーを判断する段階と、
前記カテゴリーに対応するモデルを呼び出す段階であって、前記モデルは声検閲アルゴリズム、映像検閲アルゴリズム、テキスト検閲アルゴリズムまたはジェスチャー検閲アルゴリズムのうち一つに対応する、呼び出す段階と、
前記モデルを通じて前記レポートの信頼度を評価する段階と、
前記信頼度に関する情報を生成して出力する段階であって、前記信頼度に関する情報はレポートの再検討必要回数を含む、出力する段階と、を含む、申告評価方法。

【請求項2】

前記レポートは映像情報、テキスト情報または音声情報を含む、請求項１に記載の申告評価方法。

【請求項3】

複数のクライアント端末機の間に映像通話セッションを樹立する段階をさらに含み、
前記レポートを受信する段階では、前記複数のクライアント端末機のうち少なくとも一つのクライアント端末機から前記レポートを受信する、請求項１に記載の申告評価方法。

【請求項4】

前記モデルに独立的にあらかじめ設定された基準により受信した前記レポートの信頼度を評価する段階と、
前記評価する段階において得られた評価結果に対応して関連したモデルをアップデートする段階と、をさらに含む、請求項１に記載の申告評価方法。

【請求項5】

前記レポートは、不適切な映像コンテンツに対する情報、不適切なテキストコンテンツに対する情報または不適切な声コンテンツに対する情報を含む、請求項１に記載の申告評価方法。

【請求項6】

請求項１に記載された方法を遂行するためのプログラムが記録された、コンピュータ読み取り可能な不揮発性記録媒体。

【請求項7】

申告評価装置であって、
少なくとも一つ以上のクライアント端末機からレポートを受信するレポート受信部と、
少なくとも一つ以上のモデルであって、声検閲アルゴリズム、映像検閲アルゴリズム、テキスト検閲アルゴリズムまたはジェスチャー検閲アルゴリズムのうちの少なくとも一つに対応するモデルを保存するモデル保存部と、
前記レポートに含まれたコンテンツの種類、前記レポートに対応する言語の種類、または前記レポートの生成要請経路のうちいずれか一つに基づいて、受信した前記レポートのカテゴリーを判断し、前記少なくとも一つ以上のモデルのうち前記カテゴリーに対応するモデルを呼び出し、前記呼び出されたモデルを通じて前記レポートの信頼度を評価する信頼度評価部と、を含み、
前記信頼度評価部は前記信頼度に関する情報であって、レポートの再検討必要回数を含む情報を生成して出力する、申告評価装置。

【請求項8】

前記レポートは映像情報または音声情報を含む、請求項７に記載の申告評価装置。

【請求項9】

前記レポート受信部は、互いに映像通話セッションを樹立した複数のクライアント端末機のうち少なくとも一つのクライアント端末機から前記レポートを受信する、請求項７に記載の申告評価装置。

【請求項10】

前記信頼度評価部は前記モデルに独立的にあらかじめ設定された基準により受信した前記レポートの信頼度を評価し、
前記評価によって得られた評価結果に対応して関連したモデルをアップデートして前記モデル保存部に保存する、請求項７に記載の申告評価装置。

【請求項11】

前記レポートは不適切な映像コンテンツに対する情報または不適切な声コンテンツに対する情報を含む、請求項７に記載の申告評価装置。

【請求項12】

前記信頼度に関する情報に基づいて、前記レポートに含まれた情報および前記レポートの信頼度評価結果情報のうち少なくとも一部を外部装置に伝送する段階をさらに含む、請求項１に記載の申告評価方法。

【発明の詳細な説明】

【技術分野】

【0001】

記載された実施例は、映像通話中に不適切なコンテンツにさらされるのを防止できる申告評価装置およびその動作方法に関する。

【背景技術】

【0002】

通信技術が発展し電子装置が小型化されるにつれて、個人用端末機が一般の消費者に広く普及されている。特に最近では、スマートフォンまたはスマートタブレットのような携帯用個人端末機が広く普及されている。大部分の端末機はイメージ撮影技術を含んでいる。使用者は端末機を利用して多様なコンテンツを含むイメージを撮影することができる。

【0003】

映像通話を基盤とする多様な種類の映像通話サービスが存在する。例えば、ランダム映像チャットサービスは、ランダム映像チャットサービスの利用を要請した使用者の端末を、ランダム映像チャットサービスを利用する使用者のうち無作為で選定された使用者の端末と連結させるサービスである。

【0004】

使用者が相手と互いに映像通話をする時、使用者は相手からの不適切な映像または音声に露出し得る。使用者が自身が望まない不適切な映像または音声に露出した場合、使用者は性的羞恥心または不快さを覚えかねない。

【発明の概要】

【発明が解決しようとする課題】

【0005】

記載された実施例によると、相手と映像通話をする使用者が相手からの不適切な映像または音声にさらされるのを防止できる、申告評価装置およびその動作方法が提供され得る。

【0006】

また、相手と映像通話をする使用者が相手からの映像によって感じ得る性的羞恥心または不快さを防止できる、申告評価装置およびその動作方法が提供され得る。

【0007】

また、使用者間の健全な映像通話を誘導できる端末機およびその動作方法が提供され得る。

【課題を解決するための手段】

【0008】

本発明の実施例に係る申告評価装置の申告評価方法は、少なくとも一つ以上のクライアント端末機からレポート（ｒｅｐｏｒｔ）を受信する段階と、受信したレポートのカテゴリー（ｃａｔｅｇｏｒｙ）を判断する段階と、カテゴリーに対応する学習モデル（ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）を呼び出す（ｒｅｃａｌｌ）段階と、学習モデルを通じてレポートの信頼度を評価する段階と、信頼度に関する情報を生成して出力する段階と、を含むことができる。

【0009】

またはレポートは、映像情報、テキスト情報または音声情報を含むことができる。

【0010】

または申告評価方法は、複数のクライアント端末機の間に映像通話セッションを樹立する段階をさらに含み、レポートを受信する段階は、複数のクライアント端末機のうち少なくとも一つのクライアント端末機からレポートを受信することができる。

【0011】

または申告評価方法は、学習モデルに独立的にあらかじめ設定された基準により受信したレポートの信頼度を評価する段階、および評価結果に対応して関連した学習モデルをアップデートする段階をさらに含むことができる。

【0012】

またはレポートは、不適切な映像コンテンツに対する情報、不適切なテキストコンテンツに対する情報または不適切な声コンテンツに対する情報を含むことができる。

【0013】

または学習モデルは、声検閲アルゴリズム、映像検閲アルゴリズム、テキスト検閲アルゴリズムまたはジェスチャー（ｇｅｓｔｕｒｅ）検閲アルゴリズムのうち一つに対応することができる。

【0014】

本発明の実施例に係る申告評価装置は、少なくとも一つ以上のクライアント端末機からレポート（ｒｅｐｏｒｔ）を受信するレポート受信部、少なくとも一つ以上の学習モデル（ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）を保存する学習モデル保存部、および受信したレポートのカテゴリー（ｃａｔｅｇｏｒｙ）を判断し、少なくとも一つ以上の学習モデルのうちカテゴリーに対応する学習モデルを呼び出し（ｒｅｃａｌｌ）、学習モデルを通じてレポートの信頼度を評価する信頼度評価部を含み、信頼度評価部は信頼度に関する情報を生成して出力することができる。

【0015】

またはレポートは、映像情報または音声情報を含むことができる。

【0016】

またはレポート受信部は、互いに映像通話セッションを樹立した複数のクライアント端末機のうち少なくとも一つのクライアント端末機からレポートを受信することができる。

【0017】

または信頼度評価部は、学習モデルに独立的にあらかじめ設定された基準により受信したレポートの信頼度を評価し、評価結果に対応して関連した学習モデルをアップデートして学習モデル保存部に保存することができる。

【0018】

またはレポートは、不適切な映像コンテンツに対する情報または不適切な声コンテンツに対する情報を含むことができる。

【0019】

または少なくとも一つ以上の学習モデルは、それぞれ声検閲アルゴリズム、映像検閲アルゴリズム、テキスト検閲アルゴリズムまたはジェスチャー（ｇｅｓｔｕｒｅ）検閲アルゴリズムのうち一つに対応することができる。

【発明の効果】

【0020】

記載された実施例に係る申告評価装置およびその動作方法は、相手と映像通話をする使用者が相手からの不適切な映像または音声にさらされるのを防止することができる。

【0021】

また、申告評価装置およびその動作方法は、相手と映像通話をする使用者が相手からの映像によって感じ得る性的羞恥心または不快さを防止することができる。

【0022】

また、申告評価装置およびその動作方法は使用者間の健全な映像通話を誘導することができる。

【図面の簡単な説明】

【0023】

【図1】本発明に係る申告評価装置が動作する環境を概略的に示す図面である。

【図2】本発明の実施例に係る申告評価装置１００の構成を概略的に示す図面である。

【図3】本発明の一実施例に係る申告を評価する方法を説明するためのフローチャートである。

【図4】本発明の実施例に係るレポートの信頼度を評価するアルゴリズムを示す図面である。

【図5】本発明の実施例に係る申告評価装置の構成を概略的に示す図面である。

【発明を実施するための形態】

【0024】

本発明の利点および特徴、そしてそれらを達成する方法は、添付される図面と共に詳細に後述されている実施例を参照すると明確になるであろう。しかし、本発明は以下で開示される実施例に限定されるものではなく、互いに異なる多様な形態で具現され得、ただし本実施例は本発明の開示を完全なものとし、本発明が属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は請求項の範疇によって定義されるのみである。明細書の全体に亘って同一の参照符号は同一の構成要素を指し示す。

【0025】

たとえ「第１」または「第２」等が多様な構成要素を叙述するために使われても、このような構成要素は前記のような用語によって制限されない。前記のような用語は、単に一つの構成要素を他の構成要素と区別するために使われ得る。したがって、以下で言及される第１構成要素は本発明の技術的思想内で第２構成要素であってもよい。

【0026】

本明細書で使われた用語は実施例を説明するためのものであり、本発明を制限しようとするものではない。本明細書で、単数型は文面で特に言及しない限り複数型も含む。明細書で使われる「含む（ｃｏｍｐｒｉｓｅｓ）」または「含む（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素または段階が一つ以上の他の構成要素または段階の存在または追加を排除しないという意味を内包する。

【0027】

他の定義がない限り、本明細書で使われるすべての用語は本発明が属する技術分野における通常の知識を有する者に共通して理解され得る意味で解釈され得る。また、一般的に使われる辞書に定義されている用語は明白に特に定義されていない限り、理想的にまたは過度に解釈されない。

【0028】

図１は、本発明に係る申告評価装置が動作する環境を概略的に示す図面である。

【0029】

図１を参照すると、第１端末機１０および第２端末機２０が動作する環境は、サーバー３０およびサーバー３０と互いに連結された第１端末機１０および第２端末機２０を含むことができる。説明の便宜のために図１には二つの端末機、すなわち第１端末機１０および第２端末機２０のみを図示しているが、二つより多い数の端末機が含まれ得る。追加され得る端末機に対して、特に言及される説明を除き、第１端末機１０および第２端末機２０に対する説明が適用され得る。

【0030】

サーバー３０は通信網に連結され得る。サーバー３０は前記通信網を通じて外部の他の装置と互いに連結され得る。サーバー３０は互いに連結された他の装置にデータを伝送したり前記他の装置からデータを受信することができる。

【0031】

サーバー３０と連結された通信網は有線通信網、無線通信網、または複合通信網を含むことができる。通信網は３Ｇ、ＬＴＥ、またはＬＴＥ－Ａなどのような移動通信網を含むことができる。通信網はワイファイ（Ｗｉ－Ｆｉ）、ＵＭＴＳ／ＧＰＲＳ、またはイーサネット（Ｅｔｈｅｒｎｅｔ）などのような有線または無線通信網を含むことができる。通信網はマグネチックセキュリティ伝送（ＭＳＴ、Ｍａｇｎｅｔｉｃ Ｓｅｃｕｒｅ Ｔｒａｎｓｍｉｓｓｉｏｎ）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ジグビー（ＺｉｇＢｅｅ）、Ｚ－Ｗａｖｅ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）、低電力ブルートゥース（ＢＬＥ、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）、または赤外線通信（ＩＲ、ＩｎｆｒａＲｅｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ）などのような近距離通信網を含むことができる。通信網は近距離ネットワーク（ＬＡＮ、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、都市圏ネットワーク（ＭＡＮ、Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、または広域ネットワーク（ＷＡＮ、Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等を含むことができる。

【0032】

サーバー３０は、第１端末機１０および第２端末機２０のうち少なくとも一つからデータを受信することができる。サーバー３０は、第１端末機１０および第２端末機２０のうち少なくとも一つから受信したデータを利用して演算を遂行できる。サーバー３０は演算結果を第１端末機１０および第２端末機２０のうち少なくとも一つに伝送することができる。

【0033】

サーバー３０は第１端末機１０および第２端末機２０のうち少なくとも一つの端末機から仲介要請を受信することができる。サーバー３０は仲介要請を伝送した端末機を選択することができる。例えば、サーバー３０は第１端末機１０および第２端末機２０を選択することができる。

【0034】

サーバー３０は第１端末機１０および第２端末機２０のうち少なくとも一つからデータを受信することができる。サーバー３０は第１端末機１０および第２端末機２０のうち少なくとも一つから受信したデータを利用して演算を遂行できる。サーバー３０は前記演算結果を第１端末機１０および第２端末機２０のうち少なくとも一つに伝送することができる。

【0035】

サーバー３０は第１端末機１０および第２端末機２０のうち少なくとも一つの端末機から仲介要請を受信することができる。サーバー３０は仲介要請を伝送した端末機を選択することができる。例えば、サーバー３０は第１端末機１０および第２端末機２０を選択することができる。

【0036】

第１端末機１０に対する連結情報は例えば、第１端末機１０のＩＰアドレスおよびポート（ｐｏｒｔ）番号を含むことができる。第２端末機２０に対する連結情報を受信した第１端末機１０は前記受信した連結情報を利用して第２端末機２０への連結を試みることができる。

【0037】

第１端末機１０の第２端末機２０への連結試みまたは第２端末機２０の第１端末機１０への連結試みが成功することによって、第１端末機１０および第２端末機２０の間の映像通話セッションが樹立され得る。前記映像通話セッションを通じて第１端末機１０は第２端末機２０に映像または声を伝送することができる。第１端末機１０は映像または声をデジタル信号にエンコーディングし、前記エンコーディングされた結果を第２端末機２０に伝送することができる。

【0038】

また、映像通話セッションを通じて第１端末機１０は第２端末機２０から映像または声を受信することができる。第１端末機１０はデジタル信号にエンコーディングされた映像または声を受信し、前記受信した映像または声をデコーディングすることができる。

【0039】

前記映像通話セッションを通じて第２端末機２０は第１端末機１０に映像または声を伝送することができる。また、前記映像通話セッションを通じて第２端末機２０は第１端末機１０から映像または声を受信することができる。これにより、第１端末機１０の使用者および第２端末機２０の使用者は互いに映像通話をすることができる。

【0040】

第２端末機２０から受信した映像、テキストまたは声から第１端末機１０の使用者が不適切なコンテンツを感知する場合、申告を進行することができる。同様に、第１端末機１０から受信した映像、テキストまたは声から第２端末機２０の使用者が不適切なコンテンツを感知する場合、申告を進行することができる。

【0041】

例えば、テキストまたは声に含まれた不適切なコンテンツは悪口、侮辱、人種差別、名誉毀損、猥褻、セクハラ、ヘイトスピーチ（ｈａｔｅ ｓｐｅｅｃｈ）、暴力、虐待、威嚇のうち少なくとも一つに対応し得る。

【0042】

または映像に含まれた不適切なコンテンツは悪口ジェスチャー、侮辱ジェスチャー、人種差別ジェスチャー、性的コンテンツ、裸体（ｎｕｄｉｔｙ）、性器、性行為、非衛生的コンテンツ、反社会的コンテンツ、反倫理的コンテンツ、不法行為、犯罪行為、憎悪犯罪（ｈａｔｅ ｃｒｉｍｅ）、暴力行為、虐待行為、嫌悪性（ｈａｔｅｆｕｌ）コンテンツ、または威嚇性コンテンツのうち少なくとも一つに対応し得る。

【0043】

第１端末機１０および第２端末機２０は、例えば、デスクトップコンピュータ、ラップトップコンピュータ、スマートフォン、スマートタブレット、スマートウォッチ、移動端末、デジタルカメラ、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、または携帯用電子機器などであり得る。第１端末機１０および第２端末機２０はプログラムまたはアプリケーションを実行することができる。第１端末機１０および第２端末機２０それぞれは互いに同種の装置でもよく、互いに異種の装置でもよい。

【0044】

図２は、本発明の実施例に係る申告評価装置１００の構成を概略的に示す図面である。

【0045】

図２を参照すると、本発明の一実施例に係る申告評価装置１００はレポート受信部１１０、信頼度評価部１２０、およびモデル保存部（例：学習モデル保存部１３０を含むことができる。申告評価装置１００は図１を参照して説明した複数の端末機１０、２０またはサーバー３０を通じて構成され得る。

【0046】

レポート受信部１１０は第１端末機１０または第２端末機２０のうち少なくとも一つからレポート（ｒｅｐｏｒｔ）を受信することができる。

【0047】

いくつかの実施例として、第１端末機１０および第２端末機２０の間には映像通話セッションが樹立され得る。映像通話セッション中に第１端末機１０または第２端末機２０の使用者が相手から受信する映像、テキストまたは声から不適切なコンテンツを感知する場合、申告を遂行できる。不適切なコンテンツが含まれた映像、テキストまたは声を受信した使用者が申告をするとレポートが生成され得る。

【0048】

レポートは、不適切な映像コンテンツに対する情報、不適切なテキストコンテンツに対する情報または不適切な声コンテンツに対する情報を含むことができる。

【0049】

不適切な映像コンテンツに対する情報は、申告を遂行した端末機で申告時点を基準として所定時間録画された映像および申告理由に対する情報を含むことができる。または不適切なテキストコンテンツに対する情報は、申告を遂行した端末機で申告時点を基準として所定時間受信したテキストおよび申告理由に対する情報を含むことができる。または不適切な声コンテンツに対する情報は、申告を遂行した端末機で申告時点を基準として所定時間録音された声および申告理由に対する情報を含むことができる。

【0050】

レポート受信部１１０は受信したレポートを信頼度評価部１２０に提供することができる。

【0051】

信頼度評価部１２０はレポート受信部１１０からレポートを受信することができる。信頼度評価部１２０は受信したレポートのカテゴリー（ｃａｔｅｇｏｒｙ）を分類することができる。いくつかの実施例として、カテゴリーは映像、テキスト、および声に分類され得る。

【0052】

信頼度評価部１２０はレポートのカテゴリーに対応するモデル（例えば、学習モデル（ｌｅａｒｎｉｎｇ ｍｏｄｅｌ））を 呼び出して（ｃａｌｌ）レポートの信頼度を評価することができる。

【0053】

信頼度評価部１２０は信頼度に関する情報を生成して出力することができる。出力された信頼度に関する情報は、不適切な要素を含む映像、テキストまたは声を提供した端末機の使用者をモニタリングするモニタリングサーバー（不図示）に出力され得る。

【0054】

モデル保存部（例：学習モデル保存部１３０）は少なくとも一つ以上の検閲アルゴリズムを含むことができる。いくつかの実施例として、モデル保存部（例：学習モデル保存部１３０は声検閲アルゴリズム、映像検閲アルゴリズム、テキスト検閲アルゴリズムまたはジェスチャー（ｇｅｓｔｕｒｅ）検閲アルゴリズムを含むことができる。例えば、検閲アルゴリズムは所定のディシジョンツリー機械学習モデルを含むことができる。

【0055】

モデル保存部（例：学習モデル保存部１３０）は信頼度評価部１２０から呼び出し要請が受信されると、呼び出しに対応する検閲アルゴリズムを提供することができる。

【0056】

例えば、信頼度評価部１２０はレポート受信部１１０によって受信されたレポートの属性に対応するモデル（例：学習モデル）を呼び出すことができ、呼び出されたモデルを利用してレポートの信頼度を評価することができる。

【0057】

一実施例によると、信頼度評価部１２０はレポートに含まれたコンテンツ（例：映像コンテンツ、テキストコンテンツ、声コンテンツなど）の種類に基づいて、前記コンテンツの種類に対応するモデルを呼び出すことができる。例えば特定のレポートに映像コンテンツが含まれることによってレポートが映像カテゴリーに分類された場合、信頼度評価部１２０は映像検閲アルゴリズム（および／またはジェスチャーアルゴリズム）を利用して前記レポートの信頼度を評価することができる。例えば、特定のレポートにテキストコンテンツが含まれた場合、信頼度評価部１２０はテキスト検閲アルゴリズムを利用して前記レポートの信頼度を評価することができる。例えば、特定のレポートに声コンテンツが含まれた場合、信頼度評価部１２０は声検閲アルゴリズムを利用して前記レポートの信頼度を評価することができる。

【0058】

他の実施例によると、信頼度評価部１２０はレポートに含まれた言語の種類に対応するモデルを呼び出すか、またはレポートの生成要請経路に対応するモデルを呼び出して、レポートの信頼度を評価することができる。

【0059】

例えば信頼度評価部１２０はレポートに含まれたコンテンツに含まれた言語の種類または申告理由に含まれた言語の種類に対応する検閲アルゴリズムを呼び出すことができる。

【0060】

例えば信頼度評価部１２０は使用者申告が遂行された申告経路に基づいて、使用者のニックネームを通じて申告されて生成されたレポートと使用者プロフィールを通じて申告が遂行されて生成されたレポートを区別してそれぞれに対応する検閲アルゴリズムを呼び出すことができる。

【0061】

一方、レポートの属性に対応するモデルが二つ以上である場合、信頼度評価部１２０は前記二つ以上のモデルをすべて利用してレポートの信頼度を評価したり、それぞれの属性間の優先順位に基づいて優先順位が高い特定属性に対応するモデルを利用してレポートの信頼度を評価してもよい。

【0062】

例えば、レポートに映像コンテンツおよびテキストコンテンツが含まれた場合、信頼度評価部１２０は映像検閲アルゴリズムおよびテキスト検閲アルゴリズムのうち少なくとも一つを利用してレポートの信頼度を評価することができる。例えば、レポートに英語および日本語が含まれた場合、信頼度評価部１２０は前記英語に対応する検閲アルゴリズムおよび前記日本語に対応する検閲アルゴリズムのうち少なくとも一つを利用してレポートの信頼度を評価することができる。

【0063】

図３は、本発明の一実施例に係る申告を評価する方法を説明するためのフローチャートである。

【0064】

図２および図３を参照すると、Ｓ１１０段階で、申告評価装置１００は第１端末機１０または第２端末機２０のうち少なくとも一つからレポート（ｒｅｐｏｒｔ）を受信することができる。

【0065】

映像通話セッション中に第１端末機１０または第２端末機２０の使用者が相手から受信する映像、テキストまたは声から不適切なコンテンツを感知する場合、申告を遂行できる。不適切なコンテンツが含まれた映像、テキストまたは声を受信した使用者が申告をするとレポートが生成され得る。

【0066】

レポートは、不適切な映像コンテンツに対する情報、不適切なテキストコンテンツに対する情報または不適切な声コンテンツに対する情報を含むことができる。

【0067】

不適切な映像コンテンツに対する情報は、申告を遂行した端末機で申告時点を基準として所定時間録画されて映像および申告理由に対する情報を含むことができる。または不適切なテキストコンテンツに対する情報は、申告を遂行した端末機で申告時点を基準として所定時間受信したテキストおよび申告理由に対する情報を含むことができる。または不適切な声コンテンツに対する情報は、申告を遂行した端末機で申告時点を基準として所定時間録音された声および申告理由に対する情報を含むことができる。

【0068】

Ｓ１２０段階で、申告評価装置１００はレポートのカテゴリーを分類することができる。

【0069】

信頼度評価部１２０はレポート受信部１１０からレポートを受信することができる。信頼度評価部１２０は受信したレポートのカテゴリー（ｃａｔｅｇｏｒｙ）を分類することができる。いくつかの実施例として、レポートのカテゴリーは映像、テキスト、および声に対応するカテゴリーを含むことができる。他の実施例において、レポートのカテゴリーは各国の言語に対応するカテゴリーを含むことができる。さらに他の実施例において、レポートのカテゴリーは、各レポートの生成要請経路に対応するカテゴリーを含んでもよい。

【0070】

例えば、レポートが不適切な映像コンテンツに対する情報を含む場合、申告評価装置１００は映像カテゴリーに分類することができる。またはレポートが不適切なテキストコンテンツに対する情報を含む場合、申告評価装置１００はテキストカテゴリーに分類することができる。またはレポートが不適切な声コンテンツに対する情報を含む場合、申告評価装置１００は声カテゴリーに分類することができる。

【0071】

Ｓ１３０段階で、申告評価装置１００は分類されたカテゴリーに対応するモデル（例：学習モデル）を呼び出すことができる。

【0072】

申告評価装置１００は少なくとも一つ以上の検閲アルゴリズムを含むことができる。いくつかの実施例として、申告評価装置１００は声検閲アルゴリズム、映像検閲アルゴリズム、テキスト検閲アルゴリズムまたはジェスチャー（ｇｅｓｔｕｒｅ）検閲アルゴリズムを含むことができる。

【0073】

例えば、映像検閲アルゴリズムは、映像を構成する所定フレーム単位のイメージデータを獲得して前記イメージデータを検閲するアルゴリズムを含むことができる。例えば、映像検閲アルゴリズムは複数のフレームで構成された映像から所定の周期（例：フレーム周期または時間周期）ごとにフレームに対応するイメージを抽出し、抽出されたイメージを検査するアルゴリズムを含むことができる。一方、実施例で所定の周期は設定により異なって決定され得、一例として、映像に対応する使用者情報に基づいて所定の周期を異なるように決定することができる。また、以前フレームで獲得されたイメージの検査結果に基づいて次のフレームを獲得する周期を調節することができる。

【0074】

声検閲アルゴリズム、映像検閲アルゴリズム、テキスト検閲アルゴリズム、およびジェスチャー検閲アルゴリズムは、それぞれ人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）システムを通じて生成され得る。

【0075】

人工知能システムは、人間の水準の知能を具現するコンピュータ機械が自ら学習し判断して正確度を高めていくシステムである。

【0076】

人工知能システムは、使うほど繰り返される学習によって算出される結果の正確度が向上し、使用者の意図をより正確に反映できるようになるため、既存の規定基盤スマートシステムは次第にディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）基盤人工知能システムに代替されている。

【0077】

人工知能技術は機械学習を利用する技術と言え、ディープラーニングは機械学習の一種と言える。ディープラーニングは入力データの特徴を自ら分類および学習するアルゴリズム技術である。そして、要素技術はディープラーニングなどの機械学習アルゴリズムを活用して、人間の頭脳の認知、判断などの機能を模写する技術であり、言語的理解、視覚的理解、推論／予測、知識表現、動作制御などの技術分野で構成される。

【0078】

検閲アルゴリズムは深層神経網（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＤＮＮ）、合成積神経網（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）、循環神経網（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＲＮＮ）、Ｒ－ＣＮＮ（Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）、制限ボルツマンマシン（Ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ、ＲＢＭ）、深層信頼神経網（Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋ、ＤＢＮ）、または深層キューネットワーク（Ｄｅｅｐ Ｑ－Ｎｅｔｗｏｒｋｓ）のうち少なくとも一つ以上を含むことができる。

【0079】

いくつかの実施例として、検閲アルゴリズムは合成積神経網（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）であり得る。検閲アルゴリズムはＡｌｅｘＮｅｔ、ＺＦＮｅｔ、ＧｏｏｇＬｅＮｅｔ、ＶＧＧＮｅｔ、ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ－ｖ２、Ｉｎｃｅｐｔｉｏｎ－ｖ３、またはＩｎｃｅｐｔｉｏｎ－ｖ４を含むことができる。

【0080】

検閲アルゴリズムは少なくとも二つ以上のレイヤー（ｌａｙｅｒ）を含むニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）であり得る。前記検閲アルゴリズムは入力レイヤー（ｉｎｐｕｔ ｌａｙｅｒ）および出力レイヤー（ｏｕｔｐｕｔ ｌａｙｅｒ）を含むことができる。検閲アルゴリズムは少なくとも一つ以上の隠れレイヤー（ｈｉｄｄｅｎ ｌａｙｅｒ）をさらに含むことができる。

【0081】

ただし、前記のような実施例に限定されるものではなく、多様な実施例に係る検閲アルゴリズムは所定のディシジョンツリーを含むモデルであってもよく、それ以外の他のロジックアルゴリズムモデルに該当してもよい。

【0082】

いくつかの実施例として、声検閲アルゴリズムは特定の声および特定の声に不適切な要素が含まれているかどうかに対する分類情報を利用して学習（ｌｅａｒｎｉｎｇ）された分類モデル（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｍｏｄｅｌ）であり得る。または映像検閲アルゴリズムは特定映像および特定映像に不適切な要素が含まれているかどうかに対する分類情報を利用して学習された分類モデルであり得る。例えば、映像検閲アルゴリズムは映像から所定のフレーム単位でイメージを獲得し、獲得したイメージを検閲するアルゴリズムを含むことができる。

【0083】

またはテキスト検閲アルゴリズムは特定テキストおよび特定テキストに不適切な要素が含まれているかどうかに対する分類情報を利用して学習された分類モデルであり得る。またはジェスチャー検閲アルゴリズムは特定映像に不適切なジェスチャーが含まれているかどうかに対する分類情報を利用して学習された分類モデルであり得る。

【0084】

いくつかの実施例として、レポートが映像カテゴリーに分類される場合、申告評価装置１００は映像検閲アルゴリズム、ジェスチャー検閲アルゴリズムのうち少なくとも一つを呼び出すことができる。また、レポートが映像カテゴリーに分類される場合、不適切な声コンテンツを含む確率が高いため、申告評価装置１００は声検閲アルゴリズムを呼び出すことができる。

【0085】

いくつかの実施例として、レポートがテキストカテゴリーに分類される場合、申告評価装置１００はテキスト検閲アルゴリズムを呼び出すことができる。

【0086】

いくつかの実施例として、レポートが声カテゴリーに分類される場合、申告評価装置１００は声検閲アルゴリズムを呼び出すことができる。また、レポートが声カテゴリーに分類される場合、不適切な映像コンテンツを含む確率が高いため、申告評価装置１００は映像検閲アルゴリズムを呼び出すことができる。

【0087】

これは本発明を説明するための一実施例に過ぎず、申告評価装置１００はレポートのカテゴリーに対応して映像検閲アルゴリズム、声検閲アルゴリズム、テキスト検閲アルゴリズムおよびジェスチャー検閲アルゴリズムのうち少なくとも一つ以上の学習モデルを呼び出すことができる。

【0088】

Ｓ１４０段階で、申告評価装置１００はレポートの信頼度を評価することができる。

【0089】

申告評価装置１００がレポートの信頼度を評価する方法は図４を参照して説明され得る。

【0090】

図４は、本発明の実施例に係るレポートの信頼度を評価するアルゴリズムを示す図面である。

【0091】

図４を参照すると、申告評価装置１００に受信されたレポートは不適切な声コンテンツに対する情報を含むことができる。レポートは申告時点を基準として所定時間録音された声および申告理由に対する情報を含むことができる。

【0092】

いくつかの実施例として、レポートは６秒（ｓｔａｒｔ＿ｓｅｃ：６）から８秒（ｅｎｄ＿ｓｅｃ：８）の間録音された声と不適切な音声（ＶＥＲＢＡＬ＿ＡＢＵＳＥ）による申告理由を含むことができる。

【0093】

申告評価装置１００は声検閲アルゴリズムを利用してレポートの信頼度を評価することができる。申告評価装置１００は声検閲アルゴリズムを利用して、録音された声に「阿呆（ｂａｂｏ）」、「お前（ｅｏｍｍａ）」、「馬鹿な（ｍｉｃｈｉｎ）」、および「こいつ（ｙａｍｍａ）」等の悪口が含まれているかを確認することができる。悪口の種類は本発明を説明するための一例に過ぎず、声検閲アルゴリズムは多様な悪口が含まれているかどうかを確認することができる

【0094】

申告評価装置１００は録音された声に含まれた悪口が「お前（ｅｏｍｍａ）」である場合の信頼度（０．３６４９３２９３００９６９８３９）が最も高いものと予測することができる。

【0095】

申告評価装置１００は信頼度に基づいてレポートの再検討必要回数を決定することができる。

【0096】

例えば、信頼度が「０」以上「０．８」未満の場合、申告評価装置１００はレポートの再検討必要回数を２回に決定することができる。または信頼度が「０．８」以上「０．９５」未満の場合、申告評価装置１００はレポートの再検討必要回数を１回に決定することができる。または信頼度が「０．９５」以上「１」以下である場合、レポートの再検討必要回数を０回に決定することができる。

【0097】

いくつかの実施例として、申告評価装置１００に受信されたレポートの信頼度が「０．３６４９３２９３００９６９８３９」であるので再検討必要回数を２回に決定することができる。

【0098】

一方、申告評価装置１００は信頼度に基づいて決定されたレポートの再検討必要回数に基づいて、再検討必要回数が１回以上に決定された場合、前記レポートに含まれた情報および前記レポートの信頼度評価結果情報のうち少なくとも一部を一つ以上の外部装置に伝送することができる。例えば外部装置は管理者（ａｇｅｎｔ）に対応する端末機を含むことができる。

【0099】

例えば、申告評価装置１００は、特定のレポートに対する再検討必要回数が１回に決定された場合、前記レポート関連情報（例えば、レポートに含まれた情報およびレポートの信頼度評価結果情報のうち少なくとも一部）を第１管理者（ａｇｅｎｔ）に対応する第１端末機に伝送することができる。これに伴い、前記レポートは第１管理者によって再検討され得、第１管理者に対応する第１端末機からレポート再検討結果が受信され得る。

【0100】

例えば、申告評価装置１００は特定のレポートに対する再検討必要回数が２回に決定された場合、前記レポート関連情報を第１管理者に対応する第１端末機および第２管理者に対応する第２端末機にそれぞれ伝送することができる。これに伴い、前記レポートは互いに異なる管理者（第１管理者および第２管理者）によってそれぞれ再検討され得、第１管理者に対応する第１端末機および第２管理者に対応する第２端末機それぞれからレポート再検討結果が受信され得る。また受信されたレポート再検討の結果に基づいて検閲結果を確認することができる。また、再検討結果が互いに異なる場合、追加的な再検討を遂行するように選択された管理者に対応する端末機にレポート関連情報を伝達することができる。

【0101】

このように、本開示の多様な実施例によると、レポートの信頼度を評価する主体（例：申告評価装置１００の信頼度評価部１２０）と、レポートの再検討主体（例：第１管理者および／または第２管理者）が互いに異なるように設定されて、より信頼度の高いレポート再検討結果を獲得することができる。

【0102】

再び図３を参照すると、レポートが不適切な声コンテンツに対する情報を含む場合、信頼度を評価した結果は悪口の種類、信頼度および再検討必要回数を含むことができる。例えば、悪口の種類は「お前（ｅｏｍｍａ）」であり、信頼度は「０．３６４９３２９３００９６９８３９」であり、再検討必要回数は２回であり得る。

【0103】

図５は、本発明の実施例に係る申告評価装置の構成を概略的に示す図面である。

【0104】

申告評価装置２００はプロセッサ２１０およびメモリ２２０を含むことができる。本実施例と関連した技術分野における通常の知識を有する者であれば、図５に図示された構成要素の他に他の汎用的な構成要素がさらに含まれ得ることが分かる。

【0105】

申告評価装置２００は図２に図示された申告評価装置１００と類似または同一でもよい。申告評価装置１００に含まれたレポート受信部１１０および信頼度評価部１２０はプロセッサ２１０に含まれ得る。

【0106】

プロセッサ２１０は申告評価装置２００の全般的な動作を制御し、ＣＰＵなどのような少なくとも一つのプロセッサを含むことができる。プロセッサ２１０は各機能に対応する特化したプロセッサを少なくとも一つ含むか、一つに統合された形態のプロセッサであり得る。

【0107】

メモリ２２０は申告評価装置２００を制御するプログラム、データ、またはファイルを保存することができる。メモリ２２０はプロセッサ２１０により実行可能な命令語を保存することができる。プロセッサ２１０はメモリ２２０に保存されたプログラムを実行させたり、メモリ２２０に保存されたデータまたはファイルを読み込んだり、新しいデータを保存することができる。また、メモリ２２０はプログラム命令、データファイル、データ構造などを単独でまたは組み合わせで保存することができる。

【0108】

メモリは声検閲アルゴリズム、映像検閲アルゴリズム、テキスト検閲アルゴリズムおよびジェスチャー検閲アルゴリズムを含むことができる。

【0109】

プロセッサ２１０は第１端末機１０または第２端末機２０のうち少なくとも一つから映像通話セッション中に生成されたレポート（ｒｅｐｏｒｔ）を受信することができる。レポートは不適切な映像コンテンツに対する情報、不適切なテキストコンテンツに対する情報または不適切な声コンテンツに対する情報を含むことができる。

【0110】

不適切な映像コンテンツに対する情報は、申告を遂行した端末機で申告時点で受信された映像および申告理由に対する情報を含むことができる。または不適切なテキストコンテンツに対する情報は、申告を遂行した端末機で申告時点で受信されたテキストおよび申告理由に対する情報を含むことができる。または不適切な声コンテンツに対する情報は、申告を遂行した端末機で申告時点で受信された声および申告理由に対する情報を含むことができる。

【0111】

プロセッサ２１０はレポートのカテゴリーを分類することができる。プロセッサ２１０は受信したレポートのカテゴリー（ｃａｔｅｇｏｒｙ）を分類することができる。いくつかの実施例として、カテゴリーは映像、テキスト、および声に分類され得る。

【0112】

例えば、レポートが不適切な映像コンテンツに対する情報を含む場合、プロセッサ２１０は映像カテゴリーに分類することができる。またはレポートが不適切なテキストコンテンツに対する情報を含む場合、プロセッサ２１０はテキストカテゴリーに分類することができる。またはレポートが不適切な声コンテンツに対する情報を含む場合、プロセッサ２１０は声カテゴリーに分類することができる。

【0113】

プロセッサ２１０は分類されたカテゴリーに対応する学習モデルを呼び出すことができる。プロセッサ２１０はメモリ２２０に保存された声検閲アルゴリズム、映像検閲アルゴリズム、テキスト検閲アルゴリズムまたはジェスチャー（ｇｅｓｔｕｒｅ）検閲アルゴリズムのうち少なくとも一つを呼び出すことができる。

【0114】

いくつかの実施例として、レポートが映像カテゴリーに分類される場合、プロセッサ２１０は映像検閲アルゴリズムおよびジェスチャー検閲アルゴリズムのうち少なくとも一つを呼び出すことができる。また、レポートが映像カテゴリーに分類される場合、不適切な声コンテンツを含む確率が高いため、プロセッサ２１０は声検閲アルゴリズムを呼び出すことができる。一方、映像検閲アルゴリズムは映像を構成する各フレーム単位のイメージのうち少なくとも一部を獲得して前記イメージを検閲（分析）するようにする命令語を含むことができる。

【0115】

いくつかの実施例として、レポートがテキストカテゴリーに分類される場合、プロセッサ２１０はテキスト検閲アルゴリズムを呼び出すことができる。

【0116】

いくつかの実施例として、レポートが声カテゴリーに分類される場合、プロセッサ２１０は声検閲アルゴリズムを呼び出すことができる。また、レポートが声カテゴリーに分類される場合、不適切な映像コンテンツを含む確率が高いため、プロセッサ２１０は前記の声検閲アルゴリズムと共に映像検閲アルゴリズムを呼び出すことができる。

【0117】

これは本発明を説明するための一実施例に過ぎず、プロセッサ２１０はレポートのカテゴリーに対応して映像検閲アルゴリズム、声検閲アルゴリズム、テキスト検閲アルゴリズムおよびジェスチャー検閲アルゴリズムのうち少なくとも一つ以上の学習モデルを呼び出すことができる。

【0118】

一方、プロセッサ２１０はレポートに含まれた言語の種類に基づいて呼び出す検閲アルゴリズム（例：学習モデル）の種類を決定することができる。例えば、プロセッサ２１０は、レポートに含まれたコンテンツ（例：映像コンテンツ、テキストコンテンツ、声コンテンツなど）に含まれた言語の種類または申告理由に対する情報が記録された言語の種類に基づいて、各言語に対応する検閲アルゴリズムを呼び出すことができる。例えばプロセッサ２１０は、前記レポートに含まれた言語が韓国語である場合、韓国語を処理する検閲アルゴリズムを利用して前記レポートの信頼度を評価することができるし、前記レポートに含まれた言語がトルコ語である場合には、トルコ語を処理する検閲アルゴリズムを利用して前記レポートの信頼度を評価することができる。

【0119】

他の例として、プロセッサ２１０は使用者申告が遂行された申告経路に基づいて呼び出す検閲アルゴリズム（例：学習モデル）の種類を決定することができる。例えば、プロセッサ２１０は、使用者のニックネームを通じて申告が遂行されることによって生成されたレポートと、使用者のプロフィール（例：自己紹介（ＢＩＯ、ｂｉｏｇｒａｐｈｙ）情報）を通じて申告が遂行されることによって生成されたレポートを区分し、それぞれのレポートに対応する異なる検閲アルゴリズムを呼び出すことができる。

【0120】

このように、言語の種類および申告が遂行された経路のようなコンテクスト情報に応じて適合な検閲モデルを呼び出して検閲を遂行することによって、検閲結果の正確度を向上させることができる。

【0121】

プロセッサ２１０はレポートの信頼度を評価することができる。プロセッサ２１０はレポートに不適切な声コンテンツに対する情報が含まれていると判断することができる。レポートは申告時点を基準として所定時間録音された声および申告理由に対する情報を含むことができる。

【0122】

いくつかの実施例としてレポートは６秒（ｓｔａｒｔ＿ｓｅｃ：６）から８秒（ｅｎｄ＿ｓｅｃ：８）の間録音された声と不適切な音声（ＶＥＲＢＡＬ＿ＡＢＵＳＥ）による申告理由を含むことができる。

【0123】

プロセッサ２１０は声検閲アルゴリズムを利用してレポートの信頼度を評価することができる。プロセッサ２１０は声検閲アルゴリズムを利用して、録音された声に「阿呆（ｂａｂｏ）」、「お前（ｅｏｍｍａ）」、「馬鹿な（ｍｉｃｈｉｎ）」、および「こいつ（ｙａｍｍａ）」等の悪口が含まれているかを確認することができる。悪口の種類は本発明を説明するための一例に過ぎず、声検閲アルゴリズムは多様な悪口が含まれているかどうかを確認することができる

【0124】

プロセッサ２１０は録音された声に含まれた悪口が「お前（ｅｏｍｍａ）」である場合の信頼度（０．３６４９３２９３００９６９８３９）が最も高いものと予測することができる。

【0125】

プロセッサ２１０は信頼度に基づいてレポートの再検討必要回数を決定することができる。例えば、信頼度が「０」以上「０．８」未満の場合、プロセッサ２１０はレポートの再検討必要回数を２回に決定することができる。または信頼度が「０．８」以上「０．９５」未満の場合、申告評価装置２００はレポートの再検討必要回数を１回に決定することができる。または信頼度が「０．９５」以上「１」以下である場合、レポートの再検討必要回数を０回に決定することができる。

【0126】

いくつかの実施例として、プロセッサ２１０に受信されたレポートの信頼度が「０．３６４９３２９３００９６９８３９」であるので、再検討必要回数を２回に決定することができる。

【0127】

再び図３を参照すると、レポートが不適切な声コンテンツに対する情報を含む場合、信頼度を評価した結果は悪口の種類、信頼度および再検討必要回数を含むことができる。例えば、悪口の種類は「お前（ｅｏｍｍａ）」であり、信頼度は「０．３６４９３２９３００９６９８３９」であり、再検討必要回数は２回であり得る。

【0128】

図１～図５を参照して説明された通り、申告評価装置１００、２００は相手と映像通話をする使用者が相手からの不適切な映像または音声にさらされるのを防止することができる。

【0129】

また、申告評価装置１００、２００は相手と映像通話をする使用者が相手からの映像によって感じ得る性的羞恥心または不快さを防止することができる。

【0130】

以上で説明された実施例は、コンピュータによって実行されるプログラムモジュールのようなコンピュータによって実行可能な命令語を含む記録媒体の形態でも具現され得る。コンピュータ読み取り可能媒体はコンピュータによってアクセスされ得る任意の使用可能媒体であり得、揮発性および不揮発性媒体、分離型および非分離型媒体をすべて含むことができる。

【0131】

また、コンピュータ読み取り可能媒体はコンピュータ保存媒体を含むことができる。コンピュータ保存媒体はコンピュータ読み取り可能命令語、データ構造、プログラムモジュールまたはその他データのような情報の保存のための任意の方法または技術で具現された揮発性および不揮発性、分離型および非分離型媒体をすべて含むことができる。

【0132】

以上、添付された図面を参照して本発明の実施例を説明したが、本発明が属する技術分野における通常の知識を有する者は本発明がその技術的思想や必須の特徴を変更することなく他の具体的な形態で実施され得ることが理解できるであろう。したがって、以上で記述した実施例はすべての面において例示的なものであり、限定的ではないものと理解されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】