(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-23
(45)【発行日】2024-09-02
(54)【発明の名称】機密情報の開示を検出するためのペアレンタルコントロールシステムおよび方法
(51)【国際特許分類】
H04L 51/21 20220101AFI20240826BHJP
【FI】
H04L51/21
(21)【出願番号】P 2021542343
(86)(22)【出願日】2020-01-20
(86)【国際出願番号】 EP2020051292
(87)【国際公開番号】W WO2020152108
(87)【国際公開日】2020-07-30
【審査請求日】2022-12-27
(32)【優先日】2019-01-21
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2020-01-17
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】312016539
【氏名又は名称】ビットディフェンダー アイピーアール マネジメント リミテッド
(74)【代理人】
【識別番号】100118902
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100196508
【氏名又は名称】松尾 淳一
(72)【発明者】
【氏名】ミネア,クリスティアン
(72)【発明者】
【氏名】イオン,クリスティアン
(72)【発明者】
【氏名】ミロン,エイドリアン
(72)【発明者】
【氏名】ザボイウ,ビオレル
(72)【発明者】
【氏名】ホルバン,リビウ・エイ
(72)【発明者】
【氏名】ブゴイウ,ボグダン
【審査官】羽岡 さやか
(56)【参考文献】
【文献】米国特許出願公開第2017/0061248(US,A1)
【文献】国際公開第2018/140409(WO,A1)
【文献】米国特許第09069992(US,B1)
【文献】特開2012-073798(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04L 51/21
(57)【特許請求の範囲】
【請求項1】
ペアレンタルコントロール方法であって、コンピュータシステムの少なくとも1つのハードウェアプロセッサを用いて、
未成年者と別の当事者との間の電子会話の一部として送信された画像を分析して、前記画像が、バンクカードと、社会保障カードと、身分証明書とを含むグループから選択された物理アイテムを示すか否かを判定するステップと、
それに応答して、前記画像が前記物理アイテムを示す場合に、ペアレンタル通知を、前記未成年者に従って複数のデバイスから特定されたペアレンタル報告デバイスに送信するステップであって、前記ペアレンタル通知は前記未成年者が機密情報を開示したことを示す、ステップと
を行うステップを含み、
前記ペアレンタル通知は、機密情報の前記開示に付随するリスクの説明と、前記リスクの軽減に関するアドバイスとをさらに含む、
方法。
【請求項2】
請求項1に記載の方法であって、前記画像が前記物理アイテムを示すか否かを判定するステップは、前記画像が前記バンクカードの磁気ストライブを示す可能性を判定するステップを含む、方法。
【請求項3】
請求項1に記載の方法であって、前記画像が前記物理アイテムを示すか否かを判定するステップは、前記画像が埋込みバンクカードマイクロチップを示す可能性を判定するステップを含む、方法。
【請求項4】
請求項1に記載の方法であって、前記画像が前記物理アイテムを示すか否かを判定するステップは、前記画像が手書き署名を示す可能性を判定するステップを含む、方法。
【請求項5】
請求項1に記載の方法であって、前記画像が前記物理アイテムを示すか否かを判定するステップは、前記画像がクレジットカード会社のロゴを示す可能性を判定するステップを含む、方法。
【請求項6】
請求項1に記載の方法であって、前記画像が前記
物理アイテムを示すか否かを判定するステップは、前記画像がバンクカード番号を示す可能性を判定するステップを含む、方法。
【請求項7】
請求項1に記載の方法であって、前記画像が前記物理アイテムを示すか否かを判定するステップは、
複数のスコアを決定するようにニューラルネットワークを用いるステップであって、前記複数のスコアのうちの各スコアは前記画像が前記バンクカードの異なる視覚的特徴を示すか否かを示す、ステップと、
前記画像が前記物理アイテムを示すか否かを前記複数のスコアに従って判定するステップと
を含む、方法。
【請求項8】
請求項1に記載の方法であって、前記ペアレンタル通知は前記物理アイテムの種類をさらに示す、方法。
【請求項9】
画像プロセッサとペアレンタル通知ディスパッチャとを実行するように構成された少なくとも1つのハードウェアプロセッサを含むコンピュータシステムであって、
前記画像プロセッサは、未成年者と別の当事者との間の電子会話の一部として送信された画像を分析して、前記画像が、バンクカードと、社会保障カードと、身分証明書とを含むグループから選択された物理アイテムを示すか否かを判定するように構成され、
前記ペアレンタル通知ディスパッチャは、前記画像プロセッサが前記画像は前記物理アイテムを示すと判定することに応答して、ペアレンタル通知を、前記未成年者に従って複数のデバイスから特定されたペアレンタル報告デバイスに送信することであって、前記ペアレンタル通知は前記未成年者が機密情報を開示したことを示す、送信することを行うように構成され、
前記ペアレンタル通知は、機密情報の前記開示に付随するリスクの説明と、前記リスクの軽減に関するアドバイスとをさらに含む、
コンピュータシステム。
【請求項10】
請求項
9に記載のコンピュータシステムであって、前記画像が前記物理アイテムを示すか否かを判定することは、前記画像が前記バンクカードの磁気ストライブを示す可能性を判定することを含む、コンピュータシステム。
【請求項11】
請求項
9に記載のコンピュータシステムであって、前記画像が前記物理アイテムを示すか否かを判定することは、前記画像が埋込みバンクカードマイクロチップを示す可能性を判定することを含む、コンピュータシステム。
【請求項12】
請求項
9に記載のコンピュータシステムであって、前記画像が前記物理アイテムを示すか否かを判定することは、前記画像が手書き署名を示す可能性を判定することを含む、コンピュータシステム。
【請求項13】
請求項
9に記載のコンピュータシステムであって、前記画像が前記物理アイテムを示すか否かを判定することは、前記画像がクレジットカード会社のロゴを示す可能性を判定することを含む、コンピュータシステム。
【請求項14】
請求項
9に記載のコンピュータシステムであって、前記画像が前記物理アイテムを示すか否かを判定することは、前記画像がバンクカード番号を示す可能性を判定することを含む、コンピュータシステム。
【請求項15】
請求項
9に記載のコンピュータシステムであって、
前記画像プロセッサは、複数のスコアを出力するようにトレーニングされたニューラルネットワークを含み、前記複数のスコアのうちの各スコアは前記画像が前記バンクカードの異なる視覚的特徴を示すか否かを示し、
前記画像プロセッサは、前記画像が前記物理アイテムを示すか否かを前記複数のスコアに従って判定するように構成された、
コンピュータシステム。
【請求項16】
請求項
9に記載のコンピュータシステムであって、前記ペアレンタル通知は前記物理アイテムの種類をさらに示す、コンピュータシステム。
【請求項17】
命令を記憶する非一時的コンピュータ可読媒体であって、前記命令は
、コンピュータシステムの少なくとも1つのハードウェアプロセッサによって実行されると、前記コンピュータシステムに画像プロセッサとペアレンタ
ル通知ディスパッチャとを形成させ、
前記画像プロセッサは、未成年者と別の当事者との間の電子会話の一部として送信された画像を分析して、前記画像が、バンクカードと、社会保障カードと、身分証明書とを含むグループから選択された物理アイテムを示すか否かを判定するように構成され、
前記ペアレンタル通知ディスパッチャは、前記画像プロセッサが前記画像は前記物理アイテムを示すと判定することに応答して、ペアレンタル通知を、前記未成年者に従って複数のデバイスから特定されたペアレンタル報告デバイスに送信することであって、前記ペアレンタル通知は前記未成年者が機密情報を開示したことを示す、送信することを行うように構成され
、
前記ペアレンタル通知は、機密情報の前記開示に付随するリスクの説明と、前記リスクの軽減に関するアドバイスとをさらに含む、
非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願
[0001]本出願は、2019年1月21日に出願された「Parental Control Systems and Methods(ペアレンタルコントロールシステムおよび方法)」という名称の米国仮特許出願第62/794,856号の出願日の利益を主張し、参照によりその内容全体が本明細書に組み込まれる。
【0002】
[0002]本発明は、コンピュータセキュリティに関し、特に、無防備なインターネットユーザ(例えば子供)を、サイバーいじめ、オンライン虐待、グルーミング、性的搾取、および機密情報の窃取などのオンライン脅威から防護するためのシステムおよび方法に関する。
【背景技術】
【0003】
[0003]いじめとは、別の個人を身体的、精神的または感情的に傷つけることを意図した繰り返される攻撃的な言動と一般的に定義される。いじめ言動は、言葉によるもの、身体的なものなど様々な形で現れる可能性がある。電子メッセージングおよびソーシャルメディアの書込みなどの最新の通信手段によりいじめが発生する場合、一般にサイバーいじめと呼ばれる。いじめの成功には、力の不均衡および/または同調圧力を典型的には要し、弱い側が虐待を受ける側となる。いじめは、重大な苦痛を引き起こし、場合によっては自殺にさえつながることが知られている。一部の社会的カテゴリ(子供、青少年、人種的または性的マイノリティに属する者)は、他の社会的カテゴリよりもこのような脅威により多くさらされる可能性がある。
【0004】
[0004]インターネットの爆発的普及に伴い、子供およびティーンエイジャーが、いじめ、性的搾取、およびなりすましなどの脅威に対して特に無防備な身体的および感情的発育段階で、オンラインの閲覧および通信に多くの時間を費やしている。若いユーザの方がその保護者よりも技術に精通していることが多いため、または通信プラットフォーム自体が盗み見ることを許さないため、のいずれかのために、この問題は、ソーシャルメディアおよびインスタントメッセージのオンライン文化が従来の権威者(親、教師など)による監督に向いていないことによってさらに大きくなる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
[0005]近年、コンピュータユーザを悪意のあるソフトウェア(マルウェア)および侵入(ハッキング)などのコンピュータ脅威から防護するためにセキュリティソフトウェアが成功裏に使用されている。現在、理想的にはユーザの電子メッセージングのプライバシーを守りながら、サイバーいじめ、グルーミング、性的搾取、およびオンラインハラスメントなどの他の新たに出現している脅威からユーザを防護することができるソフトウェアの開発に大きな関心が寄せられている。
【課題を解決するための手段】
【0006】
[0006]一態様によると、ペアレンタルコントロール方法が、コンピュータシステムの少なくとも1つのハードウェアプロセッサを使用して、画像が、バンクカードと、社会保障カードと、身分証明書とからなるグループから選択された物理アイテムを示しているか否かを判定するために、未成年者と別の当事者との間の電子会話の一部として送信された上記画像を分析することを含む。この方法は、上記に応答して、上記画像が上記物理アイテムを示している場合、上記少なくとも1つのハードウェアプロセッサを使用して、上記未成年者に従って複数のデバイスから特定されたペアレンタル報告デバイスに、上記未成年者が機密情報を開示したことを示すペアレンタル通知を送信することをさらに含む。
【0007】
[0007]別の一態様によると、コンピュータシステムが、画像プロセッサとペアレンタル通知ディスパッチャとを実行するように構成された少なくとも1つのハードウェアプロセッサを含む。上記画像プロセッサは、画像が、バンクカードと、社会保障カードと、身分証明書とからなるグループから選択された物理アイテムを示しているか否かを判定するために、未成年者と別の当事者との間の電子会話の一部として送信された上記画像を分析するように構成される。上記ペアレンタル通知ディスパッチャは、上記画像プロセッサが上記画像が上記物理アイテムを示していると判定することに応答して、上記未成年者に従って複数のデバイスから特定されたペアレンタル報告デバイスに、上記未成年者が機密情報を開示したことを示すペアレンタル通知を送信するように構成される。
【0008】
[0008]別の一態様によると、非一時的コンピュータ可読媒体が、コンピュータシステムの少なくとも1つのハードウェアプロセッサによって実行されると上記コンピュータシステムに画像プロセッサとペアレンタル通知ディスパッチャとを形成させる命令を記憶する。上記画像プロセッサは、画像が、バンクカードと、社会保障カードと、身分証明書とからなるグループから選択された物理アイテムを示しているか否かを判定するために、未成年者と別の当事者との間の電子会話の一部として送信された上記画像を分析するように構成される。上記ペアレンタル通知ディスパッチャは、上記画像プロセッサが上記画像が上記物理アイテムを示していると判定することに応答して、上記未成年者に従って複数のデバイスから特定されたペアレンタル報告デバイスに、上記未成年者が機密情報を開示したことを示すペアレンタル通知を送信するように構成される。
【0009】
[0009]本発明の上記の態様および利点は、以下の詳細な説明を読み、図面を参照すればよりよく理解できるであろう。
【図面の簡単な説明】
【0010】
【
図1】[0010]本発明の一部の実施形態による、電子メッセージングに関与する被監視デバイスがオンライン脅威から防護される、一例示のペアレンタルコントロールシステムを示す図である。
【
図2-A】[0011]本発明の一部の実施形態による、被監視デバイスと、セキュリティサーバと、報告デバイスとの間の一例示のデータ交換を示す図である。
【
図2-B】[0012]本発明の一部の実施形態による、被監視デバイスと、セキュリティサーバと、報告デバイスとの間の別のデータ交換を示す図である。
【
図3】[0013]本発明の一部の実施形態による、被監視デバイス上で実行される例示のソフトウェアコンポーネントを示す図である。
【
図4】[0014]本発明の一部の実施形態による、被監視デバイス上で実行される例示のペアレンタルコントロールアプリケーションの動作を示す図である。
【
図5】[0015]本発明の一部の実施形態による、一例示の会話インジケータを示す図である。
【
図6】[0016]本発明の一部の実施形態による、ペアレンタルコントロールアプリケーションによって実行される例示の一連のステップを示す図である。
【
図7】[0017]本発明の一部の実施形態による、1組の会話を構築するためにメッセージアグリゲータによって実行される例示の一連のステップを示す図である。
【
図8】[0018]本発明の一部の実施形態による、セキュリティサーバ上で実行される例示のソフトウェアコンポーネントを示す図である。
【
図9】[0019]
図8に示すソフトウェアコンポーネントの一例示の動作を示す図である。
【
図10】[0020]本発明の一部の実施形態による、セキュリティサーバによって実行される例示の一連のステップを示す図である。
【
図11】[0021]本発明の一部の実施形態による、1組の例示のテキストプロセッサを示す図である。
【
図12】[0022]本発明の一部の実施形態による、1組の例示の画像プロセッサを示す図である。
【
図13】[0023]本発明の一部の実施形態による、画像プロセッサが画像中で検出するようにトレーニングされる例示の身体部分を示す図である。
【
図14】[0024]本発明の一部の実施形態による、ペアレンタルコントロール動作を実行するように構成された計算デバイスの一例示のハードウェア構成を示す図である。
【発明を実施するための形態】
【0011】
[0025]以下の説明では、構造間の記載されているすべての接続が、直接動作接続または介在構造を介した間接動作接続であり得ることを理解されたい。1組の要素は1つまたは複数の要素を含む。要素の任意の記載は、少なくとも1つの要素を指すものと理解される。複数の要素は、少なくとも2つの要素を含む。特に明記されていない限り、「または」のいずれの使用も、非排他的な「または」を指す。特に要求されていない限り、記載されているいずれの方法ステップも、必ずしも示されている特定の順序で実行される必要はない。第2の要素から導出される第1の要素(例えばデータ)は、第2の要素と等しい第1の要素と、第2の要素および任意により他のデータを処理することによって生成される第1の要素とを包含する。パラメータに従って判定または決定を行うことは、その判定または決定をそのパラメータに従い、および任意により他のデータに従って行うことを包含する。特に明記されていない限り、何らかの数量/データのインジケータは、その数量/データ自体、またはその数量/データ自体とは異なるインジケータであり得る。未成年者とは、完全な法的責任を負う年齢未満の人物である。コンピュータプログラムとは、タスクを実行する一連のプロセッサ命令である。本発明の一部の実施形態で説明されているコンピュータプログラムは、スタンドアロンソフトウェアエンティティまたは他のコンピュータプログラムのサブエンティティ(例えばサブルーチン、ライブラリ)であり得る。コンピュータ可読媒体は、磁気、光学および半導体記憶媒体(例えばハードドライブ、光ディスク、フラッシュメモリ、DRAM)などの非一時的媒体と、導電ケーブルおよび光ファイバリンクなどの通信リンクとを包含する。一部の実施形態によると、本発明は、特に、本明細書に記載の方法を実行するようにプログラムされたハードウェア(例えば1つまたは複数のプロセッサ)を含むコンピュータシステムと、本明細書に記載の方法を実行するための命令をエンコードするコンピュータ可読媒体とを提供する。
【0012】
[0026]以下の説明は、本発明の実施形態を、例示を目的とし、必ずしも限定を目的とせずに示す。
[0027]
図1に、被監視デバイスのユーザを、サイバーいじめ、性的搾取、および機密情報の窃取などのオンライン脅威から防護する、一例示のペアレンタルコントロールシステムを示す。本発明の一部の実施形態による典型的なシナリオでは、被防護ユーザ(例えば未成年者)が、他のメッセージング相手デバイス12a、12bのユーザと電子メッセージを交換するために被監視デバイス10(例えばスマートフォン)上で実行されるメッセージングソフトウェアを使用する。実施形態によっては、そのような会話を、典型的にはそれぞれのユーザに知られずに探るために、被監視デバイス10および/またはリモートセキュリティサーバ18上で実行されるセキュリティソフトウェアを使用することができる。次に、内容を覗き見るために会話が分析される。セキュリティソフトウェアが、会話の内容によって、ユーザがオンライン脅威にさらされていると判定した場合、一部の実施形態は、スマートフォンまたはパーソナルコンピュータなどの報告デバイス14を介して別の当事者(例えば親、教師、管理者など)に通知を送信する。
【0013】
[0028]被監視デバイス10は、プロセッサとメモリとを有し、メッセージング相手デバイス12a、12bと電子メッセージを交換するために通信ネットワークに接続可能な任意の電子デバイスを含み得る。例示の被監視デバイス10としては、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、ゲームコンソール、バーチャルアシスタントデバイス、家電製品(例えばスマートテレビ、メディアプレーヤ、冷蔵庫)、およびウェアラブルコンピュータデバイス(例えばスマートウォッチ)が含まれる。
【0014】
[0029]電子メッセージは、2つの電子デバイス間で送信される通信を含み、通信は、それぞれのデバイスの2人の人間のユーザ間のテキストメッセージのエンコードを少なくとも含む。電子メッセージングは、典型的には、電子メール(eメール)を介して、および/またはショートメッセージサービス(SMS)などの電話メッセージングサービスを介して、FACEBOOK(R)Messenger(R)、Instagram(R)、Direct(R)、Snapchat(R)、WhatsApp(R)などのインスタントメッセージングプラットフォームを使用して行われる。メッセージングプラットフォームは、ユーザが他のユーザとの間で電子メッセージを送受信することを可能にするように構成されたソフトウェアを含む。メッセージは、それぞれのプラットフォーム/サービスによって形式が異なることがあるが、一般に、電子メッセージは、テキスト部分のエンコードおよび/またはメディアファイル(例えば、画像、動画、サウンドなど)のエンコードを含む。テキスト部分は、自然言語(例えば英語、中国語など)で書かれたテキスト、およびその他の英数字および/または、絵文字などの特殊文字を含み得る。典型的な構成では、メッセージは、被監視デバイス10と相手デバイス12a、12bとの間で電子メッセージがサーバ16を介してルーティングされる(クライアント-サーバプロトコル)という意味で、メッセージングサーバ16によって整理され、集積され、配信される。別の実施形態では、電子メッセージングは、被監視デバイスとそのそれぞれのメッセージング相手デバイスとの間の接続の分散ビアツーピアネットワークを使用する。被監視デバイス10と、メッセージング相手デバイス12a、12bと、メッセージングサーバ16とは、インターネットなどの通信ネットワーク15によって相互接続される。ネットワーク15の各部分には、ローカルエリアネットワーク(LAN)と遠隔通信ネットワーク(例えば携帯電話通信)が含まれ得る。
【0015】
[0030]脅威検出動作は、以下で詳細に示すように、被監視デバイス10とセキュリティサーバ18との間で様々な方式で分担可能である。サーバ18は、物理的に互いに近接している可能性があるか否かを問わず1組の相互接続されたコンピュータを総称的に表す。
図2-Aおよび
図2-Bに、本発明の一部の実施形態による、被監視デバイス10とセキュリティサーバ18との例示のデータ交換を示す。様々な実施形態において、被監視デバイス10はセキュリティサーバ18に、会話データ(
図2-Aで会話インジケータ20によって表されている)および/または脅威を示す情報(
図2-Bでリスク査定インジケータ22によって表されている)を送信し得る。次に、会話分析/脅威検出の少なくとも一部が、セキュリティサーバ18上で実行されるコンポーネントによって行われ得る。分析によって被監視デバイス10のユーザにとっての潜在的脅威が示された場合、セキュリティサーバ18の一部の実施形態は、それぞれの被監視デバイスに関連付けられた報告デバイス14(例えば携帯電話、パーソナルコンピュータなど)にペアレンタル通知24を送信し、それによって報告デバイス14のユーザにそれぞれの脅威について知らせる。本明細書における「ペアレンタル」という用語は、説明を簡単にするためにのみ使用しており、それぞれの通知の受信者が必ず親であるという意味、または防護されるユーザが必ず子供であるという意味に限定することを意図していない。一部の実施形態の典型的な用途はペアレンタルコントロールにおける用途であるが、当業者は、これらの実施形態を他のカテゴリのユーザ/デバイスを監視および/または防護するように適合させることができることがわかるであろう。子供監視用途では、通知24は、教師、保護者または、それぞれの子供の監督を担当する任意のその他の人物に送信可能である。従業員をいじめおよび/またはセクシャルハラスメントから防護することを目的とした他の例示の用途では、通知24は例えば管理者、責任者、または人事部員に送信可能である。通知24の例示の形式および内容は、以下で詳細に示す。
【0016】
[0031]
図3に、本発明の一部の実施形態による被監視デバイス10上で実行される例示のソフトウェアコンポーネントを示す。オペレーティングシステム46aは、Microsoft Windows(R)、MacOS(R)、Linux(登録商標)、iOS(R)、またはAndroid(R)などの任意の広く普及しているオペレーティングシステムを含み得る。OS46aは、他のコンピュータプログラム(アプリケーション48および50によって表されている)と被監視デバイス10のハードウェアデバイスとの間のインターフェースを提供する。
【0017】
[0032]メッセージングアプリケーション48は、デバイス10のユーザが他のユーザと電子メッセージを交換することを可能にするように構成された任意のソフトウェアを総称的に表す。例示のメッセージングアプリケーション48には、Yahoo(R) Messenger(R)、FACEBOOK(R)、Instagram(R)、およびSnapchat(R)クライアントアプリケーションなどが含まれる。別の例示のメッセージングアプリケーション48には、eメールクライアントが含まれる。さらに別の例示のメッセージングアプリケーション48には、携帯電話でショートメッセージサービス(SMS)を実装するソフトウェアが含まれる。アプリケーション48は、被監視デバイス10の出力デバイス(例えば画面)に各電子メッセージの内容を表示することができ、送信者、受信者、時刻、主題またはその他の基準に従ってメッセージをさらに整理し得る。アプリケーション48は、さらに、デバイス10のユーザからテキスト入力(例えばキーボード、タッチスクリーン、またはディクテーションインターフェースから)をさらに受け取り、受け取ったテキスト入力に従って電子メッセージを作成し、電子メッセージをメッセージングサーバ16に、および/または直接メッセージング相手デバイス12a、12bに送信することができる。メッセージの形式とエンコードは、メッセージングプラットフォームによって異なり得る。メッセージの送信には、例えば、被監視デバイス10の通信インターフェースの送信キューにそれぞれのメッセージのエンコードを入れることが含まれ得る。
【0018】
[0033]実施形態によっては、ペアレンタルコントロールアプリケーション50が、被監視デバイス10と相手デバイス12a、12bとの間のメッセージ交換の内容をアクセスし、捕捉し、および/または分析するように構成されたソフトウェアを含む。ペアレンタルコントロールアプリケーション50は、アンチマルウェアおよび侵入検出ツールなどを含むより大きなコンピュータセキュリティソフトウェアスイートの一部とすることもできる。
図4に、本発明の一部の実施形態によるペアレンタルコントロールアプリケーション50の例示のコンポーネントを示す。
【0019】
[0034]データグラバー52が、メッセージングアプリケーション48によって生成および/または受信されたメッセージ内容を抽出するように構成される。メッセージ内容の抽出には、個別の電子メッセージを識別することと、送信者および/または受信者、送信時刻(例えばタイムスタンプ)、それぞれのメッセージのテキスト、および場合によってはそれぞれのメッセージに添付された画像などの他のコンテンツデータなどの、メッセージ固有の特徴を判定することとが含まれる。内容抽出は、当技術分野で知られている任意の方法に従って進行し得る。実施形態によっては、データグラバー52は、メッセージングアプリケーション48が通信の受信、またはユーザ入力の受信などの何らかの特定の動作を実行したときにデータグラバーに通知し、データグラバー52がメッセージ情報を抽出することができるようにする、ソフトウェアエージェントをインストールするように(例えばフッキングによって)メッセージングアプリケーション48のコンポーネントに秘密裏に変更を加える。一部の実施形態は、アクセシビリティアプリケーションプログラミングインターフェース(API)などの、OS46aの組込み機能を使用してメッセージ内容を抽出する。アクセシビリティAPIは、典型的には、被監視デバイス10の出力デバイス(例えば画面)に現在表示されている情報に、障害者がアクセスすることができるようにする目的で、そのような情報を捕捉するように構成されたソフトウェアを含む。そのようなアクセシビリティAPIの1つの例示の用途には、視覚障害者がコンピュータを使用することができるようにするために、画面上のテキストを音声(発話テキスト)に変換することが含まれる。データグラバー52の一部の実施形態は、デバイス10がメッセージングアプリケーション48によって生成された内容を表示しているときにユーザインターフェースツリーなどのデータ構造を解析し、それによって個別のメッセージのメッセージ対話者名/別名および内容などの情報を抽出するために、特定のアクセシビリティAPI機能を呼び出すように構成される。データグラバー52のさらに別の一実施形態は、メッセージングアプリケーション48に着信する、および/または、被監視デバイス10のネットワークアダプタを通過する、インターセプトされたネットワークトラフィックから直接、メッセージ内容を抽出することができる。このような通信インターセプタは、通信を解析し、構造化メッセージデータを抽出するために、HTTP、WebSocketおよびMQTTなどの通信プロトコルを実装することができる。インスタントメッセージが暗号化される場合、一部の実施形態は、メッセージ内容抽出のためにトラフィックを復号するための中間者(MITM)などの技術を採用する。
【0020】
[0035]本発明の一部の実施形態は、いじめおよび性的グルーミングなどの脅威が典型的には複雑な社会力学に関係しており、したがって、個別のメッセージではなく長時間の会話からより正確に推測されるという観察に依拠する。したがって、実施形態によっては、メッセージアグリゲータ54が個別のメッセージを、同じ対話者のペア間(一対一の交換の場合)または同じグループ内(例えばグループチャットの場合)で交換される複数のメッセージからなる会話にまとめ得る。メッセージアグリゲータ54は、インターセプトされた各メッセージの送信者および/または受信者を識別し、メッセージストリームを個別の会話に編成し、会話インジケータ20を出力するために、データグラバー52と共同することができる。メッセージアグリゲータ54の動作については、以下で詳述する。
【0021】
[0036]
図5に示す一例示の会話インジケータ20は、被監視デバイス10および/またはそれぞれのデバイスの個別ユーザを識別するユーザ_IDと、対話者のペアを一意に識別するペア_IDとを含む。実施形態によっては、会話インジケータ20は、各メッセージインジケータがそれぞれの対話者間で交換される個別メッセージに対応する、複数のメッセージインジケータ、メッセージ_1...メッセージ_nをさらに含む。さらに個別のメッセージインジケータは、送信者および/または受信者の識別子と、各メッセージのテキスト内容(
図5でメッセージテキスト_iとして表されている)と、それぞれのメッセージが送信および/または受信された時刻を示すタイムスタンプとを含み得る。別の実施形態では、会話インジケータ20は、個別メッセージがそれぞれのタイムスタンプに従った送信順に配列された、それぞれの会話内のすべてのメッセージのテキスト内容の連なりを含む。
【0022】
[0037]会話インジケータ20は、1組のメディアインジケータ(
図5でメディアファイル_iとして表されている)、例えばそれぞれの会話に属するメッセージに添付された画像/ビデオ/オーディオファイルのコピー、またはそれぞれのメディアファイルがあるネットワークアドレス/URLをさらに含み得る。他の例示のメディアインジケータは、メディア形式(エンコーディングプロトコル)のインジケータなどを含み得る。当業者は、会話インジケータ20をエンコードするための実際のデータ形式は実施形態ごとに異なり得ることがわかるであろう。例示の形式には、あるバージョンの拡張マークアップ言語(XML)およびJavascript Object Notation(JSON)などがある。
【0023】
[0038]
図6に、本発明の一部の実施形態による、ペアレンタルコントロールアプリケーション50によって実行される例示の一連のステップを示す。
図7に、個別メッセージから会話を構築するための一例示のアルゴリズム(
図6のステップ204)をさらに示す。
【0024】
[0039]ペアレンタルコントロールアプリケーション50は、各会話を別個のデータ構造(例えば複数のデータフィールドを有するオブジェクト)として表すことができる。会話は、長さ(例えば合計メッセージ数、合計ワード数など)および/または時間(例えば所定時間間隔内に交換されるメッセージ)など様々な基準に従って定義され得る。実施形態によっては、会話は、そのメッセージ数が所定の値を超えない限り存続しているとみなされる。あるいは、会話は、その最初のメッセージからの経過時間が所定の時間閾値を超えない限り、および/または、その最後のメッセージからの経過時間が別の所定の時間閾値を超えない限り、存続しているとみなされ得る。もはや存続していない会話は、本明細書では満了とみなされる。
図7に示す一実施例では、ペアレンタルコントロールアプリケーション50は、各会話が固有の会話IDによって識別される複数のライブ会話を監視する。ステップ212で、各ライブ会話の最後のメッセージからの経過時間の長さを判定する。この時間の長さが所定の閾値(例えば1時間)を超える場合、メッセージアグリゲータ54は、それぞれの会話が閉じられた/満了したとみなし、その会話をそのライブ会話の組から除去することができる。さらなるステップ230で、それぞれの会話の会話インジケータ20を構築し、それぞれのデータをさらなる分析のために送信することができる。同様のフローチャートにより、メッセージ数が所定の閾値(例えば500)を超えた場合に会話が閉じられているとみなす別のメッセージアグリゲータの動作を説明することができる。
【0025】
[0040]一方、データグラバー52は、新たなメッセージがないか観察することができる(ステップ216)。メッセージが検出されると、ステップ220が、例えばメッセージデータを解析することによって、またはメッセージングアプリケーション48のユーザインターフェースを分析することによって(アクセシビリティAPIの使用に関する上記を参照)、それぞれのメッセージの対話者を識別することができる。現在、それぞれの対話者がいるライブ会話が少なくともある場合、ステップ226で、アグリゲータ54が、現在のメッセージを特徴付けるデータを、現在の対話者(例えばペアID)によって識別される会話オブジェクトに付加することができる。現在のメッセージの対話者間にライブ会話が現在ない場合、ステップ224が、現在の対話者/ペアIDによって識別される新たな会話オブジェクトを初期化することができ、新たに初期化されたオブジェクトにメッセージデータを付加することができる。次に、アプリケーション50は、新たなメッセージがあるか否かの観察、および/またはいずれかのライブ会話が満了したか否かの判定に戻ることができる。
【0026】
[0041]
図8および
図9に、本発明の一部の実施形態による、セキュリティサーバ18上で実行される例示のソフトウェアコンポーネントと、それらのコンポーネントの一例示の動作とをそれぞれ示す。
図10に、上記コンポーネントの動作を例示の一連のステップとしてさらに詳しく記載する。
【0027】
[0042]実施形態によっては、メッセージアグリゲータ54から会話データが会話インジケータ20の形態で受け取られる。各インジケータ20は、単一の会話を表すことができ、単一の会話は指定された期間にわたって同じ対話者間で交換される複数のメッセージを含み得る。実施形態によっては、会話インジケータ20はキューに蓄積され、さらなる処理を待つ。このような処理は、会話を選択することと、その会話をキューから除去することとを含み得る(
図10のステップ302、204、306)。選択されたインジケータ20は、次に会話アナライザ51に送られ、会話アナライザ51がそれぞれの会話の内容を分析して複数の査定インジケータ(例えば数値スコアまたはブールスコア、カテゴリラベルなど)を判定し、それらを決定ユニット53に出力する。さらなるステップ312で、決定ユニット53が、会話アナライザ51から受け取った分析結果をまとめ、1組の決定基準を適用して被監視デバイス10のユーザが、いじめ、セクシャルハラスメント、グルーミングなどのオンライン脅威にさらされていないか判定することができる。実施形態によっては、決定ユニット53は統合リスク査定インジケータ22を通知ディスパッチャ59に伝達する。ステップ314で、通知ディスパッチャは、受け取った査定インジケータに従って通知条件が満たされているか否かを判定することができる。満たされている場合、ディスパッチャ59は、ペアレンタル通知24を作成して報告デバイス14に送信する。上記のステップの一部について以下に詳述する。
【0028】
[0043]実施形態によっては、会話アナライザ51は、会話のテキスト内容を分析するように構成された1組のテキストプロセッサ56、および/または、会話の画像および/またはビデオ内容を分析するように構成された1組の画像プロセッサ58を含む。各プロセッサ56、58は、それぞれの会話の異なる側面に従って、および/または異なるアルゴリズムに従って、各会話を分析することができる。例えば、各プロセッサ56、58は、ユーザが異なる種類の脅威(いじめ、セクシャルハラスメント、グルーミングなど)にさらされていないか判定することができる。別の一実施例では、同じ種類の脅威を検出するが各プロセッサが異なる基準またはアルゴリズムを使用し得るか、または分析される会話の異なる側面を考慮可能な複数のプロセッサが存在し得る。例えば、いくつかのテキストプロセッサが、分析される会話中で特定のキーワードを検索することができ、一方、他のテキストプロセッサが、ニューラルネットワークを使用してそれぞれのメッセージまたは会話を特徴付けるスコアまたはラベルなどを生成することができる。その他の例示の会話の側面には、攻撃性、友好性、および性的内容などが含まれる。
【0029】
[0044]実施形態によっては、テキストプロセッサ56のうちの少なくとも一部のテキストプロセッサ56に供給する準備として会話のテキスト内容が正規化される(
図10のステップ308)。このような正規化には、スペルチェック、頭字語の展開、絵文字、URL、人物名および/または地名の検出と解釈が含まれ得る。正規化は、インスタントメッセージングで頻繁に使用されるスラング項目および様々な表現/頭字語で増補されたそれぞれの自然言語(例えば英語)の辞書を参照することを含み得る。
【0030】
[0045]いくつかの例示のテキストプロセッサおよび画像プロセッサ56、58がそれぞれ
図11および
図12に示されている。各テキストプロセッサ56は、テキスト査定インジケータ26を出力し得る。同様に、画像プロセッサ58は1組の画像査定インジケータ28を出力し得る。1つの例示のテキスト査定インジケータ26は、それぞれの会話のテキスト内容に従って少なくとも1人の対話者がオンライン脅威(例えばいじめ)にさらされている可能性を示す数値スコアを含む。一例示の画像査定インジケータ28は、現在の会話が、特定のカテゴリ(例えば裸体または部分的に裸体の写真、クレジットカードの写真など)に属する少なくとも1つの画像を含むか否かを示し得る。
【0031】
[0046]本発明の一部の実施形態は、幼年期および青年期に特に感情的になる社会的相互作用の複雑さに起因して、単一のアルゴリズム/分析プロトコルではいじめなどの脅威の検出に成功する可能性が低いという観察に依拠している。例えば、子供やティーンエイジャーはしばしば、傷つける意図がない場合でも、屈辱的あだ名、侮辱、および軽蔑的な言葉を使用して互いに話しかける。このような「粋がった態度」は、単にクールまたは愉快な言動であると受け止められる。したがって、単に侮辱および/または争いを示す言語を検出することを目指しているテキスト分析アルゴリズムは、親しい友人間の横柄なやり取りを口論またはいじめの事例として誤って分類する可能性がある。そのような誤検出を回避するために、実施形態によっては、各会話の様々な側面を分析し、様々な査定インジケータを抽出するために、複数の自然言語処理アルゴリズムを採用する。次に、実施形態によっては、複数の個別の査定インジケータによって提供された情報をまとめることによって脅威検出の信頼性を向上させる。画像査定インジケータをテキスト査定インジケータと組み合わせることもできる。例えば、裸体写真は、性的内容の送信などの疑いの追加的手掛かりを提供し得る。
【0032】
[0047]
図11に示す例示のテキストプロセッサ56は、攻撃性査定部、友好性査定部、性的内容査定部、感情査定部、およびテキスト機密性査定部などを含む。各テキストプロセッサ56は、1組のスコア、ラベルなどを出力し得る。そのようなスコア/ラベルは、会話の個別メッセージごとに判定されるか、またはそれぞれの会話全体について判定され得る。
【0033】
[0048]一例示の攻撃性査定部は、それぞれのメッセージの言葉によって示される攻撃のレベルを示す、会話の各メッセージのスコアを計算する。攻撃性スコアは、2進数(1/0、YES/NO)で、または所定の上下限の間の任意の値を取り得る非2進数で表され得る。攻撃性査定部は、攻撃を示す特定のキーワードの存在の検出などの方法、または当技術分野で知られている任意のその他の方法を採用し得る。好ましい一実施形態は、辞書の各単語のベクトル表現を使用して再帰型ニューラルネットワーク(RNN)をトレーニングする。例示のベクトル表現は、word-2-vecおよび/またはGloveアルゴリズムファミリを使用して得ることができる。次に、会話の各メッセージを一連のベクトルとして表現することができる。攻撃性査定部のアーキテクチャは、ゲート付き回帰型ユニット(GRU)層の上に重ねられた長・短期記憶(LSTM)などを含み得る。トレーニングは特定のルールを実施することができ、例えば、二人称で表された侮辱のみがポジティブ/攻撃的としてラベル付けされてもよい。そのような一実施例では、「あなたはほんとうに馬鹿」という語句は「彼はほんとうに馬鹿」よりも攻撃性のスコアが高くなり得る。このようなニューラルネットワークの出力は、個別メッセージごとに判定されたスコア/ラベル、または会話全体について判定されたスコア/ラベルを含み得る。
【0034】
[0049]一例示の性的内容査定部のアーキテクチャは、攻撃性査定部について説明したものと類似し得る。しかし、性的内容査定部は、各会話および/またはメッセージが性的な言葉を含むか否かを示すスコアを出力するように特にトレーニングされ得る。場合によっては、会話の中に性的な言葉と攻撃的な言葉とが共存し、したがってこれは、会話の各側面について独立した査定部を有することで、それぞれの会話のより微妙な、場合によってはより正確な分類を実現することができる一実施例である。一部の実施形態は、性的に露骨ではない可能性があるもののグルーミングまたは性的略奪を示している可能性がある他のテキストパターンを識別するようにさらにトレーニングされ得る。例えば、実施形態によっては、メッセージが、会うことや個人アドレスなどを求めているか否かを検出することができる。性的内容査定部の一部の実施形態は、性的内容の複数のシナリオおよび/またはカテゴリ(例えばグルーミング、性的内容の送信など)を区別するようにトレーニングされ得る。そのような一実施例では、性的内容査定部は、各スコアが異なるカテゴリ/シナリオに対応し、分析される会話がそれぞれのカテゴリ/シナリオに入る可能性を示す、スコアのベクトルを出力し得る。
【0035】
[0050]一例示の友好性査定部は、対話者のうちの一方または他方に対する好意および友好的態度を示す語句を検出することを目的とする。友人同士はしばしば攻撃的な言葉を使用してからかい合うため、友好性インジケータ/スコアは、攻撃的に見えるかもしれないが実際にはふざけている、悪意のない言動から、真の虐待を区別するのに役立ち得る。一例示の友好性査定部は、会話相手に対する直接的な好意的言葉遣い(例えば「私はあなたが好き」)および/または、現在のメッセージが前のメッセージに対する好意的応答である間接的な言葉遣い(例えば、「私が好き?」、「えっ、馬鹿だねえ。もちろんだよ。あなたが一番。」)を識別するために、ルールベースのシステムを採用し得る。これは、各メッセージを別々に分析するのではなく、テキスト内容分析が同じ会話の複数のメッセージにわたって相関しているテキスト内容分析の別の一例である。
【0036】
[0051]一例示の感情査定部は、それぞれの会話の気分/感情の数値インジケータまたはカテゴリインジケータを判定するために、当技術分野で知られている任意の方法を採用し得る。一例示のインジケータは、会話が楽しい/リラックスしているとみなされる場合に正の値を有し、会話がストレス、憂鬱、怒りなどを示す場合に負の値を有し得る。それぞれの査定インジケータの値は、それぞれの感情の強度を示し得る。一例示の感情査定部は、メッセージの各トークン(例えば各単語または語句)がその意味の方向性に従って正または負のいずれかとしてラベル付けされ、個々のトークンラベルを組み合わせることによって総合スコア/ラベルが計算される、Valence Aware Dictionary and Sentiment Reasoner(誘意性意識辞書および感情推論:VADER)法を使用する。総合スコアは、個別メッセージの細分度で、または会話全体について計算され得る。実施形態によっては、一方の側のみが不快に感じている/気分を害している攻撃的会話は、いじめが行われていることの強い標示である。したがってそのような状況には、それぞれの会話についていじめを示す比較的高い総合スコアが付けられ得る。
【0037】
[0052]一例示のテキスト機密性査定部は、会話が、それぞれのユーザ(例えば子供、従業員)が他人と共有すべきではない機密情報を伝えているか否かを判定し得る。そのような情報のいくつかの例は、クレジットカード番号、社会保障番号、および自宅住所などである。テキスト機密性査定部の一例は、クレジットカード番号および住所などのデータを識別するために文字パターンマッチング(例えば正規表現)を使用し得る。他の実施形態は、クレジットカード情報、社会保障番号などのように見えるテキストパターンを検出するようにニューラルネットワークをトレーニングすることができる。テキスト機密性査定部は、各スコアが現在の会話のテキストが異なるカテゴリの機密データを含むか否かを示す、スコアのベクトルを出力することができる。そのようなテキスト機密性スコアは、会話全体について判定され得る。
【0038】
[0053]実施形態によっては、画像プロセッサ58(
図5および
図10を参照)が、会話の一部として交換される画像および/またはビデオデータの様々な特徴を検出するために様々な方法/アルゴリズムを使用する。画像プロセッサ58の一例は、画像が裸体を含んでいる可能性を示すスコアを返すように構成された裸体露出査定部を含む。別の一実施形態では、裸体露出査定部は、各スコアが、画像に特定の身体部分(例えば顔、胸、乳首、脚)が写っている可能性、および/またはそれぞれの画像が特定の種類のイメージ(性行動、日光浴など)に属する可能性があるか否かを示す、複数のスコアを返し得る。実施形態によっては、裸体露出査定部は可視の各身体部分が露出しているか覆われているかを示すインジケータを返すようにさらに構成される。
【0039】
[0054]
図13に、本発明の一部の実施形態により、一例示の裸体露出査定部が、会話の一部として送信される画像ファイル内で検出するようにトレーニングされるいくつかの例示の身体部分60a~60cを示す。各身体部分60a~60cは、頭、顔、髪、胸部、胸の谷間、胸、乳首、胸底、腹部、臍、腰下部、股、生殖器、肛門、臀部、仙骨、背下部、背中部、肩甲骨、首、襟首、上腕、前腕、手、大腿部、脚上部、下肢、膝、および足部など、人間の身体の部分を含む。一部のこのような身体部分が重なっていてもよい。実施形態によっては、画像内で検出された身体部分が男性のものであるか女性のものであるかを判定するようにさらにトレーニングされる。
【0040】
[0055]好ましい一実施形態では、裸体露出査定部は、1組の相互結合された人工ニューラルネットワーク、例えば、1つの全結合層にさらに流れ込む畳み込みニューラルネットワークの階層を含むことができる。それぞれの裸体露出査定部は、分析画像を入力として受け取ることができ、1組のスコアおよび/またはラベルを出力するように構成され得る。ニューラルネットワークは注釈付き画像のコーパスでトレーニングされ得る。ニューラルネットワークのトレーニングは、ネットワークの実際の出力と注釈によって示されるものなどの所望の出力との不一致を減らすことを目指して、それぞれのニューラルネットワークの1組の関数パラメータ(例えば結合重み)を反復的に調整することを含むことができる。
【0041】
[0056]別の例示の画像プロセッサ58は、それぞれの画像が機密情報を含む可能性を示すスコアを返すように構成された画像機密性査定部を含む。機密画像データの例には、バンクカードの画像、運転免許証、社会保障カードまたはパスポートなどの正式身分証明文書の画像、自動車のナンバープレートの画像、ユーザの自宅/学校などの画像が含まれる。バンクカードは、クレジットカードとデビットカードなどが含まれる。
【0042】
[0057]実施形態によっては、画像機密性査定部は、画像を入力し、その画像が特定のカテゴリに入る(例えばその画像がバンクカードなどの特定の種類の物理的対象物を示す)可能性を示す1組のスコアおよび/またはラベルを出力するようにトレーニングされた、1組の相互結合された人工ニューラルネットワーク(例えば畳み込みニューラルネットワーク)を含む。それぞれのニューラルネットワークは、様々な背景の様々な種類の公文書、例えば様々な銀行によって発行され、様々なデザインを有するバンクカード、様々な国によって発行されたパスポートおよび/または運転免許証などの画像を含む、注釈付きコーパスでトレーニングされ得る。
【0043】
[0058]一部の実施形態は、それぞれの物理的対象物の特有の特徴によって画像内の物理的対象物の存在を検出する。例えば、バンクカードの存在を検出するために、一例示の画像機密性査定部は、磁気ストライプの画像、磁気ストライプの近傍にある手書き署名の画像、埋込みマイクロチップの画像、配列された4桁ずつのグループに分けられた16桁の数字の画像(すなわちカード番号)、VISA(R)またはMASTERCARD(R)ロゴの画像などを検出するようにトレーニングされ得る。社会保障カードの場合、画像機密性査定部は、分析画像が社会保障庁のロゴおよび/または、配列され、3つのグループに分けられた1組の11桁の数字(すなわち社会保障番号)を含むか否かを判定するようにトレーニングされ得る。運転免許証およびパスポートも、人間の頭部の写真、およびそれぞれの公文書上の様々なデータの特定の配置など、特有の特徴によって識別され得る。
【0044】
[0059]実施形態によっては、画像機密性査定部(例えばニューラルネットワーク)は、各スコアが分析画像にバンクカード、社会保障カードなどの異なる特徴が写っている可能性を示す、複数のスコアを出力するようにトレーニングされ得る。例えば、1つのスコアは、画像に埋込みカードマイクロチップが写っている可能性を示し、別のスコアは画像にVISA(R)ロゴなどが写っている可能性を示し得る。このような個別のスコアは次に決定ユニット53によって、例えば加重平均または決定アルゴリズムを使用して集計され得る。
【0045】
[0060]画像機密性査定部の一部の実施形態は、分析画像から構造化データを抽出するようにさらにトレーニングされ得る。例えば、画像にクレジットカードが写っていると判定することに加えて、一部の実施形態はカードの種類(例えばVISA(R))、発行銀行などを判定し得る。同様に、運転免許証の画像を検出することに加えて、一部の実施形態は運転者の名前などを自動的に判定し得る。
【0046】
[0061]実施形態によっては、決定ユニット53(
図9)が、テキストプロセッサ56および/または画像プロセッサ58からそれぞれ受け取った個別査定インジケータ26、28を入力し、個別リスク査定インジケータに従って判定された総合リスク査定インジケータ22を出力する。一例示の総合リスク査定インジケータ22は、会話全体について判定され、各スコアが異なる種類の脅威またはシナリオ(例えば、けんか、いじめ、憂鬱、性的露出、グルーミング、機密データの損失など)の可能性を示す、1組のスコアを含む。総合インジケータ22/スコアは、当業界で知られている任意の方法を使用して計算することができる。一実施例は、個別査定インジケータ/スコアの加重平均を計算することを含む。別の一実施例では、総合スコアは決定アルゴリズムに従って判定される。すなわち、スコアxがYESであり、スコアyが0.4未満の場合、総合スコアは0.8である。
【0047】
[0062]いじめの総合スコアは、以下の観察に従って判定され得る。いじめの言葉は、典型的には会話全体に均一に分布するのではなく、散在するバースト状に発生する。典型的には、虐待的会話内に複数のそのようなバーストが存在する。実施形態によっては、いじめとみなすには、個別のバースト内で攻撃的な言葉が持続している必要がある(例えば単一の攻撃的メッセージはいじめを示さない)。しばしば、子供は傷つける意図なしに攻撃的な言葉を使用する。通常、この種の対話(すなわち非いじめ)では、友好的な言葉の徴候があり、会話の全体的な口調はむしろ好意的またはニュートラルである。最後に、多くの場合、攻撃的な言葉と性的な言葉は重なる。
【0048】
[0063]上記の観察を用いて、一部の実施形態は各会話を固定長の窓および固定したステップ(すなわち、一度に所定数の連続したメッセージ)で走査する。そのような各会話区分および各対話者について、決定ユニット53がベクトルを作成することができ、ベクトルの各要素はそれぞれの会話の異なる個別メッセージについて判定された複合スコアを表す。個別テキスト査定インジケータを以下のように結合することができる。
【0049】
Si=Ai-Fi-Xi [1]
[0064]上式で、Siはメッセージ固有の複合スコアを示し、AiおよびFiはそれぞれのメッセージの攻撃性および友好性スコアを示し、Xiはそれぞれのメッセージの性的内容(例えば性的内容送信)スコアを示す。例えば以下の状況のいくつかが起こり得る。すなわち、メッセージが単に攻撃的である場合、それぞれの複合スコアSiは1であり、メッセージが攻撃的と性的の両方であることが検出された場合、複合スコアSiは0である(性的な言葉が攻撃的な言葉を相殺する)。メッセージが攻撃的と友好的の両方であると検出された場合、複合スコアSiはやはり0である(友好的な言葉が攻撃的な言葉を相殺する)。
【0050】
[0065]さらなるステップによって、例えば以下の式を使用して、現在の会話区分の攻撃性集中スコアを計算することができる。
【0051】
【0052】
[0066]上式で、Nはそれぞれの会話区分内の合計メッセージ数を示し、Siはそれぞれの区分の各メッセージの複合スコアであり、diは現在のメッセージと最も近接した攻撃的メッセージとの間の距離(例えばメッセージ数)である(例えば複合スコアSi=1)。式[2]により、間隔の狭い攻撃的メッセージを有する会話区分の場合は、他の会話区分と比較して相対的により高い値が出る。後続のステップで、Cの値を所定の閾値(例えば0.5)と比較することができる。閾値を超える値は会話のそれぞれの区分について攻撃なユーザを示す。この計算は会話の対話者ごとおよび区分ごとに別々に行うことができる。一部の実施形態は、次に対話者間の関係の種類を判定し得る。例えば、正常-対話者のいずれも過度に攻撃的ではない、いじめ-対話者の一方が他方よりも実質的に攻撃的である、けんか-両方の対話者が実質的かつ同等に攻撃的である、などである。いじめという判定の場合、一部の実施形態は、そのいじめが被監視デバイス10のユーザであるか否かをさらに判定して、通知ディスパッチャ59がそのような情報をペアレンタル通知24に含めることができるようにし得る。
【0053】
[0067]実施形態によっては、会話固有のリスク査定インジケータ/スコア22が、各種類の脅威に固有の1組の所定の閾値と比較される。それぞれの閾値を超えるスコアは、それぞれの脅威/シナリオの存在を示す可能性がある。スコアがそのそれぞれの閾値を超える場合、通知ディスパッチャ59の一部の実施形態は、ペアレンタル通知24を作成して報告デバイス14に送信することができる。
【0054】
[0068]いくつかの例示の会話の抜粋とそれに関連する採点とを以下に示す。
[0069]例1:いじめ
【0055】
【0056】
[0070]この例は、攻撃性の実質的な不均衡によって特徴付けられる。すなわち、ユーザAがユーザBに暴言を吐いており、Bは同じやり方では応答していない。式[2]に従って求めた攻撃性集中インジケータは、ユーザAが2.0で、ユーザBが0.0となる。実施形態によっては、2人のユーザの攻撃性の差を閾値(例えば0.5)と比較し、その差が閾値を超えるため、ユーザAがBよりも実質的に攻撃的である。したがって、AはBをいじめている。
【0057】
[0071]例2:非いじめ
【0058】
【0059】
[0072]この例では、攻撃的な言葉が友好的な言葉と共存している。しかし、友好性スコアが攻撃性スコアを超えており、式[2]は両方の対話者についてゼロ未満の値を出す。したがって、この会話はいじめには分類されない。
【0060】
[0073]例3:性的内容送信
【0061】
【0062】
[0074]この例では、攻撃的な言葉と性的内容送信とが共存しており、したがって攻撃性スコアが相殺される。この会話は、対話者の一方の側のみが攻撃的ではあるが、いじめとはみなされない。
【0063】
[0075]閾値および/または他の採点パラメータ(例えば特定のスコアに加えられる重み)が、被監視デバイス、ユーザ、および/またはユーザのカテゴリごとに、例えばサブスクリプションの種類またはサービスレベル契約に従って適応化および/または調整され、それによって、カスタマイズ可能な警戒度を与えることができる。一部の実施形態は、「許容可能な言動」とみなされるものが、国、文化、さらには個人間でも大幅に異なり得るという観察に依拠する。例えば、国や文化によっては、女性が人前では髪を覆うことが要求され、したがって頭が覆われていない女性の画像は許容しがたいほど露出しているとみなされることがあり、一方、他の文化ではごく通常のことである。同じことは、足首や上腕などの他の身体部分についても言える。西洋社会であっても、保守的な家庭では、よりリベラルな家庭よりも子供やティーンエイジャーの言動について厳格である。例えば、ある家庭にとっては短いスカートが当たり前とみなされ、他の家庭では露出し過ぎとみなされることがある。したがって、本発明の一部の実施形態では、閾値および/またはスコア集計方針が、個人の選択、文化的基準に従って、ならびに/またはデバイス10および/もしくは14の地理的場所に従って調整され得る。そのような一実施例では、被監視デバイス10および/または報告デバイス14上でソフトウェアをインストールおよび/または構成するときに、ユーザに構成インターフェースが示され、ペアレンタル通知を受け取る1組の基準をカスタマイズするように促され得る。例えば、ユーザは、全体的な警戒レベル(例えばスライドスケール0~10)を選択すること、および/または、より広範囲な例示のシナリオのセットから、通知をトリガする必要があるシナリオのサブセットを選択することを促されてもよい。実施形態によっては、ソフトウェアが、それぞれのユーザの国および/または文化に従って、パラメータ値のセット(例えば通知シナリオ、警戒レベルなど)を自動的に選択してもよい。このような自動選択には、例えば、報告デバイス14および/または被監視デバイス10の地理的位置情報を自動的に検出することと、場所固有の設定値のデータベースを参照することとが含まれ得る。そのような設定値は次に、特定の閾値および/またはその他のスコア集計パラメータに自動的に変換され得る。
【0064】
[0076]総合査定インジケータ22を判定する際に、決定ユニット53は、テキスト査定インジケータを、同じ会話について判定された画像査定インジケータと組み合わせてもよい。そのような一実施例では、性的内容査定部の出力(テキスト)が裸体露出査定部の出力(画像)と組み合わされて総合性的内容スコアを生成することができる。会話のテキストが性的内容を含む場合、それぞれの内容は口論で使用される粗野な言葉を表すに過ぎない場合がある。したがって、性的内容査定部によってそれぞれの会話に与えられるスコアは、会話を性的脅威のカテゴリに分類させるのに十分に高くない場合がある。しかし、それぞれの会話が露出画像も含む場合、裸体露出査定部によって与えられるスコアがテキストプロセッサによって返されるスコアと組み合わされて、それぞれの閾値を超える総合スコアとなり得る。スコアは、例えば加重平均として組み合わせることができ、その場合、各個別の重みが特定の脅威/状況に対するそれぞれのスコアの関連性を反映し得る。この性的内容の例では、画像プロセッサによって生成されるスコアは、テキストプロセッサによって生成されるスコアよりも高い重みを受け得る。
【0065】
[0077]ペアレンタル通知24を送信する準備として、ディスパッチャ59はそれぞれの通知の適切な受信側、すなわち報告デバイス14を識別することができる。実施形態によっては、サブスクリプションおよび/またはサービスレベル契約(SLA)に従ってペアレンタルコントロールサービスが提供される。そのようなサービスを提供するために、一部の実施形態はサブスクリプションまたはアカウントエントリのデータベースを維持し、その場合、それぞれのサブスクリプション/アカウントに関連して生成された通知がそれぞれの報告デバイスに配信されるように、各エントリが報告デバイス14に付加され得る。報告デバイス14は、例えば、ネットワークアドレスに従って、またはデバイス14上で実行され、通知の配信においてサーバ18と共同するように構成されたソフトウェアエージェントによって生成される固有識別子に従って、識別され得る。それぞれのサブスクリプション/アカウントエントリは、1組の被監視デバイス10を会話データの収集および分析の対象としてさらに示し得る。単一のサブスクリプション/アカウントが、複数の被監視デバイス10にサービスを提供し得る。サブスクリプション/アカウントエントリは、デバイス10の被監視ユーザを、例えば、メッセージングアプリケーション48内で被監視ユーザ(例えば未成年者)によって使用されるユーザ名、別名および/またはアバターとしてさらに示し得る。被監視デバイス10とユーザと報告デバイス14との間の関連付けにより、ディスパッチャ59は、被監視デバイス10の識別情報に従って、および/またはデバイス10のユーザの識別情報に従って、報告デバイス14を選択的に識別することができる。
【0066】
[0078]通知24の配信は、当技術分野で知られている任意の方法に従って、例えば、報告デバイス14上で実行されるソフトウェアエージェント/アプリケーションに通知24をプッシュすること、eメールまたはSMSメッセージに通知24を含めることなどによって実施され得る。
【0067】
[0079]ペアレンタル通知24は、自然言語、例えば英語で作成された通知メッセージを含み得る。通知メッセージは、検出された出来事/シナリオ/脅威、例えば子供がいじめられている、子供が機密情報を送信した、などを示すインジケータを含み得る。被監視ユーザのプライバシーを防護するために、一部の実施形態は実際のメッセージの内容を親/保護者/監督者に明かさない。一部の実施形態は、それぞれの検出されたシナリオまたは脅威にいかに対処するかという子育てアドバイス/提案、および/またはそれぞれの検出された出来事/脅威に関連する1組の心理学情報源(ハイパーリンク、参考文献など)をさらに含む。通知は、親/保護者をできる限り驚かさないように、およびそれぞれの会話に関与している当事者の身元を明かさないように作成され得る。いじめが検出された場合、通知メッセージは被監視デバイス10のユーザがその虐待の加害者であるか被害者であるかを示し得る。通知メッセージのいくつかの例を以下に示す。
【0068】
サイバーいじめおよび加害者対策
[0080]テキスト分析を使用して検出されたシナリオ/脅威に応答する通知の例:
[0081]子供が一対一の口論をしている:「ジェニーが[会話名]という名前のチャットで口論に関与しています。オンラインでの言動に関して話す際に、お子さんに、攻撃は決して「ただの冗談」ではないことを気付かせて下さい。皆がそうしているように見えても、それはよいことではありません。」
[0082]子供が一対一でいじめられている:「ジェニーが[会話名]という名前のチャットでサイバーいじめを受けています。お子さんの話を聞いて下さい。正確には何があったのか、お子さんがどのように感じたか、またその理由を見つけて下さい。会話をどのように切り出すかに関するいくつかの指針がここに記載されています:[リンク]。」
[0083]子供がグループチャットをしていて、ただ1人攻撃的である:「ジェニーが[会話名]という名前のグループチャットで口論に関与しています。お子さんの言動は対話者達に対して攻撃的に見えます。オンラインでの言動について話す際に、お子さんに攻撃は決して「ただの冗談ではない」ことを気付かせて下さい。皆がそうしているように見えても、それはよいことではありません。」
[0084]子供が集団口論をしているが攻撃的ではない:「ジェニーが[会話名]という名前のグループチャットで口論に関与しています。お子さんの言動は対話者達に対して攻撃的であるようには見えません。オンラインでの言動について話す際に、お子さんに攻撃は決して「ただの冗談ではない」ことを気付かせて下さい。皆がそうしているように見えても、それはよいことではありません。」
子供の安全、性的略奪およびグルーミング
[0085]テキスト分析を使用して検出されたシナリオ/脅威に応答する通知の例:
[0086]子供が個人アドレスを受け取る:「ジェニーが[会話名]という名前の会話で個人アドレスを受け取りました。落ち着いて、お子さんと向き合ってプライバシーの重要性について話して下さい。会話の切り出し方に関するいくつかの指針がここに記載されています:[リンク]。」
[0087]子供が一対一の面会を求められている:「ジェニーが[会話名]という名前のチャットで面会の要求を受け取りました。お子さんと落ち着いてこの面会要求について、できれば直に話し合って下さい。」
[0088]子供が一対一の面会を承諾する:「ジェニーが[会話名]という名前の会話で午後7時に会うことを承諾しました。これは必ずしも何か問題があることを意味しているわけではありませんが、知っておいた方がよいかも知れません。」
[0089]子供が写真を要求されている:「ジェニーが「会話名」という名前のチャットで写真を要求されました。お子さん達に、人に何でも与えると危険にさらされやすいことを気付かせて下さい。オンラインでもオフラインでも内緒にしておくべきものがあります。」
[0090]子供がソーシャルメディアで新たな交流相手を持っている:「ジェニーが[会話名]という名前のチャットで新たな交流相手とオンライントークをし始めています。うまくバランスをとって下さい。新たな交流は必ずしも問題を意味せず、お子さんに問いただすべきことでもありません。それでも、その新たな交流相手のプロファイルを調べ、お子さんの言動の変化に注意を払った方がよいかも知れません。」
[0091]画像分析またはテキストと画像の複合分析を使用して検出されたシナリオ/脅威に応答する通知の例:
[0092]子供が過度の露出のある写真を受け取る。「ジェニーが[会話名]という名前のチャットで裸の露出した写真を受け取りました。お子さんに性的画像またはビデオが送られた場合は、お子さんにそれをすぐに削除するように、そしてそれを誰にも見せないように忠告して下さい。この件について後で話し合って下さい。」
[0093]子供が過度の露出のある写真を送信する。「ジェニーが[会話名]という名前のチャットで裸の露出した写真を送信しました。落ち着いて、「もしその人とけんかをした場合に、その人に自分のこの写真を持っていて欲しいか」と尋ねることから子供と話し合いを始めて下さい。」
[0094]子供が自分のデバイスに過度の露出のある写真を保存している。「ジェニーの携帯デバイス上で不適切なメディアコンテンツが検出されました。お子さんが性的画像またはビデオを送信した場合は、お子さんにすぐにそれを削除して誰にも見せないように忠告して下さい。この件について後で話し合って下さい。」
機密性、なりすまし、および家族の安全
[0095]テキスト分析を使用して検出された事象/脅威に応答する通知の例:
[0096]子供が自分の個人アドレスを求められる:「[会話名]という名前のチャットで誰かがジェニーに個人アドレスを要求しました。お子さんにあなたのアドレスはあなたの承諾を得て特定の人たちにだけ知らせるべきであることを気付かせて下さい。」
[0097]子供が自分の個人アドレスを送信する:「ジェニーが[会話名]という名前の会話で個人アドレスを送信しました。落ち着いて、お子さんとプライバシーの重要性について対面で直に話し合って下さい。」
[0098]子供がクレジットカード番号を求められる:「ジェニーが[会話名]という名前のチャットでクレジットカード番号を求められました。落ち着いて、きっぱりと、お子さんにそのような情報を公開しないように忠告して下さい。公開したらどうなるかについてさらに詳しく対面で話し合って下さい。」
[0099]子供が社会保障番号を求められる:「ジェニーが[会話名]という名前のチャットで社会保障番号を求められました。落ち着いて、きっぱりと、お子さんにそのような情報を公開しないように忠告して下さい。公開したらどうなるかについてさらに詳しく対面で話し合って下さい。」
[0100]子供が会話の中でクレジットカード番号を送信する:「ジェニーが[会話名]という名前の会話でクレジットカード番号を送信しました。落ち着いて、お子さんと金融情報を漏らすリスクについて対面で話し合って下さい。」
[0101]子供が会話の中で社会保障番号を送信する:「ジェニーが[会話名]という名前の会話の中で社会保障番号を送信しました。落ち着いて、お子さんと個人情報を漏らすリスクについて対面で話し合って下さい。」
[0102]画像分析または画像とテキストの複合分析を使用して検出された事象/脅威に応答する通知の例:
[0103]子供がクレジットカードの写真を送信する:「ジェニーが[会話名]という名前の会話の中でクレジットカードの写真を送信しました。チェース銀行発行のMastercardのようです。このクレジットカードの詳細が現在オンラインにあり、他人の手中にあります。銀行の手続きに従ってそのカードの安全を確保する必要があります。その後、お子さんとこの件について冷静なきっぱりとした話し合いを持って下さい。」
[0104]子供が社会保障カードの写真を送信した:「ジェニーが[会話名]という名前の会話の中で社会保障カードの写真を送信しました。社会保障番号は現在、他人の手中にあります。あなたの社会保障番号には様々な機密データが付随しています。取得された情報がなりすましなどの悪意ある目的に使用されているかどうかを調べるために取ることができるいくつかの手段がここに記載されています[リンク]。この件について冷静な、きっぱりとした話し合いをお子さんと持って下さい。」
[0105]子供が身分証明書の写真を送信する:「ジェニーが[会話名]という名前の会話で身分証明書の写真を送信しました。この公文書はアメリカのパスポートのようです。なりすましおよび/または個人情報をオンラインで漏らすことのリスクについてお子様と冷静な、きっぱりとした話し合いを持って下さい。」
[0106]子供が自分のデバイスに写真を保存しており、写真にクレジットカードが写っている。「ジェニーの携帯デバイスでクレジットカードの写真が検出されました。落ち着いて、金融情報を漏らすリスクについてお子さんと対面で話し合って下さい。」
[0107]子供が自分のデバイスに写真を保存しており、写真に身分証明カードが写っている。「ジェニーの携帯デバイスで身分証明カードの写真が検出されました。落ち着いて、個人情報を漏らすリスクについてお子さんと対面で話し合って下さい。」
[0108]上記の説明は
図3および
図8に記載されているような構成に関連するが、当業者は、別の実施形態はソフトウェアコンポーネントの別の分散を使用してもよいことがわかるであろう。例えば、実施形態によっては、会話アナライザ51と決定ユニット53は、
図8に示すようにサーバ18上ではなく、被監視デバイス10上で実行されてもよい。そのような構成におけるデバイス10とサーバ18との間の典型的なデータ交換が
図2-Bに示されている。このような構成は、すべてのメッセージ内容が被監視デバイス10上に留まり、したがってそれぞれのユーザのプライバシーが確保されるという利点を有し得る。欠点は、会話アナライザ51および/または決定ユニット53の動作が典型的には計算コストが高く、携帯電話やタブレットコンピュータなどの比較的低性能なデバイスに許容不能な負担がかかる可能性があることである。テキストおよび/または画像処理を被監視デバイス10で行うことの別の考えられる欠点は、ソフトウェア更新をそのようなすべてのデバイスに配信する必要があることである。それに対して、会話分析がセキュリティサーバ18で行われる場合、単一のマシンが複数の(場合によっては数千台の)被監視デバイスから受信した会話データを処理し得る。
【0069】
[0109]さらに別の一実施形態では、メッセージアグリゲータ54は、
図4に示すように被監視デバイス10上ではなくセキュリティサーバ18上で実行されてもよい。そのような構成では、アグリゲータ54は、複数のデバイスからメッセージインジケータを受信し得る。そのような構成は、例えばユーザがスマートフォン上でFACEBOOK(R)メッセージング交換を開始するが、後でパーソナルコンピュータからそれを継続する場合に、複数のデバイスにわたる会話をまとめることができるようにし得る。
【0070】
[0110]
図14に、本明細書に記載の方法のうちのいくつかを実行するようにプログラムされたコンピューティングデバイス70の一例示のハードウェア構成を示す。デバイス70は、
図1の被監視デバイス10とセキュリティサーバ18と報告デバイス14とのうちのいずれかを表し得る。図の構成は、パーソナルコンピュータの構成である。携帯電話、タブレットコンピュータ、およびウェアラブル端末などの他のコンピューティングデバイスは多少異なるハードウェアを有し得る。プロセッサ72は、信号のセットおよび/またはデータのセットによる計算および/または論理演算を実行するように構成された物理デバイス(例えば、マイクロプロセッサ、半導体基板上に形成されたマルチコア集積回路)を含む。このような信号またはデータは、プロセッサ命令、例えばマシンコードの形態でエンコードされ、プロセッサ72に送られ得る。プロセッサ72は、中央演算処理装置(CPU)および/またはグラフィックスプロセッシングユニット(GPU)のアレイを含み得る。
【0071】
[0111]メモリユニット74は、動作を行う過程でプロセッサ72によってアクセスまたは生成されるデータ/信号/命令エンコーディングを記憶する揮発性コンピュータ可読媒体(例えばダイナミックランダムアクセスメモリ(DRAM))を含み得る。入力デバイス76は、ユーザがコンピュータデバイス70にデータおよび/または命令を導入することができるようにする、それぞれのハードウェアインターフェースおよび/またはアダプタを含む、コンピュータキーボード、マウス、およびマイクロフォンなどを含み得る。出力デバイス78は、コンピューティングデバイス70がユーザにデータを伝達することを可能にする、モニタなどのディスプレイデバイスおよびスピーカなどと、グラフィックスカードなどのハードウェアインターフェース/アダプタを含み得る。実施形態によっては、入力および出力デバイス76、78は、共通のハードウェア(例えばタッチスクリーン)を共用する。ストレージデバイス82は、ソフトウェア命令および/またはデータの不揮発性記憶、読出し、および書込みを可能にするコンピュータ可読媒体を含む。例示のストレージデバイスは、磁気ディスク、光ディスク、およびフラッシュメモリデバイスと、CDおよび/またはDVDディスクなどの取外し可能媒体およびドライブを含む。ネットワークアダプタ84は、コンピューティングデバイス70が電子通信ネットワーク(例えば
図1のネットワーク15)および/またはその他のデバイス/コンピュータシステムに接続することを可能にする。
【0072】
[0112]コントローラハブ80は、複数のシステムバス、周辺機器用バスおよび/もしくはチップセットバス、ならびに/または、プロセッサ22とデバイス70のハードウェアコンポーネントのうちの他のハードウェアコンポーネントとの間の通信を可能にするすべてのその他の回路を総称的に表す。例えば、コントローラハブ80は、メモリコントローラと、入力/出力(I/O)コントローラと、割り込みコントローラとを含み得る。ハードウェア製造業者によっては、一部のこのようなコントローラは単一の集積回路に集積されることがあり、および/または、プロセッサ72と集積されることがある。別の一実施例では、コンピュータハブ80は、メモリ74へのノースブリッジ接続プロセッサ72、および/またはデバイス76、78、82および84へのサウスブリッジ接続プロセッサ72を含み得る。
【0073】
[0113]また、当業者には、上述のような本発明の態様は様々な形態のソフトウェア、ファームウェアおよびハードウェア、またはこれらの組合せで実装可能であることがわかるであろう。例えば、本発明の特定の部分は1つまたは複数の機能を実行する専用ハードウェアロジックとして表され得る。この専用ロジックは、特定用途向け集積回路(ASIC)またはフィールドプログラマブルゲートアレイ(FPGA)を含み得る。本発明の原理と整合する態様を実装するために使用される実際のソフトウェアコードまたは専用制御ハードウェアは、本発明を限定しない。したがって、本発明の態様の動作および挙動については、特定のソフトウェアコードに言及せずに説明したが、当業者は、本明細書の説明に基づいて態様を実装するようにソフトウェアおよび制御ハードウェアを設計することができるであろうということを理解されたい。
【0074】
[0114]本明細書に記載の例示のシステムおよび方法は、無防備なインターネットユーザ(例えば未成年者)を、サイバーいじめ、オンライン虐待、グルーミング、セクシャルハラスメントまたは性的搾取、および機密情報の窃取などのオンライン脅威から防護することを可能にする。このようなシステムおよび方法は、典型的には、ペアレンタルコントロールのカテゴリに入る。しかし、本明細書に記載の一部のシステムおよび方法は、従来のペアレンタルコントロールアプリケーションを越えて、例えば、オンラインメッセージングサービスを使用して成人に対して行われる人種差別主義、性差別主義、または同性愛嫌悪攻撃などのオンライン虐待の検出にまで及び得る。
【0075】
[0115]実施形態によっては、被監視ユーザによって交換される電子メッセージが、それぞれのユーザが通信するために使用している電子デバイス(例えばスマートフォン、タブレットコンピュータ)から自動的に秘密裏に捕捉される。メッセージは次に、同じ対話者間で交換されるメッセージからなる会話に選択的にまとめられる。次に、会話データが様々な基準に従って分析される。分析によって、被監視ユーザがオンライン脅威にさらされていると結論づけられると、一部の実施形態はそのそれぞれのユーザの監督者(例えば親、教師、管理者など)に通知メッセージを送信する。
【0076】
[0116]一部の実施形態は、いじめなどの危険な事例に関わる社会力学は比較的複雑であるという観察に依拠している。したがって、ユーザがそのようなオンライン脅威にさらされているか否かの判定において、一部の実施形態は、複数のメッセージおよび/または会話の複数の側面からの情報をまとめる。例えば、一部の実施形態は、会話のテキストの分析結果を、それぞれの会話の一部として送信された画像の分析結果と組み合わせる。さらに、テキスト部分の分析は多面的とすることもできる。すなわち、一部の実施形態は、会話の攻撃性、友好性および性的内容の評価を組み合わせる。
【0077】
[0117]他の例示の実施形態は、画像分析とテキスト分析とを組み合わせて、被監視ユーザがクレジットカードデータおよび社会保障番号などの機密情報を開示する危険な言動に関わっていないか判定する。そのような一実施例では、電子メッセージから捕捉された画像が、バンクカード、社会保障カード、運転免許証などの写真を含んでいないか判定するために分析される。そのような画像が検出されると、ペアレンタル通知がトリガされ得る。
【0078】
[0118]当業者には、上述の実施形態は、本発明の範囲から逸脱することなく様々に変更可能であることが明らかであろう。したがって、本発明の範囲は、以下の特許請求の範囲とその法的均等物とによって決定されるべきである。