特許 6572218 危険検出装置、危険検出方法、及び危険検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6572218

(24)【登録日】2019年8月16日

(45)【発行日】2019年9月4日

(54)【発明の名称】危険検出装置、危険検出方法、及び危険検出プログラム

(51)【国際特許分類】

   G06F 13/00 20060101AFI20190826BHJP

   G06Q 50/00 20120101ALI20190826BHJP

   G06F 17/00 20190101ALI20190826BHJP

   G06F 21/62 20130101ALI20190826BHJP

【ＦＩ】

   G06F13/00 560A

   G06F13/00 540A

   G06Q50/00 300

   G06F17/00

   G06F21/62 354

【請求項の数】4

【全頁数】14

(21)【出願番号】特願2016-539837(P2016-539837)

(86)(22)【出願日】2015年7月30日

(86)【国際出願番号】JP2015003842

(87)【国際公開番号】WO2016021160

(87)【国際公開日】20160211

【審査請求日】2018年7月26日

(31)【優先権主張番号】特願2014-159020(P2014-159020)

(32)【優先日】2014年8月4日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】514197692

【氏名又は名称】エースチャイルド株式会社

(74)【代理人】

【識別番号】100174078

【弁理士】

【氏名又は名称】大谷 寛

(72)【発明者】

【氏名】西谷 雅史

(72)【発明者】

【氏名】古畠 敦

【審査官】 木村 雅也

(56)【参考文献】

【文献】 特開２００３−０６７３０４（ＪＰ，Ａ）

【文献】 ”エースチャイルド、子供のスマホ利用におけるLINEやFacebook、Twitterなどの危険を検知する「Filii」のAndroid向けアプリを提供開始”，アメーバニュース，[online]，２０１４年 ７月 ７日，[検索日 2019.05.21]，インターネット<URL:http://yukan-news.ameba.jp/20140707-4643/>

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １３／００

Ｇ０６Ｆ １７／００

Ｇ０６Ｆ ２１／６２

Ｇ０６Ｑ ５０／００

(57)【特許請求の範囲】

【請求項1】

登録者のインターネット上での危険を検出するための危険検出装置であって、
危険を示す用語を記憶した危険用語辞書に含まれる危険用語に基づいて、前記登録者の生活に伴い発生する電子データである生活データをレコードごとに記憶した生活データ・データベース内のレコードを特定する特定部と、
前記特定部により特定されたレコードの内容を代替する代替情報を判定する判定部と、
判定された前記代替情報を通知する通知部と
を含み、
前記危険用語辞書は、各危険用語が１又は複数のカテゴリーに分類されており、
前記判定部は、特定された前記レコードに含まれる危険用語のカテゴリーを前記代替情報として割り当てることを特徴とする危険検出装置。

【請求項2】

前記危険用語辞書は、各危険用語が複数のカテゴリーに分類されており、かつ、カテゴリーに応じてスコアが与えられており、
前記判定部は、特定された前記レコードに含まれる１又は複数の危険用語のそれぞれが有するスコアの合計値が大きい方のカテゴリーを前記代替情報として割り当てることを特徴とする請求項１に記載の危険検出装置。

【請求項3】

登録者のインターネット上での危険を検出するための危険検出方法であって、
危険を示す用語を記憶した危険用語辞書に含まれる危険用語に基づいて、前記登録者の生活に伴い発生する電子データである生活データをレコードごとに記憶した生活データ・データベース内のレコードを特定するステップと、
特定されたレコードの内容を代替する代替情報を判定するステップと、
判定された前記代替情報を通知するステップと
を含み、
前記危険用語辞書は、各危険用語が１又は複数のカテゴリーに分類されており、
前記判定部は、特定された前記レコードに含まれる危険用語のカテゴリーを前記代替情報として割り当てることを特徴とする危険検出方法。

【請求項4】

コンピュータに、登録者のインターネット上での危険を検出するための危険検出方法を実行させるための危険検出プログラムであって、前記危険検出方法は、
危険を示す用語を記憶した危険用語辞書に含まれる危険用語に基づいて、前記登録者の生活に伴い発生する電子データである生活データをレコードごとに記憶した生活データ・データベース内のレコードを特定するステップと、
特定されたレコードの内容を代替する代替情報を判定するステップと、
判定された前記代替情報を通知するステップと
を含み、
前記危険用語辞書は、各危険用語が１又は複数のカテゴリーに分類されており、
前記判定部は、特定された前記レコードに含まれる危険用語のカテゴリーを前記代替情報として割り当てることを特徴とする危険検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、危険検出装置、危険検出方法、及び危険検出プログラムに関し、より詳細には、登録者のインターネット上での危険を検出するための危険検出装置、危険検出方法、及び危険検出プログラムに関する。

【背景技術】

【0002】

近年、モバイル端末などの情報機器の普及が情報通信網の発展とともに急速に進み、インターネットの利用が大幅に広がっている。このような状況の中、インターネットの利用は、子供にも広く普及している。

【0003】

他方で、情報リテラシーの高くない人々、特に若年の子供が、インターネット上でトラブルに巻き込まれる事例も目立つようになり、子供が用いる情報機器に対し、フィルタリング、アクセス制限等の機能制限を課す家庭も少なくない。トラブルの例としては、たとえば、掲示板への誹謗中傷等の書き込み、出会い系サイトにおける被害等が挙げられる。

【0004】

特許文献１は、アクセス制限の例であり、子供にも通信端末を使用することは認めたいが、それにより有害なコンテンツが子供の目に触れるようなことは防ぎたいという要望を背景に発明された、ネットワーク上のリソースに対するアクセスを簡易な構成で適切に規制することのできる携帯電話機が記載されている。

【0005】

図１を参照して説明すると、携帯電話機４０は、移動パケット通信網３０およびインターネット２０を介してコンテンツサーバ１０Ａ、１０Ｂとパケット通信を行う機能を有しており、さらに、ペアレントロック機能を有する。ペアレントロック機能は、インターネット２０上のコンテンツサーバ１０Ａ、１０Ｂ等が提供するサイトに対する携帯電話機４０のアクセスを制限する機能であって、携帯電話機４０の使用者が未成年者・子供等である場合に、親等の保護者が予め携帯電話機４０のメモリに登録しておいたサイトにしか携帯電話機４０がアクセスできないようにする機能である。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００３−１８６８４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、現在、子供にとっても、インターネットの利用は社会生活を営む上で必須とも言えるものになりつつあり、機能制限を課すことは、長期的には現実的な解ではない。今後、インターネット利用が進む傾向が逆行することも考えにくいため、仮に、ある家庭において子供のインターネット利用を制限しても、その子供の周囲での利用までも制限できるものではなく、掲示板への悪意のある書き込み、いじめ等のトラブルに巻き込まれるおそれが依然としてある。

【0008】

たとえば、いじめは、その対象となってしまった子供は親に言うことができず、親の知らないところで苦しんでいる場合も少なくなく、早期の発見が重要である。

【0009】

本発明は、このような問題点に鑑みてなされたものであり、その目的は、子供等へのインターネット利用を許容しつつ、インターネット利用に伴い危険に晒されることを抑制することのできる危険検出装置、危険検出方法及び危険検出プログラムを提供することにある。

【0010】

ここで、本明細書において「危険」とは、危害または損失が生じるおそれがある状況を意味し、危害または損失が現に生じている状況も、さらなる危害または損失が生じるおそれがある状況にあるという意味で、「危険」に包含される。

【課題を解決するための手段】

【0011】

このような目的を達成するために、本発明の第１の態様は、登録者のインターネット上での危険を検出するための危険検出装置であって、危険を示す用語を記憶した危険用語辞書に含まれる危険用語に基づいて、前記登録者の生活に伴い発生する電子データである生活データをレコードごとに記憶した生活データ・データベース内のレコードを特定する特定部と、前記特定部により特定されたレコードの内容を代替する代替情報を判定する判定部と、判定された前記代替情報を通知する通知部とを含むことを特徴とする。

【0012】

また、本発明の第２の態様は、第１の態様において、前記通知は、特定された前記レコードの内容をそのまま通知することなく行うことを特徴とする。

【0013】

また、本発明の第３の態様は、第１又は第２の態様において、前記特定部は、前記生活データ・データベース内のレコードの１又は複数の形態素をキーとして、前記危険用語辞書に含まれる危険用語が識別される場合に、前記レコードを特定することを特徴とする。

【0014】

また、本発明の第４の態様は、第１又は第２の態様において、前記特定部は、前記危険用語辞書に含まれる１又は複数の危険用語をキーとして、前記生活データ・データベースに含まれるレコードが識別される場合に、前記レコードを特定することを特徴とする。

【0015】

また、本発明の第５の態様は、第３又は第４の態様において、前記危険用語辞書は、各危険用語の危険度を表すスコアを含むことを特徴とする。

【0016】

また、本発明の第６の態様は、第５の態様において、前記特定部は、前記生活データ・データベース内のレコードに含まれる１又は複数の危険用語のそれぞれが有するスコアの合計値が所定値以上である場合に、前記レコードを特定することを特徴とする。

【0017】

また、本発明の第７の態様は、第１から第６のいずれかの態様において、前記登録者は子供であることを特徴とする。

【0018】

また、本発明の第８の態様は、第７の態様において、前記通知は、前記登録者の保護者に対して通知することを含むことを特徴とする。

【0019】

また、本発明の第９の態様は、第１から第８のいずれかの態様において、前記生活データは、ＳＮＳへの投稿、掲示板への書き込み、及びダイレクトメッセージのいずれかであることを特徴とする。

【0020】

また、本発明の第１０の態様は、第１から第９の態様において、前記代替情報は、特定された前記レコードの内容に対応する、前記レコードが表す可能性のある危険の区分であるカテゴリーを含むことを特徴とする。

【0021】

また、本発明の第１１の態様は、第１０の態様において、前記危険用語辞書は、各危険用語がカテゴリー毎に分類されており、前記判定部は、特定された前記レコードに含まれる危険用語のカテゴリーを前記代替情報として割り当てることを特徴とする。

【0022】

また、本発明の第１２の態様は、第１０の態様において、前記危険用語辞書は、各危険用語が複数のカテゴリーに分類されており、かつ、カテゴリーに応じてスコアが与えられており、前記判定部は、特定された前記レコードに含まれる１又は複数の危険用語のそれぞれが有するスコアの合計値が大きい方のカテゴリーを前記代替情報として割り当てることを特徴とする。

【0023】

また、本発明の第１３の態様は、第１０の態様において、前記判定部は、特定された前記レコードから、主体、客体、及び行為を抽出し、抽出された前記主体、前記客体、及び前記行為に基づいて、前記レコードに対応する前記カテゴリーを前記代替情報として割り当てることを特徴とする。

【0024】

また、本発明の第１４の態様は、第１３の態様において、前記割り当ては、主体、客体及び行為を入力、カテゴリーを出力とする、予め定義された割当関数により行うことを特徴とする。

【0025】

また、本発明の第１５の態様は、第１３又は第１４の態様において、前記抽出は、形態素解析により行うことを特徴とする。

【0026】

また、本発明の第１６の態様は、第１から第１５のいずれかの態様において、前記代替情報は、特定された前記レコードに含まれる危険用語を含む例文を含むことを特徴とする。

【0027】

また、本発明の第１７の態様は、第１６の態様において、前記特定部は、特定された前記レコードに含まれる１又は複数の危険用語を前記判定部に提供し、前記判定部は、前記１又は複数の危険用語のそれぞれが有するスコアの合計値に基づいて、複数用意された例文のうちの１つの例文を選択することを特徴とする。

【0028】

また、本発明の第１８の態様は、第１６の態様において、前記危険用語辞書は、各危険用語が複数のカテゴリーに分類されており、かつ、カテゴリーに応じてスコアが与えられており、前記特定部は、特定された前記レコードに含まれる１又は複数の危険用語を前記判定部に提供し、前記判定部は、前記１又は複数の危険用語のそれぞれが有するスコアの合計値のうち大きい方の合計値に基づいて、複数用意された例文のうちの１つの例文を選択することを特徴とする。

【0029】

また、本発明の第１９の態様は、第１６から第１８のいずれかの態様において、前記代替情報は、特定された前記レコードに含まれる危険用語に関連づけられた参考事例を含むことを特徴とする。

【0030】

また、本発明の第２０の態様は、第１から第１９のいずれかの態様において、前記通知は、前記代替情報に加えて、特定された前記レコードに含まれる危険用語、生活データの取得元、及び生活データが発生した日時のうちの少なくとも１つを通知することを特徴とする。

【0031】

また、本発明の第２１の態様は、第１から第２０のいずれかの態様において、前記レコードは、ダイレクトメッセージであり、前記通知は、前記ダイレクトメッセージの相手方を通知することを特徴とする。

【0032】

また、本発明の第２２の態様は、第１から第２１のいずれかの態様において、危険用語のスコアに応じて、前記代替情報の表示態様を変更することを特徴とする。

【0033】

また、本発明の第２３の態様は、第１から第２２のいずれかの態様において、前記登録者は、前記代替情報の通知を受けることができることを特徴とする。

【0034】

また、本発明の第２４の態様は、登録者のインターネット上での危険を検出するための危険検出方法であって、危険を示す用語を記憶した危険用語辞書に含まれる危険用語に基づいて、前記登録者の生活に伴い発生する電子データである生活データをレコードごとに記憶した生活データ・データベース内のレコードを特定するステップと、前記特定部により特定されたレコードの内容を代替する代替情報を判定するステップと、判定された前記代替情報を通知するステップとを含むことを特徴とする。

【0035】

また、本発明の第２５の態様は、コンピュータに、登録者のインターネット上での危険を検出するための危険検出方法を実行させるための危険検出プログラムであって、前記危険検出方法は、危険を示す用語を記憶した危険用語辞書に含まれる危険用語に基づいて、前記登録者の生活に伴い発生する電子データである生活データをレコードごとに記憶した生活データ・データベース内のレコードを特定するステップと、前記特定部により特定されたレコードの内容を代替する代替情報を判定するステップと、判定された前記代替情報を通知するステップとを含むことを特徴とする。

【発明の効果】

【0036】

本発明によれば、登録者のインターネット上での危険を検出するための危険検出装置において、危険を示す用語を記憶した危険用語辞書に含まれる危険用語に基づいて生活データのレコードを特定し、特定されたレコードの内容を代替する代替情報によって、登録者に関する危険の存在を通知することによって、登録者のプライバシーに配慮し、登録者の抵抗感を大幅に下げつつ、早期に危険検出を行うことができる。

【図面の簡単な説明】

【0037】

【図1】アクセス制限機能を有する従来の携帯電話機を説明するための図である。

【図2】本発明の第１の実施形態にかかる危険検出装置を示す図である。

【図3】本発明の第１の実施形態にかかるウェブブラウザへの表示の一例である。

【図4】本発明の第４の実施形態にかかる生活データに基づくレーダーチャートを示す図である。

【発明を実施するための形態】

【0038】

以下、図面を参照して本発明の実施形態を詳細に説明する。

【0039】

（第１の実施形態）
図２に、本発明の第１の実施形態にかかる危険検出装置を示す。危険検出装置２００は、保護者により登録された子供等の予め登録された登録者のインターネット上での危険を検出するための装置であり、危険を示す用語を記憶した危険用語辞書２０１に含まれる危険用語をキーとして、登録者の生活に伴い発生する電子データである生活データをレコードごとに記憶した生活データ・データベース（ＤＢ）２０２に含まれるレコードを識別して特定する特定部２１０と、特定された生活データ・データベース２０２内のレコードの内容を代替する代替情報を判定する判定部２２０と、判定された代替情報を通知する通知部２３０とを備える。

【0040】

登録者の登録は、たとえば、危険検出装置２００上で動作するウェブサイトにインターネットを介してアクセスして、行うことができる。

【0041】

危険用語辞書２０１は、危険の区分であるカテゴリー毎に分類することができる。カテゴリーとしては、いじめ、青少年系犯罪（あるいは少年の福祉を害する犯罪（福祉犯））等が挙げられる。いじめカテゴリーには、暴力・悪口・不当な要求・無視・いやがらせ等のサブカテゴリーを作成してもよい。また、青少年系犯罪には、出会い系・薬物・わいせつ・未成年禁止行為・犯罪行為等のサブカテゴリーを作成してもよい。各用語には、当該用語が表す危険の危険度を示すパラメータ（スコア）を与えてもよく、このスコアは、同一用語であっても、その用語が属するカテゴリーないしサブカテゴリーに応じて異なっていてもよい。

【0042】

生活データは「ライフログ」とも呼ぶことができる。生活データＤＢ２０２は、たとえば、ＳＮＳから提供されているＡＰＩを用いて、当該ＳＮＳへの投稿、当該ＳＮＳ上でのダイレクトメッセージ等を生活データとして取得し、それぞれを１レコードとして格納することができる。生活データは、ＳＮＳに限らず、たとえばゲームプラットフォームから取得してもよい。さらに、生活データは、インターネット上の掲示板への書き込み、登録者が用いるモバイル端末等の情報機器上でローカルに存在する電子メール等のメッセージ等を含むことができる。インターネット上への書き込みは、登録者に関連する情報（名前、所属、位置情報、他サービスのアカウント名、特定キーワード等）、登録者に関連する人物（ＳＮＳ、ウェブサービス上等で交流のある人物）の情報等を手掛かりに、掲示板上から該当する投稿データを探していくことができる。また、生活データは、スマートフォン等のＯＳが提供するＡＰＩを用いて、スマホアプリがＯＳに通知するテキスト、画像、数値データ等を取得してもよい。ＯＳに通知されるテキスト等の具体例としては、１対多、多対多のＬＩＮＥ（登録商標）等のチャットアプリにおけるグループメッセージが挙げられる。

【0043】

生活データとしては、文字データのほか、ビジュアル・データ、オーディオ・データを含むことができる。ビジュアル・データには、動画及び画像が含まれる。

【0044】

本実施形態にかかる危険検出装置は、特定されたレコードの内容をそのまま当該装置の利用者に通知してしまうのではなく、代替情報に代替して通知することによって、登録者のプライバシーに配慮し、登録者の抵抗感を大幅に下げることができる。子供を登録者、親等の保護者を利用者として考えた場合、子供の生活に伴い危険が生じている可能性があることを検出することができても、それに関連する投稿、会話、写真等を直接保護者に見せてしまうことは、子供のプライバシーを著しく損なう可能性がある。そこで、子供にも安心して保護者による本装置の利用を許容してもらうために、代替情報によって危険を示す。

【0045】

また、一方的な保護者からの監視は、子供の反発を招くため、保護者だけが危険の検出結果を参照するのではなく、子供もまったく同じ情報を得ることを可能にしてもよい。このようにすることで、子供の納得感を高めることができる。

【0046】

なお、特定部２１０は、危険用語辞書２０１に含まれる危険用語をキーとして識別を行うほか、生活データＤＢ２０２内のレコードの１又は複数の形態素をキーとして、危険用語辞書２０１に含まれる危険用語が識別される場合に、当該レコードを特定することもでき、これらの態様のように、危険用語に基づいて、レコードを特定すればよい。

【0047】

また、特定部２１０は、生活データＤＢ２０２内のレコードに含まれる１又は複数の危険用語のそれぞれが有するスコアの合計値が所定値以上である場合に、当該レコードを特定してもよい。

【0048】

判定部の詳細
判定部２２０は、特定部２１０において特定されたレコードが表す可能性のある危険の区分であるカテゴリーを、代替情報として判定することができる。

【0049】

危険用語辞書２０１が、カテゴリー毎に分類されている場合には、判定部２２０は、特定されたレコードに含まれる危険用語が属するカテゴリー又はサブカテゴリーを代替情報として割り当てることができる。

【0050】

各危険用語が複数のカテゴリーに分類されており、また、カテゴリーに応じてスコアが与えられている場合には、判定部２２０は、特定されたレコードに含まれる１又は複数の危険用語のそれぞれが有するスコアの合計値が大きい方のカテゴリーを代替情報として割り当てることができる。

【0051】

あるいは、判定部２２０は、特定されたレコードから、主体、客体、及び行為を抽出し、抽出された主体、客体、及び行為に基づいて、当該レコードに対応するカテゴリーを代替情報として割り当てるができる。より具体的には、抽出された主体、客体、及び行為とその関係性から、文が表現する事象を要約し、あらかじめ構築されたカテゴリー情報を付与した要約文リストと比較することで、当該レコードに対応するカテゴリーを代替情報として割り当てるができる。この際、主体、客体、及び行為の抽出に関しては形態素解析を行い、関係性については係り受け分析を行うことができる。文章が長い場合などで、主体、客体、及び行為の要素が複数となる場合は危険用語辞書と比較し、係り受けの関係性を踏まえた上で注目すべき要素を優先して抽出することができる。主体等の抽出は、形態素解析により行うことができる。

【0052】

生活データが画像データの場合には、危険用語辞書２０１を用いるのではなく、たとえば以下のように代替情報の判定を行うことができる。

【0053】

まず、画像データに付与されているメタ情報（投稿ユーザ/タイトル/コメント/付加された位置情報等）から推定されるシチュエーション（集合写真/海水浴/自室等）を特定する。

【0054】

また、顔認識処理を実施し、画像内の人物が分析対象の本人か否かを判断し、タグ情報として追加する。

【0055】

次に、シチュエーションごとにカスタマイズされた分析ロジックにより、画像に含まれる要素（（若い）女性、水着、浜辺、夕方等）を特定し、当該要素の普通名詞等をタグ情報として追加する。

【0056】

ここで、シチュエーションごとのカスタマイズとは、たとえば、海水浴であれば青、肌色、白等に強い重み付けを与えることなど、ロジックの判定に使用する値、場合によってはロジックそのものをカスタマイズすることをいう。

【0057】

最後に、事前に危険状況を示す文章（「若い女性が浜辺で水着を着て自画撮りをしている」等）と、その文章に対して危険度の基準スコアを用意しておき、追加されたタグ情報と、当該危険状況を示す文章の一致度で、画像の示す可能性のある危険状況を判断する。たとえば、危険状況を示す文章に含まれる形態素とタグ情報との一致の数に基づいて、一致度を算定してもよい。その際、危険度の基準スコアを利用し、危険度の高低を判断する。文字データと同様に、危険度が所定値以上である場合に通知をしてもよいし、危険状況を示す文章が複数用意されている場合には危険度の高い方の文章を代替情報としてもよい。

【0058】

動画解析の場合は、動画中の音声データに関し、既存のテキスト化技術を利用してテキスト化して前記メタ情報に加えることができる。動画に対し、画像分析を連続して行うことで動画分析を実現することができる。

【0059】

通知部の詳細
通知部２３０は、代替情報を本装置の利用者に通知するが、たとえば、利用者が本装置上或は本装置に関連して動作するウェブサイトにアクセスした際に、ウェブブラウザに表示することにより通知を行うことができる。

【0060】

図３に、本実施形態にかかるウェブブラウザへの表示の一例を示す。ウェブブラウザ３００には、アラートリストとして、検出された危険を一覧表示することができる。注目単語として、レコードに含まれる危険単語、カテゴリーとして、判定した代替情報、日時として、生活データの発生日時、やりとり対象として、生活データがダイレクトメッセージ、チャットアプリのグループメッセージなどである場合には相手方等を表示することができる。Twitter（登録商標）、Facebook（登録商標）等の生活データの取得元も表示することができる。

【0061】

交通機関系カードの利用データも取得しておくことで、危険が発生した際の付加情報として、たとえば生活データの発生日時に最も近い日時における利用データに基づいて、利用交通手段で移動経路、場所等を通知することもできる。

【0062】

危険用語辞書２０１内の用語に危険度を示すスコアが与えられている場合には、危険度に応じて、各アラート（レコード）の表示態様を変更することもできる。

【0063】

（第２の実施形態）
本発明の第２の実施形態は、判定部２２０において判定される代替情報を除いて、第１の実施形態と同一である。

【0064】

本実施形態では、判定部２２０において、特定部２１０にて特定されたレコードに含まれる危険用語を含む例文を代替情報として判定する。子供には子供の感性があり、親にはなかなか理解できない点で思い悩むことも少なくない。そこで、本実施形態では、危険を表す可能性のあるキーワード（単語）を含む、具体的な危険性を想起させるような例文を提示する。このようにすることにより、保護者に対し、早期に、かつ、子供の抵抗感を下げつつ危険の存在を通知するとともに、その危険の内容を確実に伝えることができる。

【0065】

特定部２１０は、特定されたレコードに含まれる１又は複数の危険用語を判定部２２０に提供し、判定部２２０は、当該１又は複数の危険用語のそれぞれが有するスコアの合計値に基づいて、複数用意された例文のうちの１つの例文を選択することができる。

【0066】

たとえば、危険用語「バカ」及び「消える」が、特定レコードに含まれる場合、「お前みたいなバカは今すぐこの世から消えろ。」（例文１）、「バカだ！今すぐ消えたい(^▽^;)」（例文２）等の複数の例文を予め用意しておき、スコアが所定値以上であれば、より高い危険を示す例文１、所定の値未満であれば、軽度の危険を示す例文２を示すようにすることができる。

【0067】

例文は、すべての危険用語に対して用意しても、所定値以上のスコアを有する危険用語に対してのみ用意してもよい。上記の例では、「バカ」及び「消える」に対して例文が複数用意されており、レコードに含まれる「バカ」及び「消える」以外の危険用語の有無及びスコアの値に応じて、スコアの合計値が変動し、選択される例文が例文１となるか、例文２となるかが決定される。

【0068】

特定部２１０における識別の際には、レコードに含まれる「消えろ」、「消えたい」は、終止形に変換してから比較を行うことができ、このようにすれば、危険用語辞書２０１には「消える」のみを記憶しておけばよい。

【0069】

また、危険用語辞書２０１において、各危険用語が複数のカテゴリーに分類されており、かつ、カテゴリーに応じてスコアが与えられている場合には、判定部２２０は、特定部２１０から提供された１又は複数の危険用語のそれぞれが有するスコアの合計値のうち大きい方の合計値に基づいて、複数用意された例文のうちの１つの例文を選択してもよい合計値が同一の値のときは、デフォルトで決めてもよいし、危険用語数の多い方としてもよい。

【0070】

さらに、当該キーワードに関連づけられた過去の参考事例、対処方法の例等の追加情報をあわせて表示することによって、一層確実な内容伝達が可能となる。たとえば、危険検出装置２００を提供する会社の自社コンテンツ（ブログなど）の提示、ネット上の関連コンテンツ（ニュース記事、動画、他社ブログ等）のリンクの提示等を行うことができる。

【0071】

（第３の実施形態）
本発明の第３の実施形態は、判定部２２０における判定対象となるレコードが複数の危険用語を含む場合の判定処理の詳細に関する。

【0072】

本実施形態では、判定部２２０において、特定部２１０にて特定されたレコードに含まれる複数の危険用語に基づいてカテゴリーを判定する。この場合、危険用語辞書２０１は、各組の危険用語が、レコードが表す可能性のある危険の区分であるカテゴリー毎に分類されることになる。たとえば、「学校」及び「来る」が特定されたレコードに含まれる場合、必ずしもこのレコードが表す危険は分からないが、さらに「迷惑」が含まれていると、「迷惑だから学校くるな！」といったいじめの危険性を精度良く判定することが可能となる。

【0073】

レコードがチャットアプリなどにおける対話形式のメッセージの場合、１メッセージのみでは十分な情報が得られないこともある。こうした対話は短いやりとりが続く傾向にあり、一連のメッセージをみないと文脈が分からないのである。そこで、数分間等、所定の期間内の複数のメッセージを１つの話題、一連の会話（以下「トークセット」ともいう。）として扱うことによって、判定精度を高めることができる。

【0074】

危険用語辞書２０１に記憶される各組の危険用語には、複数の危険用語を含むメッセージ（以下「サンプルメッセージ」ともいう。）、トークセット（以下「サンプルトークセット」ともいう。）などを事前に分析して、対応するカテゴリーを割り当てておけばよい。トークセットについては、その中に含まれる危険用語に加えて、その会話構造の特徴も記憶しておくことができる。たとえば、「Ａ 学校来ないで。」「Ｂ なんで？」「Ａ 迷惑だから。」という会話構造の特徴も「学校」、「来る」（終止形）、「迷惑」に加えて記憶しておくことができる。判定対象のレコードとサンプルメッセージ又はサンプルトークとの一致度を一致する危険用語の数、会話構造等に依拠して決定し、一致度の高いものに与えられたカテゴリーを代替情報とすることができる。

【0075】

画像や動画の投稿も１つのメッセージのまとまりとして扱い、一連の会話と画像・動画を組み合わせて分析を行うこともできる。

【0076】

（第４の実施形態）
第１乃至第３の実施形態では日本語を例に説明してきたが、本発明は、レコードの内容がその他の言語によって記述されていても適用可能である。その際、文字データの記載内容、画像データのメタ情報の記載内容等に基づいて言語を推測して、危険用語辞書２０１を、日本語等の第１の言語用のものからその他の第２の言語用のものに切り換えることができる。言語の推測は、スマートフォン、タブレットなどのユーザー端末の表示言語設定、キーボード・音声等の入力言語設定、画像のＥＸＩＦ情報等のメタ情報から判断される位置情報等を用いて行うこともできる。

【0077】

同様に、同一言語内の方言に応じた切り換えも行うことができる。各方言の特徴を表す用語を記憶した方言辞書を設け、当該方言辞書に含まれる危険用語に基づいて方言を推測して、危険用語辞書２０１を、日本語の標準語等の第１の方言用のものから大阪弁等の第２の方言用のものに切り換えることができる。たとえば「アホ」の意味合いが関東と関西では異なることが知られており、同一のスコアリングを用いることは必ずしも適切ではない。

【0078】

（第５の実施形態）
子供を抱える学校は、生徒のスマートフォン、ＳＮＳなどの利用実態を把握することを望んでいる。本実施形態にかかる危険検出装置２００は、判定部２２０の一部として、あるいは別の機能として登録部（図示せず）を有し、判定された代替情報を生活データＤＢ２０２に対応するレコードと関連づけて登録する。このようにして蓄積された分析済みの生活データは、さまざまな学校向けのレポーティングに活用することが可能である。

【0079】

たとえば、各生徒を危険検出装置２００に登録しておき、複数の生徒の利用実態を匿名化して、分析済みの生活データからサマリーデータを生成することができる。カテゴリー毎の発生件数、学年別の発生件数、学期・年度等の期間別の発生件数等のデータを生成することができる。

【0080】

カテゴリー（サブカテゴリー）別の発生件数は、たとえば図４に示すようにレーダーチャートとしてユーザー端末のウェブブラウザなどに表示させることができる。レーダーチャートには、他校のデータ、特定の地域の平均データなどもあわせて表示することができる。発生件数は、図示のように３段階、５段階等に段階的に頻度を表してもよい。

【0081】

レーダ―チャート上の各カテゴリーはクリッカブルとすることができ、ユーザーがクリック又はタップしたことに応じて、各カテゴリーに関連づけられた過去の参考事例、対処方法の例等の追加情報を表示することができる。たとえば、炎上については、「弁護士に連絡して予防策、対策を打ちましょう。」といった助言を表示し、また、相談可能な連絡先を提示することが挙げられる。

【0082】

また、時間的な推移を知るために、時系列データとして表示させることも可能である。このようにすることで、従来の単発のアンケートとは異なり、利用実態を継続的に把握することが容易になる。

【0083】

その他のデータとしては、各生徒の１日のメッセージング回数、１日のアクティブ回数、ＳＮＳの友達数等も生活データ内のレコードを分析することが算出が可能であり、あわせて表示することができる。

【0084】

ここでは、学校向けのレポーティングについて説明したが、スマートフォンの利用実態をマーケティングに活用したい事業会社向けに行う場合にも同様である。

【0085】

（第６の実施形態）
主に生活データをレコードごとに記憶した生活データＤＢ２０２を用いる例で説明をするが、ＳＮＳ、ゲームプラットフォーム、掲示板サイトなどの生活データを受け取る事業者自体のコンピュータを危険検出装置として機能させることもできる。この場合には、受け取った生活データを一度生活データＤＢ２０２に格納して、そこからレコードを特定部２１０によって特定してもよいが、生活データを危険検出装置が受信部（図示せず）により受け取ることをもって判定対象のレコードの内容を決定することもできる。

【0086】

ＳＮＳを提供するサーバに、危険検出方法を実行させるためのプログラムを追加して危険検出を行う場合には、ユーザー間のコミュニケーション・ツール上のダイレクトメッセージ又はグループメッセージをレコードとして分析を行い、対応するカテゴリーを付与する。ここで、言うまでもないが、サーバは、複数の分散されたサーバとしてもよく、危険検出を行うためのプログラムも、複数のプログラムにより構成されたものとしてもよいことを付言する。付与されたカテゴリーは、判定部２２０の一部あるいは別の機能である登録部（図示せず）によりレコードに関連づけて登録を行う。このようにして蓄積された分析済みの生活データは、ＳＮＳの提供会社が当該ＳＮＳの利用実態を把握し、必要に応じてその改善を図るためのアクションを可能とする。提供会社としては、サービスの想定される利用実態と現実の利用実態が乖離しないよう、モニタリングをできることが望ましい。

【0087】

たとえば、第５の実施形態にて説明したサマリーデータの表示のほか、発生日時、カテゴリー及びユーザーＩＤの一覧を表示させることができる。さらに、各レコードへのリンクを一覧に含め、提供会社が問題のある可能性があるレコードの内容を直接目視で確認することができる。レコードの内容をそのまま通知することとなるが、提供会社の管理用途であるため許容される。さらに、当該カテゴリーが付与されたレコードの同一ユーザーＩＤによる発生回数又は発生インターバル、メッセージの相手方のユーザーＩＤ、メッセージに関連づけられたグループＩＤ、コミュニケーション・ツール名等のデータも一覧データに含ませることが可能である。カテゴリーが付与されたレコードの内容、発生回数等に基づいて、当該レコードのメッセージを送信したユーザーのユーザーＩＤを自動的に又指定を受けて利用停止又は削除することもできる。

【0088】

本実施形態にかかる危険検出装置は、ＳＮＳ以外のコミュニケーション・サービスについても当然適用ができるところ、各サービスによって、検出が必要となる危険の区分であるカテゴリーが異なってくることがある。そのような場合には、危険用語辞書２０１内で用いるカテゴリーをサービス毎に変更することができる。ユーザー端末からサービス名を取得して、危険用語辞書２０１を、第１のサービス用のものからその他の第２のサービス用のものに自動切り替え可能としてもよい。また、危険用語辞書２０１自体を切り換えるのではなく、危険用語辞書２０１内で用いられるカテゴリーを各サービスに適したカテゴリーにマッピングするマッピングテーブルを参照して、各サービスに適したカテゴリーを判定していくようにしてもよい。

【符号の説明】

【0089】

２００ 危険検出装置
２０１ 危険用語辞書
２０２ 生活データ・データベース
２１０ 特定部
２２０ 判定部
２３０ 通知部

【図1】

【図2】

【図3】

【図4】