IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ライン プラス コーポレーションの特許一覧

<>
  • 特許-情報検証方法およびシステム 図1
  • 特許-情報検証方法およびシステム 図2
  • 特許-情報検証方法およびシステム 図3
  • 特許-情報検証方法およびシステム 図4
  • 特許-情報検証方法およびシステム 図5
  • 特許-情報検証方法およびシステム 図6
  • 特許-情報検証方法およびシステム 図7
  • 特許-情報検証方法およびシステム 図8
  • 特許-情報検証方法およびシステム 図9
  • 特許-情報検証方法およびシステム 図10
  • 特許-情報検証方法およびシステム 図11
  • 特許-情報検証方法およびシステム 図12
  • 特許-情報検証方法およびシステム 図13
  • 特許-情報検証方法およびシステム 図14
  • 特許-情報検証方法およびシステム 図15
  • 特許-情報検証方法およびシステム 図16
  • 特許-情報検証方法およびシステム 図17
  • 特許-情報検証方法およびシステム 図18
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-25
(45)【発行日】2025-03-05
(54)【発明の名称】情報検証方法およびシステム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20250226BHJP
   G06Q 50/10 20120101ALI20250226BHJP
【FI】
G06T7/00 660A
G06Q50/10
【請求項の数】 19
(21)【出願番号】P 2020180497
(22)【出願日】2020-10-28
(65)【公開番号】P2021072119
(43)【公開日】2021-05-06
【審査請求日】2023-10-18
(31)【優先権主張番号】10-2019-0135858
(32)【優先日】2019-10-29
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】516014409
【氏名又は名称】ライン プラス コーポレーション
【氏名又は名称原語表記】LINE Plus Corporation
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ユ ドングン
(72)【発明者】
【氏名】ジョン ミンジュ
(72)【発明者】
【氏名】ユン ミョンハン
(72)【発明者】
【氏名】ハン キルロ
【審査官】▲広▼島 明芳
(56)【参考文献】
【文献】米国特許出願公開第2019/0188453(US,A1)
【文献】特開2016-051482(JP,A)
【文献】特開2019-153227(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00 - 7/90
G06Q 50/10
(57)【特許請求の範囲】
【請求項1】
ユーザー端末で動作してビデオ通話サービスを提供するインスタントメッセージングアプリケーションを介して受信された情報を検証する方法において、
第1のユーザーアカウントにより指定されるユーザーの性別を受信するステップと、
前記アプリケーションが動作される間に、イメージセンサを通じて撮像された顔が含まれたイメージを受信するステップと、
前記受信されたイメージを人工ニューラルネットワークモデルに入力し、前記受信されたイメージ内に含まれた顔のユーザーの性別を出力するステップと、
前記出力された性別に基づいて前記受信された性別を検証するステップとを含む、情報を検証する方法において、第2のユーザーアカウントから前記第1のユーザーアカウントに対する評価情報を受信するステップをさらに含み、
前記出力された性別に基づいて前記受信された性別を検証するステップは、前記受信された評価情報および前記出力された性別に基づいて前記受信された性別を検証するステップを含む、情報を検証する方法。
【請求項2】
前記人工ニューラルネットワークモデルは、複数の学習イメージを示すデータおよび前記複数の学習イメージ内の人物に対する性別を示すデータに基づいて機械学習を遂行して生成される、請求項1に記載の情報を検証する方法。
【請求項3】
前記受信されたイメージは、衣服を含み、
前記受信されたイメージ内に含まれた顔のユーザーの性別を出力するステップは、
前記受信されたイメージからイメージフィーチャー(image feature)を抽出するステップと、
前記抽出されたイメージフィーチャーを前記人工ニューラルネットワークモデルに入力して前記性別を出力するステップとを含む、請求項1または2に記載の情報を検証する方法。
【請求項4】
前記出力された性別に基づいて前記受信された性別を検証するステップは、前記出力された性別が前記受信された性別と異なる場合、前記受信されたイメージを別途のモニタリングシステムに提供するステップを含む、請求項1~3のいずれか1項に記載の情報を検証する方法。
【請求項5】
前記出力された性別に基づいて前記受信された性別を検証するステップは、前記出力された性別が前記受信された性別と同一であり、前記出力された性別の信頼度が予め決定された信頼度以下である場合、前記受信されたイメージを前記別途のモニタリングシステムに提供するステップを含む、請求項4に記載の情報を検証する方法。
【請求項6】
前記別途のモニタリングシステムにおいて前記受信された性別が前記第1のユーザーアカウントにより指定されるユーザーの性別と異なると判定された場合、ペナルティが前記第1のユーザーアカウントに対して付与される、請求項5に記載の情報を検証する方法。
【請求項7】
ユーザー端末で動作してビデオ通話サービスを提供するインスタントメッセージングアプリケーションを介して受信された情報を検証する方法において、
第1のユーザーアカウントにより指定されるユーザーの性別を受信するステップと、
前記アプリケーションが動作される間に、イメージセンサを通じて撮像された顔が含まれたイメージを受信するステップと、
前記受信されたイメージを人工ニューラルネットワークモデルに入力し、前記受信されたイメージ内に含まれた顔のユーザーの性別を出力するステップと、
前記出力された性別に基づいて前記受信された性別を検証するステップとを含む、情報を検証する方法において、前記第1のユーザーアカウントに関連した関心事情報を受信するステップをさらに含み、
前記出力された性別に基づいて前記受信された性別を検証するステップは、前記関心事情報および前記出力された性別に基づいて前記受信された性別を検証するステップを含む、情報を検証する方法。
【請求項8】
ユーザー端末で動作してビデオ通話サービスを提供するインスタントメッセージングアプリケーションを介して受信された情報を検証する方法において、
第1のユーザーアカウントにより指定されるユーザーの性別を受信するステップと、
前記アプリケーションが動作される間に、イメージセンサを通じて撮像された顔が含まれたイメージを受信するステップと、
前記受信されたイメージを人工ニューラルネットワークモデルに入力し、前記受信されたイメージ内に含まれた顔のユーザーの性別を出力するステップと、
前記出力された性別に基づいて前記受信された性別を検証するステップとを含む、情報を検証する方法において、前記第1のユーザーアカウントが提供した、1つ以上の第2のユーザーアカウントに対する評価情報を受信するステップをさらに含み、
前記出力された性別に基づいて前記受信された性別を検証するステップは、前記受信された第1のユーザーアカウントが提供した、1つ以上の第2のユーザーアカウントに対する評価情報および前記出力された性別に基づいて前記受信された性別を検証するステップを含む、情報を検証する方法。
【請求項9】
ユーザー端末で動作してビデオ通話サービスを提供するインスタントメッセージングアプリケーションを介して受信された情報を検証する方法において、
第1のユーザーアカウントにより指定されるユーザーの性別を受信するステップと、
前記アプリケーションが動作される間に、イメージセンサを通じて撮像された顔が含まれたイメージを受信するステップと、
前記受信されたイメージを人工ニューラルネットワークモデルに入力し、前記受信されたイメージ内に含まれた顔のユーザーの性別を出力するステップと、
前記出力された性別に基づいて前記受信された性別を検証するステップとを含む、情報を検証する方法において、前記第1のユーザーアカウントと以前にマッチングされた相手である1つ以上の第2のユーザーアカウントを受信するステップをさらに含み、
前記出力された性別に基づいて前記受信された性別を検証するステップは、前記受信された1つ以上の第2のユーザーアカウントに対する情報および前記出力された性別に基づいて前記受信された性別を検証するステップを含む、情報を検証する方法。
【請求項10】
ユーザー端末で動作してビデオ通話サービスを提供するインスタントメッセージングアプリケーションを介して受信された情報を検証する方法において、
第1のユーザーアカウントにより指定されるユーザーの性別を受信するステップと、
前記アプリケーションが動作される間に、イメージセンサを通じて撮像された顔が含まれたイメージを受信するステップと、
前記受信されたイメージを人工ニューラルネットワークモデルに入力し、前記受信されたイメージ内に含まれた顔のユーザーの性別を出力するステップと、
前記出力された性別に基づいて前記受信された性別を検証するステップとを含む、情報を検証する方法において、前記第1のユーザーアカウントに対する申告情報を受信するステップをさらに含み、
前記出力された性別に基づいて前記受信された性別を検証するステップは、前記受信された申告情報および前記出力された性別に基づいて前記受信された性別を検証するステップを含む、情報を検証する方法。
【請求項11】
ユーザー端末で動作してビデオ通話サービスを提供するインスタントメッセージングアプリケーションを介して受信された情報を検証する方法において、
第1のユーザーアカウントにより指定されるユーザーの性別を受信するステップと、
前記アプリケーションが動作される間に、イメージセンサを通じて撮像された顔が含まれたイメージを受信するステップと、
前記受信されたイメージを人工ニューラルネットワークモデルに入力し、前記受信されたイメージ内に含まれた顔のユーザーの性別を出力するステップと、
前記出力された性別に基づいて前記受信された性別を検証するステップとを含む、情報を検証する方法において、前記アプリケーション内で前記第1のユーザーアカウントに関連した複数のユーザーアカウントに対する情報を受信するステップをさらに含み、
前記出力された性別に基づいて前記受信された性別を検証するステップは、前記第1のユーザーアカウントに関連した複数のユーザーアカウントに対する情報および前記出力された性別に基づいて前記受信された性別を検証するステップを含む、情報を検証する方法。
【請求項12】
前記第1のユーザーアカウントに対するユーザー活動情報を収集するステップをさらに含み、
前記出力された性別に基づいて前記受信された性別を検証するステップは、前記収集されたユーザー活動情報および前記出力された性別に基づいて前記受信された性別を検証するステップを含む、請求項1~3のいずれか1項に記載の情報を検証する方法。
【請求項13】
前記第1のユーザーアカウントに対するユーザー活動情報は、前記第1のユーザーアカウントが第2のユーザーアカウントとのビデオ通話をする間に利用したブラー(blur)アイテム(item)、顔効果アイテム、ロックイン(lock-in)アイテム、シェイク(shake)アイテムまたはステッカーアイテムのうち少なくとも1つに関するアイテムに対する情報を含む、請求項12に記載の情報を検証する方法。
【請求項14】
前記第1のユーザーアカウントにより指定されるユーザーの性別を受信するステップは、前記第1のユーザーアカウントが前記アプリケーションに加入される間に入力された性別または前記第1のユーザーアカウントに関連したアカウントに対する情報から抽出された性別のうち少なくとも1つの性別を受信するステップを含む、請求項1~13のいずれか1項に記載の情報を検証する方法。
【請求項15】
前記顔が含まれたイメージを受信するステップは、前記第1のユーザーアカウントが前記アプリケーションに加入された後に動作される前記イメージセンサを通じて撮像される映像データに前記顔が探知された場合、前記探知された顔が含まれたイメージを受信するステップを含む、請求項1~14のいずれか1項に記載の情報を検証する方法。
【請求項16】
前記第1のユーザーアカウントと1つ以上の第2のユーザーアカウント間のテキストチャットの間に入力されたテキストを受信するステップをさらに含み、
前記出力された性別に基づいて前記受信された性別を検証するステップは、前記受信されたテキストおよび前記出力された性別に基づいて前記受信された性別を検証するステップを含む、請求項1~3のいずれか1項に記載の情報を検証する方法。
【請求項17】
請求項1~16のいずれか1項によるユーザー端末で動作してビデオ通話サービスを提供するインスタントメッセージングアプリケーションを介して受信された情報を検証する方法をコンピュータで実行するためのコンピュータプログラム。
【請求項18】
ビデオ通話サービスを提供するインスタントメッセージングアプリケーションを介して受信された情報を検証するシステムにおいて、
ユーザー端末から第1のユーザーアカウントにより指定されるユーザーの性別を受信し、前記アプリケーションが動作される間にイメージセンサを通じて撮像された顔が含まれたイメージを受信するように構成された通信モジュールと、
前記受信されたイメージを人工ニューラルネットワークモデルに入力して前記受信されたイメージ内に含まれた顔のユーザーの性別を出力し、前記出力された性別に基づいて前記受信された性別を検証するように構成されたプロセッサとを含み、
前記通信モジュールは、第2のユーザーアカウントから前記第1のユーザーアカウントに対する評価情報を受信するようにさらに構成されており、
前記プロセッサは、前記出力された性別に基づいて前記受信された性別を検証する場合に、前記受信された評価情報および前記出力された性別に基づいて前記受信された性別を検証するように構成されている、システム。
【請求項19】
前記通信モジュールは、第2のユーザーアカウントから前記第1のユーザーアカウントに対する評価情報を受信するようにさらに構成され、
前記プロセッサは、前記受信された評価情報および前記出力された性別に基づいて前記受信された性別を検証するようにさらに構成された、請求項18に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ビデオ通話サービスを提供するインスタントメッセージングアプリケーションを介して受信された情報を検証する方法およびシステムに関するものであって、具体的には、インスタントメッセージングアプリケーションを介して受信されたユーザーの性別情報を検証する方法およびシステムに関するものである。
【背景技術】
【0002】
カメラが取り付けられたスマートフォン、タブレットPC、ラップトップ(laptop)コンピュータ、デスクトップコンピュータなどのようなユーザー端末の普及が拡大されている。また、最近の通信技術の発展により、ユーザーは、自分の端末を利用して撮影したイメージや映像を他人に容易に送信することができる。さらに、ユーザーは、自分の端末を利用して撮影した映像をリアルタイムで他人に送信したり、放送したりすることが可能であるため、ビデオ通話サービス(video call service)および個人放送サービスが広く利用されている。このような環境で匿名チャットサービスを利用する場合において、テキストチャットだけでなく、ビデオ通話サービスを利用しようとするユーザーの需要が増加している。
【0003】
一方、匿名チャットサービスの一部ユーザーは、自分の性別と異なる性別を入力した後、ビデオ通話を通じた匿名チャットサービスを利用する場合がある。このような偽りの性別に基づいて匿名チャットサービスの相手がマッチングされる場合、マッチングされた相手に不快感が提供され得るだけでなく、匿名チャットサービスの信頼度にも悪影響が及ぶことができる。このような偽りの性別を検査するために、モニタリング要員が直接アプリケーションを使用しながら偽りの性別で活動するユーザーを摘発したり、ユーザーから申告されたイメージを直接検査して摘発したりする方式が使用されている。しかし、このような検査作業は手動で行われるため、モニタリング要員の数に応じて検査可能なユーザーの規模が制限される可能性がある。また、モニタリング要員が自らの判断に基づいてユーザーの性別が偽りであるか否かを検証するため、モニタリング要員による検査結果に誤りが発生してしまうおそれもある。
【先行技術文献】
【特許文献】
【0004】
【文献】韓国登録特許第10-1277322号
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示は、前記のような問題点を解決するための情報検証方法、コンピュータプログラム、記録媒体およびシステム等を提供する。
【0006】
ユーザーアカウントに関連した性別を受信し、アプリケーションが動作される間にイメージセンサを通じて撮像されたユーザーの顔面が含まれたイメージに基づいて受信されたユーザーアカウントに関連した性別を検証する方法およびシステムが提供される。
【0007】
インスタントメッセージングアプリケーションを介して受信または処理されたユーザーアカウントに関連した情報および/またはデータを収集し、収集されたユーザーアカウントに関連した情報および/またはデータに基づいてユーザーアカウントに関連した性別を検証する方法およびシステムが提供される。
【0008】
ユーザーアカウントに関連した性別を検証するために、ユーザーの顔面が含まれたイメージだけでなく、インスタントメッセージングアプリケーションを介して受信または処理されたユーザーアカウントに関連した情報および/またはデータを利用する方法およびシステムが提供される。
【0009】
なお、本願では、文脈上別意であることが明らかである場合を除き、「顔面」と「顔」は同義(face)であるものとする。
【課題を解決するための手段】
【0010】
本開示は、方法、システム、装置またはコマンドを格納するコンピュータ読み取り可能な記憶媒体を含む、多様な方式で具現されることができる。
【0011】
本開示の一実施例に係るユーザー端末で動作してビデオ通話サービスを提供するインスタントメッセージングアプリケーションを介して受信された情報を検証する方法は、第1のユーザーアカウントに関連した性別を受信するステップと、アプリケーションが動作される間に、イメージセンサを通じて撮像された顔面が含まれたイメージを受信するステップと、受信されたイメージを人工ニューラルネットワークモデルに入力し、受信されたイメージ内に含まれた顔面に関連した性別を出力するステップと、出力された性別に基づいて受信された性別を検証するステップとを含む。
【0012】
一実施例によると、人工ニューラルネットワークモデルは、複数の学習イメージを示すデータおよび複数の学習イメージ内の人物に対する性別を示すデータに基づいて機械学習を遂行して生成される。
【0013】
一実施例によると、受信されたイメージは、衣服を含み、受信されたイメージ内に含まれた顔面に関連した性別を出力するステップは、受信されたイメージからイメージフィーチャー(image feature)を抽出するステップと、抽出されたイメージフィーチャーを人工ニューラルネットワークモデルに入力して性別を出力するステップとを含む。
【0014】
一実施例によると、出力された性別に基づいて受信された性別を検証するステップは、出力された性別が受信された性別と異なる場合、受信されたイメージを別途のモニタリングシステムに提供するステップを含む。
【0015】
一実施例によると、出力された性別に基づいて受信された性別を検証するステップは、出力された性別が受信された性別と同一であり、出力された性別の信頼度が予め決定された信頼度以下である場合、受信されたイメージを別途のモニタリングシステムに提供するステップを含む。
【0016】
一実施例によると、別途のモニタリングシステムにおいて受信された性別が第1のユーザーアカウントに関連した性別と異なると判定された場合、ペナルティが第1のユーザーアカウントに対して付与される。
【0017】
一実施例によると、情報検証方法は、第2のユーザーアカウントから第1のユーザーアカウントに対する評価情報を受信するステップをさらに含み、出力された性別に基づいて受信された性別を検証するステップは、受信された評価情報および出力された性別に基づいて受信された性別を検証するステップを含む。
【0018】
一実施例によると、情報検証方法は、第1のユーザーアカウントに関連した関心事情報を受信するステップをさらに含み、出力された性別に基づいて受信された性別を検証するステップは、関心事情報および出力された性別に基づいて受信された性別を検証するステップを含む。
【0019】
一実施例によると、情報検証方法は、第1のユーザーアカウントが提供した、1つ以上の第2のユーザーアカウントに対する評価情報を受信するステップをさらに含み、出力された性別に基づいて受信された性別を検証するステップは、受信された第1のユーザーアカウントが提供した、1つ以上の第2のユーザーアカウントに対する評価情報および出力された性別に基づいて受信された性別を検証するステップを含む。
【0020】
一実施例によると、情報検証方法は、第1のユーザーアカウントと以前にマッチングされた相手である1つ以上の第2のユーザーアカウントを受信するステップをさらに含み、出力された性別に基づいて受信された性別を検証するステップは、受信された1つ以上の第2のユーザーアカウントに対する情報および出力された性別に基づいて受信された性別を検証するステップを含む。
【0021】
一実施例によると、情報検証方法は、第1のユーザーアカウントに対する申告情報を受信するステップをさらに含み、出力された性別に基づいて受信された性別を検証するステップは、受信された申告情報および出力された性別に基づいて受信された性別を検証するステップを含む。
【0022】
一実施例によると、情報検証方法は、アプリケーション内で第1のユーザーアカウントに関連した複数のユーザーアカウントに対する情報を受信するステップをさらに含み、出力された性別に基づいて受信された性別を検証するステップは、第1のユーザーアカウントに関連した複数のユーザーアカウントに対する情報および出力された性別に基づいて受信された性別を検証するステップを含む。
【0023】
一実施例によると、情報検証方法は、第1のユーザーアカウントに対するユーザー活動情報を収集するステップをさらに含み、出力された性別に基づいて受信された性別を検証するステップは、収集されたユーザー活動情報および出力された性別に基づいて受信された性別を検証するステップを含む。
【0024】
一実施例によると、第1のユーザーアカウントに対するユーザー活動情報は、第1のユーザーアカウントが第2のユーザーアカウントとのビデオ通話をする間に利用したブラー(blur)アイテム(item)、顔面効果アイテム、ロックイン(lock -in)アイテム、シェイク(shake)アイテムまたはステッカーアイテムのうち少なくとも1つに関するアイテムに対する情報を含む。
【0025】
一実施例によると、第1のユーザーアカウントに関連した性別を受信するステップは、第1のユーザーアカウントがアプリケーションに加入される間に入力された性別または第1のユーザーアカウントに関連したアカウントに対する情報から抽出された性別のうち少なくとも1つの性別を受信するステップを含む。
【0026】
一実施例によると、顔面が含まれたイメージを受信するステップは、第1のユーザーアカウントがアプリケーションに加入された後に動作されるイメージセンサを通じて撮像される映像データに顔面が探知された場合、探知された顔面が含まれたイメージを受信するステップを含む。
【0027】
一実施例によると、情報検証方法は、第1のユーザーアカウントと1つ以上の第2のユーザーアカウント間のテキストチャットの間に入力されたテキストを受信するステップをさらに含み、出力された性別に基づいて受信された性別を検証するステップは、受信されたテキストおよび出力された性別に基づいて受信された性別を検証するステップを含む。
【0028】
本開示の一実施例において前述されたユーザー端末で動作してビデオ通話サービスを提供するインスタントメッセージングアプリケーションを介して受信された情報を検証する方法をコンピュータで実行するためのコンピュータプログラムが提供される。
【0029】
本開示のビデオ通話サービスを提供するインスタントメッセージングアプリケーションを介して受信された情報を検証するシステムは、ユーザー端末から第1のユーザーアカウントに関連した性別を受信し、アプリケーションが動作される間にイメージセンサを通じて撮像された顔面が含まれたイメージを受信するように構成された通信モジュールと、受信されたイメージを人工ニューラルネットワークモデルに入力して受信されたイメージ内に含まれた顔面に関連した性別を出力し、出力された性別に基づいて受信された性別を検証するように構成されたプロセッサを含む。
【0030】
一実施例によると、通信モジュールは、第2のユーザーアカウントから第1のユーザーアカウントに対する評価情報を受信するようにさらに構成され、プロセッサは、受信された評価情報および出力された性別に基づいて受信された性別を検証するようにさらに構成される。
【発明の効果】
【0031】
本開示の一部実施例によると、インスタントメッセージングアプリケーションを介して受信されたユーザーの性別情報が検証されることによって、匿名ビデオチャットサービスを使用するユーザーが有し得る相手の性別に対する不信、さらに匿名ビデオチャットサービスに対する不信が最小化または解消されることができる。
【0032】
本開示の一部実施例において、情報処理システムが、インスタントメッセージングアプリケーションを介して収集されたユーザーアカウントに対する情報に基づいてユーザーアカウントに関連した性別を分析することによって、ユーザーの性別に対する検査人力のコストを最小化することができる。
【0033】
本開示の一部実施例によると、ユーザーの性別の検証作業が情報処理システムおよび別途のモニタリングシステム、すなわち2ステップのシステムを通じて行われるため、ユーザーの性別に対する検証結果のエラー率が低くなるか、または最小化されることができる。
【図面の簡単な説明】
【0034】
本開示の実施例は、以下で説明する添付図面を参照して説明され、ここで類似する参照番号は類似する要素を示すが、これに限定されない。
図1】本開示の一実施例に係るインスタントメッセージングサービスを提供するために、情報処理システムが複数のユーザー端末と通信可能に連結された構成を示す概要図である。
図2】本開示の一実施例に係るユーザー端末および情報処理システムの内部構成を示すブロック図である。
図3】本開示の一実施例に係るビデオ通話サービスを提供してユーザーの性別を検証するように構成された情報処理システムの構成を示すブロック図である。
図4】本開示の一実施例に係る入力イメージから入力イメージ内の人物または顔面に関連した性別を出力するように構成された人工ニューラルネットワークモデルを示す概略図である。
図5】本開示の一実施例に係るユーザー端末で動作してビデオ通話サービスを提供するインスタントメッセージングアプリケーションを介して受信された情報を検証する方法を示すフローチャートである。
図6】本開示の一実施例に係る出力された性別に基づいて受信された性別を検証するステップの詳細なステップを示すフローチャートである。
図7】本開示の一実施例に係るユーザーアカウントがインスタントメッセージングアプリケーションに加入される間に、ユーザーアカウントに関連した性別を受信する例示を示す図面である。
図8】本開示の一実施例に係るインスタントメッセージングアプリケーションが動作される間に、イメージセンサを通じて撮像されたイメージから顔面イメージを探知してビデオ通話サービスの相手に対する条件を入力する例示を示す図面である。
図9】本開示の一実施例に係るインスタントメッセージングアプリケーション内で、ユーザーの少なくとも一部が含まれたイメージにブラー処理を適用する例示を示す図面である。
図10】本開示の一実施例に係るインスタントメッセージングアプリケーション内で、ユーザーの顔面が含まれたイメージに顔面効果処理およびステッカーアイテムを適用する例示を示す図面である。
図11】本開示の一実施例に係るビデオ通話セッションを開始し、ビデオ通話セッション中にビデオ通話の相手を追加してテキストチャットを行う例示を示す図面である。
図12】本開示の一実施例に係る相手とのビデオ通話セッション中に相手を評価する評価情報を送信し、相手から評価情報を受信する例示を示す図面である。
図13】本開示の一実施例に係る相手とのビデオ通話セッション中に相手が出られないようにロックイン(lock-in)アイテムを使用する例示を示す図面である。
図14】本開示の一実施例に係る相手とのビデオ通話中にユーザー端末のシェイクアイテムを使用する例示を示す図面である。
図15】本開示の一実施例に係る相手とのビデオ通話セッション中に申告項目を送信する例示を示す図面である。
図16】本開示の一実施例に係るユーザーアカウントに関連したメッセージおよび友人リストを照会する例示を示す図面である。
図17】本開示の一実施例に係るユーザーアカウントに関連したプロフィール情報を出力する例示を示す図面である。
図18】本開示の一実施例に係るユーザーアカウントとビデオ通話を行った1つ以上のユーザーアカウントを出力する例示を示す図面である。
【発明を実施するための形態】
【0035】
以下では、本開示の実施のための具体的な内容を添付された図面を参照して詳細に説明する。ただし、以下の説明において、本開示の要旨を不必要に曖昧にする恐れがある場合には、広く知られた機能や構成に関する具体的な説明は省略することにする。
【0036】
添付された図面において、同一または対応する構成要素には同一の参照符号が付与されている。また、以下の実施例の説明において、同一または対応する構成要素を重複して記述することが省略されることができる。しかし、構成要素に関する記述が省略されても、そのような構成要素がある実施例に含まれないものと意図されるのではない。
【0037】
開示された実施例の利点および特徴、そしてそれらを達成する方法は、添付される図面と共に後述されている実施例を参照すると明確になるだろう。しかし、本開示は、以下で開示される実施例に限定されるものではなく、互いに異なる多様な形態で具現されることができ、単に本実施例は本開示が完全であるようにし、本開示が属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるだけのものである。
【0038】
本明細書において使用される用語について簡単に説明し、開示された実施例について具体的に説明する。
【0039】
本明細書において使用される用語は、本開示における機能を考慮しながら可能な限り現在広く使用される一般的な用語を選択したが、これは関連分野に携わる技術者の意図または判例、新しい技術の出現などによって変わることができる。また、特定の場合は出願人が任意に選定した用語もあり、この場合、該当する発明の説明部分で詳細にその意味を記載する。したがって、本開示において使用される用語は、単純な用語の名称ではなく、その用語が有する意味と本開示の全般にわたる内容に基づいて定義されるべきである。
【0040】
本明細書での単数の表現は、文脈上明らかに単数のものであると特定しない限り、複数の表現を含む。また、複数の表現は、文脈上明らかに複数のものであると特定しない限り、単数の表現を含む。
【0041】
明細書全体においてある部分がある構成要素を「含む」とするとき、これは特に反対の記載がない限り、他の構成要素を除外するのではなく、他の構成要素をさらに含むことが可能であることを意味する。
【0042】
また、明細書において使用される「モジュール」または「部」という用語は、ソフトウェアまたはハードウェア構成要素を意味し、「モジュール」または「部」は、ある役割を遂行する。しかしながら、「モジュール」または「部」は、ソフトウェアまたはハードウェアに限定される意味ではない。「モジュール」または「部」は、アドレッシングできる格納媒体にあるように構成されることもでき、1つまたはそれ以上のプロセッサを再生させるように構成されることもできる。したがって、一例として、「モジュール」または「部」は、ソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素およびタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイまたは変数のうち少なくとも1つを含むことができる。構成要素と「モジュール」または「部」は、より少ない数の構成要素および「モジュール」または「部」で結合されたり、追加の構成要素と「モジュール」または「部」にさらに分離されたりすることができる。
【0043】
本開示の一実施例によると、「モジュール」または「部」は、プロセッサおよびメモリで具現されることができる。「プロセッサ」は、汎用プロセッサ、中央処理装置(CPU)、マイクロプロセッサ、デジタル信号プロセッサ(DSP)、コントローラ、マイクロコントローラ、状態マシンなどを含むように広く解釈されるべきである。いくつかの環境において、「プロセッサ」は、注文型半導体(ASIC)、プログラム可能な論理デバイス(PLD)、フィールドプログラム可能ゲートアレイ(FPGA)などを称することもできる。「プロセッサ」は、例えば、DSPとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、DSPコアと結合した1つ以上のマイクロプロセッサの組み合わせ、または任意の他のそのような構成の組み合わせのような処理デバイスの組み合わせを称することもできる。また、「メモリ」は、電子情報を格納可能な任意の電子コンポーネントを含むように広く解釈されるべきである。「メモリ」は、ランダムアクセスメモリ(RAM)、読み出し-専用メモリ(ROM)、不-揮発性ランダムアクセスメモリ(NVRAM)、プログラム可能な読み出し-専用メモリ(PROM)、消去-プログラム可能な読み出し専用メモリ(EPROM)、電気的に消去可能PROM(EEPROM)、フラッシュメモリ、磁気または光学データ格納装置、レジスタなどのプロセッサ-読み出し可能媒体などの多様なタイプを称することもできる。プロセッサがメモリから情報を読み出し/またはメモリに情報を記録することができれば、メモリは、プロセッサと電子通信状態にあると呼ばれる。プロセッサに集積されたメモリは、プロセッサと電子通信状態にある。
【0044】
本開示において、「ユーザーアカウント」は、ユーザーがインスタントメッセージングアプリケーションにおいて生成して利用するアカウントまたはこれに関連したデータを示すことができる。また、インスタントメッセージングアプリケーションのユーザーアカウントは、インスタントメッセージングアプリケーションを利用するユーザーを指すことができる。これと同様に、インスタントメッセージングアプリケーションで提供するビデオ通話サービスを利用するユーザーは、インスタントメッセージングアプリケーションのユーザーアカウントを指すことができる。
【0045】
本開示において、「イメージ」は、複数のイメージまたは映像を含むことができる。また、イメージは、ユーザー端末に取り付けられたイメージセンサを通じて撮像されたイメージ、ユーザー端末と通信可能に構成されたイメージセンサによって撮像されたイメージを含むことができる。また、イメージは、撮像されたビデオ映像から抽出された一部イメージを含むことができる。
【0046】
本開示において、「ユーザーアカウントがアプリケーションに加入される間に」または「ユーザーアカウントのアプリケーション加入時」は、ユーザーアカウントがアプリケーションに加入するために要求される情報および/またはデータが取得されたり、受信されたりする期間を指すことができる。
【0047】
本開示において、「ユーザー活動情報」は、インスタントメッセージングアプリケーションのユーザーアカウントを利用するユーザーまたはユーザー端末の活動を示す情報やデータを含むことができる。一実施例によると、ユーザーアカウントのユーザー活動情報は、ユーザーアカウントがインスタントアプリケーションが動作される間に利用した情報またはデータを指すことができる。例えば、ユーザー活動情報は、ユーザーの顔面を含むイメージに適用されたブラー(blur)アイテム、顔面効果アイテム、ステッカーアイテムなどを含むことができるが、これに限定されない。他の実施例によると、ユーザーアカウントのユーザー活動情報は、ユーザーアカウントがインスタントメッセージングアプリケーションで提供するビデオ通話(video call)の間に利用した情報またはデータを指すことができる。例えば、ユーザー活動情報は、相手とビデオ通話中に使用されたロックイン(lock-in)アイテム、シェイク(shake)アイテムなどを含むことができるが、これに限定されない。
【0048】
図1は、本開示の一実施例に係るインスタントメッセージングサービスを提供するために、情報処理システム(130)が複数のユーザー端末(112、114、116)と通信可能に連結された構成を示す概要図である。情報処理システム(130)は、ネットワーク(120)を介して複数のユーザー端末(112、114、116)にインスタントメッセージングサービス(instant messaging service)を通じて受信された情報を格納、処理および検証できるだけでなく、インスタントメッセージングサービス(instant messaging service)を通じて情報を提供するシステムを含むことができる。一実施例によると、情報処理システム(130)は、インスタントメッセージングサービスに関連したコンピュータ実行可能なプログラム(例えば、ダウンロード可能なアプリケーション)とデータを格納、提供および実行できる1つ以上のサーバー装置および/またはデータベース、またはクラウドコンピューティングサービス基盤の1つ以上の分散コンピューティングデバイスおよび/または分散データベースを含むことができる。情報処理システム(130)によって提供されるインスタントメッセージングサービスは、複数のユーザー端末(112、114、116)にインストールされたインスタントメッセージングアプリケーションを介してユーザーに提供されることができる。例えば、インスタントメッセージングサービスは、ユーザー端末(112、114、116)間のビデオ通話サービスおよび/またはテキストメッセージングサービスを含むことができる。図1では、情報処理システム(130)がインスタントメッセージングアプリケーションを介して受信される情報を検証するように構成され得ると説明されたが、これに限定されず、情報処理システム(130)とは別途のシステムを通じてインスタントメッセージングアプリケーションを介して受信される情報を検証するように構成されることができる。
【0049】
図1において、携帯電話端末(112)、タブレット端末(114)およびPC端末(116)がユーザー端末の例として図示されたが、これに限定されず、ユーザー端末は、有線および/または無線通信が可能で、イメージセンサ(例えば、カメラ)が取り付けられるか、またはイメージセンサと通信することが可能でインスタントメッセージングアプリケーションがインストールされて実行されることができる任意のコンピューティングデバイスであることができる。例えば、ユーザー端末は、スマートフォン(smart phone)、携帯電話、ナビゲーション、コンピュータ、ラップトップ、デジタル放送用端末、PDA(Personal Digital Assistants)、PMP(Portable Multimedia Player)、タブレットPC、ゲームコンソール(game console)、ウェアラブルデバイス(wearable device)、IoT(internet of things)デバイス、VR(virtual reality)デバイス、AR(augmented reality)デバイスなどを含むことができる。また、図1には、3つのユーザー端末(112、114、116)がネットワーク(120)を介して情報処理システム(130)と通信するものと図示されているが、これに限定されず、異なる数のユーザー端末がネットワーク(120)を介して情報処理システム(130)と通信するように構成されることもできる。
【0050】
通信方式は制限されず、ネットワーク(120)が含むことができる通信網(例えば、移動通信網、有線インターネット、無線インターネット、放送網、衛星網など)を活用する通信方式だけでなく、ユーザー端末間の近距離無線通信もまた含まれることができる。例えば、ネットワーク(120)は、PAN(personal area network)、LAN(local area network)、CAN(campus area network)、MAN(metropolitan area network)、WAN(wide area network)、BBN(broadband network)、インターネットなどのネットワークのうち1つ以上の任意のネットワークを含むことができる。また、ネットワーク(120)は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター-バスネットワーク、ツリーまたは階層的(hierarchical)ネットワークなどを含むネットワークトポロジのうちいずれか1つ以上を含むことができるが、これに制限されない。
【0051】
情報処理システム(130)は、インスタントメッセージングアプリケーションが動作されるユーザー端末(112、114、116)間にビデオ通話サービスを提供することができる。一実施例によると、情報処理システム(130)は、第1のユーザー端末の第1のユーザーおよび第2のユーザー端末の第2のユーザーを指定された条件に基づいてマッチングし、両方のユーザー間でビデオ通話を行うことができるように第1のユーザー端末および第2のユーザー端末を相互連結させることができる。このような指定された条件は、ユーザー自身がビデオ通話を希望する相手に対する条件を含むことができ、第1のユーザーまたは第2のユーザーのうち少なくとも1人のユーザーが入力した条件を含むことができる。例えば、指定された条件は、相手の性別、地域、年齢、職業、年収、身体的条件などを含むことができるが、これに限定されない。他の実施例によると、情報処理システム(130)は、第1のユーザー端末の第1のユーザーと第2のユーザー端末の第2のユーザーをランダムにマッチングし、両方のユーザー間でビデオ通話を行うことができるように相互連結させることができる。
【0052】
情報処理システム(130)は、インスタントメッセージングアプリケーションを介して情報を収集するように構成されることができる。一実施例によると、情報処理システム(130)は、インスタントメッセージングアプリケーションの動作中にユーザー端末に取り付けられたイメージセンサを通じて撮像されたユーザーの顔面を含むイメージを受信するように構成されることができる。例えば、このようなユーザーの顔面を含むイメージは、ユーザーがインスタントメッセージングアプリケーションに加入した後に撮影される映像(例えば、ビデオ映像)から探知または選択されることができ、探知されたイメージは、情報処理システム(130)に提供されることができる。また、探知されたイメージは、ユーザーの顔面だけでなく、ユーザーの衣服を含むことができる。他の実施例によると、情報処理システム(130)は、インスタントメッセージングアプリケーションに対するユーザーに関連した任意の情報および/またはデータを収集することができる。例えば、情報処理システム(130)は、ユーザーがインスタントメッセージングアプリケーションに入力した情報、ユーザーがインスタントメッセージングアプリケーションを使用した履歴、ユーザーの友人リスト、ユーザーに対する他のユーザーの入力情報、テキストチャットの間に入力されたテキストなどを収集することができるが、これに限定されない。
【0053】
情報処理システム(130)は、インスタントメッセージングアプリケーションを介して受信された情報を検証するように構成されることができる。一実施例によると、ユーザーがインスタントメッセージングアプリケーションの加入時にユーザー端末から受信された情報を検証するように設定することができる。ここで、ユーザー端末から受信された情報は、ユーザーに対する情報、ユーザーを示す情報などを含むことができ、例えば、ユーザーの性別、年齢、または生まれ年などを含むことができるが、これに限定されない。
【0054】
情報処理システム(130)は、インスタントメッセージングアプリケーションを介して収集された情報に基づいて受信されたユーザーの性別に対する情報を検証するように構成されることができる。一実施例によると、情報処理システム(130)は、ユーザーの顔面を含むイメージを分析して受信されたユーザーの性別に対する情報を検証することができる。例えば、ユーザーの顔面を含むイメージまたはこれから抽出されたイメージフィーチャー(image feature)情報は、学習された人工ニューラルネットワークモデルに入力されてユーザーの性別が出力されることができる。他の実施例によると、情報処理システム(130)は、ユーザーの顔面を含むイメージに対する分析結果だけでなく、インスタントメッセージングアプリケーションを介して収集されたユーザーに関連した情報に基づいて受信されたユーザーの性別を分析することができる。例えば、ユーザーの顔面を含むイメージから分析されたユーザーの性別結果に加えて、ユーザーがインスタントメッセージングアプリケーションを介して入力した情報、ユーザーがインスタントメッセージングアプリケーションを使用した履歴情報、ユーザーの友人リスト情報、ユーザーに対する他のユーザーの入力情報またはテキストチャットの間に入力されたテキスト情報のうち少なくとも1つに基づいてユーザーの性別が検証されることができる。さらに他の例として、情報処理システム(130)は、ユーザーの顔面を含むイメージに対する分析結果を考慮せず、インスタントメッセージングアプリケーションを介して収集されたユーザーに関連した情報だけを利用して受信されたユーザーの性別を検証することができる。受信されたユーザーの性別が実際のユーザーの性別と異なる場合、情報処理システムは、別途の検証システム(例えば、モニタリング要員の検査、性別検証のための異なるアルゴリズムなど)に提供されることができる。また、ユーザーの性別が偽りで入力されたユーザーアカウントは、インスタントメッセージングアプリケーションを利用する場合において、ペナルティ(例:利用の停止、加入の脱退など)が適用されることができる。図1においては、情報処理システム(130)がインスタントメッセージングアプリケーションを介して受信された情報を検証するように開示されたが、これに限定されず、インスタントメッセージングアプリケーションが動作されるユーザー端末が受信された情報を検証するように構成されることができる。
【0055】
図2は、本発明の一実施例において、ユーザー端末(112)および情報処理システム(130)の内部構成を示すブロック図である。ユーザー端末(112)は、メモリ(216)、プロセッサ(218)、通信モジュール(220)および入出力インターフェース(214)を含むことができる。これと同様に、情報処理システム(130)は、メモリ(234)、プロセッサ(236)、通信モジュール(238)および入出力インターフェース(232)を含むことができる。図2に図示されたように、ユーザー端末(112)および情報処理システム(130)は、それぞれの通信モジュール(220、238)を利用して、ネットワーク(120)を介して情報および/またはデータを通信できるように構成されることができる。また、入出力デバイス(212)は、入出力インターフェース(214)を介してユーザー端末(112)に情報および/またはデータを入力したり、ユーザー端末(112)から生成された情報および/またはデータを出力したりするように構成されることができる。図2においては、メモリ(234)、プロセッサ(236)、通信モジュール(238)および入出力インターフェース(232)がユーザー端末(112)の内部構成として図示されているが、他のユーザー端末(例えば、図1のユーザー端末(114、116))もユーザー端末(112)の内部構成と同一または類似の内部構成を含むことができる。
【0056】
メモリ(216、234)は、非-一時的な任意のコンピュータ読み取り可能な記録媒体を含むことができる。一実施例によると、メモリ(216、234)は、RAM(random access memory)、ROM(read only memory)、ディスクドライブ、SSD(solid state drive)、フラッシュメモリ(flash memory)などのような不揮発性の大容量記憶装置(permanent mass storage device)を含むことができる。他の例として、ROM、SSD、フラッシュメモリ、ディスクドライブなどのような不揮発性の大容量記憶装置は、メモリ(216、234)と区分される別途の永久記憶装置としてユーザー端末(112)または情報処理システム(130)に含まれることができる。また、メモリ(216、234)には、オペレーティングシステムと少なくとも1つのプログラムコード(例えば、ユーザー端末(112)にインストールされて駆動されるブラウザやインスタントメッセージングサービスの提供のためにユーザー端末(112)にインストールされたインスタントメッセージングアプリケーションなどのためのコード)が格納されることができる。このようなソフトウェアコンポーネントは、メモリ(216、234)とは別途のコンピュータ読み取り可能な記録媒体からロードされることができる。このような別途のコンピュータ読み取り可能な記録媒体は、これらのユーザー端末および情報検証システムに直接連結可能な記録媒体を含むことができ、例えば、フロッピードライブ、ディスク、テープ、DVD/CD-ROMドライブ、メモリーカードなどのコンピュータ読み取り可能な記録媒体を含むことができる。他の例として、ソフトウェアコンポーネントは、コンピュータ読み取り可能な記録媒体ではなく、通信モジュール(220、238)を通じてメモリ(216、234)にロードされることもできる。例えば、少なくとも1つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システムがネットワーク(120)を介して提供するファイルによってインストールされるコンピュータプログラム(例えば、上述されたインスタントメッセージングアプリケーション)に基づいて、メモリ(216、234)にロードされることができる。
【0057】
プロセッサ(218、236)は、基本的な算術、ロジックおよび入出力演算を遂行することにより、コンピュータプログラムのコマンドを処理するように構成されることができる。コマンドは、メモリ(216、234)または通信モジュール(220、238)によってプロセッサ(218、236)に提供されることができる。例えば、プロセッサ(218、236)は、メモリ(216、234)のような記録装置に格納されたプログラムコードによって受信されるコマンドを実行するように構成されることができる。
【0058】
通信モジュール(220、238)は、ネットワーク(120)を介してユーザー端末(112)と情報検証システム(130)が相互通信するための構成や機能を提供することができ、ユーザー端末(112)および/または情報処理システム(130)が他のユーザー端末または他のシステム(例えば、別途のモニタリングシステム)と通信するための構成または機能を提供することができる。一例として、ユーザー端末(112)のプロセッサ(218)がメモリ(216)のような記録装置に格納されたプログラムコードによって生成した要請は、通信モジュール(220)の制御に基づいてネットワーク(120)を介して情報処理システム(130)に伝達されることができる。逆に、情報処理システム(130)のプロセッサ(236)の制御に基づいて提供される制御信号やコマンド、コンテンツ、ファイルなどが通信モジュール(238)とネットワーク(120)を経て、ユーザー端末(112)の通信モジュール(220)を通じてユーザー端末(112)に受信されることができる。例えば、通信モジュール(220)を通じて受信された情報処理システム(130)の制御信号やコマンド、コンテンツ、ファイルなどは、プロセッサ(218)やメモリ(216)に伝達されることができ、コンテンツやファイルなどは、ユーザー端末(112)がさらに含むことができる記憶媒体(上述された永久記憶装置)に格納されることができる。
【0059】
入出力インターフェース(214)は、入出力デバイス(212)とのインターフェースのための手段であることができる。一例として、入力デバイスは、カメラ、キーボード、マイクロフォン、マウスなどのデバイスを、そして出力デバイスは、ディスプレイ、スピーカー、触覚フィードバックデバイス(haptic feedback device)などのようなデバイスを含むことができる。他の例として、入出力インターフェース(214)は、タッチスクリーンなどのように入力と出力を遂行するための構成または機能が1つに統合されたデバイスとのインターフェースのための手段であることができる。例えば、ユーザー端末(112)のプロセッサ(218)がメモリ(216)にロードされたコンピュータプログラムのコマンドを処理する場合において、情報処理システム(130)や他のユーザー端末が提供する情報および/またはデータを利用して構成されるサービス画面やコンテンツが入出力インターフェース(214)を介してディスプレイに表示されることができる。入出力デバイス(212)は、ユーザー端末(112)と1つの装置で構成されることができる。また、情報処理システム(130)の入出力インターフェース(232)は、情報処理システム(130)と連結されたり、情報処理システム(130)が含むことのできる入力または出力のためのデバイス(図示せず)とのインターフェースのための手段であったりすることができる。図2においては、入出力インターフェース(214、232)がプロセッサ(218、236)と別途に構成された要素として図示されたが、これに限定されず、入出力インターフェース(214、232)がプロセッサ(218、236)に含まれるように構成されることができる。
【0060】
ユーザー端末(112)および情報処理システム(130)は、図2の構成要素よりも多くの構成要素を含むことができる。しかし、ほとんどの従来技術的構成要素を明確に図示する必要性はない。一実施例によると、ユーザー端末(112)は、上述された入出力デバイスのうち少なくとも一部を含むように具現されることができる。また、ユーザー端末(112)は、トランシーバ(transceiver)、GPS(Global Positioning System)モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含むことができる。例えば、ユーザー端末(112)がスマートフォンである場合、一般的にスマートフォンが含んでいる構成要素を含むことができ、例えば、加速度センサやジャイロセンサ、カメラモジュール、各種の物理的ボタン、タッチパネルを利用したボタン、入出力ポート、振動のためのバイブレーターなどの多様な構成要素がユーザー端末(112)にさらに含まれるように具現されることができる。
【0061】
一実施例によると、ユーザー端末(112)のプロセッサ(218)は、ビデオ通話サービスを提供するインスタントメッセージングアプリケーションを動作するように構成されることができる。このとき、インスタントメッセージングアプリケーションに関連したプログラムコードが、ユーザー端末(112)のメモリ(216)にロードされることができる。インスタントメッセージングアプリケーションが動作される間に、ユーザー端末(112)のプロセッサ(218)は、入出力デバイス(212)から提供された情報および/またはデータを、入出力インターフェース(214)を介して受信したり、通信モジュール(220)を通じて情報処理システム(130)から情報および/またはデータを受信したりすることができ、受信された情報および/またはデータを処理してメモリ(216)に格納することができる。また、このような情報および/またはデータは、通信モジュール(220)を通じて情報処理システム(130)に提供することができる。
【0062】
インスタントメッセージングアプリケーションが動作される間に、ユーザー端末(112)に入出力インターフェースと連結された入力デバイスであるカメラが動作されるように構成されることができる。例えば、カメラは、ユーザー端末(112)のユーザーの顔面を含むイメージを撮像するように配置されることができ、ユーザー端末(112)の前面部および/または後面部に設置されることができる、カメラを通じて撮像された動画またはイメージは、プロセッサ(218)に伝達されることができる。一実施例によると、プロセッサ(218)は、アプリケーションが動作される間に(例えば、ユーザーのアプリケーション加入後、動作される間に)撮像されたビデオ映像またはイメージから顔面が含まれたイメージがあるかを探知するように構成されることができる。プロセッサ(218)は、オブジェクト認識または探知分野において知られた任意の顔面認識または探知アルゴリズム、技法および/または人工知能技術を適用して、受信されたイメージから顔面が含まれたイメージを探知するように構成されることができる。例えば、プロセッサ(218)は、受信されたイメージから1つ以上の特徴点を抽出し、抽出された特徴点に基づいて受信されたイメージに顔面が含まれたかを決定するように構成されることができる。カメラから受信された動画やイメージから顔面が探知された場合、プロセッサ(218)は、顔面が含まれたイメージを通信モジュール(220)およびネットワーク(120)を介して情報処理システム(130)に提供することができる。他の実施例によると、インスタントメッセージングアプリケーションで提供する他人とのビデオ通話サービスの間に、カメラを通じて撮像された1つ以上のイメージを通信モジュール(220)およびネットワーク(120)を介して情報処理システム(130)に提供することができる。また、情報処理システム(130)のプロセッサ(236)は、ユーザー端末(112)と通話中の相手のユーザー端末から受信された1つ以上のイメージをユーザー端末(112)に提供することができる。このようなビデオ通話サービスの間に、カメラを通じて撮像されたイメージと共に入出力インターフェースと連結されたマイクロフォンを介して受信されたユーザーの音声も、一緒に情報処理システム(130)を通じて提供され、相手のユーザー端末に提供されることができる。
【0063】
一実施例によると、インスタントメッセージングアプリケーションが動作される間に、プロセッサ(218)は、入出力インターフェースと連結されたタッチスクリーン、キーボードなどの入力デバイスを通じて入力、または選択されたテキスト、イメージなどを受信することができ、受信されたテキストおよび/またはイメージをメモリ(216)に格納したり、通信モジュール(220)およびネットワーク(120)を介して情報処理システム(130)に提供したりすることができる。例えば、プロセッサ(218)は、タッチスクリーン、キーボードなどの入力デバイスを通じてユーザーの性別、年齢などのユーザー情報、インスタントメッセージングサービスの間に入力されたテキストメッセージ、関心事情報、申告情報などのテキスト情報を受信することができる。また、プロセッサ(218)は、入力デバイスを通じて相手に対する評価情報およびブラーアイテム、顔面効果アイテム、ロックインアイテム、シェイクアイテム、ステッカーアイテムなどのアイテム情報を受信するように構成されることができる。これにより、受信されたテキストおよび/またはイメージを通信モジュール(220)およびネットワーク(120)を介して情報処理システム(130)に提供することができる。
【0064】
インスタントメッセージングアプリケーションが動作される間に、プロセッサ(218)は、ユーザー端末(112)のディスプレイ出力可能デバイス(例えば、タッチスクリーン、ディスプレイなど)、音声出力可能デバイス(例えば、スピーカー)などの出力デバイスを通じて処理された情報および/またはデータを出力するように構成されることができる。一実施例によると、インスタントメッセージングアプリケーションが提供する情報および/またはデータは、ディスプレイ出力可能デバイスなどを通じて表示されることができる。例えば、インスタントメッセージングアプリケーションが提供するビデオ通話サービスの間に、プロセッサ(218)は、ディスプレイ可能出力デバイスを通じてユーザーのイメージだけでなく、相手のイメージも一緒に表示されるように構成されることができる。他の例として、プロセッサ(218)は、インスタントメッセージングアプリケーションで提供する多様な機能または構成(例えば、プロフィール、ユーザー情報入力インターフェース、評価情報、映像処理アイテム、チャットボックス、友人リストなど)をディスプレイ可能出力デバイスに表示するように構成されることができる。他の実施例によると、インスタントメッセージングアプリケーションが提供する情報および/またはデータは、音声出力可能デバイスなどを通じて出力されることができる。例えば、ビデオ通話サービスの間に、プロセッサ(218)は、情報処理システム(130)から受信された相手の音声を出力するように構成されることができる。
【0065】
一実施例によると、情報処理システム(130)のプロセッサ(236)は、ユーザー端末(112)を含む複数のユーザー端末から受信された情報および/またはデータを管理、処理および/または格納するように構成されることができる。例えば、プロセッサ(236)は、複数のユーザー端末から受信された情報および/またはデータに基づいて、インスタントメッセージングアプリケーションで提供するビデオ通話サービスおよび/またはテキストチャットサービスを複数のユーザー端末に提供することができる。例えば、両方のユーザー端末がビデオ通話を遂行する間に、それぞれのユーザー端末から受信された映像、音声および/またはテキストデータを相手のユーザー端末に提供するように構成されることができる。
【0066】
情報処理システム(130)のプロセッサ(236)は、インスタントメッセージングアプリケーションが動作される間に、ユーザー端末(112)から受信された情報および/またはデータを検証するように構成されることができる。一実施例によると、情報処理システム(130)のプロセッサ(236)は、ユーザー端末(112)からユーザーの性別に対する情報を受信することができ、受信された性別を検証するように構成されることができる。具体的に、情報処理システム(130)のプロセッサ(236)は、受信されたユーザー端末(112)に関連した情報および/またはデータに基づいてユーザーの性別を検証するように構成されることができる。以下では、情報処理システム(130)のプロセッサ(236)がユーザーの性別に対する情報を検証する具体的な方式について詳細に説明される。
【0067】
図3は、本開示の一実施例に係るビデオ通話サービスを提供してユーザーの性別を検証するように構成された情報処理システム(130)の構成を示すブロック図である。情報処理システム(130)のプロセッサ(236)は、データ収集モジュール(310)、データ学習モジュール(320)、データ認識モジュール(330)および性別検証モジュール(340)を含むように構成されることができる。また、プロセッサ(236)は、通信モジュール(238)を通じて情報および/またはデータを外部デバイスと送受信することができる。これに加えて、プロセッサ(236)は、情報および/またはデータをメモリ(234)に格納したり、メモリ(234)から情報および/またはデータを取得したりすることができる。
【0068】
データ収集モジュール(310)は、インスタントメッセージングアプリケーションが動作される間に、複数のユーザー端末のそれぞれから通信モジュール(238)を通じてユーザーの顔面を含むイメージを受信するように構成されることができる。一実施例によると、データ収集モジュール(310)は、ユーザーアカウントのインスタントメッセージングアプリケーションの加入後に、ユーザーアカウントの活動中のユーザー端末からユーザーの顔面を含むイメージを受信することができる。例えば、受信されたイメージは、ユーザーの顔面だけでなく、ユーザーの他の身体一部(例えば、首、肩、腕など)または衣服のうち少なくとも1つを含むことができる。ユーザー端末から受信されたイメージは、メモリ(234)に格納されたり、データ認識モジュール(330)に提供されたりすることができる。
【0069】
データ収集モジュール(310)は、インスタントメッセージングアプリケーションが動作される間に、ユーザー端末からユーザーアカウントに関連した情報を、通信モジュール(238)を通じて受信するように構成されることができる。一実施例によると、データ収集モジュール(310)は、ユーザー端末からユーザーアカウントに関連した性別を受信するように構成されることができる。他の実施例によると、データ収集モジュール(310)は、ユーザー端末からユーザーアカウントに関連した関心事情報を受信するように構成されることができる。さらに他の実施例によると、データ収集モジュール(310)は、ユーザーアカウントに関連した複数のユーザーアカウントに対する情報を受信することができる。例えば、このような複数のユーザーアカウントは、ユーザーアカウントの友人リストとして格納されることができる。
【0070】
データ収集モジュール(310)は、ユーザーアカウントがインスタントメッセージングアプリケーションでマッチングされた1つ以上のユーザーアカウントに対する情報を、通信モジュール(238)を通じて受信することができる。一実施例によると、このようなマッチングされた1つ以上のユーザーアカウントのリストは、ユーザーアカウントの使用履歴に格納されることができる。このようなマッチングされた1つ以上のユーザーアカウントは、ユーザーアカウントとビデオ通話またはテキストチャットサービスを行ったか否かに関係なく、ユーザーアカウントの使用履歴に格納されることができる。
【0071】
データ収集モジュール(310)は、ユーザーアカウント(例えば、第1のユーザーアカウント)と他のユーザーアカウント(例えば、第2のユーザーアカウント)間のビデオ通話中に生成された情報および/またはデータを、通信モジュール(238)を通じて受信するように構成されることができる。一実施例によると、第1のユーザーアカウントと第2のユーザーアカウントとのビデオ通話セッション中に、データ収集モジュール(310)は、第2のユーザーアカウントの第1のユーザーアカウントに対する評価情報を受信することができる。このような第2のユーザーアカウントの第1のユーザーアカウントに対する評価情報は、第1のユーザーアカウントに関連して格納されることができる。他の実施例によると、第1のユーザーアカウントと第2のユーザーアカウントとのビデオ通話セッション中に、データ収集モジュール(310)は、第1のユーザーアカウントの第2のユーザーアカウントに対する評価情報を受信し、このような評価情報は、第1のユーザーアカウントに関連して格納されることができる。ここで、評価情報は、各ユーザーアカウントまたはユーザーの特徴を示すアイコンを含む評価項目および各評価項目に対する数(number)を含むことができる。さらに他の実施例によると、第1のユーザーアカウントと第2のユーザーアカウントとのビデオ通話セッション中に、データ収集モジュール(310)は、第2のユーザーアカウントの第1のユーザーアカウントに対する申告情報を受信することができる。例えば、申告情報は、ビデオ通話時に第1のユーザーアカウントの情報と異なる情報(例えば、知られた性別と実際イメージ内の人の性別が異なる場合)、第1のユーザーアカウントのユーザーが行った不適切な事項などに関する申告項目を含むことができ、各申告項目に対する回数も含むことができる。さらに他の実施例によると、第1のユーザーアカウントが第2のユーザーアカウントとビデオ通話サービスを進める間に、データの収集モジュール(310)は、第1のユーザーアカウントと第2のユーザーアカウント間のテキストメッセージを受信することができる。
【0072】
データ収集モジュール(310)は、ユーザーアカウント(例えば、第1のユーザーアカウント)と他のユーザーアカウント(例えば、第2のユーザーアカウント)間のビデオ通話中に利用されたユーザー活動情報を受信するように構成されることができる。一実施例によると、このようなユーザー活動情報は、第1のユーザーアカウントと第2のユーザーアカウントとのビデオ通話セッション中に、第1のユーザーアカウントから受信された情報だけでなく、このようなビデオ通話が遂行される前に第1のユーザーアカウントから受信された情報を含むことができる。例えば、ユーザー活動情報は、第1のユーザーアカウントが第2のユーザーアカウントとのビデオ通話セッション中に利用したブラー(blur)アイテム(item)、顔面効果アイテム、ロックイン(lock-in)アイテム、シェイク(shake)アイテムまたはステッカーアイテムのうち少なくとも1つに対する情報を含むことができる。ここで、顔面効果アイテムは、第1のユーザーアカウントの顔に適用可能な顔フィルター、第1のユーザーアカウントの顔を縮小するアイテムまたは第1のユーザーアカウントの顔に適用可能な美容(beauty)アイテムのうち少なくとも1つのアイテムを含むことができる。データ収集モジュール(310)で受信された情報および/またはデータは、ユーザーアカウントに関連してメモリ(234)に格納されたり、データ認識モジュール(330)および/または性別検証モジュール(340)に提供されたりすることができる。
【0073】
データ学習モジュール(320)は、メモリ(234)または通信モジュール(238)を通じて複数の学習イメージを示すデータを受信することができる。例えば、複数の学習イメージは、男性と女性の区別が明確に示されるように学習され得る任意のイメージセットを含むことができる。また、複数の学習イメージを示すデータは、複数の人物や顔面を含むイメージを示すデータ、このようなイメージから抽出されたイメージフィーチャー(image feature)を示すデータなどであることができる。イメージフィーチャーを示すデータは、イメージを示したり、特徴化したりすることができる任意の情報およびデータを含むことができ、例えば、イメージ内のオブジェクト(例えば、顔面、衣服など)を示したり、特徴化したりする情報およびデータを含むことができる。一例として、イメージ内のオブジェクト(例えば、顔面、衣服など)を示したり、特徴化したりする情報およびデータは、オブジェクトに対する特徴点、オブジェクトに対するセグメンテーションマスクまたはオブジェクトに対するデプス(depth)のうち少なくとも1つに対する情報およびデータを含むことができる。これに加えて、データ学習モジュール(320)は、複数の学習イメージ内の人物または顔面に対する性別を示すデータを一緒に受信することができる。例えば、性別を示すデータは、男性または女性を示すデータを含むことができる。
【0074】
データ学習モジュール(320)は、複数の学習イメージを入力して性別を出力するように機械学習を遂行することにより、人工ニューラルネットワークモデルを生成することができる。一実施例によると、データ学習モジュール(320)は、複数の学習イメージおよび/またはこれから抽出されたイメージフィーチャーを人工ニューラルネットワークモデルに入力して、教師なし学習(unsupervised leanring)を通じて性別を出力するように構成されることができる。また、データ学習モジュール(320)は、学習イメージ内の人物または顔面に関連した性別を示すデータに基づいて学習イメージに対して出力された性別が間違っていると判断される場合、学習イメージに対するラベリング(labeling)、すなわち、教師あり学習(supervised learning)を遂行して、人工ニューラルネットワークモデルを生成したり、更新したりするように構成されることができる。これにより、データ学習モジュール(320)は、複数の学習イメージおよび学習イメージ内の人物または顔面に関連した性別を示すデータを利用して、半教師あり(semi-supervised learning)を通じて人工ニューラルネットワークモデルを生成したり、更新したりすることができる。他の実施例によると、データ学習モジュール(320)は、ユーザーアカウントに関連した学習情報を入力して性別を出力するように機械学習を遂行することにより、人工ニューラルネットワークモデルを生成することができる。ここで、ユーザーアカウントに関連した学習情報は、インスタントメッセージングアプリケーションを介して受信されたり、処理されたりすることができるユーザーアカウントに関連した情報を含むことができる。例えば、ユーザーアカウントに関連した学習情報は、ユーザーアカウントに関連した評価情報、関心事情報、履歴情報、申告情報、友人リスト、ユーザー活動情報またはテキストメッセージのうち少なくとも1つを含むことができるが、これに限定されない。このとき、データ学習モジュール(320)は、ユーザーアカウントに関連した学習情報だけでなく、学習イメージを一緒に人工ニューラルネットワークモデルに入力して性別を出力するように機械学習することにより、人工ニューラルネットワークモデルを生成したり、更新したりすることができる。
【0075】
データ認識モジュール(330)は、ユーザーアカウントから受信された顔面を含むイメージを受信し、受信されたイメージを人工ニューラルネットワークモデルに入力して、受信されたイメージ内の顔面または人物に関連した性別を出力するように構成されることができる。ここで、人工ニューラルネットワークモデルは、データ学習モジュール(320)によって学習された人工ニューラルネットワークモデルを含むことができる。一実施例によると、データ認識モジュール(330)は、顔面を含むイメージから抽出されたイメージフィーチャーを学習された人工ニューラルネットワークモデルに入力し、イメージ内の人物または顔面に関連した性別を出力するように構成されることができる。また、出力された性別が実際の性別と異なると判定された場合、受信されたイメージおよび実際の性別をデータ学習モジュール(320)に提供して、人工ニューラルネットワークモデルが再学習されるように構成されることができる。他の実施例によると、データ認識モジュール(330)は、データ学習モジュール(320)で人工ニューラルネットワークモデルの学習時に使用されたユーザーアカウントに関連した学習情報に対応する情報を受信し、受信された情報を人工ニューラルネットワークモデルに入力して性別を出力することができる。このとき、このような情報だけでなく、受信されたイメージも一緒に、学習された人工ニューラルネットワークモデルに入力されて性別が出力されることができる。ユーザーアカウントの性別を検証するために、人工ニューラルネットワークモデルから出力された性別は性別検証モジュール(340)に提供されることができる。
【0076】
性別検証モジュール(340)は、データ認識モジュール(330)によって提供された性別情報に基づいてユーザーアカウントのインスタントメッセージングアプリケーションの加入時に受信されたユーザーアカウントに対する性別を検証することができる。一実施例によると、性別検証モジュール(340)は、出力された性別が受信されたユーザーアカウントに対する性別と異なる場合、ユーザーアカウントに利用の停止、加入の脱退などのようなペナルティを付与することができる。他の実施例によると、性別検証モジュール(340)は、出力された性別が受信されたユーザーアカウントに対する性別と異なる場合、別途のモニタリングシステムにユーザーアカウントに関連した顔面を含むイメージを送信することができる。ここで、別途のモニタリングシステムは、性別検証モジュール(340)で遂行される検証方式またはアルゴリズムとは異なる方式またはアルゴリズムでユーザーアカウントの性別を検証するシステムを含むことができ、例えば、モニタリング要員が受信されたイメージを直接検査するように構成されることができる。これとは異なり、性別検証モジュール(340)は、出力された性別が受信されたユーザーアカウントに対する性別と同一である場合、ユーザーアカウントの性別に対する検証を完了するように構成されることができる。
【0077】
性別検証モジュール(340)は、データ認識モジュール(330)から出力された性別情報だけでなく、ユーザーアカウントに関連した情報を受信して、出力された性別情報および受信された情報に基づいてユーザーアカウントの性別を検証するように構成されることができる。一実施例によると、ユーザーアカウントに関連した情報は、ユーザーアカウントからインスタントメッセージングアプリケーションを介して受信されたり、ユーザーアカウントがインスタントメッセージングアプリケーション上で活動時に生成または処理されたりした情報を含むことができる。例えば、ユーザーアカウントに関連した情報は、ユーザーアカウントに関連した評価情報、関心事情報、履歴情報、申告情報、友人リスト、ユーザー活動情報またはテキストメッセージのうち少なくとも1つを含むことができるが、これに限定されない。ここで、ユーザー活動情報は、ユーザーアカウントが他のユーザーアカウントとのビデオ通話をする間に利用したブラーアイテム、顔面効果アイテム、ロックインアイテム、シェイクアイテムまたはステッカーアイテムのうち少なくとも1つに対する情報を含むことができる。
【0078】
一実施例によると、性別検証モジュール(340)は、受信されたユーザーアカウントに関連した情報およびデータ認識モジュール(330)から出力された性別に基づいてルールベース(Rule-based)学習および予測を通じて受信されたユーザーアカウントの性別を検証するように構成されることができる。例えば、性別検証モジュール(340)は、出力された性別情報またはユーザーアカウントに関連した情報のうち少なくとも1つに基づいてユーザーアカウントの性別をマッチングするテーブルを生成することができる。これにより、性別検証モジュール(340)は、生成されたテーブルに基づいて受信されたユーザーアカウントに関連した情報およびデータ認識モジュール(330)から受信された出力された性別に対応する性別を抽出し、抽出された性別を受信されたユーザーアカウントの性別と比較することができる。他の実施例において、性別検証モジュール(340)は、受信されたユーザーアカウントに関連した情報およびデータ認識モジュール(330)から出力された性別を利用し、既に知られた機械学習の技法を通じて、受信されたユーザーアカウントの性別情報を検証することができる。例えば、機械学習の技法は、Find-Sアルゴリズム、Version Spaceアルゴリズム、候補消去(Candidate Elimination)アルゴリズムを含むことができるが、これに限定されない。さらに他の実施例によると、性別検証モジュール(340)は、受信されたユーザーアカウントに関連した情報を利用して、ユーザーアカウントの性別の出力に使用された加重値を変更したり、ユーザーの性別の出力に関連した信頼度(score)を変更したりすることができる。性別検証モジュール(340)は、受信されたユーザーアカウントに関連した情報およびデータ認識モジュール(330)から出力された性別に基づいて受信されたユーザーアカウントが実際と異なる場合、別途のモニタリングシステムにユーザーアカウントの顔面が含まれたイメージを提供するように構成されることができる。
【0079】
図3では、ユーザーの性別を検証するために、情報処理システム(130)のプロセッサ(236)が、データ収集モジュール(310)、データ学習モジュール(320)、データ認識モジュール(330)および性別検証モジュール(340)を含むように構成されているが、これに限定されず、ユーザー端末のプロセッサ(218)が、データ収集モジュール(310)、データ学習モジュール(320)、データ認識モジュール(330)および性別検証モジュール(340)と同一または類似の構成を含んでユーザーの性別を検証するように構成されることができる。また、図3では、データ収集モジュール(310)、データ学習モジュール(320)、データ認識モジュール(330)および性別検証モジュール(340)が別途のモジュールとして図示されているが、これに限定されず、このようなモジュール(310~340)のそれぞれは、1つ以上のモジュールとして結合されて具現されることができる。
【0080】
図4は、本開示の一実施例に係る入力イメージから入力イメージ内の人物または顔面に関連した性別を出力するように構成された人工ニューラルネットワークモデル(400)を示す概略図である。人工ニューラルネットワークモデル(400)は、機械学習(Machine Learning)技術と認知科学において、生物学的ニューラルネットワークの構造に基づいて具現された統計学的学習アルゴリズムまたはそのアルゴリズムを実行する構造である。一実施例によると、人工ニューラルネットワークモデル(400)は、生物学的ニューラルネットワークのようにシナプスの結合でネットワークを形成した人工ニューロンであるノード(Node)がシナプスの加重値を繰り返して調整し、特定の入力に対応した正しい出力と推論された出力間の誤差が減少するように学習することによって、問題解決能力を有する機械学習モデルを示すことができる。例えば、人工ニューラルネットワークモデル(400)は、機械学習、ディープランニングなどの人工知能学習法に使用される任意の確率モデル、ニューラルネットワークモデルなどを含むことができる。
【0081】
一実施例によると、人工ニューラルネットワークモデル(400)は、顔面または人物が含まれた学習イメージおよび/またはこのような学習イメージから抽出されたイメージフィーチャーを入力して性別を出力するように構成された人工ニューラルネットワークモデルを含むことができる。他の実施例において、人工ニューラルネットワークモデル(400)は、インスタントメッセージングアプリケーションを介して受信、または処理される学習情報を入力して性別を出力するように構成された人工ニューラルネットワークモデルを含むことができる。さらに他の実施例において、人工ニューラルネットワークモデル(400)は、インスタントメッセージングアプリケーションを介して受信、または処理される学習情報および顔面または人物が含まれた学習イメージ(または学習イメージから抽出されたイメージフィーチャー)を入力して性別を出力するように構成された人工ニューラルネットワークモデルを含むことができる。
【0082】
人工ニューラルネットワークモデル(400)は、多層のノードとこれらの間の連結で構成された多層パーセプトロン(MLP:multilayer perceptron)で具現される。本実施例に係る人工ニューラルネットワークモデル(400)は、MLPを含む多様な人工ニューラルネットワークモデルの構造のうち1つを利用して具現されることができる。図4に図示されたように、人工ニューラルネットワークモデル(400)は、外部からの入力信号またはデータ(410)を受信する入力層(420)、入力データに対応した出力信号またはデータ(450)を出力する出力層(440)、入力層(420)と出力層(440)の間に位置し、入力層(420)からの信号を受けて特性を抽出して出力層(440)に伝達するn個(ここで、nは正の整数)の隠れ層(430_1~430_n)で構成される。ここで、出力層(440)は、隠れ層(430_1~430_n)から信号を受けて外部に出力する。
【0083】
人工ニューラルネットワークモデル(400)の学習方法には、教師信号(正解)の入力によって問題の解決に最適化されるように学習する教師あり学習(Supervised Learning)方法と、教師信号を必要としない教師なし学習(Unsupervised Learning)方法がある。データ学習モジュール(320)は、学習イメージ内の顔面または人物に関連した性別情報を提供するために教師あり学習(Supervised Learning)を利用して入力イメージに対する分析を遂行し、イメージに対応される性別を抽出できるように人工ニューラルネットワークモデル(400)を学習させることができる。このように学習された人工ニューラルネットワークモデル(400)は、データ認識モジュール(330)に提供、またはアクセスされることができ、ユーザーアカウントから受信された顔面を含むイメージの入力に応答して、ユーザーアカウントに関連した性別を出力することができる。
【0084】
一実施例によると、図4に図示されたように、性別情報を抽出できる人工ニューラルネットワークモデル(400)の入力変数は、顔面または人物を含む学習イメージになることができる。例えば、人工ニューラルネットワークモデル(400)の入力層(420)に入力される入力変数は、学習イメージを1つのベクトルデータ要素で構成した、イメージベクトル(410)になることができる。顔面または人物を含む学習イメージの入力に応答して、人工ニューラルネットワークモデル(400)の出力層(440)から出力される出力変数は、性別を示すベクトル(450)になることができる。これに加えて、人工ニューラルネットワークモデル(400)の出力層(440)は、出力された性別に対する信頼度または精度を示すベクトルを出力するように構成されることができる。例えば、このような出力に対する信頼度または精度を示すベクトルは、スコア(score)として解釈、または表示されることができる。本開示において、人工ニューラルネットワークモデル(400)の出力変数は、以上で説明されたタイプに限定されず、性別情報および性別情報の信頼度に関連した多様な形態で示すことができる。
【0085】
このように人工ニューラルネットワークモデル(400)の入力層(420)と出力層(440)に複数の入力変数と対応される複数の出力変数がそれぞれマッチングされ、入力層(420)、隠れ層(430_1~430_n)および出力層(440)に含まれたノード間のシナプス値が調整されることにより、特定の入力に対応した正しい出力が抽出され得るように学習されることができる。このような学習過程を通じて、人工ニューラルネットワークモデル(400)の入力変数に隠されている特性を把握することができ、入力変数に基づいて計算された出力変数と目標出力間の誤差が減少するように人工ニューラルネットワークモデル(400)のノード間のシナプス値(または加重値)を調整することができる。このように学習された人工ニューラルネットワークモデル(400)を利用して、入力されたイメージに応答して、入力イメージ内の人物または顔面に対する性別情報を出力することができる。
【0086】
他の実施例によると、性別情報を抽出できる人工ニューラルネットワークモデル(400)の入力変数は、インスタントメッセージングアプリケーションを介して受信、または処理される学習情報を含むことができる。例えば、インスタントメッセージングアプリケーションを介して受信、または処理される学習情報は、評価情報、関心事情報、履歴情報、申告情報、友人リスト、ユーザー活動情報またはテキストメッセージのうち少なくとも1つを含むことができるが、これに限定されない。このような学習情報に応答して、人工ニューラルネットワークモデル(400)の出力層(440)は、性別を示すベクトルおよび性別に対する信頼度または精度を示すベクトルになることができる。さらに他の実施例によると、性別情報を抽出できる人工ニューラルネットワークモデル(400)の入力変数は、このような学習情報および顔面を含む学習イメージを含むことができ、人工ニューラルネットワークモデル(400)の出力層(440)は、性別を示すベクトルおよび性別に対する信頼度または精度を示すベクトルになることができる。ここで、特定の入力に対応した正しい出力が抽出され得るように入力層(420)、隠れ層(430_1~430_n)および出力層(440)に含まれたノード間の加重値の値が調整されることができる。このような性別情報を抽出できる人工ニューラルネットワークモデル(400)は、データ認識モジュール(330)に提供、またはアクセスされることができ、ユーザーアカウントに関連して顔面または人物が含まれたイメージおよび/またはユーザーアカウントに関連した情報が人工ニューラルネットワークモデル(400)に入力され、ユーザーアカウントの性別、さらに性別の信頼度または精度を示すスコアが出力されることができる。
【0087】
図5は、本開示の一実施例に係るユーザー端末で動作してビデオ通話サービスを提供するインスタントメッセージングアプリケーションを介して受信された情報を検証する方法(500)を示すフローチャートである。このような方法は、情報処理システム(130)またはユーザー端末(112、114、116)によって実行されることができ、第1のユーザーアカウントに関連した性別(例えば、ユーザーの性別)を受信するステップ(S510)で開始されることができる。一実施例によると、ユーザーアカウントのアプリケーション加入時にユーザーアカウントに関連した性別が直接入力されることができる。他の実施例において、ユーザーアカウントに関連した性別は、第1のユーザーアカウントに関連したアカウントに対する情報から抽出されることができる。
【0088】
そして、ステップ(S520)でアプリケーションが動作される間に、イメージセンサを通じて撮像された顔面が含まれたイメージが受信されることができる。例えば、イメージセンサは、ユーザーの顔面を含むイメージを生成できるようにユーザー端末の前面部および/または後面部に取り付けられることができる。一実施例によると、イメージセンサは、ユーザーアカウントが加入された後に自動的に動作され、映像を生成するように構成されることができる。生成されたイメージ内でユーザーアカウントの顔面が含まれたイメージが探知された場合、探知された顔面が含まれたイメージがユーザーアカウントの性別を検証するためにデータ認識モジュールに提供されることができる。
【0089】
次に、データ認識モジュールにより、受信されたイメージが人工ニューラルネットワークモデルに入力され、受信されたイメージ内に含まれた顔面に関連した性別を出力するステップ(S530)が遂行されることができる。ここで、人工ニューラルネットワークモデルは、データ学習モジュールにより、複数の学習イメージを示すデータおよび複数の学習イメージ内の人物に対する性別を示すデータに基づいて機械学習が行われ、生成されることができる。また、受信されたイメージは、ユーザーの顔面だけでなく、ユーザーの衣服を含むことができる。このようなイメージからイメージフィーチャーが抽出されることができ、抽出されたイメージフィーチャーが人工ニューラルネットワークモデルに入力されて性別が出力されることができる。
【0090】
また、ステップ(S540)において、性別検証モジュールが、出力された性別に基づいて受信された性別を検証するように構成されることができる。一実施例によると、第2のユーザーアカウントから第1のユーザーアカウントに対する評価情報が受信されることができ、性別検証モジュールは、受信された評価情報および出力された性別に基づいて受信された性別を検証することができる。他の実施例において、第1のユーザーアカウントに関連した関心事情報が受信されることができ、性別検証モジュールは、受信された関心事情報および出力された性別に基づいて受信された性別を検証することができる。さらに他の実施例によると、第1のユーザーアカウントが提供した1つ以上の第2のユーザーアカウントに対する評価情報が受信されることができ、性別検証モジュールは、受信された第1のユーザーアカウントが提供した、1つ以上の第2のユーザーアカウントに対する評価情報および出力された性別情報に基づいて受信された性別を検証するように構成されることができる。さらに他の実施例において、第1のユーザーアカウントと以前にマッチングされた相手である1つ以上の第2のユーザーアカウントが受信され、性別検証モジュールは、受信された1つ以上の第2のユーザーアカウントに対する情報および出力された性別に基づいて受信された性別を検証することができる。さらに他の実施例によると、第1のユーザーアカウントに対する申告情報が受信されることができ、性別検証モジュールは、受信された申告情報および出力された性別に基づいて受信された性別を検証するように構成されることができる。さらに他の実施例によると、アプリケーション内で第1のユーザーアカウントに関連した複数のユーザーアカウント(例えば、友人リスト)に対する情報が受信され、性別検証モジュールは、第1のユーザーアカウントに関連した複数のユーザーアカウントに対する情報(例えば、友人の性別および数)および出力された性別に基づいて受信された性別を検証することができる。さらに他の実施例において、第1のユーザーアカウントに対するユーザー活動情報が収集されることができ、性別検証モジュールは、収集されたユーザー活動情報および出力された性別に基づいて受信された性別を検証することができる。例えば、第1のユーザーアカウントに対するユーザー活動情報は、第1のユーザーアカウントが第2のユーザーアカウントとのビデオ通話をする間に利用したブラー(blur)アイテム(item)、顔面効果アイテム、ロックイン(lock-in)アイテム、シェイク(shake)アイテムまたはステッカーアイテムのうち少なくとも1つに対する情報を含むことができる。さらに他の実施例において、ユーザーアカウントと1つ以上の第2のユーザーアカウント間のテキストチャットの間に入力されたテキストが受信されることができ、性別検証モジュールは、受信されたテキストおよび出力された性別に基づいて受信された性別を検証するように構成されることができる。
【0091】
図6は、本開示の一実施例に係る出力された性別に基づいて受信された性別を検証するステップ(S540)の詳細なステップを示すフローチャートである。まず、性別検証モジュールは、出力された性別が受信された性別と同一であるか否かを判断するステップ(S610)で開始されることができる。出力された性別が受信された性別と異なる場合、受信されたイメージを別途のモニタリングシステムに提供することができる(S630)。これとは異なり、出力された性別が受信された性別と同一である場合、性別検証モジュールは、データ認識モジュールから受信された出力された性別に対する信頼度(例えば、スコア)が予め決定された信頼度以上であるか否かを決定することができる。例えば、人工ニューラルネットワークモデルにおいて出力された性別に対するスコアが89点以下である場合、出力された性別の30%程度の認識失敗率があると分析されることができ、この場合、予め決定された信頼度(スコア)は、90点に設定されることができる。出力された性別に対する信頼度が予め決定された信頼度以上である場合、受信された性別の検証が完了されることができる(S640)。これとは異なり、出力された性別に対する信頼度が予め決定された信頼度未満である場合、別途の検証システムに受信されたイメージが提供されることができる(S630)。
【0092】
別途の検証システムは、受信されたイメージを分析して、受信された性別がユーザーアカウントに関連した性別と同一であるかを判定することができる(S650)。受信された性別がユーザーアカウントに関連した性別と異なると判定されると、ペナルティがユーザーアカウントに付与されることができる(S660)。これとは異なり、受信された性別がユーザーアカウントに関連した性別と同一であると判定されると、受信された性別の検証が完了されることができる(S640)。
【0093】
図7は、本開示の一実施例に係るユーザーアカウントがインスタントメッセージングアプリケーションに加入される間に、ユーザーアカウントに関連した性別を受信する例示を示す図面である。ユーザー端末において第1の動作(710)および第2の動作(720)を通じて、インスタントメッセージングアプリケーションの加入が遂行されることができる。一実施例において、インスタントメッセージングアプリケーションは、ユーザー端末にインストールされて実行される多数のアプリケーションのうち1つであることができる。
【0094】
インスタントメッセージングアプリケーションが動作される場合、ユーザーは、インスタントメッセージングアプリケーションの加入のためのインターフェースの提供を受けることができる。第1の動作(710)に図示されたように、他のサイトやアプリケーションのリスト(712)が画面に表示されることができる。ユーザーは、表示された他のウェブサイトまたはアプリケーションのリスト(712)の中で1つを選択し、選択されたウェブサイトまたはアプリケーションのユーザーアカウントでログインすることにより、インスタントメッセージングアプリケーションに連動加入することができる。ここで、他のウェブサイトは、任意のユーザーが既に加入している可能性の高いウェブサイトを含むことができ、ユーザーは、自分がすでに加入したウェブサイトを選択して、インスタントメッセージングアプリケーションの連動加入時に選択されたウェブサイトのアカウント情報が使用されることができる。選択されたウェブサイトのアカウント情報からユーザーの性別情報が抽出されることができ、情報処理システムは、抽出された性別情報を検証するように構成されることができる。第2の動作(720)に図示されたように、ユーザーは、インスタントメッセージングアプリケーションに加入時、または加入する間にユーザーの性別(722)および生まれ年(724)を入力するためのインターフェースの提供を受けることができる。受信されたユーザーの性別(722)および生まれ年(724)は、情報処理システムに提供されることができ、受信されたユーザーの性別(722)は、情報処理システムによって検証されることができる。
【0095】
図8は、本開示の一実施例に係るインスタントメッセージングアプリケーションが動作される間に、イメージセンサを通じて撮像された複数のイメージから顔面が含まれたイメージを探知してビデオ通話サービスの相手に対する条件を入力する例示を示す図面である。ユーザーがインスタントメッセージングアプリケーションに加入した後に、第1の動作(810)に図示されたように、インスタントメッセージングアプリケーションによって動作された、ユーザー端末の前面部に配置されたイメージセンサを通じて入力映像データが生成され、画面に表示されることができる。
【0096】
ユーザー端末は、入力映像データからユーザーの顔面が含まれたイメージがあるか否かを判定することができる。第1の動作(810)に図示されたように、例えば、映像データからユーザーの顔面を探知する間に、笑顔の絵文字および「Finding a face」というテキスト(812)が表示されることができる。映像データからユーザーの顔面が探知された場合、ユーザーの顔面が含まれたイメージは、ユーザーに関連した性別を検証するのに使用されることができる。一実施例によると、ユーザーの顔面が含まれた1つのイメージがユーザーの性別を検証するのに使用されることができる。他の実施例によると、ユーザーの顔面が含まれた複数のイメージがユーザーの性別を検証するのに使用されることができる。この場合、顔面が含まれた複数のイメージは、ユーザーの顔面などを含むオブジェクトのデプス(depth)を決定するのに使用されることができ、オブジェクトのデプスに対する情報は、ユーザーの性別を検証するのに使用されることができる。これとは異なり、情報処理システムは、ユーザーの顔面が含まれた複数のイメージのそれぞれを、データ認識モジュール(330)に入力して複数の性別および信頼度を出力し、出力された複数の性別および信頼度を分析してユーザーの性別を検証することができる。
【0097】
第1の動作(810)に図示されたように、ユーザーがインスタントメッセージングアプリケーションに加入した後、複数のアイコン(814、816、818、820)が画面に表示されることができる。一例として、アイコン(814)が選択されると、ユーザーのプロフィールに関連した情報が表示されることができる。他の例として、アイコン(816)が選択されると、インスタントメッセージングアプリケーションで提供するショップ(shop)に関連した情報が表示されることができる。さらに他の例として、アイコン(818)が選択されると、ユーザーアカウントに関連した複数のユーザーアカウントに対する情報(例えば、友人リスト)および複数のユーザーアカウントと以前にやり取りしたメッセージに対する情報が表示されることができる。さらに他の例として、アイコン(820)が選択されると、ユーザーアカウントの使用履歴(例えば、ユーザーアカウントと以前にマッチングされたユーザーリストなど)に対する情報が表示されることができる。また、第1の動作(810)に図示されたように、ユーザーアカウントがビデオ通話サービスを希望する相手に対する情報を指定できる「I am searching for anyone in everywhere」というテキスト(822)が表示されることができる。テキスト(822)が選択される場合(例えば、タッチされる場合)、第2の動作(830)に図示されたように、ユーザーがビデオ通話サービスの相手として希望する条件、例えば、性別および地域などを入力できるインターフェースが提供される。
【0098】
図9は、本開示の一実施例に係るインスタントメッセージングアプリケーション内で、ユーザーの少なくとも一部が含まれたイメージにブラー処理を適用する例示を示す図面である。第1の動作(910)は、ユーザーがビデオ通話サービスのための相手をマッチングする前に、イメージセンサを通じてユーザーの顔面および衣服を含むイメージデータが表示される動作を示す。図示されたように、ビデオ通話のための相手を探索することを開始するためのスワイプ領域(914)が表示されることができる。スワイプ領域(914)の特定ポイントがタッチされた後にスワイプが実行される場合、既に設定された条件に基づいてビデオ通話の相手が探索されることができる。
【0099】
ユーザーがイメージをブラーさせるためのアイコン(912)をクリックして、ユーザーの一部を含む1つ以上のイメージにブラーアイテムを適用することができる。一実施例によると、ユーザーが第2の領域(912)を選択すると、表示されたイメージに適用されるブラー効果の程度が選択され得るインターフェース、つまり第2の動作(920)が表示されることができる。そして、ユーザーは、画面の下端に配置されたバー(bar; 922)のポイントをタッチした後にポイントをライン上で調整することにより、ブラー効果の程度を決定することができる。このようなブラーアイテムに対する情報は、ユーザーアカウントのユーザー活動情報として格納されることができ、ユーザーアカウントの性別を判定するのに利用されることができる。例えば、ブラーアイテムは、女性のみに提供されることができ、特定のユーザーアカウントがブラーアイテムを予め決定された以上の回数よりも多く使用した場合には、自分の性別を騙すための動作として解釈され、特定のユーザーアカウントの性別が偽りであると判定される可能性がより高くなることができる。
【0100】
図10は、本開示の一実施例に係るインスタントメッセージングアプリケーション内で、ユーザーの顔面が含まれたイメージに顔面効果処理およびステッカーアイテムを適用する例示を示す図面である。ユーザーは、ユーザー端末において第1の動作(1010)、第2の動作(1020)および第3の動作(1030)を通じて表示されたイメージに適用されるアイテムを選択することができる。例えば、アイテムは、顔フィルター効果アイテムおよび顔縮小アイテムなどを含む顔面効果アイテムおよびステッカーアイテムを含むことができる。選択されたアイテムは、ユーザーが他のユーザーとのビデオ通話時に使用されることができる。
【0101】
一実施例において、第1の動作(1010)に図示されたように、ユーザーは、顔フィルターアイテムを適用するための第1のアイコン(1012)を選択することができ、第1の領域(1012)が選択されると、適用可能な顔フィルターのリスト(1014)が横方向に表示されることができる。ユーザーは、これらのリスト(1014)内でスワイプ動作を遂行することで、現在表示されていない顔フィルターを更に表示させることができる。ユーザーは、適用可能な顔フィルターのうち1つを選択して、表示されたイメージの一部(例えば、顔面)または全部に適用させることができる。このような顔フィルターは、顔に美容効果を適用することができるフィルターを含むことができる。
【0102】
一実施例によると、第2の動作(1020)に図示されたように、ユーザーは、顔縮小アイテムを適用するための第2のアイコン(1022)を選択することができ、第2のアイコン(1022)が選択されるとき、顔縮小の程度を選択できるバー(bar; 1024)が表示されることができる。ユーザーは、バー(1024)のポイントをライン上で調節することにより、イメージに含まれた顔面の縮小程度を決定することができる。このような顔縮小の程度は、数値(例えば、図10においては8)として表示されることができる。
【0103】
一実施例において、第3の動作(1030)に図示されたように、ユーザーは、顔に貼ることのできるステッカーを選択するための第3のアイコン(1032)を選択することができ、第3のアイコン(1032)が選択されると、適用可能なステッカーのリスト(1034)が横方向に表示されることができる。ユーザーは、これらのリスト(1034)内でスワイプ動作を遂行することで、現在表示されていないステッカーを更に表示させることができる。表示されたステッカーのうち1つのステッカーが選択されることができ、選択されたステッカーは、他のユーザーとのビデオ通話セッションで使用されることができる。
【0104】
ユーザーが他のユーザーとのビデオ通話セッション中に使用する予定であったり、または使用したりした顔面効果アイテムおよびステッカーアイテムに対する情報は、ユーザー活動情報として格納されることができる。このようなユーザー活動情報は、使用されたアイテムの種類および回数に対する情報を含むことができる。ユーザー活動情報は、ユーザーの性別を検証するのに使用されることができる。男性および女性に応じて多く使用される顔面効果アイテムおよびステッカーアイテムに対する情報が収集されることができ、収集された情報は、ユーザーの性別を検証するのに使用されることができる。一実施例によると、情報処理システムは、第1のユーザーアカウントに対して、データ認識モジュール(330)から出力された性別情報および顔面効果アイテムおよびステッカーアイテムなどを含んだユーザー活動情報に基づいて第1のユーザーアカウントの性別を検証するように構成されることができる。
【0105】
図11は、本開示の一実施例に係るビデオ通話セッションを開始し、ビデオ通話セッション中にビデオ通話の相手を追加してテキストチャットを行う例示を示す図面である。一実施例によると、情報処理システムは、第1のユーザーアカウントの性別を検証するためにビデオ通話の相手である第2のユーザーアカウントに対する情報を収集することができる。他の実施例において、第1のユーザーアカウントの性別を検証するために第2のユーザーアカウントとのテキストチャットの間に入力されたテキストが収集されることができる。ここで、テキストは、第1のユーザーアカウントまたは第2のユーザーアカウントのうち少なくとも1つのアカウントから入力されたテキストを含むことができる。
【0106】
第1のユーザーアカウントのユーザーは、第1の動作(1110)を通じて第1のユーザーアカウントのビデオ通話を遂行する相手を決定することができる。第1の動作(1110)に図示されたように、情報処理システムが第1のユーザーアカウントのビデオ通話の相手である第2のユーザーアカウントをマッチングすると、第2のユーザーアカウントに対するプロフィール情報(1114)が画面上に表示されることができる。例えば、プロフィール情報は、第2のユーザーアカウントの顔面イメージ、居住地域、関心事情報および第2のユーザーアカウントに対する評価情報を含むことができる。そして、第2のユーザーアカウントに対するプロフィール情報が表示されるときにskipアイコン(1112)がタッチされると、第2のユーザーアカウントとのビデオ通話は遂行されないことができる。これとは異なり、skipアイコン(1112)がタッチされないと、第2のユーザーアカウントとのビデオ通話が遂行されることができる。
【0107】
第1のユーザーアカウントと第2のユーザーアカウント間のビデオ通話セッション中に、第2のユーザーアカウントは、第1のユーザーアカウントの友人として追加されることができる。一実施例によると、第1のユーザーアカウントのユーザーは、第2の動作(1120)を通じて画面に表示された友人追加のためのアイコン(1122)を選択することにより、第2のユーザーアカウントを第1のユーザーアカウントの友人として追加することができる。この場合、追加された第2のユーザーアカウントは、第1のユーザーアカウントに関連して格納されることができる。
【0108】
第1のユーザーアカウントと第2のユーザーアカウント間のビデオ通話セッション中に、第1のユーザーアカウントのユーザーは、第2のユーザーアカウントのユーザーとテキストチャットを遂行することができる。第1のユーザーアカウントのユーザーは、第3の動作(1130)を通じて画面に表示されたテキスト入力領域(1132)を通じてテキストを入力することができ、第1のユーザーアカウントおよび/または第2のユーザーアカウントから入力されたテキストは、テキスト表示ウィンドウ(1134)に表示されることができる。このようなテキストは、第1のユーザーアカウントに関連して格納されることができる。情報処理システムは、第1のユーザーアカウントに関連したテキストを収集してテキストの内容を分析することができ、分析されたテキストの内容に基づいて第1のユーザーの性別を検証するように構成されることができる。一例として、情報処理システムは、収集されたテキストのキーワードを抽出して抽出されたキーワードに加重値を付与し、キーワードおよび加重値に基づいて第1のユーザーの性別を検証することができる。他の例として、情報処理システムは、収集されたテキストを自然言語処理(Natural Language Processing)して第1のユーザーの性別を検証するように構成されることができる。
【0109】
図12は、本開示の一実施例に係る相手とのビデオ通話セッション中に相手を評価する評価情報を送信し、相手から評価情報を受信する例示を示す図面である。第1のユーザーアカウントのユーザーは、第2のユーザーアカウントに対する評価情報を送信することができ、第2のユーザーアカウントから自分に対する評価情報を受信することができる。ここで、評価情報は、ユーザーアカウントに対して選択された評価項目を含むことができる。第1の動作(1210)は、第1のユーザーアカウントのユーザーが第2のユーザーアカウントに対する評価情報を送信するときに要求される動作を示し、第2の動作(1220)は、第1のユーザーアカウントのユーザーが第2のユーザーアカウントから第1のユーザーアカウントに対する評価情報を受信した動作を示すことができる。
【0110】
一実施例によると、第1の動作(1210)によって示された評価情報を表示するためのアイコン(1212)が選択されることができる。アイコン(1212)が選択されると、評価項目のリスト(1214)が表示されることができる。図示されたように、評価項目は、Swaggsとして表示されることができ、例えば、Swaggsは、Handsomeアイコン、Prettyアイコン、Cuteアイコン、Stylishアイコン、Lovelyアイコン、Humorousアイコンなどを含むことができるが、これに限定されない。例えば、第1のユーザーアカウントのユーザーが、第2のユーザーアカウントに対してHandsomeアイコンを選択した場合、第2のユーザーアカウントが動作されるユーザー端末の画面上にHandsomeアイコンが表示されることができ、選択されたアイコンは、第1のユーザーアカウントに関連して格納されることができる。
【0111】
他の実施例によると、第1のユーザーアカウントは、第2のユーザーアカウントから第1のユーザーアカウントに対する評価情報を受信することができる。第2の動作(1220)において図示されたように、Prettyアイコンが受信されることができる。受信されたPrettyアイコンは、第1のユーザーアカウントに関連して格納されることができる。
【0112】
情報処理システムは、1つ以上の第2のユーザーアカウントから第1のユーザーアカウントに対する評価情報を収集することができる。情報処理システムは、1つ以上の第2のユーザーアカウントから収集された第1のユーザーアカウントに対するSwaggsアイコンの種類および回数を第1のユーザーアカウントの評価情報として格納することができる。また、情報処理システムは、複数のユーザーが使用したSwaggsアイコンを分析して、Swaggsアイコンの項目および回数を使用したユーザーの性別を判定するように構成されることができる。例えば、Handsomeアイコン、Stylishアイコンおよび/またはHumorousアイコンが比較的多く与えられた場合、このようなアイコンに対応する性別は男性であると判定される可能性が高い。さらに他の例として、Prettyアイコン、Cuteアイコンおよび/またはLovelyアイコンが比較的多く与えられた場合、このようなアイコンに対応する性別は女性であると判定される可能性が高い。これにより、情報処理システムは、収集された第1のユーザーアカウントの評価情報(つまり、Swaggs内のアイコンの種類および回数)に基づいて第1のユーザーアカウントの性別を検証するように構成されることができる。一実施例によると、第1のユーザーアカウントの評価情報は、データ認識モジュールによって第1のユーザーアカウントに関連した性別が出力される場合において使用される加重値を調整したり、出力された性別の信頼度を調整したりするのに使用されることができる。図12においては、Swaggsが6つのアイコンを含むものとして図示されているが、これに限定されず、Swaggsは6つのアイコンよりも多くのアイコンで構成されることができる。
【0113】
図13は、本開示の一実施例に係る相手とのビデオ通話セッション中に相手が出られないようにロックイン(lock-in)アイテムを使用する例示を示す図面である。一実施例によると、情報処理システムは、第1のユーザーアカウントの性別を検証するためにビデオ通話セッション中に使用されたロックインアイテムを収集することができる。ここで、収集されたロックインアイテムは、ロックインアイテムの項目および回数を含むことができる。例えば、第1のユーザーアカウントがビデオ通話の相手である1つ以上の第2のユーザーアカウントに対して使用したロックインアイテムに関する情報が、第1のユーザーアカウントのユーザー活動情報として収集されることができる。他の例として、1つ以上の第2のユーザーアカウントが第1のユーザーアカウントに対して使用したロックインアイテムに関する情報が、第1のユーザーアカウントに関連して格納されることができる。
【0114】
一実施例において、第1の動作(1310)に図示されたように、第1のユーザーアカウントは、第2のユーザーアカウントとのビデオ通話セッション中に選択可能なロックインアイテムのリスト(1312)の提供を受けることができる。ここで、ロックインアイテムのリスト(1312)は、一定期間の間に相手がビデオ通話のセッションから出られないようにする機能を提供する複数のロックインアイテムを含むことができる。例えば、図示されたように、ロックインアイテムのリスト(1312)は、10秒ロックインアイテム、20秒ロックインアイテムおよび30秒ロックインアイテムを含むことができる。このようなロックインアイテムは、第1のユーザーアカウントがインスタントメッセージングアプリケーションで使用可能なコインで購入されることができる。このように使用されたロックインアイテムは、第1のユーザーアカウントのユーザー活動情報として格納されることができ、第1のユーザーアカウントの性別を検証するのに使用されることができる。情報処理システムは、複数のユーザーが使用した複数のロックインアイテムに対する情報を分析して、ロックインアイテムの種類および回数を使用したユーザーの性別を判定するように構成されることができる。
【0115】
一実施例によると、第2の動作(1320)に図示されたように、第1のユーザーアカウントは、第2のユーザーアカウントのビデオ通話セッション中に第2のユーザーアカウントからロックインアイテムを受信し、画面上に表示することができる。例えば、受信されたアイテムは、10秒ロックインアイテム(1322)であることができ、受信された10秒ロックインアイテム(1322)は、第1のユーザーアカウントの画面に表示されることができる。この場合、第1のユーザーアカウントは、第2のユーザーアカウントのビデオ通話セッションを出ることができない。情報処理システムは、第1のユーザーアカウントが複数のビデオ通話の相手から受信したロックインアイテムを収集し、収集されたロックインアイテムを第1のユーザーアカウントに関連して格納することができる。収集されたロックインアイテムは、第1のユーザーアカウントに関連した性別を検証するのに使用されることができる。
【0116】
図14は、本開示の一実施例に係る相手とのビデオ通話中にユーザー端末のシェイクアイテムを使用する例示を示す図面である。ここで、シェイクアイテムは、ビデオ通話セッション中に相手が好意を持っている場合に使用されることができる。例えば、第1のユーザーアカウントと第2のユーザーアカウント間のビデオ通話セッション中に、第1のユーザーアカウントが第2のユーザーアカウントに対してシェイクアイテムを使用した場合、第1の動作(1410)が遂行されることができる。他の例として、第1のユーザーアカウントと第2のユーザーアカウント間のビデオ通話セッション中に、第2のユーザーアカウントが第1のユーザーアカウントに対してシェイクアイテムを使用した場合、第2の動作(1420)が遂行されることができる。
【0117】
一実施例によると、第1のユーザーアカウントのユーザーは、第2のユーザーアカウントとのビデオ通話セッション中に、第1のユーザーアカウントが動作されるユーザー端末を振って、シェイクアイテムを使用することができる。第1の動作(1410)に図示されたように、シェイクアイテムが使用された場合、画面上に好意を表現する第1の特殊効果が表示されることができる。そして、第1のユーザーアカウントと第2のユーザーアカウント間のビデオ通話セッション中に、第2のユーザーアカウントがシェイクアイテムを使用した場合、相互好意があるのを示す第2の特殊効果が表示されることができる。第2の動作(1420)に図示されたように、第2の特殊効果は、第1の特殊効果よりも多くの量の効果を含むことができる。第1のユーザーアカウントと第2のユーザーアカウント間のビデオ通話セッション中に、第1のユーザーアカウントが第2のユーザーアカウントに対してシェイクアイテムを使用した場合、使用されたシェイクアイテムは、第1のユーザーアカウントのユーザー活動情報として格納されることができる。情報処理システムは、第1のユーザーアカウントがビデオ通話の相手だった1つ以上のユーザーアカウントに対して使用したシェイクアイテムに関する情報を、第1のユーザーアカウントのユーザー活動情報として収集することができる。第1のユーザーアカウントのユーザー活動情報は、第1のユーザーアカウントの性別を検証するのに使用されることができる。また、1つ以上の第2のユーザーアカウントが第1のユーザーアカウントに対して使用したシェイクアイテムは、第1のユーザーアカウントに関連した情報として格納されることができ、第1のユーザーアカウントの性別を検証するのに使用されることができる。
【0118】
図15は、本開示の一実施例に係る相手とのビデオ通話中に申告項目を送信する例示を示す図面である。一実施例によると、第2のユーザーアカウントは、第1のユーザーアカウントとのビデオ通話セッション中に、第1のユーザーアカウントのユーザーが不適切な行動を見せたり、第1のユーザーアカウントのプロフィール情報と異なる情報が発見されたりする場合、第1のユーザーアカウントを申告することができる。第1のユーザーアカウントを申告するとき、第2のユーザーアカウントは、第1のユーザーアカウントに対する申告項目を選択、または記載することができる。
【0119】
図15に図示されたように、第2のユーザーアカウントは、第1のユーザーアカウントとのビデオ通話セッション中に、第1のユーザーアカウントを申告するためのアイコン(1510)を選択することができる。アイコン(1510)が選択されると、申告項目リスト(1520)が画面上に表示されることができる。例えば、申告項目リスト(1520)は、「Violence or harmful behavior」、「Sexual harassment」、「Other」項目を含むことができ、相手に対する不適切な行動や相手のプロフィール情報と異なる場合に申告され得る任意の項目を含むことができる。一実施例によると、ビデオ通話上で把握される第1のユーザーアカウントの性別が男性であり、第1のユーザーアカウントのプロフィールが女性として表示された場合、第2のユーザーアカウントのユーザーは、第1のユーザーアカウントを申告することができ、図15に図示されたように、「Other」項目を選択して、第1のユーザーアカウントの性別が実際と異なるという点を記載して申告することができる。このような申告項目は、情報処理システムに提供されることができ、第1のユーザーアカウントの性別を検証するのに使用されることができる。
【0120】
図16は、本開示の一実施例に係るユーザーアカウントに関連したメッセージおよび友人リストを照会する例示を示す図面である。ユーザーは、ユーザー端末において、第1の動作(1610)および第2の動作(1620)を通じてユーザーアカウントに関連した情報、つまり、ユーザーが他のユーザーとやり取りしたメッセージ、ユーザーアカウントに関連して登録された複数のユーザーアカウント(つまり、友人リスト)などを検索することができる。このような他のユーザーとのテキストチャットの間に入力されたテキストおよび友人リストは、情報処理システムに提供され、ユーザーアカウントの性別を検証するのに使用されることができる。
【0121】
第1の動作(1610)に図示されたように、ユーザーが画面上に表示された「Message」テキスト(1612)をタッチする場合、自分のユーザーアカウントとテキストチャットをした複数のユーザーアカウントのリスト(1614)が表示されることができる。複数のユーザーアカウントのリスト(1614)のうち1つが選択される場合、テキストチャットの間に入力されたテキストが表示されることができる。ここで、テキストチャットの間に入力されたテキストは、ユーザーアカウントから入力されたテキストおよび/またはチャットボックス内の他のユーザーアカウントから入力されたテキストをすべて含むことができる。このようなテキストチャットの間に入力されたテキストは、情報処理システムに提供されて分析されることができ、分析されたテキストに基づいてユーザーアカウントの性別が検証されることができる。例えば、テキストの分析アルゴリズムまたは技法は、関連分野において既に知られた任意の分析アルゴリズムまたは技法が使用されることができ、例えば、キーワードベース分析、自然言語処理分析技法などが使用されることができる。
【0122】
第2の動作(1620)に図示されたように。ユーザーが画面上に表示された「Friends」テキスト(1622)をタッチする場合、自分のユーザーアカウントに関連した複数のユーザーアカウント、つまり友人リスト(1624)が画面上に表示されることができる。このような友人リスト(1624)内に含まれた複数のユーザーアカウントに対する情報(例えば、性別、年齢など)が情報処理システムに提供されることができ、友人リスト内に含まれた複数のユーザーアカウントに対する情報に基づいてユーザーアカウントの性別が検証されることができる。一実施例によると、友人リストに含まれた複数のユーザーアカウントの中で、男性の割合が予め決定された割合よりも高い場合、ユーザーアカウントの性別は男性より女性である可能性が高い。この場合、ユーザーアカウントに関連した他の情報と総合してユーザーアカウントの性別を判断するアルゴリズムを遂行する場合において、情報処理システムは、ユーザーアカウントの性別が女性であると判定する場合において、より高い加重値および/または信頼度を付与する任意の動作を実行することができる。
【0123】
図17は、本開示の一実施例に係るユーザーアカウントに関連したプロフィール情報を出力する例示を示す図面である。一実施例において、ユーザーアカウントの性別を検証するために、情報処理システムは、ユーザーアカウントのプロフィール情報をユーザーアカウントに関連した情報として収集することができる。ここで、ユーザーアカウントのプロフィール情報は、ユーザーアカウントの特徴を示す任意の情報を含むことができ、ユーザーアカウントから入力された情報および/または他のユーザーアカウントから入力されたユーザーアカウントに対する情報を含むことができる。例えば、ユーザーアカウントのプロフィール情報は、プロフィールイメージ、評価(Swaggs)、関心事(Interests)、言語(Language)、地域などに対する情報を含むことができる。情報処理システムは、ユーザーアカウントの性別を検証する場合においてこのようなプロフィール情報を使用することができる。
【0124】
一実施例によると、情報処理システムは、ユーザーアカウントの評価情報としてユーザーアカウントが受信したSwaggsのアイコンに対する情報を収集することができる。図示されたように、例えば、Swaggsのリスト(1710)は、ユーザーアカウントが受信したSwaggsアイコンの種類および回数を含むことができる。これにより、情報処理システムは、ユーザーアカウントの性別を検証する場合において、プロフィール情報内に格納されたSwaggsアイコンのうちユーザーアカウントが多く受信した上位アイコンに高い加重値を付与することができる。例えば、ユーザーアカウントが、Handsomeアイコン、Stylishアイコンおよび/またはHumorousアイコンを他のアイコンよりも多く受信した場合、情報処理システムは、ユーザーアカウントに関連した他の情報と総合してユーザーアカウントの性別を判断する場合において、ユーザーアカウントの性別が男性であると判定するのにより高い加重値および/または信頼度を付与することができる任意の動作を実行することができる。これとは異なり、ユーザーアカウントが、Prettyアイコン、Cuteアイコンおよび/またはLovelyアイコンを他のアイコンよりも多く受信した場合、ユーザーアカウントの性別が女性であると判定するのにより高い加重値および/または信頼度が付与されることができる任意の動作が実行されることができる。
【0125】
一実施例において、情報処理システムは、ユーザーアカウントの関心事情報としてユーザーアカウントが受信した関心事項目のリスト(1720)を受信することができる。図示されたように、例えば、関心事情報は、関心事項目の前にタグを併記して表示されることができる。また、情報処理システムは、関心事を示す参考キーワードのそれぞれに対応する性別を示す加重値情報を格納することができる。これにより、情報処理システムは、受信された関心事項目のリスト(1720)内に含まれた関心事項目に対する性別を示す加重値を決定して、ユーザーアカウントの性別を検証するのに使用することができる。
【0126】
図18は、本開示の一実施例に係るユーザーアカウントとビデオ通話を行った1つ以上のユーザーアカウントを出力する例示を示す図面である。ユーザーアカウント(例えば、第1のユーザーアカウント)は、以前に自分とマッチングされた1つ以上の他のユーザーアカウント(第2のユーザーアカウント)を格納することができる。このような1つ以上の第2のユーザーアカウントは、インスタントメッセージングアプリケーション内の履歴(History)を通じて表示されることができる。例えば、図18に図示されたように、複数のユーザーアカウントのリスト(1810)が、第1のユーザーアカウントと以前にマッチングされたユーザーアカウントとして第1のユーザーアカウントの履歴に表示されることができる。
【0127】
情報処理システムは、第1のユーザーアカウントと以前にマッチングされた1つ以上の第2のユーザーアカウントを受信するように構成されることができる。情報処理システムは、受信された1つ以上の第2のユーザーアカウントに対する情報に基づいて第1のユーザーアカウントの性別を検証することができる。一実施例によると、受信された1つ以上の第2のユーザーアカウントの性別が第1のユーザーアカウントの性別を検証するのに使用されることができる。例えば、第2のユーザーアカウントの性別において、男性が女性に比べてより多い場合、第2のユーザーアカウントの性別は男性であると判定される場合においてより多くの加重値が付与されることができる。
【0128】
上述されたビデオ通話サービスを提供するインスタントメッセージングアプリケーションを介して受信された情報を検証する方法は、コンピュータ読み取り可能な記録媒体にコンピュータ読み取り可能なコードで具現されることもできる。コンピュータ読み取り可能な記録媒体は、コンピュータシステムにより読み取り可能なデータが格納されるすべての種類の記録装置を含む。コンピュータが読み取り可能な記録媒体の例としては、ROM、RAM、CD-ROM、磁気テープ、フロッピーディスク、光データ格納装置などがある。また、コンピュータ読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータ読み取り可能なコードが格納されて実行されることができる。そして、前記実施例を具現するための機能的な(functional)プログラム、コードおよびコードセグメントは、本発明が属する技術分野のプログラマーによって容易に推論されることができる。
【0129】
本開示の方法、動作または技法は、多様な手段によって具現されることもできる。例えば、これらの技法は、ハードウェア、ファームウェア、ソフトウェア、またはこれらの組み合わせによって具現されることもできる。本願の開示と連携して説明された多様な例示的論理ブロック、モジュール、回路およびアルゴリズムのステップは、電子ハードウェア、コンピュータソフトウェア、または両者の組み合わせで具現され得るということを当業者は理解できるであろう。ハードウェアおよびソフトウェアのこのような相互代替を明確に説明するために、多様な例示的構成要素、ブロック、モジュール、回路およびステップがそれらの機能的観点から一般的に上述されている。そのような機能がハードウェアとして具現されるか否か、またはソフトウェアとして具現されるか否かは、特定のアプリケーションおよび全体システムに課される設計要求事項によって異なることになる。当業者は、それぞれの特定のアプリケーションのために多様な方式で説明された機能を具現することもできるが、そのような具現は本開示の範囲を逸脱するものと解釈されてはならない。
【0130】
ハードウェアの具現において、技法を遂行するのに利用されるプロセッシングユニットは、1つ以上のASIC、DSP、デジタル信号プロセッシングデバイス(digital signal processing devices; DSPD)、プログラム可能な論理デバイス(programmable logic devices; PLD)、フィールドプログラム可能なゲートアレイ(field programmable gate arrays; FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本開示で説明された機能を遂行するように設計された他の電子ユニット、コンピュータ、またはこれらの組み合わせの中から具現されることもできる。
【0131】
従って、本開示と連携して説明された多様な例示的論理ブロック、モジュール、および回路は、汎用プロセッサ、DSP、ASIC、FPGAや他のプログラム可能な論理デバイス、ディスクリートゲートやトランジスタロジック、ディスクリートハードウェアコンポーネント、または本願において説明された機能を遂行するように設計されたものの任意の組み合わせで具現されたり、実行されたりすることもできる。汎用プロセッサは、マイクロプロセッサであることもできるが、代案として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態マシンであることもできる。プロセッサは、また、コンピューティングデバイスの組み合わせ、例えば、DSPとマイクロプロセッサ、複数のマイクロプロセッサ、DSPコアと連携した1つ以上のマイクロプロセッサ、または任意の他の構成の組み合わせで具現されることもできる。
【0132】
ファームウェアおよび/またはソフトウェアの具現において、技法は、ランダムアクセスメモリ(random access memory; RAM)、読み出し専用メモリ(read-only memory; ROM)、不揮発性RAM(non-volatile random access memory; NVRAM)、PROM(programmable read-only memory)、EPROM(erasable programmable read-only memory)、EEPROM(electrically erasable PROM)、フラッシュメモリ、コンパクトディスク(compact disc; CD)、磁気または光データストレージデバイスなどのようなコンピュータ読み取り可能な媒体上に格納されたコマンドで具現されることもできる。コマンドは、1つ以上のプロセッサによって実行することもでき、プロセッサが本開示において説明された機能の特定の態様を遂行するようにすることもできる。
【0133】
ソフトウェアで具現される場合、前記の技法は、1つ以上のコマンドまたはコードとしてコンピュータ読み取り可能な媒体上に格納されたり、またはコンピュータ読み取り可能な媒体を通じて送信されたりすることもできる。コンピュータ読み取り可能な媒体は、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含めてコンピュータ格納媒体および通信媒体の両者を含む。格納媒体は、コンピュータによってアクセス可能な任意の利用可能な媒体であることもできる。非限定的な例として、これらのコンピュータ読み取り可能な媒体は、RAM、ROM、EEPROM、CD-ROMまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、または所望のプログラムコードをコマンドまたはデータ構造の形態に移送または格納するために使用されることができ、コンピュータによってアクセス可能な任意の他の媒体を含むことができる。また、任意の接続がコンピュータ読み取り可能な媒体に適切に称される。
【0134】
例えば、ソフトウェアが同軸ケーブル、光ファイバーケーブル、撚線、デジタル加入者回線(DSL)、または赤外線、無線およびマイクロ波などのワイヤレス技術を使用して、Webサイト、サーバー、または他のリモートソースから送信されると、同軸ケーブル、光ファイバーケーブル、撚線、デジタル加入者回線、または赤外線、無線およびマイクロ波などのワイヤレス技術は、媒体の定義内に含まれる。本願において使用されるディスク(disk)とディスク(disc)は、CD、レーザーディスク、光ディスク、DVD(digital versatile disc)、フロッピーディスクおよびブルーレイディスクを含み、ここでディスク(disks)は、通常、磁気的にデータを再生し、一方ディスク(discs)は、レーザーを利用して光学的にデータを再生する。前記の組み合わせもコンピュータ読み取り可能な媒体の範囲内に含まれるべきである。
【0135】
ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、移動式ディスク、CD-ROM、または公知された任意の他の形態の格納媒体内に常駐することもできる。例示的な格納媒体は、プロセッサが格納媒体から情報を読み出したり、格納媒体に情報を記録したりすることができるように、プロセッサに連結されることができる。代案として、格納媒体は、プロセッサに統合されることもできる。プロセッサと格納媒体は、ASIC内に存在することもできる。ASICは、ユーザー端末内に存在することもできる。代案として、プロセッサと格納媒体は、ユーザー端末において個別のコンポーネントとして存在することもできる。
【0136】
以上で説明された実施例が1つ以上のスタンドアロンコンピュータシステムで現在開示された主題の態様を活用するものとして記述されたが、本開示はこれに限定されず、ネットワークや分散コンピューティング環境のような任意のコンピューティング環境と連携して具現されることもできる。さらに、本開示における主題の様相は、複数のプロセッシングチップやデバイスで具現されることもでき、ストレージは、複数のデバイスにわたって同様に影響を受けることもできる。これらのデバイスは、PC、ネットワークサーバーおよびハンドヘルドデバイスを含むこともできる。
【0137】
本明細書において、本開示は一部実施例に関連して説明されたが、本開示の発明の属する技術分野の通常の技術者が理解できる本開示の範囲を逸脱しない範囲で多様な変形および変更が行われることができる。また、そのような変形および変更は、本明細書に添付された特許請求の範囲内に属するものとして考えられなければならない。
【符号の説明】
【0138】
112、114、116:ユーザー端末
120:ネットワーク
130:情報処理システム
212:入出力デバイス
214、232:入出力インターフェース
216、234:メモリ
218、236:プロセッサ
220、238:通信モジュール
310:データ収集モジュール
320:データ学習モジュール
330:データ認識モジュール
340:性別検証モジュール
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18