(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-09
(45)【発行日】2024-12-17
(54)【発明の名称】イメージフィルタリング方法、電子機器およびコンピュータプログラム
(51)【国際特許分類】
G06F 16/583 20190101AFI20241210BHJP
H04L 51/04 20220101ALI20241210BHJP
【FI】
G06F16/583
H04L51/04
(21)【出願番号】P 2019083960
(22)【出願日】2019-04-25
【審査請求日】2022-04-18
【審判番号】
【審判請求日】2024-01-11
(31)【優先権主張番号】10-2018-0070594
(32)【優先日】2018-06-20
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】516014409
【氏名又は名称】ライン プラス コーポレーション
【氏名又は名称原語表記】LINE Plus Corporation
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】アン ジョンユン
(72)【発明者】
【氏名】キム ドンヒョン
(72)【発明者】
【氏名】ユン ヘヨン
(72)【発明者】
【氏名】ジャン ヒョクジェ
【合議体】
【審判長】吉田 美彦
【審判官】林 毅
【審判官】大塚 俊範
(56)【参考文献】
【文献】特開2016-35750(JP,A)
【文献】特開2017-199417(JP,A)
【文献】特開2015-207976(JP,A)
【文献】特開2010-92163(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F16/583
H04L51/04
(57)【特許請求の範囲】
【請求項1】
電子機器が実行するイメージフィルタリング方法であって、
メッセンジャーのチャットルームで他の電子機器が前記メッセンジャーのサーバへイメージを送信した後に、前記電子機器が前記イメージの代わりに
前記イメージから抽出されたキーワードと前記イメージのサムネイルとを含む会話メッセージを
前記サーバから受信する段階、および
前記イメージから抽出されたキーワードとイメージフィルタリングのための条件として設定されているキーワード
とが合致する場合、前記チャットルームの画面に前記イメージから抽出されたキーワードのみを表示する段階
を含む、イメージフィルタリング方法。
【請求項2】
電子機器が実行するイメージフィルタリング方法であって、
メッセンジャーのチャットルームで他の電子機器が前記メッセンジャーのサーバへイメージを送信した後に、
前記電子機器が前記イメージの代わりに
前記イメージのサムネイルを含む会話メッセージを
前記サーバから受信する段階、
前記イメージのサムネイルを対象とするオブジェクト検出によって、前記イメージから抽出されたキーワードを取得する段階、および
前記イメージから抽出されたキーワードとイメージフィルタリングのための条件として設定されているキーワード
とが合致する場合、
前記チャットルームの画面に前記イメージから抽出されたキーワードのみを表示する段階
を含む、イメージフィルタリング方法。
【請求項3】
電子機器が実行するイメージフィルタリング方法であって、
メッセンジャーのチャットルームで他の電子機器が前記メッセンジャーのサーバへイメージを送信した後に、
前記電子機器が前記イメージの代わりに
前記イメージから抽出されたキーワードと前記イメージのサムネイルとを含む会話メッセージを
前記サーバから受信する段階、および
前記イメージから抽出されたキーワードとイメージフィルタリングのための条件として設定されているキーワード
とが合致する場合、
前記チャットルームの画面に、前記イメージから抽出されたキーワードと、所定のフィルタリング効果を適用した、前記イメージのサムネイルとを表示する段階
を含む、イメージフィルタリング方法。
【請求項4】
電子機器が実行するイメージフィルタリング方法であって、
メッセンジャーのチャットルームで他の電子機器が前記メッセンジャーのサーバへイメージを送信した後に、
前記電子機器が前記イメージの代わりに
前記イメージのサムネイルを含む会話メッセージを
前記サーバから受信する段階、
前記イメージのサムネイルを対象とするオブジェクト検出によって、前記イメージから抽出されたキーワードを取得する段階、および
前記イメージから抽出されたキーワードとイメージフィルタリングのための条件として設定されているキーワード
とが合致する場合、
前記チャットルームの画面に、前記イメージから抽出されたキーワードと、所定のフィルタリング効果を適用した、前記イメージのサムネイルとを表示する段階
を含む、イメージフィルタリング方法。
【請求項5】
前記表示する段階は、前記チャットルームの画面に、さらにダウンロードメニューを表示することを含み、
前記ダウンロードメニューが入力されることにより前記チャットルームに前記イメージに対するユーザ要求が入力されると、前記メッセンジャーのサーバから前記イメージをダウンロードして前記イメージから抽出されたキーワードとともに記録する段階
を含む、
請求項1~4のいずれか一項に記載のイメージフィルタリング方法。
【請求項6】
電子機器が実行するイメージフィルタリング方法であって、
メッセンジャーのチャットルームで他の電子機器が前記メッセンジャーのサーバへイメージを送信した後に、
前記電子機器が前記イメージの代わりに
前記イメージから抽出されたキーワードを含む会話メッセージを
前記サーバから受信する段階、および
前記イメージから抽出されたキーワードとイメージフィルタリングのための条件として設定されているキーワード
とが合致する場合、
前記イメージに対するユーザ認証を要求する段階
を含む、イメージフィルタリング方法。
【請求項7】
前記ユーザ認証が完了すると、前記メッセンジャーのサーバから前記イメージをダウンロードして前記イメージから抽出されたキーワードとともに記録する段階
を含む、請求項6に記載のイメージフィルタリング方法。
【請求項8】
前記チャットルーム
の画面にメッセージ入力や検索のためのキーワードが入力された場合、前記記録されたイメージのうちで前記入力されたキーワードに対応するイメージを推薦する段階
を含む、請求項
5又は7に記載のイメージフィルタリング方法。
【請求項9】
前記イメージから抽出されたキーワードは、前記メッセンジャーのサーバまたは前記他の電子機器で前記イメージを対象とするオブジェクト検出によって抽出される、
請求項
1、3、6又は7に記載のイメージフィルタリング方法。
【請求項10】
前記イメージから抽出されたキーワードが事前に設定されている特定のキーワードに合致する場合、前記イメージを直ぐに
前記メッセンジャーのサーバからダウンロードして記録する段階
を含む、
請求項1~9のいずれか一項に記載のイメージフィルタリング方法。
【請求項11】
請求項1~10のうちのいずれか一項に記載のイメージフィルタリング方法を
前記電子機器に実行させるコンピュータプログラム。
【請求項12】
電子機器であって、
メッセンジャーのチャットルームで他の電子機器が前記メッセンジャーのサーバへイメージを送信した後に、前記イメージの代わりに
前記イメージから抽出されたキーワードと前記イメージのサムネイルとを含む会話メッセージを
前記サーバから受信する手段、および
前記イメージから抽出されたキーワードとイメージフィルタリングのための条件として設定されているキーワード
とが合致する場合、前記チャットルームの画面に前記イメージから抽出されたキーワードのみを表示する手段
を含む、電子機器。
【請求項13】
電子機器であって、
メッセンジャーのチャットルームで他の電子機器が前記メッセンジャーのサーバへイメージを送信した後に、前記イメージの代わりに
前記イメージのサムネイルを含む会話メッセージを
前記サーバから受信する手段、
前記イメージのサムネイルを対象とするオブジェクト検出によって、前記イメージから抽出されたキーワードを取得する手段、および
前記イメージから抽出されたキーワードとイメージフィルタリングのための条件として設定されているキーワード
とが合致する場合、
前記チャットルームの画面に前記イメージから抽出されたキーワードのみを表示する手段
を含む、電子機器。
【請求項14】
電子機器であって、
メッセンジャーのチャットルームで他の電子機器が前記メッセンジャーのサーバへイメージを送信した後に、前記イメージの代わりに
前記イメージから抽出されたキーワードと前記イメージのサムネイルとを含む会話メッセージを
前記サーバから受信する手段、および
前記イメージから抽出されたキーワードとイメージフィルタリングのための条件として設定されているキーワード
とが合致する場合、
前記チャットルームの画面に、前記イメージから抽出されたキーワードと、所定のフィルタリング効果を適用した、前記イメージのサムネイルとを表示する手段
を含む、電子機器。
【請求項15】
電子機器であって、
メッセンジャーのチャットルームで他の電子機器が前記メッセンジャーのサーバへイメージを送信した後に、前記イメージの代わりに
前記イメージのサムネイルを含む会話メッセージを
前記サーバから受信する手段、
前記イメージのサムネイルを対象とするオブジェクト検出によって、前記イメージから抽出されたキーワードを取得する手段、および
前記イメージから抽出されたキーワードとイメージフィルタリングのための条件として設定されているキーワード
とが合致する場合、
前記チャットルームの画面に、前記イメージから抽出されたキーワードと、所定のフィルタリング効果を適用した、前記イメージのサムネイルとを表示する手段
を含む、電子機器。
【請求項16】
電子機器であって、
メッセンジャーのチャットルームで他の電子機器が前記メッセンジャーのサーバへイメージを送信した後に、前記イメージの代わりに
前記イメージから抽出されたキーワードを含む会話メッセージを
前記サーバから受信する手段、および
前記イメージから抽出されたキーワードとイメージフィルタリングのための条件として設定されているキーワード
とが合致する場合、
前記イメージに対するユーザ認証を要求する手段
を含む、電子機器。
【発明の詳細な説明】
【技術分野】
【0001】
以下の説明は、イメージをフィルタリングする技術に関する。
【背景技術】
【0002】
一般的なコミュニケーションツールであるインスタントメッセンジャー(instant messenger)は、リアルタイムでメッセージやデータを送受信することができるソフトウェアであり、ユーザがメッセンジャー上で会話相手を登録すると、会話相手リストに登録された相手とリアルタイムでメッセージをやり取りすることができる。
【0003】
このようなメッセンジャー機能は、パーソナルコンピュータ(PC)はもちろん、移動通信端末のモバイル環境でもその使用が普遍化している。
【0004】
例えば、特許文献1(公開日2002年09月30日)には、携帯端末機にインストールされたモバイルメッセンジャー同士にメッセンジャーサービスを提供することができるようにした、無線通信網を利用した携帯端末機のモバイルメッセンジャーサービスシステムおよび方法が開示されている。
【0005】
一般的に、メッセンジャーでは、チャットルームでユーザ同士が写真、動画、ファイル、連絡先、位置、スケジュールなどのような多様な情報を共有する機能や、会話メッセージや共有情報を検索する機能などを支援している。
【先行技術文献】
【特許文献】
【0006】
【文献】韓国公開特許第10-2002-0074304号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
チャットルームで共有したいイメージから抽出されたキーワードを利用してイメージをフィルタリングすることができる。
【課題を解決するための手段】
【0008】
電子機器が実行するイメージフィルタリング方法であって、前記電子機器は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサを含み、前記イメージフィルタリング方法は、前記少なくとも1つのプロセッサにより、メッセンジャーのチャットルームで他の電子機器から送信されたイメージに関する情報を含む会話メッセージを受信する段階、および前記少なくとも1つのプロセッサにより、前記会話メッセージに対応するイメージを前記イメージから抽出されたキーワードを利用してフィルタリングする段階を含む、イメージフィルタリング方法を提供する。
【0009】
一側面によると、前記受信する段階は、前記メッセンジャーのサーバから前記イメージに関する前記キーワードを含む会話メッセージを受信する段階を含んでよい。
【0010】
他の側面によると、前記キーワードは、前記メッセンジャーのサーバまたは前記他の電子機器で前記イメージを対象とするオブジェクト検出によって抽出されてよい。
【0011】
また他の側面によると、前記受信する段階は、前記メッセンジャーのサーバから前記イメージに対して前記イメージのサムネイルを含む会話メッセージを受信する段階を含み、前記イメージフィルタリング方法は、前記少なくとも1つのプロセッサにより、前記サムネイルを対象とするオブジェクト検出によって前記キーワードを抽出する段階を含んでよい。
【0012】
また他の側面によると、前記フィルタリングする段階は、前記キーワードがイメージフィルタリングのための条件として設定されたキーワードに合致する場合、前記イメージの表示を制限する段階を含んでよい。
【0013】
また他の側面によると、前記フィルタリングする段階は、前記キーワードがイメージフィルタリングのための条件として設定されたキーワードに合致する場合、前記チャットルームに前記会話メッセージを表示するときに前記イメージのサムネイルを表示せずに前記キーワードを表示する段階を含んでよい。
【0014】
また他の側面によると、前記フィルタリングする段階は、前記キーワードがイメージフィルタリングのための条件として設定されたキーワードに合致する場合、前記チャットルームに前記会話メッセージを表示するときに前記イメージのサムネイルにフィルタリング効果を適用して表示する段階を含んでよい。
【0015】
また他の側面によると、前記フィルタリングする段階は、前記キーワードがイメージフィルタリングのための条件として設定されたキーワードに合致する場合、前記チャットルームに前記会話メッセージを表示するときに前記イメージに対するユーザ認証を要求する段階を含んでよい。
【0016】
また他の側面によると、前記イメージフィルタリング方法は、前記少なくとも1つのプロセッサにより、前記チャットルームに前記イメージに対するユーザ要求が入力されると、前記メッセンジャーのサーバから前記イメージをダウンロードして前記キーワードとともに記録する段階を含んでよい。
【0017】
また他の側面によると、前記イメージフィルタリング方法は、前記少なくとも1つのプロセッサにより、前記チャットルームにメッセージ入力や検索のためのキーワードが入力された場合、前記記録されたイメージのうちで前記入力されたキーワードに対応するイメージを推薦する段階を含んでよい。
【0018】
また他の側面によると、前記イメージフィルタリング方法は、前記少なくとも1つのプロセッサにより、前記キーワードが事前に設定された特定のキーワードに合致する場合、前記イメージを直ぐにダウンロードして記録する段階を含んでよい。
【0019】
さらに他の側面によると、前記フィルタリングする段階は、前記イメージが特定の種類のコンテンツに該当する場合、前記条件とは関係なく前記イメージを自動で隠し処理するか削除処理する段階を含んでよい。
【0020】
前記イメージフィルタリング方法をコンピュータに実行させるためのコンピュータプログラム、およびコンピュータプログラムが記録されている非一時的なコンピュータ読み取り可能な記録媒体を提供する。
【0021】
電子機器であって、メモリ、および前記メモリに通信可能に接続され、前記メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサを含み、前記少なくとも1つのプロセッサは、メッセンジャーのチャットルームで他の電子機器から送信されたイメージに関する情報を含む会話メッセージを受信するメッセージ受信部、および前記会話メッセージに対応するイメージを前記イメージから抽出されたキーワードを利用してフィルタリングするイメージフィルタリング部を備える、電子機器を提供する。
【図面の簡単な説明】
【0022】
【
図1】本発明の一実施形態における、ネットワーク環境の例を示した図である。
【
図2】本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。
【
図3】本発明の一実施形態における、メッセンジャーでのイメージ送信のための基本的な技術シナリオの例を示した図である。
【
図4】本発明の一実施形態における、サーバのプロセッサが含むことのできる構成要素の例を示したブロック図である。
【
図5】本発明の一実施形態における、サーバが実行することのできる方法の例を示したフローチャートである。
【
図6】本発明の一実施形態における、電子機器のプロセッサが含むことのできる構成要素の例を示したブロック図である。
【
図7】本発明の一実施形態における、電子機器が実行することのできる方法の例を示したフローチャートである。
【
図8】本発明の一実施形態における、イメージフィルタリング過程を示したフローチャートである。
【
図9】本発明の一実施形態における、イメージフィルタリング過程を示したフローチャートである。
【
図10】本発明の一実施形態における、イメージフィルタリング過程を示したフローチャートである。
【
図11】本発明の一実施形態における、イメージの表示を制限するチャットルーム画面の例を示した図である。
【
図12】本発明の一実施形態における、イメージ表示を制限するチャットルーム画面の例を示した図である。
【発明を実施するための形態】
【0023】
以下、本発明の実施形態について、添付の図面を参照しながら詳細に説明する。
【0024】
本発明の実施形態は、イメージをフィルタリングする技術に関する。
【0025】
本明細書において具体的に開示される事項などを含む実施形態は、イメージから抽出されたキーワードを利用してイメージを自動でフィルタリングすることができ、これによってイメージ規制、イメージ管理、利便性、効率性、費用節減などの側面において相当な長所を達成することができる。
【0026】
図1は、本発明の一実施形態における、ネットワーク環境の例を示した図である。
図1のネットワーク環境は、複数の電子機器110、120、130、140、複数のサーバ150、160、およびネットワーク170を含む例を示している。このような
図1は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が
図1のように限定されることはない。
【0027】
複数の電子機器110、120、130、140は、コンピュータシステムによって実現される固定端末や移動端末であってよい。複数の電子機器110、120、130、140の例としては、スマートフォン、携帯電話、ナビゲーション、PC(personal computer)、ノート型PC、デジタル放送用端末、PDA(Personal Digital Assistant)、PMP(Portable Multimedia Player)、タブレット、ゲームコンソール、ウェアラブルデバイス、IoT(internet of things)デバイス、VR(virtual reality)デバイス、AR(augmented reality)デバイスなどがある。一例として、
図1では、電子機器110の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器110は、実質的に無線または有線通信方式を利用し、ネットワーク170を介して他の電子機器120、130、140および/またはサーバ150、160と通信することのできる多様な物理的なコンピュータシステムのうちの1つを意味してよい。
【0028】
通信方式が限定されることはなく、ネットワーク170が含むことのできる通信網(一例として、移動通信網、有線インターネット、無線インターネット、放送網、衛星網など)を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてよい。例えば、ネットワーク170は、PAN(personal area network)、LAN(local area network)、CAN(campus area network)、MAN(metropolitan area network)、WAN(wide area network)、BBN(broadband network)、インターネットなどのネットワークのうちの1つ以上の任意のネットワークを含んでよい。さらに、ネットワーク170は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター-バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の1つ以上を含んでもよいが、これらに限定されることはない。
【0029】
サーバ150、160それぞれは、複数の電子機器110、120、130、140とネットワーク170を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する1つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ150は、ネットワーク170を介して接続した複数の電子機器110、120、130、140に第1サービスを提供するシステムであってよく、サーバ160も、ネットワーク170を介して接続した複数の電子機器110、120、130、140に第2サービスを提供するシステムであってよい。より具体的な例として、サーバ150は、複数の電子機器110、120、130、140においてインストールされて実行されるコンピュータプログラムであるアプリケーションを通じ、該当のアプリケーションが目的とするサービス(一例として、メッセンジャーサービスなど)を第1サービスとして複数の電子機器110、120、130、140に提供してよい。他の例として、サーバ160は、上述したアプリケーションのインストールおよび実行のためのファイルを複数の電子機器110、120、130、140に配布するサービスを第2サービスとして提供してよい。
【0030】
図2は、本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。
図2では、電子機器に対する例として電子機器110の内部構成およびサーバ150の内部構成について説明する。また、他の電子機器120、130、140やサーバ160も、上述した電子機器110またはサーバ150と同一または類似の内部構成を有してよい。
【0031】
電子機器110およびサーバ150は、メモリ211、221、プロセッサ212、222、通信モジュール213、223、および入力/出力インタフェース214、224を含んでよい。メモリ211、221は、非一時的なコンピュータ読み取り可能な記録媒体であって、RAM(random access memory)、ROM(read only memory)、ディスクドライブ、SSD(solid state drive)、フラッシュメモリ(flash memory)などのような永続的大容量記録装置を含んでよい。ここで、ROM、SSD、フラッシュメモリ、ディスクドライブのような永続的大容量記録装置は、メモリ211、221とは区分される別の永続的記録装置として電子機器110やサーバ150に含まれてもよい。また、メモリ211、221には、オペレーティングシステムと、少なくとも1つのプログラムコード(一例として、電子機器110においてインストールされて実行されるブラウザや特定のサービスの提供のために電子機器110にインストールされるアプリケーションなどのためのコード)が記録されてよい。このようなソフトウェア構成要素は、メモリ211、221とは別のコンピュータ読み取り可能な記録媒体からロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー(登録商標)ドライブ、ディスク、テープ、DVD/CD-ROMドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信モジュール213、223を通じてメモリ211、221にロードされてもよい。例えば、少なくとも1つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システム(一例として、上述したサーバ160)がネットワーク170を介して提供するファイルによってインストールされるコンピュータプログラム(一例として、上述したアプリケーション)に基づいてメモリ211、221にロードされてよい。
【0032】
プロセッサ212、222は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ211、221または通信モジュール213、223によって、プロセッサ212、222に提供されてよい。例えば、プロセッサ212、222は、メモリ211、221のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。
【0033】
通信モジュール213、223は、ネットワーク170を介して電子機器110とサーバ150とが互いに通信するための機能を提供してもよいし、電子機器110および/またはサーバ150が他の電子機器(一例として、電子機器120)または他のサーバ(一例として、サーバ160)と通信するための機能を提供してもよい。一例として、電子機器110のプロセッサ212がメモリ211のような記録装置に記録されたプログラムコードにしたがって生成した要求が、通信モジュール213の制御にしたがってネットワーク170を介してサーバ150に伝達されてよい。これとは逆に、サーバ150のプロセッサ222の制御にしたがって提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール223とネットワーク170を経て電子機器110の通信モジュール213を通じて電子機器110に受信されてよい。例えば、通信モジュール213を通じて受信されたサーバ150の制御信号や命令、コンテンツ、ファイルなどは、プロセッサ212やメモリ211に伝達されてよく、コンテンツやファイルなどは、電子機器110がさらに含むことのできる記録媒体(上述した永続的記録装置)に記録されてよい。
【0034】
入力/出力インタフェース214は、入力/出力装置215とのインタフェースのための手段であってよい。例えば、入力装置は、キーボード、マウス、マイクロフォン、カメラなどの装置を、出力装置は、ディスプレイ、スピーカ、触覚フィードバックデバイスなどのような装置を含んでよい。他の例として、入力/出力インタフェース214は、タッチスクリーンのように入力と出力のための機能が1つに統合された装置とのインタフェースのための手段であってもよい。入力/出力装置215は、電子機器110と1つの装置で構成されてもよい。また、サーバ150の入力/出力インタフェース224は、サーバ150に接続するかサーバ150が含むことのできる入力または出力のための装置(図示せず)とのインタフェースのための手段であってよい。より具体的な例として、電子機器110のプロセッサ212がメモリ211にロードされたコンピュータプログラムの命令を処理するにあたり、サーバ150や電子機器120が提供するデータを利用して構成されるサービス画面やコンテンツが、入力/出力インタフェース214を通じてディスプレイに表示されてよい。
【0035】
また、他の実施形態において、電子機器110およびサーバ150は、
図2の構成要素よりも多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、電子機器110は、上述した入力/出力装置215のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、GPS(Global Positioning System)モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、電子機器110がスマートフォンである場合、一般的にスマートフォンが含んでいる加速度センサやジャイロセンサ、カメラモジュール、物理的な各種ボタン、タッチパネルを利用したボタン、入力/出力ポート、振動のための振動器などのような多様な構成要素が、電子機器110にさらに含まれるように実現されてよい。
【0036】
図3は、本発明の一実施形態における、メッセンジャーでのイメージ送信のための基本的な技術シナリオの例を示した図である。
【0037】
図3は、メッセンジャーを利用してユーザ同士がイメージをやり取りする過程の例を示している。
【0038】
1.電子機器110のユーザ(ユーザA)は、電子機器110上にインストールされたメッセンジャーを実行させた後、電子機器120のユーザ(ユーザB)とのチャットルーム内でユーザBと共有したいイメージを選択する。チャットルームは、ユーザAのアカウントとユーザBのアカウント間に設定された通信セッションに対応するメッセンジャー会話画面である。
【0039】
2.電子機器110は、メッセンジャーのファイル送信要求にしたがい、ユーザAが選択したイメージをサーバ150に送信する。
【0040】
3.サーバ150は、電子機器110からユーザBに送信するイメージを受信してファイルDB(例えば、メモリ221)に記録する。
【0041】
4.電子機器120は、メッセンジャー上のユーザAとのチャットルームにおいて、ユーザBの要求にしたがい、サーバ150からユーザAが送信したイメージをダウンロードする。
【0042】
5.サーバ150は、ユーザAからユーザBに送信されたイメージを一旦は保管するが、ユーザBがダウンロードを実施すれば、一定の時間後に該当のイメージをファイルDB上から削除する。
【0043】
サーバ150は、ユーザAが送信したイメージファイルをユーザBに直ぐに送信するのではなく、先ずはイメージに対する会話メッセージとして該当のイメージのサムネイル(thumbnail)を含むイメージタイプメッセージを伝達し、ユーザBから要求があるときに該当のイメージファイルを電子機器120にダウンロードさせる。
【0044】
以下では、イメージをフィルタリングする方法およびシステムの具体的な実施形態について説明する。
【0045】
本明細書において、イメージとは、写真のような静止映像はもちろん、動画などのようなイメージ基盤のすべてのコンテンツを包括したものを意味してよい。
【0046】
図4は、本発明の一実施形態における、サーバのプロセッサが含むことのできる構成要素の例を示したブロック図であり、
図5は、本発明の一実施形態における、サーバが実行することのできる方法の例を示したフローチャートである。
【0047】
本実施形態に係るサーバ150は、クライアント(client)である複数の電子機器110、120、130、140を対象にメッセンジャーサービスを提供するプラットフォームの役割をする。サーバ150は、電子機器110、120、130、140上にインストールされたアプリケーションと連動してメッセンジャーサービスを提供してよい。
【0048】
サーバ150は、
図5に示されたイメージフィルタリング方法を実行してよい。このために、サーバ150のプロセッサ222は、構成要素として、
図4に示すように、イメージ受信部410、キーワード抽出部420、およびメッセージ伝達部430を備えてよい。実施形態によっては、プロセッサ222の構成要素は、選択的にプロセッサ222に含まれても除外されてもよい。また、実施形態によっては、プロセッサ222の構成要素は、プロセッサ222の機能の表現のために分離されても併合されてもよい。
【0049】
このようなプロセッサ222およびプロセッサ222の構成要素は、
図5のイメージフィルタリング方法が含む段階510~540を実行するようにサーバ150を制御してよい。例えば、プロセッサ222およびプロセッサ222の構成要素は、メモリ221が含むオペレーティングシステムのコードと少なくとも1つのプログラムのコードとによる命令(instruction)を実行するように実現されてよい。
【0050】
ここで、プロセッサ222の構成要素は、サーバ150に記録されたプログラムコードが提供する命令にしたがってプロセッサ222によって実行される、プロセッサ222の互いに異なる機能(different functions)の表現であってよい。例えば、サーバ150がチャットルームで共有したいイメージを受信するように上述した命令にしたがってサーバ150を制御するプロセッサ222の機能的表現として、イメージ受信部410が利用されてよい。
【0051】
段階510で、プロセッサ222は、サーバ150の制御と関連する命令がロードされたメモリ221から必要な命令を読み取ってよい。この場合、前記読み取った命令には、以下で説明される段階520~540をプロセッサ222が実行するように制御するための命令が含まれてよい。
【0052】
段階520で、イメージ受信部410は、電子機器110のユーザが含まれたチャットルームで共有したいイメージを電子機器110から受信してよい。電子機器110のユーザは、他のユーザと共有したいイメージを、チャットルームを通じてサーバ150にアップロードするようになる。
【0053】
段階530で、キーワード抽出部420は、電子機器110から受信したイメージからイメージと関連するキーワードを抽出してよい。一例として、キーワード抽出部420は、オブジェクト検出(object detecting)によってイメージに含まれたオブジェクトを認識して該当のオブジェクトの名称を取得することにより、イメージと関連するキーワードを抽出してよい。キーワード抽出部420は、機械学習(machine learning)エンジン(例えば、TensorFlowなど)を含み、学習イメージセットによって予め学習されたディープラーニング(deep learning)モデルを基盤としたオブジェクト検出アルゴリズムを適用してよい。キーワード抽出部420は、電子機器110から受信したイメージが入力されると、ディープラーニングモデル基盤のオブジェクト検出アルゴリズムに基づいて該当のイメージ内に含まれたオブジェクトを見つけ出し、該当のオブジェクトの特徴を抽出してよい。このとき、キーワード抽出部420は、オブジェクト分類が可能な多様な属性(例えば、カラー、テクスチャ、カテゴリなど)を基盤としてモデリングされた学習モデルを適用することにより、イメージから検出されたオブジェクトの特徴を抽出してよい。上述した方法の他にも、既に公知となっている技術、例えば、SIFT(scale invariant feature transform)、SURF(speeded up robust features)、HOG(histogram of oriented gradient)、MCT(modified census transform)などのイメージ認識アルゴリズムのうちの少なくともいずれか1つのアルゴリズムを利用してイメージに含まれた特徴を抽出し、抽出された特徴をサーバ150上のデータベース(一例として、メモリ221)またはサーバ150と連動可能な他のデータベースに事前に登録されたオブジェクトの特徴との類似度を計算する方式によってイメージからキーワードを抽出してよい。キーワードを抽出する以外にも、イメージ分析結果に基づいて公序良俗に違反するもの等のような特定の種類のコンテンツを分類することも可能である。
【0054】
段階540で、メッセージ伝達部430は、電子機器110から受信したイメージに対し、段階530で抽出されたキーワードを含んだ会話メッセージを、チャットルームを通じて他のユーザの電子機器120に伝達してよい。サーバ150は、電子機器110のユーザがチャットルームにイメージをアップロードした場合、このイメージを該当のチャットルームと関連のあるデータとして記録してよく、このとき、イメージから抽出されたキーワードをともに記録してよい。このとき、メッセージ伝達部430は、電子機器110のユーザによってアップロードされたイメージに対し、該当のイメージに関する情報を含んだ会話メッセージを相手に伝達してよい。言い換えれば、メッセージ伝達部430は、イメージファイルを直ぐに伝達するのではなく、先ずはイメージに関する情報を含んだイメージタイプメッセージを伝達するのである。特に、メッセージ伝達部430は、イメージタイプメッセージを伝達するときに、該当のイメージから抽出されたキーワードをともに伝達してよい。このとき、イメージタイプメッセージの場合、イメージから抽出されたキーワードを含むか、あるいはイメージから抽出されたキーワードとともに該当のイメージのサムネイルを含んでよい。
【0055】
したがって、サーバ150は、チャットルームで共有したいイメージに対し、該当のイメージからキーワードを抽出し、抽出されたキーワードを含んだ会話メッセージを該当のチャットルームに伝達することができるようになる。
【0056】
図6は、本発明の一実施形態における、電子機器のプロセッサが含むことのできる構成要素の例を示したブロック図であり、
図7は、本発明の一実施形態における、電子機器が実行することのできる方法の例を示したフローチャートである。
【0057】
本実施形態に係る電子機器110には、コンピュータで実現されたイメージフィルタリングシステムが構成されてよい。一例として、イメージフィルタリングシステムは、独立的に動作するプログラム形態で実現されても、あるいは特定のアプリケーションのイン-アプリ(in-app)形態で構成されて前記特定のアプリケーション上で動作が可能なように実現されてもよく、サーバ150との連動によってイメージフィルタリングを実行してよい。
【0058】
電子機器110にインストールされたアプリケーションが提供する命令に基づき、電子機器110に実現されたイメージフィルタリングシステムは、イメージフィルタリング方法を実行してよい。
図7に示されたイメージフィルタリング方法を実行するために、電子機器110のプロセッサ212は、構成要素として、
図6に示すように、フィルタリング設定部610、メッセージ受信部620、およびイメージフィルタリング部630を備えてよい。実施形態によっては、プロセッサ212の構成要素は、選択的にプロセッサ212に含まれても除外されてもよい。また、実施形態によっては、プロセッサ212の構成要素は、プロセッサ212の機能の表現のために分離されても併合されてもよい。
【0059】
このようなプロセッサ212およびプロセッサ212の構成要素は、
図7のイメージフィルタリング方法が含む段階710~740を実行するように電子機器110を制御してよい。例えば、プロセッサ212およびプロセッサ212の構成要素は、メモリ211が含むオペレーティングシステムのコードと少なくとも1つのプログラムのコードとによる命令(instruction)を実行するように実現されてよい。
【0060】
ここで、プロセッサ212の構成要素は、電子機器110に記録されたプログラムコードが提供する命令(一例として、電子機器110で実行されるアプリケーションが提供する命令)にしたがってプロセッサ212によって実行される、プロセッサ212の互いに異なる機能(different functions)の表現であってよい。例えば、電子機器110がイメージフィルタリングのための条件を設定するように上述した命令にしたがって電子機器110を制御するプロセッサ212の機能的表現として、フィルタリング設定部610が利用されてよい。
【0061】
段階710で、プロセッサ212は、電子機器110の制御と関連する命令がロードされたメモリ211から必要な命令を読み取ってよい。この場合、前記読み取った命令には、以下で説明される段階720~740をプロセッサ212が実行するように制御するための命令が含まれてよい。
【0062】
段階720で、フィルタリング設定部610は、イメージフィルタリングのための条件として少なくとも1つのキーワードを含むキーワードリストを設定してよい。イメージフィルタリングのためのキーワードリストは、電子機器110のユーザ設定によって定められてよく、電子機器110のユーザと関連する情報(例えば、年齢など)を基準としてデフォルト値で定められるキーワードをさらに含んでよい。また、キーワードリストは、電子機器110にインストールされたメッセンジャーのチャットルーム全体を対象に一括設定されてもよいし、あるいはチャットルームそれぞれに対して個別条件として設定されてもよい。
【0063】
段階730で、メッセージ受信部620は、電子機器110のユーザが含まれたチャットルームで他のユーザが送信した会話メッセージを受信してよく、このとき、受信メッセージが、他のユーザによって送信されたイメージに関する情報を含んだイメージタイプメッセージである場合、該当のイメージから抽出されたキーワードをともに受信してよい。言い換えれば、メッセージ受信部620は、チャットルームで電子機器110のユーザに送信されたイメージに対し、サーバ150から、該当のイメージから抽出されたキーワードを含んだ会話メッセージを受信するのである。このとき、会話メッセージには、電子機器110のユーザに送信されたイメージのサムネイルがさらに含まれてよい。
【0064】
段階740で、イメージフィルタリング部630は、チャットルームで電子機器110のユーザがやり取りした会話メッセージを表示する過程において、イメージタイプメッセージである場合、該当のメッセージとともに受信したキーワードがキーワードリストに含まれていれば、チャットルームでのイメージの表示を制限してよい。イメージフィルタリング部630は、イメージタイプメッセージ別に、該当のイメージから抽出されたキーワードをローカル記録空間(例えば、メモリ211)に記録した後、記録されたキーワードとイメージフィルタリングのための条件として設定されたキーワードとのマッチング処理を行い、それらが合致する場合にイメージフィルタリングを実行してよい。一例として、イメージフィルタリング部630は、チャットルームにイメージタイプメッセージに含まれたキーワード、すなわち、イメージから抽出されたキーワードのみを表示することにより、チャットルームで受信したイメージがフィルタリング対象に属するイメージであることを示してよい。他の例として、イメージフィルタリング部630は、チャットルームにイメージタイプメッセージを表示するときに該当のイメージのサムネイルを表示する場合、サムネイルにイメージ表示を制限するフィルタリング効果(例えば、ブラー(blur)処理など)を適用させることで、チャットルームで受信したイメージがフィルタリング対象に属するイメージであることを示してよい。また他の例として、イメージフィルタリング部630は、チャットルームにイメージタイプメッセージを表示するときに所定の認証(例えば、成人認証やパスワード認証など)を要求することで、チャットルームで受信したイメージがフィルタリング対象に属するイメージであることを示してよい。イメージフィルタリング部630は、フィルタリング対象イメージに対してユーザ要求が入力されたり認証が完了したりすれば、これをサーバ150に要求して該当のイメージをダウンロードしてローカルに記録してよい。このとき、イメージフィルタリング部630は、ダウンロードした各イメージ別に、該当のイメージから抽出されたキーワードをともに記録してよい。
【0065】
さらに、イメージフィルタリング部630は、電子機器110のユーザに送信されたイメージが公序良俗に違反するコンテンツに該当する場合、該当のイメージをフィルタリング条件とは関係なく、自動で隠し処理や削除処理を施してよい。一方、イメージフィルタリング部630は、イメージ表示を制限することとは反対に、電子機器110のユーザに送信されたイメージがユーザによって事前に設定された特定のキーワードに合致するイメージである場合は、ユーザ要求がなくても直ぐにダウンロードしてローカルに自動記録してよい。また、イメージフィルタリング部630は、視覚障害者のアクセス性のために、チャットルームにイメージタイプメッセージが受信された場合、該当のイメージから抽出されたキーワードをTTS(text to speech)によって音声で出力してよい。さらに、イメージフィルタリング部630は、チャットルームのメッセージ入力ウィンドウや検索ウィンドウにキーワードが入力された場合、チャットルームでダウンロードして記録したイメージのうちで入力されたキーワードに対応するイメージを自動で推薦してよい。
【0066】
したがって、メッセンジャーがインストールされたクライアント側では、メッセンジャーのチャットルームでやり取りするイメージに対し、イメージから抽出されたキーワードを利用してイメージフィルタリングを実行することができるようになる。
【0067】
イメージと関連するキーワードを抽出する主体は、上述したようにサーバ150であってよいが、場合によっては、発信側クライアントまたは受信側クライアントがキーワード抽出の主体となってもよい。
【0068】
図8~10は、本発明の一実施形態における、イメージフィルタリング過程を示したフローチャートである。電子機器110のユーザAが電子機器120のユーザBにイメージを送信する状況を前提として説明する。
【0069】
図8は、サーバ150がキーワード抽出の主体である場合のイメージフィルタリング過程を示している。
【0070】
電子機器110は、ユーザAによってユーザBとのチャットルームで共有したいイメージが選択されると、選択されたイメージをサーバ150にアップロードしてよい(S81)。
【0071】
サーバ150は、電子機器110からイメージが受信されると、受信したイメージからイメージと関連するキーワードを抽出してよい(S82)。
【0072】
サーバ150は、電子機器110から受信したイメージを、該当のイメージから抽出されたキーワードとともに記録してよい(S83)。
【0073】
サーバ150は、電子機器110から受信したイメージ、すなわち、ユーザAが送信したイメージに対する会話メッセージとして、イメージタイプメッセージを、該当のチャットルームを通じてユーザBの電子機器120に伝達してよい(S84)。
【0074】
電子機器120に伝達されるイメージタイプメッセージは、イメージから抽出されたキーワードを含むか、あるいはイメージから抽出されたキーワードとともに該当のイメージのサムネイルを含んでよい。
【0075】
電子機器120は、ユーザAとのチャットルームにユーザAとやり取りした会話メッセージを表示する過程において、イメージタイプメッセージである場合には、イメージから抽出されたキーワードを利用して該当のチャットルームでのイメージフィルタリングを行ってよい(S85)。
【0076】
図9は、発信側クライアントである電子機器110がキーワード抽出の主体である場合のイメージフィルタリング過程を示している。
【0077】
電子機器110は、ユーザAによってユーザBとのチャットルームで共有したいイメージが選択されると、選択されたイメージからイメージと関連するキーワードを抽出してよい(S91)。
【0078】
電子機器110は、イメージをサーバ150にアップロードする前に、イメージから抽出されたキーワードを、編集画面を通じてユーザAに提供してよい。このとき、ユーザAは、編集画面でイメージから抽出されたキーワードを確認してよく、必要によっては、キーワードの修正、追加、削除などのような編集を直接行ってよい。
【0079】
電子機器110は、ユーザAによって選択されたイメージと関連するキーワード(抽出されたキーワードまたは編集されたキーワード)をローカルに記録した後、サーバ150にアップロードしてよい(S92)。
【0080】
サーバ150は、電子機器110から受信したイメージとキーワードをともに記録してよい(S93)。
【0081】
サーバ150は、電子機器110から受信したイメージ、すなわち、ユーザAが送信したイメージに対する会話メッセージとして、イメージタイプメッセージを、該当のチャットルームを通じてユーザBの電子機器120に伝達してよい(S94)。
【0082】
電子機器120に伝達されるイメージタイプメッセージは、イメージから抽出されたキーワードを含むか、あるいはイメージから抽出されたキーワードとともに該当のイメージのサムネイルを含んでよい。
【0083】
電子機器120は、ユーザAとのチャットルームにユーザAとやり取りした会話メッセージを表示する過程において、イメージタイプメッセージである場合には、イメージから抽出されたキーワードを利用して該当のチャットルームでのイメージフィルタリングを行ってよい(S95)。
【0084】
図10は、受信側クライアントである電子機器120がキーワード抽出の主体である場合のイメージフィルタリング過程を示している。
【0085】
電子機器110は、ユーザAによってユーザBとのチャットルームで共有したいイメージが選択されると、選択されたイメージをサーバ150にアップロードしてよい(S101)。
【0086】
サーバ150は、電子機器110からイメージが受信されると、受信したイメージを記録してよい(S102)。
【0087】
サーバ150は、電子機器110から受信したイメージ、すなわち、ユーザAが送信したイメージに対する会話メッセージとして、イメージタイプメッセージを、該当のチャットルームを通じてユーザBの電子機器120に伝達してよい(S103)。
【0088】
電子機器120に伝達されるイメージタイプメッセージは、イメージのサムネイルを含んでよい。
【0089】
電子機器120は、ユーザAとのチャットルームにユーザAとやり取りした会話メッセージを表示する過程において、イメージタイプメッセージである場合には、サムネイルイメージからイメージと関連するキーワードを抽出してよい(S104)。
【0090】
電子機器120は、ユーザAが送信したイメージのサムネイルイメージとキーワードをローカルに記録した後、サムネイルイメージから抽出されたキーワードを利用して該当のチャットルームでのイメージフィルタリングを行ってよい(S105)。
【0091】
イメージと関連するキーワードを抽出する主体は、サーバ150だけではなく、発信側クライアントや受信側クライアントにキーワード抽出のための学習モデルが含まれる場合は、キーワード抽出の主体として利用可能である。
【0092】
受信側クライアントでは、イメージから抽出されたキーワードがフィルタリング条件として設定されたキーワードリストに含まれている場合、チャットルームでのイメージ表示を制限してよい。
【0093】
図11を参照すると、電子機器120は、ユーザAとのチャットルーム1100にユーザAとやり取りした会話メッセージを表示するようになるが、このとき、ユーザAがイメージを送信した場合、サムネイルは表示せず、イメージから抽出されたキーワード(keyword)だけでイメージタイプメッセージ1110を表示することによってイメージ表示を制限してよい。
【0094】
図12を参照すると、電子機器120は、ユーザAとのチャットルーム1200にサムネイルイメージを利用してイメージタイプメッセージ1220を表示した場合、サムネイルにブラー処理をしてイメージ表示を制限してよい。このとき、イメージ(IMAGE)がどのような物体のイメージであるのか、該当のイメージから抽出されたキーワード(keyword)をともに表示してよい。
【0095】
イメージ表示が制限されたフィルタリング対象イメージであったとしても、ユーザBがイメージタイプメッセージ1110、1220と連係するダウンロードメニュー1111、1221を入力した場合、電子機器120はサーバ150に要求をし、イメージタイプメッセージ1110、1220に対応するイメージをダウンロードしてローカルに記録することも可能である。
【0096】
このように、本発明の実施形態によると、チャットルームで共有したいイメージを対象に、イメージから抽出されたキーワードを利用してイメージを自動でフィルタリングすることができる。
【0097】
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および/またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ、マイクロコンピュータ、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、1つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム(OS)およびOS上で実行される1つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、1つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および/または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは1つのプロセッサおよび1つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
【0098】
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの1つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび/またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、1つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
【0099】
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例は、ハードディスク、フロッピー(登録商標)ディスク、および磁気テープのような磁気媒体、CD-ROMおよびDVDのような光媒体、フロプティカルディスク(floptical disk)のような光磁気媒体、およびROM、RAM、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。
【0100】
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ/あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
【0101】
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
【符号の説明】
【0102】
212:プロセッサ
610:フィルタリング設定部
620:メッセージ受信部
630:イメージフィルタリング部