(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-23
(45)【発行日】2024-05-31
(54)【発明の名称】画像管理方法、コンピュータプログラム、記憶媒体およびコンピュータ装置
(51)【国際特許分類】
G06Q 50/00 20240101AFI20240524BHJP
G06F 3/0481 20220101ALI20240524BHJP
G06Q 50/10 20120101ALI20240524BHJP
【FI】
G06Q50/00 300
G06F3/0481
G06Q50/10
(21)【出願番号】P 2019202262
(22)【出願日】2019-11-07
【審査請求日】2022-10-26
(31)【優先権主張番号】10-2018-0165210
(32)【優先日】2018-12-19
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】516014409
【氏名又は名称】ライン プラス コーポレーション
【氏名又は名称原語表記】LINE Plus Corporation
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】チョウ ユリ
(72)【発明者】
【氏名】パク ヒジン
【審査官】鈴木 和樹
(56)【参考文献】
【文献】米国特許出願公開第2014/0333746(US,A1)
【文献】特開2014-216001(JP,A)
【文献】特開2013-200793(JP,A)
【文献】特開2016-126790(JP,A)
【文献】米国特許出願公開第2013/0033611(US,A1)
【文献】米国特許出願公開第2014/0267796(US,A1)
【文献】米国特許出願公開第2015/0227609(US,A1)
【文献】米国特許出願公開第2016/0044228(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00 - 99/00
G06F 3/0481
(57)【特許請求の範囲】
【請求項1】
少なくとも1つのプロセッサを含むサーバの画像管理方法であって、
前記少なくとも1つのプロセッサにより、顔画像とメッセンジャーアカウントを連動してデータベースに記録する段階、
前記少なくとも1つのプロセッサにより、第1メッセンジャーアカウントによって識別されるユーザのユーザ端末からネットワークを介して対象画像を受信する段階、
前記少なくとも1つのプロセッサにより、前記受信した対象画像から少なくとも1つの顔画像を認識する段階、
前記少なくとも1つのプロセッサにより、前記認識された少なくとも1つの顔画像それぞれを前記データベースで検索し、対応する少なくとも1つの第2メッセンジャーアカウントを抽出する段階、
前記少なくとも1つのプロセッサにより、前記抽出された少なくとも1つの第2メッセンジャーアカウントと関連し、前記ユーザ端末における前記対象画像の表示および前記対象画像のメッセンジャーサービスを利用した共有のうちの少なくとも1つのための追加情報を決定する段階、および
前記抽出された少なくとも1つの第2メッセンジャーアカウントおよび前記追加情報を提供する段階
を含み、前記追加情報を決定する段階は、
前記抽出された少なくとも1つの第2メッセンジャーアカウントと関連するイベントまたは前記イベントによって前記対象画像に適用されるエフェクトを前記追加情報として決定することを含み、
前記イベントは、メッセンジャー会話内容を利用して決定される、画像管理方法。
【請求項2】
前記追加情報を決定する段階は、
前記抽出された少なくとも1つの第2メッセンジャーアカウントが参加した既に存在する第1チャットルームに関する情報、および前記抽出された少なくとも1つの第2メッセンジャーアカウントが参加する新たな第2チャットルームの生成のための情報のうちの少なくとも1つの情報を前記追加情報として決定する、
請求項1に記載の画像管理方法。
【請求項3】
前記対象画像の前記メッセンジャーサービスを利用した共有のために表示されるチャットルームのうちの前記第1チャットルームに前記第2チャットルームのものより高い表示優先順位が付与される、
請求項2に記載の画像管理方法。
【請求項4】
前記追加情報に基づいて前記新たな第2チャットルームの生成のためのユーザインタフェースが前記ユーザ端末によって提供される、
請求項2に記載の画像管理方法。
【請求項5】
請求項1~
4のうちのいずれか一項に記載の画像管理方法をコンピュータ装置に実行させるためのコンピュータプログラム。
【請求項6】
請求項1~
4のうちのいずれか一項に記載の画像管理方法をコンピュータ装置に実行させるためのコンピュータプログラムが記録されている、コンピュータ読み取り可能な記録媒体。
【請求項7】
コンピュータ装置であって、
前記コンピュータ装置で読み取り可能な命令を実行するように実現される少なくとも1つのプロセッサ
を含み、
前記少なくとも1つのプロセッサにより、
顔画像とメッセンジャーアカウントを連動してデータベースに記録し、
第1メッセンジャーアカウントによって識別されるユーザのユーザ端末からネットワークを介して対象画像を受信し、
前記受信した対象画像から少なくとも1つの顔画像を認識し、
前記認識された少なくとも1つの顔画像それぞれを前記データベースで検索し、対応する少なくとも1つの第2メッセンジャーアカウントを抽出し、
前記抽出された少なくとも1つの第2メッセンジャーアカウントと関連し、前記ユーザ端末における前記対象画像の表示および前記対象画像のメッセンジャーサービスを利用した共有のうちの少なくとも1つのための追加情報を決定し、
前記抽出された少なくとも1つの第2メッセンジャーアカウントおよび前記追加情報を提供し、
前記追加情報を決定する場合において、前記抽出された少なくとも1つの第2メッセンジャーアカウントと関連するイベントまたは前記イベントによって前記対象画像に適用されるエフェクトを前記追加情報として決定し、
前記イベントは、メッセンジャー会話内容を利用して決定される、コンピュータ装置。
【請求項8】
前記少なくとも1つのプロセッサにより、
前記抽出された少なくとも1つの第2メッセンジャーアカウントが参加した既に存在する第1チャットルームに関する情報、および前記抽出された少なくとも1つの第2メッセンジャーアカウントが参加する新たな第2チャットルームの生成のための情報のうちの少なくとも1つの情報を前記追加情報として決定する、
請求項
7に記載のコンピュータ装置。
【発明の詳細な説明】
【技術分野】
【0001】
以下の説明は、画像管理方法、画像管理方法を実行するコンピュータ装置、コンピュータ装置と結合して画像管理方法をコンピュータ装置に実行させるためにコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラム、およびその記録媒体等に関する。
【背景技術】
【0002】
画像の顔認識は、多様な分野において活用可能な技術である。例えば、特許文献1では、スマートワーク環境における顔認識基盤のユーザ認証技法を開示している。さらに、ソーシャルネットワークサービスでもユーザに関連性のある情報を提供するために顔認識が活用されている。例えば、特許文献2では、ソーシャルネットワーキング情報を利用した顔認識技術を開示している。
【先行技術文献】
【特許文献】
【0003】
【文献】韓国登録特許第10-1468192号公報
【文献】韓国公開特許第10-2014-0091599号公報
【発明の概要】
【課題を解決するための手段】
【0004】
少なくとも1つのプロセッサを含むサーバの画像管理方法であって、前記少なくとも1つのプロセッサにより、顔画像とメッセンジャーアカウントを連動してデータベースに記録する段階、前記少なくとも1つのプロセッサにより、第1メッセンジャーアカウントによって識別されるユーザのユーザ端末からネットワークを介して対象画像を受信する段階、前記少なくとも1つのプロセッサにより、前記受信した対象画像から少なくとも1つの顔画像を認識する段階、前記少なくとも1つのプロセッサにより、前記認識された少なくとも1つの顔画像それぞれを前記データベースで検索し、対応する少なくとも1つの第2メッセンジャーアカウントを抽出する段階、前記少なくとも1つのプロセッサにより、前記抽出された少なくとも1つの第2メッセンジャーアカウントと関連し、前記ユーザ端末における前記対象画像の表示および前記対象画像のメッセンジャーサービスを利用した共有のうちの少なくとも1つのための追加情報を決定する段階、および前記少なくとも1つのプロセッサにより、前記抽出された少なくとも1つの第2メッセンジャーアカウントおよび前記追加情報を提供する段階を含む画像管理方法を提供する。
【0005】
少なくとも1つのプロセッサを含むユーザ端末の画像管理方法であって、前記少なくとも1つのプロセッサにより、対象画像で認識された少なくとも1つの顔画像のための少なくとも1つのメッセンジャーアカウントを決定する段階、前記少なくとも1つのプロセッサにより、前記対象画像の表示および前記対象画像のメッセンジャーサービスを利用した共有のうちの少なくとも1つと関連し、前記決定された少なくとも1つのメッセンジャーアカウントと関連する追加情報を決定する段階、および前記少なくとも1つのプロセッサにより、前記追加情報を利用して前記対象画像を管理する段階を含む、画像管理方法を提供する。
【0006】
前記画像管理方法をコンピュータ装置に実行させるためのコンピュータプログラムが記録されている、コンピュータ読み取り可能な記録媒体を提供する。
【0007】
コンピュータ装置と結合して前記画像管理方法をコンピュータ装置に実行させるためにコンピュータ読み取り可能な記録媒体に記録された、コンピュータプログラムを提供する。
【0008】
コンピュータ装置であって、前記コンピュータ装置で読み取り可能な命令を実行するように実現される少なくとも1つのプロセッサを含み、前記少なくとも1つのプロセッサにより、顔画像とメッセンジャーアカウントを連動してデータベースに記録し、第1メッセンジャーアカウントによって識別されるユーザのユーザ端末からネットワークを介して対象画像を受信し、前記受信した対象画像から少なくとも1つの顔画像を認識し、前記認識された少なくとも1つの顔画像それぞれを前記データベースで検索して対応する少なくとも1つの第2メッセンジャーアカウントを抽出し、前記抽出された少なくとも1つの第2メッセンジャーアカウントと関連し、前記ユーザ端末における前記対象画像の表示および前記対象画像のメッセンジャーサービスを利用した共有のうちの少なくとも1つのための追加情報を決定し、前記抽出された少なくとも1つの第2メッセンジャーアカウントおよび前記追加情報を提供する、コンピュータ装置を提供する。
【0009】
コンピュータ装置であって、前記コンピュータ装置で読み取り可能な命令を実行するように実現される少なくとも1つのプロセッサを含み、前記少なくとも1つのプロセッサにより、対象画像で認識された少なくとも1つの顔画像のための少なくとも1つのメッセンジャーアカウントを決定し、前記少なくとも1つのプロセッサにより、前記対象画像の表示および前記対象画像のメッセンジャーサービスを利用した共有のうちの少なくとも1つと関連し、前記決定された少なくとも1つのメッセンジャーアカウントと関連する追加情報を決定し、前記追加情報を利用して前記対象画像を管理する、コンピュータ装置を提供する。
【図面の簡単な説明】
【0010】
【
図1】本発明の一実施形態における、ネットワーク環境の例を示した図である。
【
図2】本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。
【
図3】本発明の一実施形態における、サービス利用同意過程の例を示した図である。
【
図4】本発明の一実施形態における、顔画像と連動するメッセンジャーアカウントを提供する例を示した図である。
【
図5】本発明の一実施形態における、顔画像と連動するメッセンジャーアカウントを提供する他の例を示した図である。
【
図6】本発明の一実施形態における、メッセンジャーアカウントと連動する顔画像を利用して対象画像内の人物を識別することにより、対象画像に適用される効果を識別される人物に基づいて「おすすめ」する例を示した図である。
【
図7】本発明の一実施形態における、メッセンジャーアカウントと連動する顔画像を利用して対象画像内の人物を識別することにより、対象画像のメッセンジャーを利用した共有を識別される人物によって処理する例を示した図である。
【
図8】本発明の一実施形態における、サーバの画像管理方法の例を示したフローチャートである。
【
図9】本発明の一実施形態における、ユーザ端末の画像管理方法の例を示したフローチャートである。
【発明を実施するための形態】
【0011】
以下、実施形態について、添付の図面を参照しながら詳しく説明する。
【0012】
本発明の実施形態に係る画像管理方法は、以下で説明するコンピュータ装置によって実行されてよい。例えば、コンピュータ装置においては、本発明の一実施形態に係るコンピュータプログラムがインストールされて実行されてよく、コンピュータ装置は、実行されるコンピュータプログラムの制御にしたがって本発明の一実施形態に係る画像管理方法を実行してよい。上述したコンピュータプログラムは、コンピュータ装置と結合して画像管理方法をコンピュータ装置に実行させるためにコンピュータ読み取り可能な記録媒体に記録されてよい。ここで、説明したコンピュータプログラムは、独立する1つのプログラムパッケージの形態を有してもよいし、独立する1つのプログラムパッケージの形態がコンピュータ装置に予めインストールされてオペレーティングシステムや他のプログラムパッケージと連係する形態を有してもよい。
【0013】
図1は、本発明の一実施形態における、ネットワーク環境の例を示した図である。
図1のネットワーク環境は、複数の電子機器110、120、130、140、複数のサーバ150、160、およびネットワーク170を含む例を示している。このような
図1は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が
図1のように限定されることはない。また、
図1のネットワーク環境は、本実施形態に適用可能な環境のうちの1つの例を説明したものに過ぎず、本実施形態に適用可能な環境が
図1のネットワーク環境に限定されることはない。
【0014】
複数の電子機器110、120、130、140は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子機器110、120、130、140の例としては、スマートフォン、携帯電話、ナビゲーション、PC(personal computer)、ノート型PC、デジタル放送用端末、PDA(Personal Digital Assistant)、PMP(Portable Multimedia Player)、タブレットなどがある。一例として、
図1では、電子機器1(110)の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器1(110)は、実質的に無線または有線通信方式を利用し、ネットワーク170を介して他の電子機器120、130、140および/またはサーバ150、160と通信することのできる多様な物理的なコンピュータ装置のうちの1つを意味してよい。
【0015】
通信方式が限定されることはなく、ネットワーク170が含むことのできる通信網(一例として、移動通信網、有線インターネット、無線インターネット、放送網)を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてよい。例えば、ネットワーク170は、PAN(personal area network)、LAN(local area network)、CAN(campus area network)、MAN(metropolitan area network)、WAN(wide area network)、BBN(broadband network)、インターネットなどのネットワークのうちの1つ以上の任意のネットワークを含んでよい。さらに、ネットワーク170は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター-バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の1つ以上を含んでもよいが、これらに限定されることはない。
【0016】
サーバ150、160それぞれは、複数の電子機器110、120、130、140とネットワーク170を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する1つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ150は、ネットワーク170を介して接続した複数の電子機器110、120、130、140にサービス(一例として、メッセンジャーサービス、金融サービス、決済サービス、ソーシャルネットワークサービス、検索サービス、メールサービス、コンテンツ提供サービス、音声認識サービス、ナビゲーションサービスなど)を提供するシステムであってよい。
【0017】
図2は、本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。上述した複数の電子機器110、120、130、140それぞれやサーバ150、160それぞれは、
図2に示したコンピュータ装置200によって実現されてよく、一実施形態に係る画像管理方法は、このようなコンピュータ装置200によって実行されてよい。
【0018】
このようなコンピュータ装置200は、
図2に示すように、メモリ210、プロセッサ220、通信インタフェース230、および入力/出力インタフェース240を含んでよい。メモリ210は、コンピュータ読み取り可能な記録媒体であって、RAM(random access memory)、ROM(read only memory)、およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ROMやディスクドライブのような永続的大容量記録装置は、メモリ210とは区分される別の永続的記録装置としてコンピュータ装置200に含まれてもよい。また、メモリ210には、オペレーティングシステムと、少なくとも1つのプログラムコードが記録されてよい。このようなソフトウェア構成要素は、メモリ210とは別のコンピュータ読み取り可能な記録媒体からメモリ210にロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー(登録商標)ドライブ、ディスク、テープ、DVD/CD-ROMドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信インタフェース230を通じてメモリ210にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク170を介して受信されるファイルによってインストールされるコンピュータプログラムに基づいてコンピュータ装置200のメモリ210にロードされてよい。
【0019】
プロセッサ220は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ210または通信インタフェース230によって、プロセッサ220に提供されてよい。例えば、プロセッサ220は、メモリ210のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。
【0020】
通信インタフェース230は、ネットワーク170を介してコンピュータ装置200が他の電子機器(一例として、上述した記録装置)と互いに通信するための機能を提供してよい。一例として、コンピュータ装置200のプロセッサ220がメモリ210のような記録装置に記録されたプログラムコードにしたがって生成した要求や命令、データ、ファイルなどが、通信インタフェース230の制御にしたがってネットワーク170を介して他の装置に伝達されてよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク170を経てコンピュータ装置200の通信インタフェース230を通じてコンピュータ装置200に受信されてよい。通信インタフェース230を通じて受信された信号や命令、データなどは、プロセッサ220やメモリ210に伝達されてよく、ファイルなどは、コンピュータ装置200がさらに含むことのできる記録媒体(上述した永続的記録装置)に記録されてよい。
【0021】
入力/出力インタフェース240は、入力/出力装置250とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、またはマウスなどの装置を、出力装置は、ディスプレイ、スピーカなどのような装置を含んでよい。他の例として、入力/出力インタフェース240は、タッチスクリーンのように入力と出力のための機能が1つに統合された装置とのインタフェースのための手段であってもよい。入力/出力装置250は、コンピュータ装置200と1つの装置で構成されてもよい。
【0022】
また、他の実施形態において、コンピュータ装置200は、
図2の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、コンピュータ装置200は、上述した入力/出力装置250のうちの少なくとも一部を含むように実現されてもよいし、トランシーバやデータベースなどのような他の構成要素をさらに含んでもよい。
【0023】
図3は、本発明の一実施形態における、サービス利用同意過程の例を示した図である。
【0024】
図3の第1画面310は、ユーザ端末にインストールされたメッセンジャーアプリケーションが提供するメッセンジャーサービス画面の例を示している。このようなメッセンジャーサービス画面には、第1点線ボックス311のように、ユーザがユーザ端末に備えられたカメラを実行させるユーザインタフェースが含まれてよい。一例として、タッチスクリーン環境においてユーザがユーザ端末のタッチスクリーンに表示されたユーザインタフェースを選択(一例として、ユーザインタフェースが表示されたタッチスクリーンの領域を指でタッチ)した場合、メッセンジャーアプリケーションは、ユーザ端末のカメラを起動させてよい。このとき、本実施形態では、サービス提供初期(一例として、ユーザがメッセンジャーアプリケーションでカメラを最初に起動させた時点)に限り、第2画面320のように、一実施形態に係る画像管理方法と関連するサービス利用同意過程が実行されてよい。
【0025】
第2画面320は、ユーザからサービス利用の同意を受けるための画面の例を示している。第2画面320でユーザからサービス利用に対する同意を受けた後、第3画面330のように起動するカメラに入力された画像に対して画像管理方法が実行されてよい。第3画面330では、四角ボックス331、332のように画像から顔画像を認識し、認識された顔画像に対応するメッセンジャーアカウントを表示する例を示している。
【0026】
このとき、第1四角ボックス331と連係して表示されたメッセンジャーアカウント「Me」は、第1四角ボックス331に対応する顔画像がユーザ端末のユーザの顔画像に対応することを意味してよい。また、第2四角ボックス332と連係して表示されたメッセンジャーアカウント「aaa」は、第2四角ボックス332に対応する顔画像がメッセンジャーアカウント「aaa」を有するユーザの顔画像に対応することを意味してよい。認識された顔画像と連係してメッセンジャーアカウントを表示するためには、予め顔画像とメッセンジャーアカウントとが連動されていなければならない。例えば、顔画像Aとメッセンジャーアカウントaが予め連動している場合を考察する。対象画像から顔画像Bが認識されたとき、ユーザ端末および/またはサーバは、顔画像Aと顔画像Bとを比較し、顔画像Aと顔画像Bが同一ユーザの顔画像であるかを決定してよい。顔画像Aと顔画像Bが同一ユーザの顔画像である場合、ユーザ端末および/またはサーバは、対象画像で認識された顔画像Bと連係させてメッセンジャーアカウントaを出力してよい。最初の顔画像とメッセンジャーアカウントとを連動するために、多様な方法が活用されてよい。
【0027】
図4は、本発明の一実施形態における、顔画像と連動するメッセンジャーアカウントを提供する例を示した図である。
【0028】
図4の第1画面410は、ユーザ端末の画像を管理するアプリケーション(例えば、ギャラリーアプリケーション)で管理される画像に基づいて顔画像とメッセンジャーアカウントが連動された例を示している。一例として、第1画面410は、第1顔画像411に対して第1メッセンジャーアカウント「AAA」412が連動された例を示している。また、
図4の第2画面420は、ユーザのメッセンジャーアカウントと関連してメッセンジャーサービスまたはメッセンジャーサービスと連係するサービス上に登録された画像に基づいて顔画像とメッセンジャーアカウント(例えば、421)が連動された例を示している。このとき、ギャラリーアプリケーションによって管理される画像は、ユーザ端末のローカル格納場所に格納された画像であってよく、メッセンジャーサービスまたはメッセンジャーサービスと連係するサービス上に登録された画像は、サービスを提供するサーバの格納場所に格納された画像であってよい。
【0029】
ユーザ端末にインストールされたメッセンジャーアプリケーションは、ギャラリーアプリケーションとの連動やサーバが提供するサービスとの連動によって、特定の顔画像にメッセンジャーアカウントを連動することのできるユーザインタフェースを提供してもよい。例えば、ユーザが第1画面410や第2画面420に表示された顔画像のうちから特定の顔画像を選択すると、ユーザにメッセンジャー友だちリストが提供されてもよく、ユーザが友だちリストから選択した友だちのメッセンジャーアカウントが、選択された特定の顔画像に連動されてもよい。あるいは、ユーザがメッセンジャーアカウントを直接入力することのできるユーザインタフェースが提供されてもよい。
【0030】
一方、特定の顔画像に既に連動されているメッセンジャーアカウントを変更するためのユーザインタフェースが提供されてもよい。第1画面410では、特定の顔画像と連動するメッセンジャーアカウントを他のメッセンジャーアカウントに変更することのできるユーザインタフェース413の例を示している。また、第2画面420では、ユーザがメッセンジャーアカウントを直接修正して入力することのできるユーザインタフェース421の例を示している。
【0031】
図5は、本発明の一実施形態における、顔画像と連動するメッセンジャーアカウントを提供する他の例を示した図である。
図5の第1画面510は、メッセンジャーアプリケーションでカメラが起動され、起動するカメラに入力された画像がユーザ端末のディスプレイに表示された例を示している。このとき、第1画面510は、メッセンジャーアプリケーションと連動するカメラアプリケーションによってユーザ端末に表示される画面であってよい。このような第1画面510の画像は、実施形態によっては、ユーザから撮影入力が受信される前のフリービュー(free view)画像であってよい。第1画面510に示すように、メッセンジャーアプリケーションは、画像から顔画像を認識してよい。顔画像は、画像に含まれた人物の顔それぞれに対して認識されて抽出されてよい。実施形態によっては、画像から顔画像を抽出する過程は、メッセンジャーアプリケーションの制御にしたがってユーザ端末でなされてもよく、ユーザ端末がメッセンジャーアプリケーションの制御にしたがってメッセンジャーサービスを提供するサーバと通信してサーバでなされてもよい。例えば、ユーザ端末は、カメラに入力される画像をメッセンジャーアプリケーションからサーバに送信してもよく、サーバに送信された画像から顔画像が認識されてユーザ端末に送信されてもよい。このとき、認識された顔画像に基づいてメッセンジャーアカウントが提供されてよい。例えば、サーバは、顔画像とメッセンジャーアカウントを連動して記録していてもよい。このとき、サーバは、ユーザ端末から認識された顔画像を受信すると、受信した顔画像と記録されている顔画像とを比較することにより、受信した顔画像に対応するメッセンジャーアカウントを取得してよい。第1画面510では、ユーザ端末のユーザ「Me」に対応する顔画像511とメッセンジャーアカウント「aaa」に対応する顔画像512が認識された例を示している。
【0032】
一方、第2画面520は、ユーザから撮影入力が受信されることによってキャプチャされた画像を表示した例を示している。このとき、ユーザ端末は、キャプチャされた画像から認識された顔画像それぞれと連動するメッセンジャーアカウントを管理するためのユーザインタフェースを提供してよい。例えば、第2画面520において、第1点線ボックス521は、メッセンジャーアカウント「Me」を管理するための第1ユーザインタフェースを、第2点線ボックス522は、メッセンジャーアカウント「aaa」を管理するための第2ユーザインタフェースをそれぞれ示している。このような第1点線ボックス521および第2点線ボックス522に示されたユーザインタフェースは、画像から認識された顔画像それぞれに対して示されてよい。このようなユーザインタフェースは、顔画像に対して連動するメッセンジャーアカウントがない場合には、ユーザに連動させるためのメッセンジャーアカウントを選択させるためのユーザインタフェースを追加的に提供してもよい。例えば、ユーザにメッセンジャー友だちリストを提供し、メッセンジャー友だちリストから選択される友だちのメッセンジャーアカウントを該当の顔画像と連動させてもよい。
【0033】
一方、第2画面520では、既に連動されているメッセンジャーアカウントを他のメッセンジャーアカウントに変更することのできるユーザインタフェース523を示している。ユーザ端末は、認識された顔画像と最も類似する顔画像と連動するメッセンジャーアカウントをユーザインタフェース523によって提供してよい。第2画面520では、最も類似する順に3つのメッセンジャーアカウントがユーザインタフェースに表示された例を示している。ユーザがユーザインタフェース523に表示された3つのメッセンジャーアカウントのうちから1つを選択すると、第2点線ボックス522に対応する顔画像に対するメッセンジャーアカウントが「aaa」で選択されたメッセンジャーアカウントに変更されてよい。
【0034】
また、ユーザインタフェース523は、ユーザがメッセンジャー友だちリスト全体から友達を直接選択できるようにするために、「友だちリストをもっと見る」524のような機能をさらに提供してよい。「友だちリストをもっと見る」524が選択される場合、第3画面530のように、ユーザの友だちリストが提供されてよい。友だちリストから1人の友だちが選択されると、第2点線ボックス522に対応する顔画像に対するメッセンジャーアカウントが「aaa」で選択された友だちのメッセンジャーアカウントに変更されてよい。
【0035】
図6は、本発明の一実施形態における、メッセンジャーアカウントと連動する顔画像を利用して対象画像内の人物を識別することにより、対象画像に適用される効果を、識別される人物に基づいて「おすすめ」する例を示した図である。
【0036】
第1画面610は、
図3の第1画面310のように、ユーザ端末にインストールされたメッセンジャーアプリケーションが提供するメッセンジャーサービス画面の例を示している。このようなメッセンジャーサービス画面には、第1点線ボックス611のように、ユーザがユーザ端末に備えられたカメラを起動させることのできるユーザインタフェースが含まれてよい。
図3に示すように、サービス利用同意過程を経た後には、第2画面620のようにカメラ機能が直ぐに実行されてよい。
【0037】
第2画面620は、カメラに入力された画像から顔画像を認識し、認識された顔画像に対してメッセンジャーアカウントを表示する例を示している。このとき、ユーザ端末は、メッセンジャーアプリケーションから直接的に、またはメッセンジャーアプリケーションを経てサーバと通信することで間接的に、表示されたメッセンジャーアカウントと関連するイベントを確認してよい。例えば、サーバは、ユーザ端末からの要求にしたがい、メッセンジャーサービスおよび/またはメッセンジャーサービスと連係するサービスにおけるメッセンジャーアカウントに対応するユーザのプロフィール、活動情報、メッセンジャー会話内容などを活用してイベントを決定してよい。例えば、第2画面620の場合、イベントは、認識された2つのメッセンジャーアカウントそれぞれのユーザから得られる誕生日、メッセンジャーサービスやメッセンジャーサービスと連係するカレンダーサービスにおけるスケジュールや記念日情報、メッセンジャー会話内容などを活用して決定されてよい。
【0038】
より具体的な例として、第3画面630は、画像の撮影日がユーザ端末のユーザの誕生日である場合、誕生日と関連するスケジュール情報631を提供する例を示している。他の例として、ユーザ端末および/またはサーバは、対象画像に含まれた顔画像のメッセンジャーアカウントに対応するチャットルームの会話内容を分析してイベントを決定してもよい。このとき、第4画面640は、第3画面630で提供されたスケジュール情報631が選択されることにより(一例として、タッチスクリーン環境でスケジュール情報631が表示された領域にタッチ入力が発生するか、予め設定されたタッチジェスチャまたは音声入力などによってスケジュール情報631が選択されることにより)、画像と関連して提供可能な多様なエフェクト(一例として、カメラアプリケーションおよび/またはメッセンジャーアプリケーションが提供するエフェクト)のうちから誕生日と関連するエフェクトが選択されて対象画像に適用された例を示している。このとき、対象画像に多数の顔画像が含まれる場合、イベントと関連する顔画像を中心にエフェクトが発生するように制御されてもよい。例えば、第4画面640では、誕生日であるユーザの顔画像に帽子エフェクトが適用されているが、誕生日のユーザがメッセンジャーアカウント「aaa」のユーザである場合には、帽子エフェクトがメッセンジャーアカウント「aaa」のユーザの顔画像に適用される。
【0039】
図7は、本発明の一実施形態における、メッセンジャーアカウントと連動する顔画像を利用して対象画像内の人物を識別することにより、対象画像のメッセンジャーを利用した共有を、識別される人物によって処理する例を示した図である。第1画面710は、対象画像から3つの顔画像が認識され、認識された3つの顔画像それぞれに対応するメッセンジャーアカウントが表示された例を示している。このようなユーザ端末のユーザがこのような対象画像をメッセンジャーサービスで共有しようとする場合、第2画面720のように、対象画像の共有のための友だちやチャットルームを選択するためのユーザインタフェースが提供されてよい。このとき、ユーザ端末および/またはサーバは、認識された3つの顔画像から得られる3つのメッセンジャーアカウント全部または一部が参加するチャットルームを優先的に「おすすめ」してもよい。このとき、既存のチャットルームがない場合には、メッセンジャーアカウントが参加するチャットルームを自動で生成するための機能を提供してもよい。例えば、第2画面720において、第1点線ボックス721は、3つのメッセンジャーアカウントが参加するグループチャットルームを自動で生成するための機能を示しており、第2点線ボックス722は、3つのメッセンジャーアカウントの一部が参加する既存のチャットルームを「おすすめ」するための機能を示している。さらに、第3点線ボックス723は、ユーザが画像やファイルなどを共有しようとするときに、好みのチャットルームを「おすすめ」するための機能を示している。
【0040】
図8は、本発明の一実施形態における、サーバの画像管理方法の例を示したフローチャートである。本実施形態に係る画像管理方法は、一例として、上述したサーバを実現するコンピュータ装置200によって実行されてよい。例えば、コンピュータ装置200のプロセッサ220は、メモリ210が含むオペレーティングシステムのコードと、少なくとも1つのプログラムのコードとによる制御命令(instruction)を実行するように実現されてよい。ここで、プロセッサ220は、コンピュータ装置200に記録されたコードが提供する制御命令にしたがってコンピュータ装置200が
図8の方法に含まれる段階810~860を実行するようにコンピュータ装置200を制御してよい。
【0041】
段階810で、コンピュータ装置200は、顔画像とメッセンジャーアカウントを連動してデータベースに記録してよい。一例として、コンピュータ装置200によって実現されるサーバは、ユーザにメッセンジャーサービスを提供してよく、ユーザが顔画像に対して選択したメッセンジャーアカウントを該当の顔画像と連動させてデータベースに記録してよい。メッセンジャーアカウントの選択は、上述したように、ユーザそれぞれのメッセンジャー友だちリストに基づいて選択されてよい。実施形態によっては、ユーザが顔画像に対応するメッセンジャーアカウントを直接入力してもよい。ここで、ユーザとは、ユーザが実際にメッセンジャーサービスの提供を受けるために利用するユーザ端末に対応してよく、ユーザ端末には、メッセンジャーサービスの提供を受けるためのメッセンジャーアプリケーションがインストールされていてよい。
【0042】
段階820で、コンピュータ装置200は、第1メッセンジャーアカウントによって識別されるユーザのユーザ端末からネットワークを介して対象画像を受信してよい。対象画像は、ユーザ端末に備えらえるカメラに入力された画像、および/またはユーザ端末のローカル格納場所に格納された画像のうちからユーザによって選択された画像を含んでよい。一例として、メッセンジャーアプリケーションは、カメラアプリケーションと連動してよく、カメラアプリケーションを経て入力される画像を対象画像としてサーバに送信するようにユーザ端末を制御してよい。他の例として、メッセンジャーアプリケーションは、ギャラリーアプリケーションと連動してよく、ギャラリーからユーザによって選択される画像を対象画像としてサーバに送信するようにユーザ端末を制御してよい。
【0043】
段階830で、コンピュータ装置200は、受信した対象画像から少なくとも1つの顔画像を認識してよい。画像から人物の顔を認識するための技術は、周知の多様な技術のうちの少なくとも1つが活用されてよい。対象画像には顔画像が含まれていない場合もあり、1つあるいは2つの以上の顔画像が含まれる場合もある。
【0044】
段階840で、コンピュータ装置200は、認識された少なくとも1つの顔画像それぞれをデータベースで検索し、対応する少なくとも1つの第2メッセンジャーアカウントを抽出してよい。上述したように、コンピュータ装置200は、認識された顔画像Aをデータベースから検索し、顔画像Aとデータベースに記録された顔画像Bが同じ人物の顔であると決定された場合、顔画像Bと連動して記録された第2メッセンジャーアカウントを抽出してよい。このような第2メッセンジャーアカウントは、対象画像が含む顔画像それぞれに対して抽出されてよい。認識された顔画像によって第2メッセンジャーアカウントを抽出することができない場合は、該当の顔画像に対するメッセンジャーアカウントの選択または入力をユーザ端末に要求してもよい。認識された顔画像に対してユーザ端末から特定のメッセンジャーアカウントが選択されるか入力された場合、コンピュータ装置200は、選択または入力された特定のメッセンジャーアカウントを認識された顔画像と連動させてデータベースに記録してよい。
【0045】
段階850で、コンピュータ装置200は、抽出された少なくとも1つの第2メッセンジャーアカウントと関連し、ユーザ端末における対象画像の表示および対象画像のメッセンジャーサービスを利用した共有のうちの少なくとも1つのための追加情報を決定してよい。
【0046】
一実施形態として、コンピュータ装置200は、抽出された少なくとも1つの第2メッセンジャーアカウントと関連するイベントまたはイベントによって対象画像に適用されるエフェクトを追加情報として決定してよい。ここで、イベントとは、抽出された少なくとも1つの第2メッセンジャーアカウントそれぞれから得られる誕生日情報、記念日情報、スケジュール情報、メッセンジャー会話内容、およびメッセンジャーサービス利用パターンに基づいて分析されたユーザ同士の関係情報のうちの少なくとも1つを利用して決定されてよい。例えば、コンピュータ装置200は、第2メッセンジャーアカウントのユーザの誕生日、記念日、スケジュールなどを現在の日付に基づいて抽出してイベントを決定してよい。他の例として、コンピュータ装置200は、第2メッセンジャーアカウントが参加したチャットルームのメッセンジャー会話内容に基づいてイベントを決定してもよい。また他の例として、コンピュータ装置200は、ユーザAのユーザ別のメッセージ送信件数によるユーザの順位に基づいてユーザAが最も多くメッセージを送信したユーザBに関する情報を利用してイベントを決定したり、ユーザAが最も多くメッセージを送信または受信したチャットルームの参加者に関する情報を利用してイベントを決定したりしてもよい。さらに他の例として、コンピュータ装置200は、メッセンジャーサービスの利用パターンに基づいてユーザアカウントの関係を「家族、恋人、親友」などのように予め把握し、把握されたユーザの関係に基づいてイベントを決定してもよい。
【0047】
他の実施形態として、コンピュータ装置200は、抽出された少なくとも1つの第2メッセンジャーアカウントが参加した既に存在する第1チャットルームに関する情報、および抽出された少なくとも1つの第2メッセンジャーアカウントが参加する新たな第2チャットルームの生成のための情報のうちの少なくとも1つの情報を追加情報として決定してよい。例えば、対象画像を、ユーザ端末を利用してメッセンジャーサービスで共有しようとする場合、チャットルームリストが表示されてよく、ユーザは、表示されたチャットルームリストから対象画像を共有するためのチャットルームを選択してよい。このとき、ユーザ端末は、追加情報に基づいて第1チャットルームがチャットルームリストの上端に表示されるように第1チャットルームに第2チャットルームのものより高い表示優先順位を付与してよい。また、ユーザ端末は、追加情報を利用し、チャットルームリストによって第2メッセンジャーアカウントが参加する新たな第2チャットルームの生成のための機能を提供してもよい。この場合、対象画像は、新たに生成される第2チャットルームで共有されてよい。言い換えれば、対象画像に写っている人物(または人物ら)が参加するチャットルームで対象画像を共有することができるようにする。
【0048】
段階860で、コンピュータ装置200は、抽出された少なくとも1つの第2メッセンジャーアカウントおよび追加情報を提供してよい。一例として、コンピュータ装置200は、ネットワークを介して抽出された少なくとも1つの第2メッセンジャーアカウントおよび追加情報をユーザ端末に送信してよい。上述したように、ユーザ端末は、対象画像の表示や共有のために追加情報を活用してよい。
【0049】
本実施形態では、顔画像の認識やメッセンジャーアカウントの抽出、追加情報の決定などがサーバで処理される例について説明したが、実施形態によっては、顔画像の認識、メッセンジャーアカウントの抽出、および追加情報の決定のうちの少なくとも1つがユーザ端末で処理されてもよい。この場合にも、各過程の処理のための情報は、サーバから提供されてよい。
【0050】
図9は、本発明の一実施形態における、ユーザ端末の画像管理方法の例を示したフローチャートである。本実施形態に係る画像管理方法は、一例として、上述したユーザ端末を実現するコンピュータ装置200によって実行されてよい。例えば、コンピュータ装置200のプロセッサ220は、メモリ210が含むオペレーティングシステムのコードと、少なくとも1つのプログラムのコードとによる制御命令(instruction)を実行するように実現されてよい。ここで、プロセッサ220は、コンピュータ装置200に記録されたコードが提供する制御命令にしたがってコンピュータ装置200が
図9の方法に含まれる段階910~930を実行するようにコンピュータ装置200を制御してよい。
【0051】
段階910で、コンピュータ装置200は、対象画像から認識された少なくとも1つの顔画像のための少なくとも1つのメッセンジャーアカウントを決定してよい。一例として、コンピュータ装置200は、顔画像とメッセンジャーアカウントを連動してデータベースに記録するサーバに対象画像を送信し、サーバで対象画像から認識された少なくとも1つの顔画像それぞれをデータベースで検索し、抽出された少なくとも1つのメッセンジャーアカウントを、ネットワークを介して受信することにより、顔画像のためのメッセンジャーアカウントを決定してよい。実施形態によっては、ユーザのメッセンジャー友だちの顔画像と連動するメッセンジャーアカウントがユーザ端末に記録されてもよい。この場合、対象画像から認識された顔画像のためのメッセンジャーアカウントは、ユーザ端末で直接決定されてもよい。
【0052】
段階920で、コンピュータ装置200は、対象画像の表示および対象画像のメッセンジャーサービスを利用した共有のうちの少なくとも1つと関連し、決定された少なくとも1つのメッセンジャーアカウントと関連する追加情報を決定してよい。
【0053】
段階930で、コンピュータ装置200は、追加情報を利用して対象画像を管理してよい。
【0054】
例えば、コンピュータ装置200は、段階920で、前記決定された少なくとも1つのメッセンジャーアカウントと関連するイベントまたはイベントに基づき、対象画像に適用されるエフェクトを追加情報として決定してよい。ここで、イベントは、メッセンジャーサービスを提供するサーバにおいて、前記決定された少なくとも1つのメッセンジャーアカウントそれぞれから得られる誕生日情報、記念日情報、スケジュール情報、メッセンジャー会話内容、およびメッセンジャーサービス利用パターンを基盤として分析されたユーザ同士の関係情報のうちの少なくとも1つを利用して決定されてよい。このとき、コンピュータ装置200は、段階930で、追加情報として決定されたエフェクトを対象画像に適用してよい。
【0055】
他の例として、コンピュータ装置200は、段階920で、前記決定された少なくとも1つのメッセンジャーアカウントが参加した既に存在する第1チャットルームに関する情報、および前記決定された少なくとも1つのメッセンジャーアカウントが参加する新たな第2チャットルームの生成のための情報のうちの少なくとも1つの情報を追加情報として決定してよい。例えば、コンピュータ装置200は、段階930で、メッセンジャーサービスのチャットルームリストを提供し、チャットルームリストによって対象画像の共有のためのチャットルームを選択する機能を提供してよい。このとき、チャットルームリストでは、第1チャットルームに第2チャットルームのものより高い表示優先順位が付与されてよい。一例として、対象画像に含まれる人物が参加するチャットルームがチャットルームリストの上端に表示されてよい。また、コンピュータ装置200は、段階930で、チャットルームリストにより、前記決定された少なくとも1つのメッセンジャーアカウントが参加する新たな第2チャットルームを生成するための機能を提供してもよい。
【0056】
実施形態によって、コンピュータ装置200は、認識された少なくとも1つの顔画像それぞれのためのメッセンジャーアカウントが含まれた対象画像を表示してよく、対象画像に含まれたメッセンジャーアカウントを変更するためのユーザインタフェースを提供してよい。このようなメッセンジャーアカウントの変更のためのユーザインタフェースは、
図5を参照しながら説明したとおりである。
【0057】
このように、本実施形態によると、メッセンジャーアカウントと連動する顔画像を利用して対象画像内の人物を識別することにより、対象画像に適用される効果を識別される人物に基づいて「おすすめ」したり、対象画像のメッセンジャーを利用した共有を識別される人物によって処理したりすることができる。
【0058】
上述したシステムまたは装置は、ハードウェア構成要素、ソフトウェア構成要素、またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ、マイクロコンピュータ、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、1つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム(OS)およびOS上で実行される1つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、1つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および/または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは1つのプロセッサおよび1つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
【0059】
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの1つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび/またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、1つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
【0060】
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。前記コンピュータ読み取り可能な媒体は、プログラム命令、データ、ファイル、データ構造などを単独または組み合わせて含んでよい。媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク、および磁気テープのような磁気媒体、CD-ROMおよびDVDのような光媒体、フロプティカルディスク(floptical disk)のような光磁気媒体、およびROM、RAM、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。プログラム命令の例には、コンパイラによって生成されるもののような機械語コードだけでなく、インタプリタなどを使用してコンピュータによって実行されることができる高級言語コードを含む。
【0061】
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ/あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
【0062】
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
【符号の説明】
【0063】
110、120、130、140:電子機器
150、160:サーバ
170:ネットワーク