特表 2016-528571 パーソナル感情アイコンを提供するための方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2016-528571(P2016-528571A)

(43)【公表日】2016年9月15日

(54)【発明の名称】パーソナル感情アイコンを提供するための方法及びシステム

(51)【国際特許分類】

   G06F 3/0481 20130101AFI20160819BHJP

   G06T 1/00 20060101ALI20160819BHJP

【ＦＩ】

   G06F3/0481 170

   G06T1/00 340A

【審査請求】未請求

【予備審査請求】有

【全頁数】20

(21)【出願番号】特願2016-511161(P2016-511161)

(86)(22)【出願日】2014年4月24日

(85)【翻訳文提出日】2015年12月18日

(86)【国際出願番号】IL2014050379

(87)【国際公開番号】WO2014178044

(87)【国際公開日】20141106

(31)【優先権主張番号】226047

(32)【優先日】2013年4月29日

(33)【優先権主張国】IL

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LT,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ｉＰｈｏｎｅ

(71)【出願人】

【識別番号】515299612

【氏名又は名称】ベン アタール、シュロミ

(71)【出願人】

【識別番号】515299623

【氏名又は名称】ハーシュコヴィッツ レシェフ、メイ

(74)【代理人】

【識別番号】110000855

【氏名又は名称】特許業務法人浅村特許事務所

(72)【発明者】

【氏名】ベン アタール、シュロミ

(72)【発明者】

【氏名】ハーシュコヴィッツ レシェフ、メイ

(72)【発明者】

【氏名】バソン、エリ

【テーマコード（参考）】

5B057

5E555

【Ｆターム（参考）】

5B057BA02

5B057BA26

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC03

5B057CE03

5B057CE06

5B057CH02

5B057CH11

5B057CH14

5B057CH16

5B057DA07

5B057DA08

5B057DA12

5B057DA16

5B057DB02

5B057DB09

5E555AA02

5E555AA48

5E555AA71

5E555BA02

5E555BA04

5E555BB04

5E555BC12

5E555BC20

5E555BD01

5E555BD06

5E555CA42

5E555CB45

5E555DB18

5E555DB51

5E555DB53

5E555DC18

5E555DC29

5E555DC31

5E555DD01

5E555DD07

5E555EA05

5E555EA22

5E555EA25

5E555FA00

(57)【要約】

本発明はパーソナル感情アイコンを提供するための方法に関し、この方法は、ａ）新しい自分撮り画像をキャプチャするか、又は既存の画像ファイルを選択することによって、ユーザ又は人物の顔の表情を表す少なくとも１つの自分撮り画像を提供するステップと、ｂ）前記提供された画像に１つ又は複数の画像処理フィルタを適用することによって前記画像を処理して、前記提供された画像をにし、且つ／又は提供された顔によって表される表情を強調するステップと、ｃ）前記処理された画像を感情アイコンの標準形式に変換するステップであって、例えば、変換された画像が、ユーザのコンピュータベースの装置（例えば、スマートフォン又はＰＣ）上の、ルーラー形式、メニュー形式、又は、画面上の仮想キーボード形式（例えば、ｉＰｈｏｎｅのオペレーティング・システム（ｉＯＳ）の画面上のキーボードなどの既存の仮想キーボード配列への拡張／アドオンとして）などの、任意の表示可能な形式で実装可能であるステップと、ｄ）前記処理された画像を、変換された感情アイコンのローカルなルーラー／メニューとして保存するか、或いは、前記処理された画像を承認のためにリモートの感情アイコン・サーバにアップロードするステップと、ｅ）承認時に、前記処理された画像を前記ユーザに関連するオンライン・アカウントに追加して、前記処理された画像がパーソナル感情アイコンとして前記ユーザによって１つ又は複数のアプリケーション及び／又はプラットフォームで利用可能になるようにするステップとを含む。

【特許請求の範囲】

【請求項1】

パーソナル感情アイコンを提供するための方法であって、
ａ．新しい自分撮り画像をキャプチャするか、又は既存の画像ファイルを選択することによって、ユーザの顔の表情を表す少なくとも１つの自分撮り画像を提供するステップと、
ｂ．前記提供された画像に１つ又は複数の画像処理フィルタを適用することによって前記画像を処理して、前記提供された画像を特徴的にし、且つ／又は前記ユーザの顔によって表される表情を強調するステップであって、当該ステップがコンピュータベースの装置でローカルに、且つ／又はリモートの感情アイコン・サーバでリモートに行われることができるステップと、
ｃ．前記処理された画像を感情アイコン形式に変換するステップと、
ｄ．前記処理された画像を、変換された感情アイコンのローカルなルーラー／メニューとして保存するか、或いは、前記処理された画像を承認のために前記リモートの感情アイコン・サーバにアップロードするステップであって、承認時に、前記処理された画像を前記ユーザに関連するオンライン・アカウントに追加して、前記処理された画像が前記ユーザによってパーソナル感情アイコンとして１つ又は複数のアプリケーション及び／又はプラットフォームで利用可能になるようにするステップとを含む方法。

【請求項2】

新しい自分撮り画像を前記キャプチャすることが、画像キャプチャ装置（スマートフォンなど）の画面上に表示されたライブ画像の上にガイドマスク層を表示して、前記ユーザの顔を適切な画像キャプチャ位置に置くことができるようにすることを伴う、請求項１に記載の方法。

【請求項3】

ａ．前記提供された自分撮り画像上の所定の基準点をユーザがマーキングできるようにするステップであって、各基準点が前記ユーザの性別に関する顔のパラメータを表すステップ、及び／又は
ｂ．前記マーキングされた所定の基準点、及び基準の人間の顔に関するそれらの場所間の関係に従って前記提供された自分撮り画像に画像処理アルゴリズムを適用して、各生成された自分撮り画像が、前記ユーザの顔によって表現された異なる表情又は感情を表すようにするステップを行うことによって、
前記提供された自分撮り画像から導出される追加の自分撮り画像を生成するステップをさらに含む、請求項１に記載の方法。

【請求項4】

前記所定の基準点が、目、鼻、鼻梁、口、唇、額、顎、頬、眉、髪、生え際、肩のライン、又はそれらの任意の組合せから成るグループから選択される、請求項３に記載の方法。

【請求項5】

前記変換された画像が、ルーラー形式、メニュー形式に、又は、画面上の仮想キーボード形式として実装可能である、請求項１に記載の方法。

【請求項6】

人物の気分を、前記人物の所有する携帯情報端末（ＰＤＡ）、スマートフォン、タブレット、ＰＣ、ラップトップなどのコンピュータベースの装置を通して、リアルタイムで自動的に特定することをさらに含む、請求項１に記載の方法。

【請求項7】

前記ユーザの現在の気分に関して自動応答を生成するためのフィードバック・モジュールをさらに含む、請求項６に記載の方法。

【請求項8】

各種のアプリケーション及び／又はオペレーティング・システム（ＯＳ）プラットフォーム上でユーザの気分／状態を、前記ユーザの特定された気分に従って自動的に変更することをさらに含む、請求項６に記載の方法。

【請求項9】

人物の気分を、前記人物の所有するコンピュータベースの装置を通してリアルタイムで自動的に特定するための方法であって、
ａ．前記装置の１つ又は複数のセンサによってキャプチャされたデータを記録するステップであって、前記キャプチャされたデータがユーザの挙動を表すステップと、
ｂ．前記キャプチャされたデータを、人間の挙動の検出アルゴリズムを適用することによって処理及び分析して、前記処理されたデータをユーザの気分の候補として分類するステップと、
ｃ．各キャプチャされたデータの前記分析の結果の分類値を検索することによって前記ユーザの現在の気分を判定するステップとを含む方法。

【請求項10】

前記ユーザの現在の気分に関して自動応答を生成するためのフィードバック・モジュールをさらに含む、請求項９に記載の方法。

【請求項11】

多様なアプリケーション及び／又はオペレーティング・システム（ＯＳ）プラットフォーム上でユーザの気分／状態を、前記ユーザの特定された気分に従って自動的に変更することをさらに含む、請求項９に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はインスタント・メッセージングの分野に関する。より具体的には、本発明は、手作業によって、又は、人物の気分及び／若しくは状態を自動的に特定することによってパーソナル感情表現アイコン（感情アイコン；ｅｍｏｔｉｃｏｎ）を提供する方法に関する。

【背景技術】

【0002】

インターネットに接続して電子的に社会活動を行うユーザの増加につれて感情アイコンの人気が非常に高まっており、よってインスタント・メッセージング、チャット、ソーシャル・ネットワーク、アプリケーションなどでの重要性が非常に高まっている。入手可能な感情アイコンの種類はいくつかの「ハッピー・フェース」タイプのものから、多数の精巧で色鮮やかなアニメーションまでに著しく増加している。しかし、多数の感情アイコンが入手可能ではあるものの、いくつかのアプリケーションでは、アプリケーションに含まれるかアプリケーションに管理される事前に決められた（「プリパッケージ」）感情アイコンの数が限界に達しつつある場合がある。人間のすべての感情に対してプリパッケージ感情アイコンを提供しようとする試みには限界がある。それでもユーザはより多くの感情アイコンを強く要求し、特に、ユーザ自身の感情及び状況の独自性をよりよく表現するきめ細やかな感情アイコンを求めている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明の１つの目的は、各ユーザの独自性を表現する感情アイコンを提供することのできるシステムを提供することである。

【0004】

本発明の別の目的は、ユーザの現在の気分を自動的に特定することのできるシステムを提供することである。

【0005】

本発明のさらに別の目的は、多様なアプリケーション及び／又はオペレーション・システム・プラットフォームにおいてユーザの気分状態を自動的に変更することのできるシステムを提供することである。

【0006】

本発明のさらに別の目的は、ユーザの現在の気分状態に従って、ユーザに対するフィードバックを自動的に生成することのできるシステムを提供することである。

【0007】

本発明のその他の目的及び利点は、下記の説明の流れに従って明らかになるであろう。

【課題を解決するための手段】

【0008】

本発明はパーソナル感情アイコンを提供するための方法に関し、この方法は、
ａ．新しい自分撮り画像をキャプチャするか、又は既存の画像ファイルを選択することによって、ユーザ又は人物の顔の表情を表す少なくとも１つの自分撮り画像を提供するステップ、
ｂ．前記提供された画像に１つ又は複数の画像処理フィルタを適用することによって前記画像を処理して、前記提供された画像を特徴的にし、且つ／又は提供された顔によって表される表情を強調するステップと、
ｃ．前記処理された画像を感情アイコンの標準形式に変換するステップであって、例えば、変換された画像が、ユーザのコンピュータベースの装置（例えば、スマートフォン又はＰＣ）上の、ルーラー形式、メニュー形式、又は、画面上の仮想キーボード形式（例えば、ｉＰｈｏｎｅのオペレーティング・システム（ｉＯＳ）の画面上のキーボードなどの既存の仮想キーボード配列への拡張／アドオンとして）などの、任意の表示可能な形式で実装可能であるステップと、
ｄ．前記処理された画像を、変換された感情アイコンのローカルなルーラー／メニューとして保存するか、或いは、前記処理された画像を承認のためにリモートの感情アイコン・サーバにアップロードするステップと、
ｅ．承認時に、前記処理された画像を前記ユーザに関連するオンライン・アカウントに追加して、前記処理された画像が前記ユーザによってパーソナル感情アイコンとして１つ又は複数のアプリケーション及び／又はプラットフォームで利用可能になるようにするステップとを含む。

【0009】

本発明の一実施例によれば、新しい自分撮り画像をキャプチャすることは、画像キャプチャ装置（ＰＣ、スマートフォン、タブレットなど）の画面上に表示されたライブ画像の上にガイドマスク層を選択的に表示して、ユーザの顔を適切な画像キャプチャ位置にあわせられるようにすることを含む。

【0010】

本発明の一実施例によれば、この方法は次のステップを行うことによって、提供された自分撮り画像から導出される追加の自分撮り感情画像を生成するステップをさらに含む。
ａ．前記提供された自分撮り画像上の所定の基準点をユーザがマーキングできるようにするステップであって、各基準点はユーザの性別に関する顔のパラメータを表すステップ、及び／又は
ｂ．前記マーキングされた所定の基準点、及び基準の人間の顔に関するそれらの場所間の関係に従って前記提供された自分撮り画像に画像処理アルゴリズムを適用して、各生成された自分撮り画像が、提供された顔によって表現された異なる表情又は感情を表すようにするステップ。

【0011】

本発明の一実施例によれば、処理はユーザのコンピュータベースの装置上でローカルに、且つ／又はリモートの感情アイコン・サーバ（例えば、図５に示されるように）でリモートに行われることができる。

【0012】

本発明の別の態様は、人物の気分及び／又は状態（以後、「気分」）を、その人物が所有する携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、スマートフォン、タブレット、ＰＣ、ラップトップなどのコンピュータベースの装置を通してリアルタイムで自動的に特定する方法に関し、この方法は、
ａ．前記装置の１つ又は複数のセンサによってキャプチャされたデータを記録するステップであって、前記キャプチャされたデータはユーザの挙動を表すステップ、
ｂ．人間の挙動の検出アルゴリズムを適用することによって、キャプチャされたデータを処理及び分析し、処理されたデータをユーザの気分の候補として分類するステップ、
ｃ．各キャプチャされたデータの分析の結果の分類値を検索することによってユーザの現在の気分を判定するステップ
を含む。

【0013】

本発明の一実施例によれば、方法は、ユーザの現在の気分に関して自動応答を生成するためのフィードバック・モジュールをさらに含む。

【0014】

本発明の一実施例によれば、所定の基準点は、目、鼻及び鼻梁、口、唇、額、顎、頬、眉、髪、生え際、肩のライン、又はそれらの任意の組合せから成るグループから選択される。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施例による、パーソナル感情アイコンを作成するための例示的システム１０を示す図である。

【図2】本発明の一実施例による、ガイドマスク層の例示的配置の概要を示す図である。

【図3A】それぞれが異なる感情及び顔の表情を表す、同一ユーザのパーソナル感情アイコンのリストを示す図である。

【図3B】画面上のキーボードの形式で実装された同一ユーザのパーソナル感情アイコンのリストを示す図である。

【図4】自分撮り画像上の所定の基準点を示す図である。

【図5】本発明の一実施例による、本主題（発明の内容）の態様を実施するための環境として適する例示的コンピューティング・システムの概要を示す図である。

【発明を実施するための形態】

【0016】

本発明のいくつかの実施例について言及し、それらの実例は添付図面に説明される。可能な限り図の中で同様又は類似の参照番号が使用され、同様又は類似の機能を示すことがある。図は、本発明の実施例を説明のみを目的として示す。本明細書で説明される構造及び方法の代替実施例が、本明細書に記載される発明の原理から逸脱することなく採用され得ることは、当業者には下記の説明から容易に理解されるであろう。さらに、本明細書における「一実装形態」又は「実装形態」への言及は、その実装形態に関連して説明される特定の特徴、構造、又は特性が、本主題の少なくとも１つの実装形態に含まれることを意味する。本明細書内の様々な場所の「一実装形態では」という句は、必ずしもすべてが同一の実装形態を指すものではない。

【0017】

本明細書に記載される本主題は、それまで感情アイコンに関連付けられていなかった画像から、ユーザの実際の顔によって感情を一意に表現する感情アイコンなどのパーソナル感情アイコンを作成するための方法及び装置を含む。

【0018】

本発明の一実施例によれば、プリパッケージ感情アイコンの必然的に限られているホストから選択することに加えて、ユーザは、多種の自分撮り画像ファイルをパーソナル感情アイコンとして使用できるよう適合させることによって独自の個人的表現の感情アイコンを作成することができる。一実装形態では、様々なタイプ及びサイズの画像ファイルが、感情アイコンとして使用するために、統一された大きさのピクセル配列にそれぞれ標準化される。

【0019】

例示的システム
図１は、本発明の一実施例による、パーソナル感情アイコンを作成するための例示的システム１０を示す。ユーザがインスタント・メッセージング、チャット・アプリケーション、Ｅメールなどを使用して通信できるように、複数のネットワーク・ノード（例えば、モバイル端末ユニット１１、１２）が通信可能に結合されてもよい。一実装形態では、ノード１１はパーソナル感情アイコン・エンジン１３を含む。エンジン１３によって、ユーザは自分撮り画像１４をパーソナル感情アイコンとして採用することができる。

【0020】

本発明の一実施例によれば、パーソナル感情アイコンを作成するプロセスには、次のステップが伴ってもよい。
− 新しい自分撮り画像をキャプチャするか、又は既存の自分撮り画像ファイルを選択することによって、ユーザの顔の表情を表す自分撮り画像１４を提供するステップと、
− 提供された画像１４に１つ又は複数の画像処理フィルタを適用することによって前記画像を処理して、前記提供された画像を特徴的にし、且つ／又は提出された顔によって表される表情を強調するステップ。

【0021】

本発明の一実施例によれば、パーソナル感情アイコンを作成するプロセスには、次のステップがさらに伴ってもよい。
− 前記処理された画像を感情アイコンの標準形式に変換するステップ。
− 前記処理された画像を承認のためにリモートの感情アイコン・サーバにアップロードするステップ。
− 承認時に、前記処理された画像を登録ユーザのアカウントに追加して、処理された画像が１つ又は複数のアプリケーション及び／又はプラットフォームでパーソナル感情アイコンとして利用可能になるようにするステップ。

【0022】

本発明のいくつかの実施例では、パーソナル感情アイコンは、画像を編集することによって、又は、写真アプリケーション又は描画アプリケーションを使用してパーソナル感情アイコンのための自分撮り画像を最初から作成することによって提供することができる。例えば、ユーザが自分撮り画像１４をパーソナル感情アイコンに採用した後に、ノード１１で、ユーザが１つ又は複数のパーソナル感情アイコン１４を含むインスタント・メッセージ１５を送信することができ、それらの感情アイコン１４が受信側のモバイル端末ユニット１２でインスタント・メッセージ１５’の表示の適所に表示される。

【0023】

パーソナル感情アイコン・エンジン１３は、通常、モバイル端末ユニット１１などのコンピューティング装置上のクライアントに常駐する。エンジン１３に適し、且つ、本明細書に記載される例示的方法を実施するために適した例示的コンピューティング装置環境について、図５を参照して説明する。

【0024】

本発明の一実施例によれば、エンジン１３は、ユーザ・インタフェース、画像セレクタ、文字列アサイナーの構成要素を含んでもよく、ユーザ・インタフェースは「パーソナル感情アイコン定義」モジュールを含んでもよく、画像セレクタはピクセル配列ジェネレータを含んでもよく、キーボードのキーストローク又は英数字の「文字列」はメッセージ内のパーソナル感情アイコンのためのプレースホルダーとして割り当てられる。パーソナル感情アイコン又はそれに関連するプレースホルダー文字列は、メッセージの作成中にリアルタイム・メッセージの適切な場所に入力されることができる。

【0025】

自動処理によって制御されるか、又は、ユーザ・インタフェースのモジュールによって生成される「パーソナル感情アイコン定義」ダイアログを通してユーザによって制御されるように、パーソナル感情アイコン定義は、新しい自分撮り画像のキャプチャ中にユーザの顔を適切な画像キャプチャ位置に置くことができるようにするために、画像キャプチャ装置（スマートフォンなど）の画面上に表示されたライブ画像の上にガイドマスク層を含んでもよい。例えば、新しい自分撮り画像をキャプチャすることは、スマートフォンの画面上に表示されたライブ画像の上にガイドマスク層を表示することも含み、それによって、ユーザの顔を適切な画像キャプチャ位置に置けるようにする。図２は、そのようなガイドマスク層の例示的配置の概要を点線２１〜２４で示す。この例示的な図では、人物の顔のライブ画像２５がスマートフォン２０の画面に表示されている。目の領域を表す点線２４に人物の目がほぼ揃い、鼻の領域を表す点線２３に人物の鼻、唇の領域を表す点線２２に人物の口、顔の輪郭を表す点線２１に人物の全体的な顔の輪郭がほぼ揃うようにして人物の顔がガイドマスク層に揃ったときに最適な結果が得られてもよい。

【0026】

画像セレクタは画像をキャプチャし、その画像を感情アイコンに変換する。一実装形態では、ジェイペグ（ＪＰＥＧ：Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式、タグ・イメージ・ファイル形式（ＴＩＦＦ：Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）、画像交換形式（ＧＩＦ：Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）、ビットマップ（ＢＭＰ：Ｂｉｔｍａｐ）形式、ポータブル・ネットワーク・グラフィックス（ＰＮＧ：Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ）形式などの様々な形式及びサイズの画像を選択し、ピクセル配列ジェネレータによって感情アイコンに変換することができる。ピクセル配列ジェネレータは、各画像を１９×１９ピクセルなどの所定の大きさのピクセル配列に変換する。画像は、その他の方法で標準化して所定のピクセル配列グリッドに収められてもよい。例えば、パーソナル感情アイコンを作成するための所定のピクセル配列が１９×１９ピクセルのグリッドの場合に、ある画像のアスペクト比がそのグリッドに合わないときは、画像の両側に背景フィラーを追加して１９×１９ピクセルのグリッドを形成することによって、そのアスペクト比を保つことができる。

【0027】

本発明の一実施例によれば、エンジン１３は単一の自分撮り画像から導出された追加の自分撮り感情画像を生成することを含む。気分を伴った追加の自分撮り画像の生成は、以下のステップのうち１つ又は複数を含んでもよい。
− 単一の自分撮り画像上の所定の基準点（例えば、図４の白い点４１〜４４で示される）をユーザがマーキングできるようにするステップ。各基準点はユーザの性別に関する顔の要素を表す。所定の基準点は、目、鼻及び鼻梁、口、唇、額、顎、頬、眉、髪、生え際、肩のライン、又はそれらの任意の組合せであることができる。
− マーキングされた所定の基準点、及び基準の人間の顔に関するそれらの場所間の関係に従って、その単一の自分撮り画像に画像処理アルゴリズムを適用して、生成された追加の自分撮り感情画像がそれぞれ、ユーザの顔のバリエーションによって表現される異なる表情又は感情を表すようにするステップ。

【0028】

一実装形態ではエンジン１３は高度な画像編集機能も含み、採用された画像の視覚的特性を変更して、画像がパーソナル感情アイコンとしての使用により適するようにする。例えば、高度な画像編集機能では、ユーザが画像の明暗、コントラスト、鮮明さ、色などを選択できてもよい。これらのユーティリティは、大きな画像のサイズを小さくして、適当なサイズのカスタム感情アイコンのための大きさのピクセル配列に合わせるときに特に便利である。

【0029】

新しいパーソナル感情アイコンはそれぞれ、インスタント・メッセージから感情アイコンへのマッピングのための文字列、選択的にはニックネームなどの関連情報と共に、パーソナル感情アイコン・オブジェクト・ストレージに保存することができる。一実装態様では、ニックネームはマッピング文字列として働き、インスタント・メッセージ内にそのニックネームが出現するたびにパーソナル感情アイコンがそのニックネームに置き換えられる。パーソナル感情アイコン・オブジェクト・ストレージは、モバイル端末ユニット１１内にローカルに置かれてもよいし、又は、エンジン１３に関連するリモートの感情アイコン・サーバ（例えば、図５のサーバ５１を参照）にリモートに置かれてもよい。

【0030】

文字列アサイナーは、「パーソナル感情アイコン定義」ダイアログ又は自動処理を利用して、特定の感情又は顔の表情を反映するパーソナル感情アイコンのそれぞれに一意の「文字列」を関連付けてもよい。文字列は通常、インスタント・メッセージを作成しているときに同じテキスト・エディタによってタイプ入力又は挿入できる英数字（又は、インスタント・メッセージ内で表現可能なその他の文字又はコード）から構成される。キーストロークとはキーボードを暗に意味するが、インスタント・メッセージを作成するためのその他の従来の手段を使用して、パーソナル感情アイコンにマッピングする文字列又はコード列を形成することもできる。

【0031】

一実装形態では、文字列は、７文字などの短い文字列に限定される。例えば文字列「ｈａｐｐｙ」を使用すると、メッセージ内で「ｈａｐｐｙ」が使用されるたびに、笑顔を表すユーザの自分撮り画像のパーソナル感情アイコンが出現する結果になる可能性がある。普通名詞に他の文字を追加することによって、パーソナル感情アイコンにマッピングされないテキストとは区別するマッピング可能な文字列を設定してもよい。よって、文字列に、［ｈａｐｐｙ］などのようにブラケットを使用してもよいし、又は＃ｈａｐｐｙなどのように前置文字を使用してもよい。

【0032】

エンジン１３は、ソフトウェア、ファームウェア、ハードウェア、又はそれらの任意の組合せに実装可能であることに留意されたい。説明される例示的エンジン１３は、本主題を行うことのできるソフトウェア、ファームウェア、及び／又はハードウェアの１つの実例にすぎない。

【0033】

図３Ａは、同一ユーザの各種のパーソナル感情アイコンを示し、それぞれのアイコンは異なる顔の表情によって異なる気分を表す（番号３１〜３３によって、ハッピーな気分３１、驚いた顔３２、及び、怖がっている顔３３として示される）。いくつかの実装形態では、インスタント・メッセージに挿入するために又は編集するためにパーソナル感情アイコンの１つ又は複数を選択できるように、パーソナル感情アイコンのリストはダイアログ・ボックスの一部でもよいし、又は画面上の仮想キーボードのような形（例えば、図３Ｂに示される仮想キーボード配置部分３４）でもよく、この場合、リストから選択されたパーソナル感情アイコン、又は、カスタムの感情アイコンにマッピングされる対応する割り当て文字列が、インスタント・メッセージの適切な場所に挿入される。

【0034】

一実装形態では、ユーザがユーザ・インタフェース要素の上でポインタを空中静止させたときにディスプレイに出現するツールチップ内に、パーソナル感情アイコンのリスト要素が表示されてもよい。例えば、ツールチップは、利用可能なパーソナル感情アイコンをユーザに気づかせるために出現してもよい。同じ又は別の実装形態では、ツールチップは、ユーザが特定のパーソナル感情アイコンを指したときに、その感情アイコンに割り当てられている文字列及びニックネームを気づかせるために出現する。同じ又はさらに別の実装形態では、パーソナル感情アイコンのリストは、システムで作成されたカスタム感情アイコン及び／又はそれに対応する文字列の有限個数の動的リストを含む、ポップダウン又は展開メニューとして出現する。

【0035】

例えば、ユーザがメッセージ（リアルタイム・インスタント・メッセージ、Ｅメールなど）を書くと、メッセージの他の時点と共にパーソナル感情アイコンが挿入されることができる。

【0036】

例示的コンピューティング環境
図５及び以下の内容は、本発明が実装されてもよい適切なコンピューティング環境について簡易的に包括的な記述とすることを意図する。本発明は、パーソナル・コンピュータのオペレーティング・システム上で動作するアプリケーション・プログラムと共に実行するプログラム・モジュールの一般的な文脈で説明されるが、本発明が、パーソナル・コンピュータ（ＰＣ）、電話、スマートフォン、及びタブレットなどの端末に常駐するその他のプログラム・モジュールとの組合せに実装されてもよいことは、当業者には理解されるであろう。

【0037】

一般に、プログラム・モジュールは、特定のタスクを行うか特定の抽象データ型を実装するルーチン、プログラム、コンポーネント、データ構造、及びその他のタイプの構造を含む。さらに、本発明が、携帯装置、マルチプロセッサ・システム、マイクロプロセッサベース又はプログラマブルな家庭用電子機器、ミニコンピュータなどを含むその他のコンピュータ・システム構成を使用して実施されてもよいことは当業者には理解されるであろう。本発明はまた、通信ネットワークを通じて繋がるリモート処理装置によってタスクが行われる分散コンピューティング環境に実施されてもよい。分散コンピューティング環境では、プログラム・モジュール、保存されている自分撮り画像、及び導出されるパーソナル感情アイコンは、ローカル及びリモートの両方のメモリ・ストレージ装置に置かれてもよい。

【0038】

本発明の実施例は、コンピュータ・プロセス（方法）、コンピューティング・システム、又は、コンピュータ・プログラム製品若しくはコンピュータ可読媒体などの製造物品として実装されてもよい。コンピュータ・プログラム製品は、コンピュータ・システムによって読み取り可能なコンピュータ・ストレージ媒体であって、コンピュータ・プロセスを実行するための命令から成るコンピュータ・プログラムを符号化していてもよい。コンピュータ・プログラム製品はまた、コンピューティング・システムによって読み取り可能な搬送波上の伝播信号であって、コンピュータ・プロセスを実行するための命令から成るコンピュータ・プログラムを符号化していてもよい。

【0039】

別段の指示のない限り、本明細書に記載される機能は、コンピュータ可読媒体に保存された、プロセッサベースの１つ又は複数のシステム上で実行する実行可能コード及び命令によって行われてもよい。ただし、ステート・マシン及び／又は配線による電子回路もまた利用可能である。さらに、本明細書に記載される実例プロセスに関して、すべてのプロセス状態を達成する必要はなく、また、状態は説明された順序で行われなくてもよい。

【0040】

図５は、本主題の態様を実施するための環境として、例えばパーソナル感情アイコンをオンラインで作成（画像処理の適用）及び／又は保存するために適した例示的コンピューティング・システム５０を示す。コンピューティング・システム５０のコンポーネントには、リモートの感情アイコン・サーバ５１及び複数のクライアント５２（例えば、クライアントはスマートフォンのアプリケーションとして実装されることができる）が含まれる。クライアント５２は（その機能の中でもとりわけ）、ローカルで画像を処理し、且つ／又は、パーソナル感情アイコンを保存してもよい。サーバ５１は、処理ユニット、システム・メモリ、並びに、システム・メモリを含む様々なシステム・コンポーネントを処理ユニット及び／又はパーソナル感情アイコンのストレージに結合するシステム・バスを含んでもよいが、これらに限定されない。

【0041】

サーバ５１は通常、様々なコンピューティング装置可読媒体を含む。コンピューティング装置可読媒体は、サーバ５１によってアクセス可能な任意の利用可能な媒体であることができ、揮発性及び不揮発性の両方の媒体、取り外し可能及び取り外し不可能な媒体を含む。非制限的な実例として、コンピューティング装置可読媒体は、コンピューティング装置ストレージ媒体及び通信媒体を含んでもよい。コンピューティング装置ストレージ媒体は、コンピューティング装置可読命令、データ構造、プログラム・モジュール、又はその他のデータなどの情報を保存するための任意の方法又は技術に実装された、揮発性及び不揮発性、取り外し可能及び取り外し不可能な媒体を含む。コンピューティング装置ストレージ媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリ若しくはその他のメモリ技術、又は、所望の情報を保存するために使用可能でサーバ５１によってアクセスできるその他の任意の媒体を含むが、これらに限定されない。通信媒体は通常、コンピューティング装置可読命令、データ構造、プログラム・モジュール又はその他のデータを、搬送波又はその他の伝送機構などの変調されたデータ信号内に具体化し、任意の情報配信媒体を含む。

【0042】

別の態様では、本発明は、人物の所有する携帯情報端末（ＰＤＡ）、スマートフォン、タブレット、ＰＣなどのコンピュータベースの装置を通してリアルタイムでその人物の気分を自動的に特定するための方法に関する。この方法は、
− コンピュータベースの装置の１つ又は複数のセンサによって、且つ／又はその装置への他の関連入力を併用してキャプチャされたデータを記録するステップであって、前記キャプチャされたデータはユーザの挙動を表すステップ、
− キャプチャされたデータを人間の挙動の検出アルゴリズムを適用することによって処理及び分析して、処理されたデータをユーザの気分の候補として分類するステップ、
− 各キャプチャされたデータの分析の結果の分類値を検索することによってユーザの現在の気分を判定するステップ（例えば、より高い値はユーザの怒っている気分を示し、より低い値はユーザのハッピーな気分を示す）
を含む。

【0043】

気分の自動特定の後、専用アプリケーションが、ユーザの気分状態を、検出された気分に変更してもよい。もちろん、そのような事例では、パーソナル感情アイコンが表示されてもよいし、或いは、共通の感情アイコン又はテキスト表現のメッセージが使用されてもよい。

【0044】

コンピュータベースの装置に備わる任意のセンサ／モジュールは、単体で、又はその他のセンサと組み合わせて、マイクロフォン（例えば、ユーザの声）、カメラ（例えば、ユーザの顔）、傾きセンサ（例えば、ユーザの手の動きの速度）、画面上の仮想キーボード上のタイピング速度、感光性センサ、時間（例えば、昼間か夜間か）などのデータ・キャプチャ入力源として使用することができる。例えば、ユーザの声の調子のレベルとユーザの顔の表情の組合せは、ユーザが怒っているかどうかを示すことがある。

【0045】

気分の分類規則セットの開発
規則の開発は、次のプロセスに従って行われる。
１．少なくとも１つのキャプチャ・セッションの間に装置の１つ又は複数のセンサによってキャプチャされたデータ（例えば、ユーザの声の調子、タイピング速度、モバイル装置の動く速度、キャプチャされた画像など）を記録すること。
２．各キャプチャ・セッション中に記録されたデータのパラメータ（例えば、平均、標準偏差、変動係数、中央値、四分位範囲、時間積分、最小値、最大値、特定の時区間に信号が中央値を横切った回数）を計算し、個々のユーザについて、気分の分類及び計算されたパラメータを含むデータ・ベースを構築すること。
３．気分の分類を予測する規則を特定するために、一定のキャプチャ済みレコードの計算済みパラメータに基づいて、人間の挙動を分析するソフトウェアを適用すること。
４．規則セットを使用して各レコードの気分のタイプを分類するコンピュータ・プログラムを提供すること。

【0046】

本発明の一実施例によれば、システム１０は、ユーザに現在設定されている気分に関する自動応答を生成できるようにするフィードバック・モジュール（図示せず）をさらに含む。それぞれの気分は、特定の歌曲の再生、特定の画像の表示、バイブレーション、選択された１つ又は複数の連絡先へのメッセージ送信などの、その気分に関連し、ユーザの所有する装置によって適用することができる１つ又は複数の応答動作を有してもよい。一実装形態では、生成された応答は、例えば、ユーザの気分が不機嫌に設定されると装置の画面に特定の画像が表示されるように決定したり、所定の歌曲のリストから選択された歌曲を再生したりするなどのように、ユーザによって事前に設定することができる。

【0047】

別の実装形態では、生成された応答は所定の規則セットに従って自動的に設定することができ、その規則は、人間の挙動の決定要素としての色の研究である「色彩心理学」（これは、よく知られた研究で、例えば、「ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｃｏｌｏｒ＿ｐｓｙｃｈｏｌｏｇｙ」に記載されている）などの、一般的な人間の行動の研究及び方法論に基づいてもよい。これによれば、不機嫌又は怒りの気分の場合は、フィードバック・モジュールは、ユーザを励ますような応答を生成してもよい。例えば、ユーザの気分が「怒っている」に設定されている場合は、フィードバック・モジュールはユーザの「怒り」のレベルを下げるか、又は、ユーザの気分を変え得るような特定の色を表示してもよい。

【0048】

本発明の一実施例によれば、システム１０は、多様なアプリケーション及び／又はオペレーティング・システム（ＯＳ：Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）プラットフォームにおいてユーザの気分／状態を自動的に変更するように構成されることができる。例えば、このことは、適切なアプリケーション・プログラミング・インタフェース（ＡＰＩ：Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を使用して、ユーザの現在の状態／気分を、既にその状態／気分が利用可能としてアプリケーションの一部に組み込まれているかどうかに関わらず、第三者のアプリケーション（例えば、Ｓｋｙｐｅ（登録商標）、ＩＣＱ（登録商標）、Ｆａｃｅｂｏｏｋ（登録商標）など）又は専用アプリケーションなどの、ほぼあらゆるソーシャル関連アプリケーション又はソフトウェア・モジュールにユーザの状態として適用できるようにすることによって行うことができる。ユーザの状態／気分がアプリケーション又はＯＳの一部に利用可能として組み込まれていない場合は、ユーザの状態／気分は、そのようなアプリケーション／ＯＳのためのアドオン・モジュールとして適用されることができる。

【0049】

結論
上記の本主題はハードウェア、ソフトウェア、若しくはファームウェアに、又はハードウェア、ソフトウェア、及びファームウェアの任意の組合せに実装することができる。一定の実装形態では、本主題は、コンピューティング装置又は通信装置によって実行されるプログラム・モジュールなどのコンピュータ実行可能命令の一般的な文脈で説明されてもよい。一般に、プログラム・モジュールは、特定のタスクを行うか特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。本主題はまた、通信ネットワークを通じて繋がるリモート処理装置によって無線通信を介してタスクが行われる分散通信環境内に実施されることもできる。無線ネットワークでは、プログラム・モジュールは、メモリ・ストレージ装置を含むローカル及びリモートの通信装置ストレージ媒体の両方に置かれてもよい。

【0050】

前述の内容では、例示的なパーソナル感情アイコン、パーソナル感情アイコンの作成、保存及び使用の方法、並びに例示的な感情アイコン・エンジンについて説明した。本主題は構造的特徴及び／又は方法論的行為に特定される言葉で説明されているが、添付の特許請求の範囲に定められる本主題は上記の特定の特徴又は行為に必ずしも限定されないことが理解されるべきである。むしろ、上記の特定の特徴及び行為は特許請求の範囲を実装する実例の形として開示される。

【0051】

同様に、一定の実例はスマートフォンなどのモバイル端末ユニットに言及しているが、その他のコンピュータ又は電子システムもまた、それらがモバイル・システムであるかどうかに関わらず使用することができ、それらはタブレット・コンピュータ、パーソナル・コンピュータ（ＰＣ）システム、ネットワーク対応の携帯情報端末（ＰＤＡ）、ネットワーク・ゲーム・コンソール、ネットワーク対応の娯楽装置などであるが、これらに限定されない。

【0052】

「例えば（ｆｏｒ ｅｘａｍｐｌｅ、ｅ．ｇ．）」、「選択的（ｏｐｔｉｏｎａｌｌｙ）」などの用語は本明細書で使用するとき、非制限的な実例を紹介するためと意図される。一定のシステム・コンポーネント又はサービスの実例に一定の言及がなされているが、その他のコンポーネント及びサービスもまた使用することができ、且つ／又は、それらの複数のコンポーネントの実例を組み合わせて少数のコンポーネントにすること、及び／又は、さらなるコンポーネントに分割することができる。

【0053】

画面配置、外観、及び用語の実例は、本明細書に図示及び記載されるとき、説明目的及び例示的であると意図され、請求項に記載される本発明の範囲を決して制限するものではない。

【0054】

上記の記載及び実例はすべて説明の目的で提供されており、決して本発明を制限するものではないと意図される。多くの異なる機構、分析方法、電子的及び論理的要素はすべて、本発明の範囲を逸脱することなく採用されることができる。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【国際調査報告】