特許 6688340 表情アイコンを入力するための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6688340

(24)【登録日】2020年4月7日

(45)【発行日】2020年4月28日

(54)【発明の名称】表情アイコンを入力するための方法及び装置

(51)【国際特許分類】

   G06F 3/0481 20130101AFI20200421BHJP

   G06F 3/01 20060101ALI20200421BHJP

   G06F 3/16 20060101ALI20200421BHJP

【ＦＩ】

   G06F3/0481 170

   G06F3/01 510

   G06F3/16 610

   G06F3/16 620

   G06F3/16 650

【請求項の数】11

【外国語出願】

【全頁数】15

(21)【出願番号】特願2018-125128(P2018-125128)

(22)【出願日】2018年6月29日

(65)【公開番号】特開2019-16354(P2019-16354A)

(43)【公開日】2019年1月31日

【審査請求日】2018年9月21日

(31)【優先権主張番号】201710538998.4

(32)【優先日】2017年7月4日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】518042981

【氏名又は名称】ペキン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド

(74)【代理人】

【識別番号】100169797

【弁理士】

【氏名又は名称】橋本 浩幸

(74)【代理人】

【識別番号】100130225

【弁理士】

【氏名又は名称】洗 理恵

(72)【発明者】

【氏名】王怡

【審査官】 池田 聡史

(56)【参考文献】

【文献】 特表２０１７−５１４１９４（ＪＰ，Ａ）

【文献】 国際公開第２０１６／００２２５１（ＷＯ，Ａ１）

【文献】 特開２０１５−１８５１７２（ＪＰ，Ａ）

【文献】 特開２０１６−０５８０８９（ＪＰ，Ａ）

【文献】 特開２０１３−２０６１３５（ＪＰ，Ａ）

【文献】 特開２０１６−１６２４５９（ＪＰ，Ａ）

【文献】 特開２０１０−１７６３２９（ＪＰ，Ａ）

【文献】 特開２００４−２３４６１４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／０１７７１１６（ＵＳ，Ａ１）

【文献】 “18 Facebook スタンプで感情をもっと表現する スタンプを拡大して友達を驚かせよう！”，ｉＰｈｏｎｅ＆ｉＰａｄ お得技全集，日本，株式会社晋遊舎，２０１６年 ８月 １日，p.74，CSDB:単行本2017-01094-001

【文献】 西村優里ほか１名，“おかおチャット：表情認識を利用したスタンプ推薦システム”，インタラクション２０１６論文集［ｏｎｌｉｎｅ］，日本，一般社団法人情報処理学会，２０１６年 ２月２４日，pp.841〜844

【文献】 佐々木和宏ほか１名，“Messenger 34 巨大ないいね！ どうすれば送れるの？”，定番のＬＩＮＥ＆Ｆａｃｅｂｏｏｋ＋Ｍｅｓｓｅｎｇｅｒ，Ｉｎｓｔａｇｒａｍ，日本，株式会社マイナビ出版，２０１６年 ９月３０日，初版，p.245，CSDB: 単行本2018-00191-001

【文献】 ドラゴンクエストヒーローズ 闇竜と世界樹の城，デンゲキバズーカ！！，株式会社ＫＡＤＯＫＡＷＡ，２０１５年 ２月２１日，第2巻, 第4号，pp.72〜73

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８

Ｇ０６Ｆ ３／１６

(57)【特許請求の範囲】

【請求項1】

ユーザの顔画像を取得し、前記顔画像の顔特徴点に対して位置決めすることと、
前記顔特徴点の位置に基づいて前記ユーザの表情情報を決定することと、
表情アイコンと表情情報とが対応付けて格納された、予め設定された表情アイコンライブラリーから、前記表情情報にマッチする表情アイコンを選択することと、
選択された表情アイコンを入力インターフェースに表示することと、
前記入力インターフェースに表示されている同じ表情アイコンの個数が所定の閾値を超えるか否かを検出することと、
超える場合、所定の閾値を超える表情アイコンを、拡大された表情アイコンに置き換えて入力インターフェースに表示することと
を含むことを特徴とする、表情アイコンを入力する方法。

【請求項2】

ユーザの顔画像を取得し、前記顔画像の顔特徴点に対して位置決めすることと、
前記顔特徴点の位置に基づいて前記ユーザの表情情報を決定することと、
表情アイコンと表情情報とが対応付けて格納された、予め設定された表情アイコンライブラリーから、前記表情情報にマッチする表情アイコンを選択することと、
選択された表情アイコンを入力インターフェースに表示することと、
前記ユーザによる表情アイコンのドラッグ（drag）が検出されたことに応答して、前記ユーザによりドラッグされた表情アイコンの軌跡データを記録することと、
受信された表情アイコンを前記軌跡データに基づいて目標端末で表示するように、ドラッグされた表情アイコン及び前記軌跡データを前記目標端末に送信することと
を含むことを特徴とする、表情アイコンを入力する方法。

【請求項3】

前記ユーザの音声情報を取得し、前記音声情報からキーワードを抽出することと、
前記表情アイコンとキーワードとが対応付けて格納された、予め設定された音声アイコンライブラリーから、前記キーワードにマッチする表情アイコンを選択することと、
前記キーワードにマッチする表情アイコンを前記入力インターフェースに表示することと
をさらに含むことを特徴とする、請求項１又は２に記載の方法。

【請求項4】

目標端末に表情アイコンが表示されるとともに音声が再生されるように、前記キーワードにマッチする表情アイコン及び前記音声情報を目標端末に送信すること
をさらに含むことを特徴とする、請求項３に記載の方法。

【請求項5】

ユーザの顔画像を取得し、前記顔画像の顔特徴点に対して位置決めをする位置決め部と、
前記顔特徴点の位置に基づいて前記ユーザの表情情報を決定する決定部と、
表情アイコンと表情情報とが対応付けて格納された、予め設定された表情アイコンライブラリーから、前記表情情報にマッチする表情アイコンを選択する選択部と、
選択された表情アイコンを入力インターフェースに表示する表示部と、
前記入力インターフェースに表示されている同じ表情アイコンの個数が所定の閾値を超えるか否かを検出する第２の検出部と、
超える場合、所定の閾値を超える表情アイコンを、拡大された表情アイコンに置き換えて入力インターフェースに表示する置き換え部と
を含むことを特徴とする、表情アイコンを入力する装置。

【請求項6】

ユーザの顔画像を取得し、前記顔画像の顔特徴点に対して位置決めをする位置決め部と、
前記顔特徴点の位置に基づいて前記ユーザの表情情報を決定する決定部と、
表情アイコンと表情情報とが対応付けて格納された、予め設定された表情アイコンライブラリーから、前記表情情報にマッチする表情アイコンを選択する選択部と、
選択された表情アイコンを入力インターフェースに表示させる表示部と、
前記ユーザによる表情アイコンのドラッグ（drag）が検出されたことに応答して、前記ユーザによりドラッグされた表情アイコンの軌跡データを記録する記録部と、
受信された表情アイコンを前記軌跡データに基づいて目標端末で表示するように、ドラッグされた表情アイコン及び前記軌跡データを前記目標端末に送信する第１の送信部と
を含むことを特徴とする、表情アイコンを入力する装置。

【請求項7】

前記ユーザの音声情報を取得し、前記音声情報からキーワードを抽出する抽出部と、
表情アイコンとキーワードとが対応付けて格納された、予め設定された音声アイコンライブラリーから、前記キーワードにマッチする表情アイコンを選択するマッチング部と
をさらに含み、
前記表示部は、前記キーワードにマッチする表情アイコンを前記入力インターフェースに表示する
ことを特徴とする、請求項５又は６記載の装置。

【請求項8】

目標端末に表情アイコンが表示されるとともに音声が再生されるように、前記キーワードにマッチする表情アイコン及び前記音声情報を目標端末に送信する第２の送信部
をさらに含むことを特徴とする、請求項７に記載の装置。

【請求項9】

一つ又は複数のプロセッサーと、一つ又は複数のプログラムを格納する記憶装置とを含む端末であって、
一つ又は複数のプログラムが一つ又は複数のプロセッサーにより実行されると、前記一つ又は複数のプロセッサーは請求項１〜４のいずれか一項に記載の方法を実行する、端末。

【請求項10】

コンピュータプログラムが格納されたコンピュータ可読記憶媒体であって、
前記コンピュータプログラムがプロセッサーにより実行されると、請求項１〜４のいずれか一項に記載の方法が実行されることを特徴とする、コンピュータ可読記憶媒体。

【請求項11】

請求項５〜８のいずれか一項に記載の装置又は請求項９の端末のプロセッサーを機能させることができるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、コンピュータの技術分野、具体的には、入力システムの技術分野に関し、特に表情アイコンを入力するための方法及び装置に関する。

【背景技術】

【0002】

従来技術に、表情アイコンを入力するための技術はある。ユーザは、表情アイコンリストから対応する表情アイコンを選択したり、表情アイコンを示すコードを入力したりすることにより、表情アイコンを入力することができる。

【0003】

リストから選択して表情アイコンを入力する必要があるシステムにおいては、ユーザは毎回入力する際に特定のリストから手動で選択する必要があり、かつ、表情アイコンリストにおける記号の数が増加するに伴い、ユーザが表情アイコンを入力する際に、より多くの時間を費やして表情アイコンを検索しなければならなくなってきている。

【0004】

識別コード（identification code）を用いて表情アイコンを入力するシステムにおいては、ユーザが表情アイコンに対応する識別コード又は特定の文字を記憶しておく必要がある。表情アイコンの数が増加すると、記憶しなければならない識別コードも多くなるため、ユーザが表情アイコンを入力する速度が遅くなる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本願の目的は、上記背景技術部分に言及した技術課題を解決するために、改善された、表情アイコンを入力するための方法及び装置を提供することにある。

【課題を解決するための手段】

【0006】

第１の態様として、本願の実施形態は、ユーザの顔画像を取得し、前記顔画像の顔特徴点に対して位置決めを行うことと、前記顔特徴点の位置に基づいて前記ユーザの表情情報を決定することと、予め設定された表情アイコンライブラリーから、前記表情情報にマッチする表情アイコンを選択することと、前記表情アイコンライブラリーは表情アイコンと表情情報とを対応付けて格納し、選択された表情アイコンを入力インターフェースに表示することとを含む表情アイコンを入力する方法を提供する。

【0007】

複数の実施形態において、上記方法は、ユーザの音声情報を取得し、前記音声情報からキーワードを抽出することと、予め設定された音声アイコンライブラリーから、前記キーワードにマッチする表情アイコンを選択することと、前記音声アイコンライブラリーは表情アイコンとキーワードとを対応付けて格納し、前記キーワードにマッチする表情アイコンを前記入力インターフェースに表示することとをさらに含む。

【0008】

複数の実施形態において、上記方法は、ユーザの表情アイコンを押す時間の長さが所定の期間の閾値を超えたか否かを検出することと、超えた場合は、拡大された表情アイコンを生成することと、前記ユーザが表情アイコンの押圧停止が検出されたことに応答して、拡大された表情アイコンを前記入力インターフェースに表示し、前記拡大された表情アイコンのサイズは、表情アイコンを押す時間の長さに比例することとをさらに含む。

【0009】

複数の実施形態において、上記方法は、入力インターフェースにおける同じ表情アイコンの個数が所定の閾値を超えたか否かを検出することと、超えた場合は、所定の閾値を超えた表情アイコンを、拡大された表情アイコンに置き換えて入力インターフェースに表示することとをさらに含む。

【0010】

複数の実施形態において、上記方法は、ユーザによる表情アイコンのドラッグが検出されたことに応答して、前記ユーザによりドラッグされた表情アイコンの軌跡データを記録することと、受信した表情アイコンを前記軌跡データに基づいて目標端末に表示させるように、ドラッグされた表情アイコン及び前記軌跡データを前記目標端末に送信することとをさらに含む。

【0011】

複数の実施形態において、当該方法は、目標端末に表情アイコンが表示され音声が再生されるように、前記キーワードにマッチした表情アイコン及び前記音声情報を目標端末に送信することをさらに含む。

【0012】

第２の態様では、本願の実施形態は、ユーザの顔画像を取得し、前記顔画像の顔特徴点に対して位置決めを行う位置決め部と、前記顔特徴点の位置に基づいて前記ユーザの表情情報を決定する決定部と、予め設定された表情アイコンライブラリーから、前記表情情報にマッチする表情アイコンを選択する選択部と、前記表情アイコンライブラリーは表情アイコンと表情情報とを対応付けて格納し、選択された表情アイコンを入力インターフェースに表示する表示部とを具備する表情アイコンを入力するための装置を提供する。

【0013】

複数の実施形態において、前記表情アイコンを入力するための装置は、ユーザの音声情報を取得し、前記音声情報からキーワードを抽出する抽出部と、予め設定された音声アイコンライブラリーから、前記キーワードにマッチする表情アイコンを選択するマッチング部とをさらに含み、前記音声アイコンライブラリーは表情アイコンとキーワードとを対応付けて格納し、前記表示部は、前記キーワードにマッチする表情アイコンを前記入力インターフェースに表示する。

【0014】

複数の実施形態において、前記表情アイコンを入力するための装置は、ユーザの表情アイコンを押す時間の長さが所定の期間閾値を超えたか否かを検出する第１の検出部と、超えた場合は、拡大された表情アイコンを生成する生成部とをさらに具備し、前記表示部は、前記ユーザの押圧の停止が検出されたことに応答して、拡大された表情アイコンを前記入力インターフェースに表示し、前記拡大された表情アイコンのサイズは、表情アイコンを押す時間の長さに比例する。

【0015】

複数の実施形態において、前記表情アイコンを入力するための装置は、入力インターフェースにおける同じ表情アイコンの個数が所定の閾値を超えたか否かを検出する第２の検出部と、超えた場合は、所定の閾値を超えた表情アイコンを、拡大された表情アイコンに置き換えて入力インターフェースに表示する置き換え部とをさらに含む。

【0016】

複数の実施形態において、前記表情アイコンを入力するための装置は、ユーザによる表情アイコンのドラッグが検出されたことに応答して、前記ユーザによりドラッグされた表情アイコンの軌跡データを記録する記録部と、受信した表情アイコンを前記軌跡データに基づいて目標端末に表示させるように、ドラッグされた表情アイコン及び前記軌跡データを目標端末に送信する第１の送信部とをさらに含む。

【0017】

複数の実施形態において、前記表情アイコンを入力するための装置は、目標端末に表情アイコンが表示され音声が再生されるように、前記キーワードにマッチする表情アイコン及び前記音声情報を目標端末に送信する第２の送信部をさらに含む。

【0018】

第３の態様では、本願の実施形態は、一つ又は複数のプロセッサーと、一つ又は複数のプログラムを格納する記憶装置とを具備し、一つ又は複数のプログラムが一つ又は複数のプロセッサーによって実行されると、一つ又は複数のプロセッサーが第１の態様のいずれかの方法が実現される端末を提供する。

【0019】

第４の態様では、本願の実施形態は、コンピュータプログラムが格納されたコンピュータ可読記憶媒体であって、当該プログラムがプロセッサーにより実行されると、第１の態様のいずれかの方法が実現されることを特徴とするコンピュータ可読記憶媒体を提供する。

【発明の効果】

【0020】

本願の実施形態が提供した表情アイコンを入力する方法及び装置は、ユーザの顔画像を取得し、ユーザの顔表情を認識し、かつ予め設定された表情アイコンライブラリーからユーザの顔表情にマッチする表情アイコンを選択することにより、表情アイコンの入力速度を向上させることができる。

【図面の簡単な説明】

【0021】

以下の図面による非限定的な実施例についての詳細な説明を読み、参照することにより、本願の他の特徴、目的及び利点がより明らかになる。

【図1】本願を適用できる例示的なシステムアーキテクチャーの図である。

【図2】本願の表情アイコンを入力する方法による一実施例のフローチャートである。

【図3】本願の表情アイコンを入力する方法による一応用シーンの模式図である。

【図4】本願の表情アイコンを入力する方法による他の実施例のフローチャートである。

【図5】本願の表情アイコンを入力する装置による一実施例の構造模式図である。

【図6】本願の実施例を実現するのに適する端末装置のコンピュータシステムの構造の模式図である。

【発明を実施するための形態】

【0022】

以下、図面と実施例を参照しながら、本願を詳細に説明する。ここで記載される具体的な実施例は、関連の発明を解釈するのみに用いられ、当該発明に対する限定ではないことは理解される。なお、説明の便宜上、図面には、関連の発明に関わる部分のみを示す。

【0023】

なお、矛盾が生じない限り、本願における実施例及び実施例における特徴は互いに組み合わせることができるものとする。以下、図面を参照しながら、実施例を併せて本願を詳しく説明する。

【0024】

図１は、本願の表情アイコンを入力するための方法又は表情アイコンを入力するための装置の実施例に適用できる例示的なシステムアーキテクチャー１００を示す。

【0025】

図１に示すように、システムアーキテクチャー１００は、端末装置１０１、１０２、１０３と、ネットワーク１０４と、サーバ１０５とを含むことができる。ネットワーク１０４は、端末装置１０１、１０２、１０３とサーバ１０５との間で通信リンクの媒介を提供するために用いられる。ネットワーク１０４は、例えば、有線、無線通信リンク又は光ケーブルなどのような各種の接続タイプを含んでもよい。

【0026】

ユーザは、メッセージの送受信などをするように、端末装置１０１、１０２、１０３を使用し、ネットワーク１０４を介してサーバ１０５とインタラクションをすることができる。端末装置１０１、１０２、１０３には、例えばウェブページブラウザアプリ、ショッピング系アプリ、検索系アプリ、インスタントメッセージツール、メールクライアント、ソーシャル・ネットワーキング・サービスソフトなどのような各種通信クライアントアプリがインストールされてもよい。

【0027】

端末装置１０１、１０２、１０３は、ディスプレイを有しかつ表情アイコン入力をサポートする各種の電子デバイスであってもよく、スマートフォン、タブレット型パソコン、電子書籍リーダー、ＭＰ３(Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ)プレーヤー、ＭＰ４(Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＶ）プレーヤー、ラップトップコンピュータ及びデスクトップコンピュータなどを含むが、それらに限定されるものではない。

【0028】

サーバ１０５は、例えば、端末装置１０１、１０２、１０３に表示される表情アイコンに対してサポートを提供する表情アイコンライブラリーサーバのような、各種のサービスを提供するサーバであってもよい。表情アイコンライブラリーサーバは、受信した表情情報などのデータに対して解析などの処理を行い、処理結果（例えば、表情情報にマッチする表情アイコン）を端末装置にフィードバックすることができる。

【0029】

なお、本願の実施例が提供する表情アイコンを入力する方法は、一般的に端末装置１０１、１０２、１０３により実行され、対応して、表情アイコンを入力する装置は、一般的に端末装置１０１、１０２、１０３に設置されている。オプション的に、表情アイコンライブラリーサーバを使用せず、端末装置１０１、１０２、１０３に表情アイコンライブラリーを予め格納することができる。

【0030】

図１における端末装置、ネットワーク及びサーバの数は、模式的なものにすぎないことを理解すべきである。必要に応じて、任意の数の端末装置、ネットワーク及びサーバを有してもよい。

【0031】

続いて、図２を参照し、図２は本願の表情アイコンを入力する方法による一実施例のフロー２００を示す。当該表情アイコンを入力する方法は、次のステップを含む。

【0032】

ステップ２０１において、ユーザの顔画像を取得し、顔画像の顔特徴点に対して位置決めを行う。

【0033】

本実施例において、表情アイコンを入力する方法が動作している電子デバイス（例えば、図１に示す端末装置）は、カメラによりリアルタイムでユーザの顔画像を取得し、顔画像の顔特徴点に対して位置決めを行うことができる。例えば、ユーザが携帯電話でインスタントメッセージに際し、フロントカメラにより人の顔を撮影することができる。顔画像における人の顔の領域に対して認識を行う必要がある場合に、まず、顔画像においてそれぞれの顔特徴のキーポイントをマークすることができる。顔画像においてそれぞれの顔特徴のキーポイントをマークした後、顔画像におけるそれぞれの顔特徴のキーポイントの位置を決定することができる。ここで、顔特徴は、目、鼻、口、顎などを含むが、それらに限定されない。また、目は、左目と右目を含み、鼻は、鼻翼又は鼻尖であってもよい。鼻翼は左鼻翼と右鼻翼を含む。具体的に、顔特徴は、頬、下顎などをさらに含んでもよい。頬は、左頬や右頬を含み、下顎は、左下顎や右下顎を含む。当該顔特徴は、顔のその他の特徴であってもよく、ここでは如何なる限定もしないことは理解される。

【0034】

ステップ２０２において、顔特徴点の位置に基づいてユーザの表情情報を決定する。

【0035】

本実施例において、表情情報と顔特徴は密接に関連し、一部の顔の動作は表情情報として理解できるが、表情情報は顔特徴よりもさらに豊かで多様的である。例えば、微笑みの動作は、口の運動に関わっており、さらに顔の輪郭の変化及び目と眉毛の変化にも関わっている。顔特徴に対する捕捉は、単一の器官のみに着目してもよいが、表情情報に対する捕捉は、顔全体の特徴値をモニタリングすることにより実現することになる。十分な数の特徴点を設置することで、顔特徴点の精確な位置情報を取得することができる。例えば、５０〜６０個の特徴点をもって口の形状を示す。口の動作が微笑みである場合、口元をマークする複数の特徴点の位置座標は、上に移動し、かつ左右の両方に拡がる。口の動作が開く場合、上下唇の位置をマークする複数の特徴点は、垂直方向に拡がる。同様に、目の特徴点に対するマークも、目の開け、閉じを示すことができ、リアルタイムのアップデートにより捕られる位置情報は、瞬く動作を表示することができる。特徴点位置の設置は、五官の位置の変化しやすさによって選定することができる。目と口のような位置が変化しやすい五官は、比較的多くの特徴点により特定することができ、このように取得した動作はよりスムーズになる。一方、鼻のような位置が変化しにくい五官は、相対的に少ない特徴点により特定することができる。

【0036】

ステップ２０３において、予め設定された表情アイコンライブラリーから、表情情報にマッチする表情アイコンを選択する。

【0037】

本実施例において、表情アイコンライブラリーは、表情アイコンと表情情報とを対応付けて格納するためのものである。表情アイコンライブラリーは、第三者から取得されたものであってもよく、端末に予め格納しされたものであってもよい。ステップ２０２により、ユーザが舌を出す表情のようなユーザの現在の顔表情を決定し、表情アイコンライブラリーから表情アイコン

【数1】

を選択することができる。

【0038】

ステップ２０４において、選択された表情アイコンを入力インターフェースに表示する。

【0039】

本実施例において、ステップ２０３で選択された表情アイコンを入力インターフェースに表示して、目標端末に送信するようにユーザに提供する。ユーザは、必要に応じて、送信する表情アイコンを選択し、送信したくない表情アイコンを削除することができる。

【0040】

本実施例の複数のオプションとなる実施形態において、当該方法は、ユーザの表情アイコンを押す時間の長さが所定の期間閾値を超えたか否かを検出することと、超えた場合は、拡大された表情アイコンを生成することと、ユーザの押圧の停止が検出されたことに応答して、拡大された表情アイコンを入力インターフェースに表示することとをさらに含み、拡大された表情アイコンのサイズは、表情アイコンを押す時間の長さに比例する。ユーザは、送信する表情アイコンを編集することができ、入力インターフェースに表示された表情アイコンを押すことにより、当該押される表情アイコンを拡大させることができる。押す時間が長くなるほど、表情アイコンがより大きく拡大される。それにより、ユーザの気分を示すことができ、例えば、怒り表情アイコンを押すことにより複数倍に拡大された怒り表情アイコンが生成され、ユーザが現在極めて怒っていることを示すことができる。

【0041】

本実施例の複数のオプションとなる実施形態において、上記方法は、入力インターフェースにおける同じ表情アイコンの個数が所定の閾値を超えたか否かを検出することと、超えた場合、所定の閾値を超えた表情アイコンを、拡大された表情アイコンに置き換えて入力インターフェースに表示することをさらに含んでもよい。例えば、連続的に複数の同じ怒り表情アイコンを入力する時に、予め設定された５個を超えた場合、同じ怒り表情アイコンを合わせて、一つの拡大された怒り表情アイコンに置き換えられることにより、ユーザの強烈な気持ちを示す。

【0042】

本実施例の複数のオプションとなる実施形態において、上記方法は、ユーザによる表情アイコンのドラッグが検出されたことに応答して、ユーザによりドラッグされた表情アイコンの軌跡データを記録することと、受信した表情アイコンを軌跡データに基づいて目標端末に表示されるように、ドラッグされた表情アイコン及び軌跡データを目標端末に送信することとをさらに含む。ユーザは、表情アイコンを往復して擦ることができ、表情アイコンを拡大させ、目標端末に送信すると、目標端末でもユーザの擦る軌跡に従って変化する表情アイコンを表示させることができる。

【0043】

続いて、図３を参照する。図３は、本実施例の表情アイコンを入力する方法による応用シーンの一模式図である。図３の応用シーンにおいては、ユーザが、まず端末３００のカメラを起動させて、顔画像を取得し、端末３００が、顔画像の顔特徴点に対して位置決めを行い、複数の口特徴点３０１、目特徴点３０２及び眉毛特徴点３０３を得、複数の口特徴点３０１、目特徴点３０２及び眉毛特徴点３０３の位置に基づいて、当該ユーザの顔表情が微笑みであることを決定することができる。この場合、予め設定された表情アイコンライブラリーから、微笑にマッチする表情アイコン３０４を選択し、入力インターフェースに表示させる。

【0044】

本願の上記実施例によって提供される方法によると、ユーザの顔特徴点を取得することにより、ユーザの顔表情を決定し、さらに、予め設定された表情アイコンライブラリーから顔表情にマッチする表情アイコンを選択して、表情アイコンの快速入力を実現する。

【0045】

さらに、図４を参照する。図４は、表情アイコンを入力する方法の他の実施例のフロー４００を示す。当該表情アイコンを入力する方法のフロー４００は、下記ステップを含む。
ステップ４０１において、ユーザの顔画像を取得し、顔画像の顔特徴点に対して位置決めを行う。
ステップ４０２において、顔特徴点の位置に基づいてユーザの表情情報を決定する。
ステップ４０３において、予め設定された表情アイコンライブラリーから、表情情報にマッチする表情アイコンを選択する。
ステップ４０４において、選択された表情アイコンを入力インターフェースに表示する。

【0046】

ステップ４０１〜４０４は、ステップ２０１〜２０４と基本的に同じであるため、ここで説明を省略する。

【0047】

ステップ４０５において、ユーザの音声情報を取得し、音声情報からキーワードを抽出する。

【0048】

本実施例において、ユーザは、マイクなどのオーディオ入力装置により音声情報を入力することができる。音声に基づいて、ユーザがいった言葉を認識するようにしてもよく、ユーザからの音声と、予め録音された音声ライブラリーとのマッチングをすることにより、類似する音声を見つけるようにしてもよく、上記音声ライブラリーには、音声とキーワードとのマッピング関係が格納されている。例えば、ユーザが携帯電話でインスタントメッセージをする際に、「ハハハ」の音声を発する。携帯電話は、音声情報から「ハハハ」というキーワードを抽出することができる。ユーザが「ムカつく」を言った場合には、その中から「ムカつく」というキーワードを抽出することができる。音声ライブラリーを予め録音し、音声とキーワードとを対応付けておくこともでき、例えば、各種の笑い声を録音して、「ハハハ」というキーワードに対応させるようにすることができる。ひいては、くしゃみの音声を録音して、「くしゃみ」というキーワードに対応させるようにすることもできる。涎垂れの音声を録音して、「涎」というキーワードに対応させるようにすることもできる。

【0049】

ステップ４０６において、予め設定された音声アイコンライブラリーから、キーワードにマッチする表情アイコンを選択する。
本実施例において、音声アイコンライブラリーは、表情アイコンとキーワードとを対応付けて格納するものである。例えば、「ハハハ」というキーワードは、

【数2】

に対応する。音声アイコンライブラリーは、第三者から取得されてもよく、端末に内蔵されてもよい。

【0050】

ステップ４０７において、キーワードにマッチする表情アイコンを入力インターフェースに表示する。

【0051】

本実施例において、ステップ４０６で選択された表情アイコンを入力インターフェースに表示させ、ユーザに、インスタントメッセージの受信者の携帯電話のような目標端末への送信に供する。ユーザは、必要に応じて、送信する表情アイコンを選択し、送信したくない表情アイコンを削除することができる。ユーザ顔表情を捕って連続的な複数の動的表情に変換する過程で、同時にユーザのこの間での音声を記録することもできる。受信者の携帯電話で音声付き動的表情を再生することができる。当該表情認識プロセスは、ユーザのタイピングプロセスと同時に進行し、ユーザのタイピングが完了した後、自動的補足して送信することができる。

【0052】

本実施例の複数のオプションとなる実施形態において、上記方法は、ユーザの表情アイコンを押す時間の長さが所定の期間閾値を超えたか否かを検出することと、超えた場合は、拡大された表情アイコンを生成することと、ユーザの押圧の停止が検出されたことに応答して、拡大された表情アイコンを入力インターフェースに表示させることとをさらに含み、拡大された表情アイコンのサイズは、表情アイコンを押す時間の長さに比例する。ユーザは、送信する表情アイコンを編集することができ、入力インターフェースに表示された表情アイコンを押すことにより、当該押される表情アイコンを拡大させることができる。押す時間が長くなるほど、表情アイコンがより大きく拡大される。それにより、ユーザの気分を示すことができ、例えば、怒り表情アイコンを押すことにより複数倍に拡大された怒り表情アイコンが生成され、ユーザが極めて怒っていることを示すことができる。

【0053】

本実施例の複数のオプションとなる実施形態において、上記方法は、入力インターフェースにおける同じ表情アイコンの数が所定の閾値を超えたか否かを検出することと、超えた場合は、所定の閾値を超えた表情アイコンを拡大された表情アイコンに置き換えて入力インターフェースで表示させることとをさらに含む。表情アイコンが拡大されたサイズは、同一表情アイコンの個数に比例する。例えば、連続的に複数の同じ怒り表情アイコンを入力する時に、予め設定された５個を超えた場合、同じ怒り表情アイコンが集まって、一つの拡大された怒り表情アイコンに置き換えられる。それにより、ユーザの強烈な気分を示す。１０個の怒り表情アイコンにより生成する拡大された怒り表情アイコンは、５個の怒り表情アイコンにより生成する拡大された怒り表情アイコンよりも、サイズが大きくなる。

【0054】

本実施例の複数のオプションとなる実施形態において、当該方法は、ユーザによる表情アイコンのドラッグが検出されたことに応答して、ユーザによりドラッグされた表情アイコンの軌跡データを記録することと、受信した表情アイコンを軌跡データに基づいて目標端末に表示されるように、ドラッグされた表情アイコン及び軌跡データを目標端末に送信することとをさらに含む。ユーザは、表情アイコンを往復に擦ることができ、表情アイコンを拡大させ、目標端末に送信すると、目標端末でもユーザの擦る軌跡に従って変化する表情アイコンを表示させることができる。

【0055】

図４でわかるように、図２に対応する実施例と比べて、本実施例における表情アイコンを入力する方法のフロー４００には、音声により表情アイコンを入力するステップがより強調される。そのため、本実施例に記載の形態は、より多くの表情アイコンを導入することにより、より完全な表情アイコン入力が実現でき、さらに表情アイコンの入力速度を向上させることができる。

【0056】

さらに、図５を参照する。上記各図に示す方法の実現として、本願は、表情アイコンを入力するための装置の一実施例を提供する。前記装置の実施例は、図２に示す方法の実施例に対相し、前記装置は具体的に各種の電子デバイスに適用することができる。

【0057】

図５に示されたように、本実施例の表情アイコンを入力する装置５００は、位置決め部５０１と、決定部５０２と、選択部５０３と、表示部５０４とを具備する。位置決め部５０１は、ユーザの顔画像を取得し、顔画像の顔特徴点に対して位置決めを行うために用いられる。決定部５０２は、顔特徴点の位置に基づいてユーザの表情情報を決定するために用いられる。選択部５０３は、予め設定された表情アイコンライブラリーから、表情情報にマッチする表情アイコンを選択するために用いられ、表情アイコンライブラリーは、表情アイコンと表情情報とが対応付けられ格納されている。表示部５０４は、表情アイコンを入力インターフェースに表示するために用いられる。

【0058】

本実施例において、表情アイコンを入力する装置５００の位置決め部５０１、決定部５０２、選択部５０３及び表示部５０４における具体的な処理は、図２に対応する実施例におけるステップ２０１、ステップ２０２、ステップ２０３、ステップ２０４を参照することができる。

【0059】

本実施例の複数のオプションとなる実施形態において、装置５００は、さらに、ユーザの音声情報を取得し、音声情報からキーワードを抽出する抽出部（図示せず）と、予め設定された音声アイコンライブラリーから、キーワードにマッチする表情アイコンを選択するマッチ部（図示せず）とをさらに具備し、前記音声アイコンライブラリーは、表情アイコンとキーワードとが対応付けられ格納されており、表示部５０４は、キーワードにマッチする表情アイコンを入力インターフェースに表示する。

【0060】

本実施例の複数のオプションとなる実施形態において、装置５００は、ユーザの表情アイコンを押す時間の長さが所定の期間閾値を超えたか否かを検出する第１の検出部（図示せず）と、超えた場合は、拡大された表情アイコンを生成する生成部（図示せず）とをさらに含み、表示部５０４は、ユーザの押圧の停止が検出されたことに応答して、拡大された表情アイコンを入力インターフェースに表示し、当該拡大された表情アイコンのサイズは、表情アイコンを押す時間の長さに比例する。

【0061】

本実施例の複数のオプションとなる実施形態において、装置５００は、入力インターフェースにおける同じ表情アイコンの個数が所定の閾値を超えたか否かを検出する第２の検出部（図示せず）と、超えた場合は、所定の閾値を超えた表情アイコンを、拡大された表情アイコンに置き換えて入力インターフェースに表示する置き換え部（図示せず）とをさらに具備する。

【0062】

本実施例の複数のオプションとなる実施形態において、装置５００は、ユーザによる表情アイコンのドラッグが検出されたことに応答して、ユーザによりドラッグされた表情アイコンの軌跡データを記録する記録部（図示せず）と、受信した表情アイコンを軌跡データに基づいて目標端末に表示されるように、ドラッグされた表情アイコン及び軌跡データを目標端末に送信する第１の送信部（図示せず）と、をさらに具備する。

【0063】

本実施例の複数のオプションとなる実施形態において、装置５００は、目標端末で表情アイコンが表示され音声が再生されるように、キーワードにマッチする表情アイコン及び音声情報を目標端末に送信する第２の送信部（図示せず）をさらに具備する。

【0064】

以下、図６を参照する。図６は本願の実施例を実現するために適切な端末装置のコンピュータシステム６００の構造模式図を示す。図６に示す端末装置は、一つの例示にすぎず、本願の実施例の機能及び使用の範囲に如何なる限定をもたらすものではない。

【0065】

図６に示すように、コンピュータシステム６００は、読み出し専用メモリ（ＲＯＭ）６０２に格納されたプログラム、又は記憶部６０８からランダムアクセスメモリ（ＲＡＭ）６０３に取り込まれたプログラムにより各種適宜な動作及び処理を実行することができる中央処理装置（ＣＰＵ）６０１を具備する。ＲＡＭ６０３において、システム６００の動作に必要な各種のプログラム及びデータが格納されている。ＣＰＵ６０１と、ＲＯＭ６０２と、ＲＡＭ６０３とは、バス６０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続されている。

【0066】

キーボード、カメラ、タッチスクリーン、マイクなどを含む入力部６０６と、タッチスクリーンなど及びスピーカーなどを含む出力部６０７と、ハードディスクなどを含む記憶部６０８と、ＬＡＮカード、モデムなどのネットワークインターフェースカードを含む通信部６０９は、Ｉ/Ｏインターフェース６０５に接続されている。通信部６０９は、インターネットのようなネットワークを経由して、通信処理を実行する。ドライブ６１０も、必要に応じてＩ／Ｏインターフェース７０５に接続される。磁気ディスク、光ディスク、磁気光ディスク、半導体メモリなどのようなリムーバブルメディア６１１は、必要に応じて、読み取ったコンピュータプログラムを必要に応じて記憶部６０８にインストールできるように、ドライブ６１０に取り付けられる。

【0067】

特に、本発明の実施例によれば、以上のフローチャートを参照しながら記載したプロセスは、コンピュータソフトウェアプログラムとして実現することができる。例えば、本発明の実施例は、コンピュータ可読媒体に載せられるコンピュータプログラムを含むコンピュータプログラムを含み、当該コンピュータプログラムは、フローチャートに示された方法を実行するためのプログラムコードを含む。このような実施例において、当該コンピュータプログラムは、通信部６０９を介してネットワークからダウンロードされてインストールされてもよく、及び／又はリムーバブルメディア６１１からインストールされてもよい。当該コンピュータプログラムが中央処理装置（ＣＰＵ）６０１により実行されると、本願の方法によって特定された上記機能が実行されるようになっている。なお、本願に記載されたコンピュータ可読媒体は、コンピュータ可読シグナル媒体、又はコンピュータ可読記憶媒体、あるいは上記両者の任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば、電気、磁気、光、電磁気、赤外線、又は半導体のシステム、装置又はデバイス、あるいは任意の上記の組み合わせであってもよいが、これらに限定するものではない。コンピュータ可読記憶媒体のより具体的な例示として、一つ又は複数の導線を有する電気接続、携帯可能なコンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ケーブル、携帯可能なコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記の任意の適切な組み合わせを含むが、これらに限定されない。本願において、コンピュータ可読記憶媒体は、プログラムを含有又は記憶するいずれの有形媒体であってもよく、当該プログラムは、コマンド実行システム、装置又はデバイスに用いられ、又はそれらが組み合わせて用いられる。本願において、コンピュータ可読のシグナル媒体は、ベースバンドにおいて又はキャリアの一部として伝播されるデータシグナルを含み、コンピュータ可読のプログラムコードが載せられる。このように伝播されたデータシグナルは、電磁気シグナル、光シグナル、又は上記の任意の適切な組み合わせを含む種々の形式を採ることができるが、これらに限定されない。コンピュータ可読の信号媒体は、コンピュータ可読記憶媒体以外のいいかなるコンピュータ可読媒体であってもよく、当該コンピュータ可読媒体は、コマンド実行システム、装置又はデバイスにより使用され、又はそれらと組み合わせて使用されるためのプログラムを送信、伝播又は伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは、無線、電線、光ケーブル、ＲＦなど、又は上記任意の適切な組み合わせを含む任意の適切な媒体を用いて伝送することができるが、それらに限定されない。

【0068】

図面におけるフローチャート及びブロック図は、本願の各種実施例によるシステム、方法及びコンピュータプログラムが実現可能なシステムアーキテクチャー、機能及び動作を図示する。この点から、フローチャート又はブロック図におけるそれぞれのブロックは、１つのモジュール、プログラムブロック、又はコードの一部を示すことができ、当該モジュール、プログラムブロック、又はコードの一部は、一つ又は複数の所定のロジカル機能を実現するための実行可能なコマンドを含む。なお、複数の代わりになる実装において、ブロックに表示された機能は、図面に表示された順番と異なる順番で発生させることができる。例えば、２つの直列的に接続されると示されたブロックは、実際には、基本的に並行して実行することができ、機能によっては、逆の順番で実行することも可能である。なお、ブロック図及び／又はフローチャートにおけるそれぞれのブロックと、ブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は処理を実行するための専用のハードウェアに基づくシステムによって実現することができ、あるいは、専用ハードウェアとコンピュータコマンドの組み合わせによって実現することができる。

【0069】

本願の実施例の記載に係る部は、ソフトウェアによって実現されてもよく、ハードウェアによって実現されてもよい。本願で記載した部は、プロセッサーに設けることができ、例えば、位置決め部と、決定部と、選択部と、表示部とを含むプロセッサーとして記載することができる。これらの部の名称は、場合によっては当該部そのものに対する限定にはならず、例えば、位置決め部は、「ユーザの顔画像を取得し、顔画像の顔特徴点に対して位置決めを行う部」と記載することができる。

【0070】

他の態様として、本願は、コンピュータ可読媒体を提供し、当該コンピュータ可読媒体は、上記実施例に記載された装置に含まれるものであってもよく、当該装置に取り込まれることなく、単独で存在するものであってもよい。上記コンピュータ可読媒体が一つ又は複数のプログラムを載せて、上記一つ又は複数のプログラムが当該装置によって実行されると、当該装置は、ユーザの顔画像を取得し、顔画像の顔特徴点に対して位置決めを行うことと、顔特徴点の位置に基づいてユーザの表情情報を決定することと、予め設定された表情アイコンライブラリーから、表情情報にマッチする表情アイコンを選択することと、前記表情アイコンライブラリーは表情アイコンと表情情報とを対応付けて格納し、表情アイコンを入力インターフェースに表示することとを実行するようになっている。

【0071】

以上の記載は、本願の好ましい実施例、及び使われている技術的原理の説明に過ぎない。当業者は、本願に係る保護範囲が、上記の技術特徴による特定の組合せからなる技術方案に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、上記技術特徴又は均等の特徴の任意の組合せからなる他の技術方案も含まれることを理解している。例えば、上記特徴と、本願に開示された類似の機能を持っている技術特徴（これらに限定されない）とを互いに置き換えてなる技術方案も含まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】