特許 6263177 ユーザー端末のユーザーインターフェース装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6263177

(24)【登録日】2017年12月22日

(45)【発行日】2018年1月17日

(54)【発明の名称】ユーザー端末のユーザーインターフェース装置及び方法

(51)【国際特許分類】

   G06F 3/0488 20130101AFI20180104BHJP

   G06F 3/0484 20130101ALI20180104BHJP

   G06F 3/041 20060101ALI20180104BHJP

【ＦＩ】

   G06F3/0488 130

   G06F3/0484 170

   G06F3/041 595

   G06F3/041 560

【請求項の数】15

【全頁数】42

(21)【出願番号】特願2015-521550(P2015-521550)

(86)(22)【出願日】2013年7月11日

(65)【公表番号】特表2015-525926(P2015-525926A)

(43)【公表日】2015年9月7日

(86)【国際出願番号】KR2013006223

(87)【国際公開番号】WO2014010974

(87)【国際公開日】20140116

【審査請求日】2016年6月29日

(31)【優先権主張番号】10-2012-0076514

(32)【優先日】2012年7月13日

(33)【優先権主張国】KR

(31)【優先権主張番号】10-2012-0139927

(32)【優先日】2012年12月4日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】110000051

【氏名又は名称】特許業務法人共生国際特許事務所

(72)【発明者】

【氏名】キム， ファ−キョン

(72)【発明者】

【氏名】ジョン， ジン−ハ

(72)【発明者】

【氏名】キム， ソン−スゥ

(72)【発明者】

【氏名】ベ， ジュ−ユン

(72)【発明者】

【氏名】チャ， サン−オク

【審査官】 原 秀人

(56)【参考文献】

【文献】 特表２０１１−５２９５９８（ＪＰ，Ａ）

【文献】 特開２０１１−２０３８２９（ＪＰ，Ａ）

【文献】 特開２００１−００５５９９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／０１６９８４１（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１０／０２６２５９１（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１２／０００５６１９（ＵＳ，Ａ１）

【文献】 特開２００６−２４４４６３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００６／００６７５７７（ＵＳ，Ａ１）

【文献】 橋本 佳幸，ｉＰｈｏｎｅ Ｓｉｒｉ かんたんガイド，日本，株式会社秀和システム，２０１２年 ７月 ５日，第1版，pp. 43-65, 87-90

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４８

Ｇ０６Ｆ ３／０４１

(57)【特許請求の範囲】

【請求項1】

ユーザー端末におけるユーザーインターフェース（ＵＩ）方法であって、
ユーザーによりメモ画面にペン入力を適用してペン入力イベントを受信するステップと、
前記ペン入力イベントに従ってペン入力コンテンツを認識するステップと、
前記認識されたペン入力コンテンツからコマンドとメモコンテンツを判定するステップと、
前記判定したコマンドに対応するアプリケーションを実行するステップと、
前記アプリケーションに対する入力データとして前記判定したメモコンテンツを使用するステップとを有し、
前記ペン入力イベントは領域を選択するためのペン入力イベントを含み、
前記コマンドとメモコンテンツを判定するステップは、前記領域を選択するためのペン入力イベントの以後、前記領域外部の入力を前記コマンドとして判定し、また、前記領域内の入力を前記メモコンテンツとして判定するステップを含むことを特徴とするユーザーインターフェース方法。

【請求項2】

前記領域を選択するペン入力は、ライン、シンボル、図形、閉ループのうちの何れか一つであることを特徴とする請求項１に記載のユーザーインターフェース方法。

【請求項3】

前記ペン入力コンテンツを認識するステップは、前記メモ画面にペンによりタッチされるポイントの座標値を受信するステップと、
前記タッチされたポイントの座標値をストロークとして格納するステップと、
前記ストロークを用いてストロークアレイを生成するステップと、
予め格納された手書きライブラリと前記生成したストロークアレイを含むストロークアレイリストとを用いて前記ペン入力コンテンツを認識するステップとを含むことを特徴とする請求項１に記載のユーザーインターフェース方法。

【請求項4】

前記入力は、プリセットされたシンボル、パターン、テキスト、及びこれらの組み合わせの内の少なくとも一つ、又はジェスチャ認識機能によるジェスチャプリセットに対応することを特徴とする請求項２に記載のユーザーインターフェース方法。

【請求項5】

前記判定したコマンドに対応するアプリケーションを実行するステップは、前記コマンドが予め格納されている類義語テーブルに含まれているか否かを判定するステップと、
前記コマンドに適合する類義語が存在する場合、その類義語に対応する識別（ＩＤ）値を読み出すステップと、
所定のメソッドテーブルから前記ＩＤ値に対応するメソッドを実行するステップと、
前記メソッドにより前記コマンドに対応するアプリケーションを実行し、前記アプリケーションに前記メモコンテンツを伝送するステップとを含むことを特徴とする請求項２に記載のユーザーインターフェース方法。

【請求項6】

前記ペン入力コンテンツと、前記実行したアプリケーションに関する情報をメモとして格納するステップをさらに有することを特徴とする請求項１に記載のユーザーインターフェース方法。

【請求項7】

前記メモとして前記ペン入力コンテンツを受信するステップは、
前記ユーザーの要請に従って予め格納されているメモを読み出し、前記読み出したメモの手書きコンテンツと前記読み出したメモに対し既に実行されたアプリケーションについての情報を前記メモ画面に表示するステップと、
前記ユーザーから前記呼び出したメモの手書きコンテンツを編集するペン入力イベントを受信するステップとを含むことを特徴とする請求項６に記載のユーザーインターフェース方法。

【請求項8】

前記ユーザーから前記既に実行されたアプリケーションの再実行要請を受信すると、前記既に実行されたアプリケーションを再実行するステップをさらに有することを特徴とする請求項７に記載のユーザーインターフェース方法。

【請求項9】

前記アプリケーションは、送信アプリケーション、検索アプリケーション、保存アプリケーション、又は翻訳アプリケーションであり、
前記アプリケーションを実行するステップは、前記送信アプリケーション、前記検索アプリケーション、前記保存アプリケーション、又は前記翻訳アプリケーションの入力データとして前記メモコンテンツを受信し、前記メモコンテンツの送信、検索の実行、格納、又は翻訳の実行を実行するステップを含むことを特徴とする請求項１に記載のユーザーインターフェース方法。

【請求項10】

ユーザー端末のユーザーインターフェース（ＵＩ）装置であって、
メモ画面を表示し、ユーザーにより前記メモ画面に適用されるペン入力に従ってペン入力イベントを出力するタッチパネル部と、
前記ペン入力イベントに従って前記ペン入力コンテンツを認識し、前記認識したペン入力コンテンツからコマンドとメモコンテンツを判定するコマンド処理部と、
前記判定したコマンドに対応するアプリケーションを実行し、前記アプリケーションの入力データとして前記判定したメモコンテンツを使用するアプリケーション実行部とを有し、
前記ペン入力イベントは、領域を選択するためのペン入力イベントを含み、
前記コマンド処理部は、前記領域を選択するためのペン入力イベントの以後、前記領域外部の入力を前記コマンドとして判定し、また前記領域内の入力を前記メモコンテンツとして判定することを特徴とするユーザーインターフェース装置。

【請求項11】

前記領域を選択するペン入力は、ライン、シンボル、図形、閉ループのうちの何れか一つであることを特徴とする請求項１０に記載のユーザーインターフェース装置。

【請求項12】

ユーザー端末のユーザーインターフェース（ＵＩ）装置であって、
メモ画面を表示するタッチ画面と、
前記タッチ画面で実行される第１のアプリケーションの表示と、前記タッチ画面での前記第１のアプリケーションと異なる第２のアプリケーションを実行するためのコマンドに対応する第１の手書きイメージの受信及び表示と、前記第１の手書きイメージに応答して前記タッチ画面に前記第１の手書きイメージに関する追加情報を要求するテキストの表示と、前記テキストに応答して前記タッチ画面に前記第２のアプリケーションを実行するための入力データに対応する第２の手書きイメージの受信及び表示と、前記第１及び第２の手書きイメージに対する認識結果に従って前記入力データを用いて前記第２のアプリケーションの機能の実行と、前記タッチ画面に前記機能実行の結果の表示とを制御する制御部とを有し、
前記制御部は、領域を選択するためのペン入力イベントを認識し、前記領域を選択するためのペン入力イベントの以後、前記領域外部の入力をコマンドとして判定し、また前記領域内の入力をメモコンテンツとして判定することを特徴とするユーザーインターフェース装置。

【請求項13】

前記第１の手書きイメージに関する追加情報を要求するテキストは、前記タッチ画面に表示される前記第１の手書きイメージの位置の下方に表示され、
前記第１の手書きイメージに関する追加情報を要求するテキストは、吹き出し（ｓｐｅｅｃｈ ｂａｌｌｏｏｎ）の形態で表示されることを特徴とする請求項１２に記載のユーザーインターフェース装置。

【請求項14】

ユーザー端末のユーザーインターフェース（ＵＩ）装置であって、
メモ画面を表示するためのタッチ画面と、
前記タッチ画面で実行される第１のアプリケーションの表示と、前記タッチ画面に検索を要請する第１の手書きイメージの受信及び表示と、前記第１の手書きイメージに応答して前記タッチ画面に前記第１の手書きイメージに関する追加情報を要求するテキストの表示と、前記テキストに応答して前記タッチ画面に前記追加情報に対応する第２の手書きイメージの受信及び表示と、前記第１及び第２の手書きイメージに対する認識結果に従って検索アプリケーションを実行することによるコンテンツの検索と、前記タッチ画面への検索結果の表示とを制御する制御部とを有し、
前記制御部は、領域を選択するためのペン入力イベントを認識し、前記領域を選択するためのペン入力イベントの以後、前記領域外部の入力をコマンドとして判定し、また前記領域内の入力をメモコンテンツとして判定することを特徴とするユーザーインターフェース装置。

【請求項15】

前記第１の手書きイメージの受信は、前記メモ画面に表示されたコンテンツの一部であるユーザーによる選択単語を検索キーワードとして受信し、前記選択単語の意味を尋ねるコマンドを受信することを含み、
前記第１の手書きイメージに関する追加情報を尋ねるテキストは、前記タッチ画面に表示される前記第１の手書きイメージの位置の下方に表示され、
前記第１の手書きイメージに関する追加情報を尋ねるテキストは、吹き出しの形態で表示され、
前記制御部は、前記第１の手書きイメージ、第２の手書きイメージ、前記追加情報を要求するテキスト、及び前記実行された検索アプリケーションに関する情報をメモとして格納することを特徴とする請求項１４に記載のユーザーインターフェース装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザー端末のためのユーザーインターフェース（以下、ＵＩと記す）装置及び方法に関するもので、特にユーザー端末における手書きベースのＵＩ装置及びそれをサポートする方法に関する。

【背景技術】

【0002】

近年、携帯用電子機器が増加するに従って、直感的な入出力が可能なＵＩの要求が増加している。
例えば、キーボード、キーパッド、マウスのような付加的装置を用いて情報が入力される従来のＵＩは、指又はタッチ用電子ペンで画面を直接にタッチし、音声により情報を入力する直感的ＵＩ方式に徐々に進化している。
さらに、ＵＩ技術は、ユーザーの便宜だけでなく、直感的かつ人間中心の開発がなされている。このＵＩ技術で、ユーザーは音声で携帯用電子機器と対話し、これを通じて所望する情報を入力し、あるいは所望の情報を獲得することができる。

【0003】

一般的に、ユーザーの携帯用電子機器であるスマートフォンには複数のアプリケーションが設置され、この設置したアプリケーションから新たな機能が使用可能である。

【0004】

しかしながら、スマートフォンに設置された複数のアプリケーションは、一般的に単独で実行されるが、複数のアプリケーションが連動して新たな機能又は結果をユーザーに提供されない。
例えば、スケジュールアプリケーションは、直感的ＵＩをサポートするユーザー端末であっても、該当アプリケーションでサポートするＵＩのみを用いて情報を入力可能にする。
また、メモ機能をサポートするユーザー端末は、ユーザーが指又は電子ペンのような入力手段を用いてメモを手書きできるが、メモを他のアプリケーションに関連して活用する特定方法は提供されなかった。

【発明の概要】

【発明が解決しようとする課題】

【0005】

したがって、本発明は上記のような従来技術の問題点に鑑みてなされたもので、本発明の目的は、ユーザー端末で手書きベースのユーザーインターフェース（ＵＩ）を用いてユーザーとの情報を交換する装置及び方法を提供することにある。
本発明の他の目的は、ユーザー端末で手書きベースのメモ機能を用いて所定のコマンドを実行させるユーザーインターフェース装置及び方法を提供することにある。
また、本発明の他の目的は、ユーザー端末で手書きベースのメモ機能を用いてユーザーと問答を交換するユーザーインターフェース装置及び方法を提供することにある。
さらに、本発明の他の目的は、ユーザー端末で画面上に記載されるメモの選択される全部又は一部を処理するためにコマンドをメモ機能を用いて受信するユーザーインターフェース装置及び方法を提供することにある。
また、本発明の他の目的は、電子ペンを通じてメモ機能をサポートするユーザー端末でメモモードとコマンド処理モードの切り替えをサポートするユーザーインターフェース装置及び方法を提供することにある。
さらなる本発明の他の目的は、ユーザー端末で所定のアプリケーションが駆動されている状態で駆動されるアプリケーション又は他のアプリケーションを制御するためにコマンドを入力することが可能なユーザーインターフェース装置及び方法を提供することにある。
さらなる本発明の他の目的は、ユーザー端末でユーザーのメモパターンを分析し、分析したメモパターンを考慮してメモリ機能により入力される情報を判定するユーザーインターフェース装置及び方法を提供することにある。

【課題を解決するための手段】

【0006】

上記目的を達成するためになされた本発明によるユーザーインターフェース方法は、ユーザー端末におけるユーザーインターフェース（ＵＩ）方法であって、ユーザーによりメモ画面にペン入力を適用してペン入力イベントを受信するステップと、前記ペン入力イベントに従ってペン入力コンテンツを認識するステップと、前記認識されたペン入力コンテンツからコマンドとメモコンテンツを判定するステップと、前記判定したコマンドに対応するアプリケーションを実行するステップと、前記アプリケーションに対する入力データとして前記判定したメモコンテンツを使用するステップとを有し、前記ペン入力イベントは領域を選択するためのペン入力イベントを含み、前記コマンドとメモコンテンツを判定するステップは、前記領域を選択するためのペン入力イベントの以後、前記領域外部の入力を前記コマンドとして判定し、また、前記領域内の入力を前記メモコンテンツとして判定するステップを含むことを特徴とする。

【0007】

上記目的を達成するためになされた本発明によるユーザーインターフェース装置は、ユーザー端末のユーザーインターフェース（ＵＩ）装置であって、メモ画面を表示し、ユーザーにより前記メモ画面に適用されるペン入力に従ってペン入力イベントを出力するタッチパネル部と、前記ペン入力イベントに従って前記ペン入力コンテンツを認識し、前記認識したペン入力コンテンツからコマンドとメモコンテンツを判定するコマンド処理部と、前記判定したコマンドに対応するアプリケーションを実行し、前記アプリケーションの入力データとして前記判定したメモコンテンツを使用するアプリケーション実行部とを有し、前記ペン入力イベントは、領域を選択するためのペン入力イベントを含み、前記コマンド処理部は、前記領域を選択するためのペン入力イベントの以後、前記領域外部の入力を前記コマンドとして判定し、また前記領域内の入力を前記メモコンテンツとして判定することを特徴とする。

【発明の効果】

【0008】

本発明は、多様なアプリケーションでメモ機能をサポートして該当アプリケーションを直感的に制御することによって、ユーザーの便宜性を向上させることができる。
本発明の代表的態様において、メモ階層を画面上に立ち上げてメモ階層に情報を手書きする場合に、ユーザー端末は、その情報を認識して対応する動作を遂行することを特徴とする。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態による手書きベースのＮＬＩ（Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｉｎｔｅｒａｃｔｉｏｎ）をサポートするユーザー端末の概略的構成を示すブロック図である。

【図2】本発明の実施形態による手書きベースのＮＬＩ技術をサポートするユーザー端末の具体的な構成を示すブロック図である。

【図3】本発明の実施形態による手書きベースのＮＬＩ技術をサポートするペンの構成を示す図である。

【図4】本発明の実施形態によるタッチパネルとペン認識パネルによるペンタッチ入力及びタッチ入力認識の動作を説明するためのブロック図である。

【図5】本発明の実施形態による手書きベースのＮＬＩ技術をサポートするユーザー端末の制御部の詳細な構成を示すブロック図である。

【図6】本発明の実施形態によるユーザー端末で手書きベースのＮＬＩ技術をサポートするコマンド処理部の詳細な構成を示すブロック図である。

【図7】本発明の実施形態によるユーザー端末で手書きベースのＮＬＩ技術を使用するユーザーインターフェースをサポートする制御動作を説明するためのフローチャートである。

【図8】メモ機能を用いて特定アプリケーション又は特定機能による動作を要請する一例を示す図である。

【図9】本発明の実施形態のためのユーザーの実際メモパターンの一例を示す図である。

【図10】一つのシンボルが多様な意味として解析する一例を示す図である。

【図11】テキストとシンボルが結合された入力情報をシンボルに基づいて異なる意味として解析する一例を示す図である。

【図12】記号学（ｓｅｍｉｏｔｉｃｓ）でサイン及びシンボルが活用される一例を示す図である。

【図13】機械／電気／コンピュータ工学及び化学分野でサイン及びシンボルが活用される例を示す図である。

【図14】本発明の実施形態によるＵＩ技術の動作シナリオを説明するためのフローチャートである。

【図15】本発明の実施形態によるＵＩ技術の動作シナリオを説明するための図である。

【図16A】本発明の実施形態によるＵＩ技術の動作シナリオを説明するための図である。

【図16B】本発明の実施形態によるＵＩ技術の動作シナリオを説明するための図である。

【図17A】本発明の実施形態によるＵＩ技術の動作シナリオを説明するための図である。

【図17B】本発明の実施形態によるＵＩ技術の動作シナリオを説明するための図である。

【図18A】本発明の実施形態によるＵＩ技術の動作シナリオを説明するための図である。

【図18B】本発明の実施形態によるＵＩ技術の動作シナリオを説明するための図である。

【図19A】本発明の実施形態によるＵＩ技術の動作シナリオを説明するための図である。

【図19B】本発明の実施形態によるＵＩ技術の動作シナリオを説明するための図である。

【図19C】本発明の実施形態によるＵＩ技術の動作シナリオを説明するための図である。

【図20】本発明の実施形態によるＵＩ技術の動作シナリオを説明するための図である。

【図21A】本発明の実施形態によるＵＩ技術の動作シナリオを説明するための図である。

【図21B】本発明の実施形態によるＵＩ技術の動作シナリオを説明するための図である。

【図22】本発明の実施形態によるＵＩ技術の動作シナリオを説明するための図である。

【図23】特定のアプリケーションが駆動された後にメモ機能をサポートするアプリケーションを呼び出して駆動されたアプリケーションを実行させるシナリオの例を説明するための図である。

【図24】特定のアプリケーションが駆動された後にメモ機能をサポートするアプリケーションを呼び出して駆動されたアプリケーションを実行させるシナリオの例を説明するための図である。

【図25】特定のアプリケーションが駆動された後にメモ機能をサポートするアプリケーションを呼び出して駆動されたアプリケーションを実行させるシナリオの例を説明するための図である。

【図26】特定のアプリケーションが駆動された後にメモ機能をサポートするアプリケーションを呼び出して駆動されたアプリケーションを実行させるシナリオの例を説明するための図である。

【図27】特定のアプリケーションが駆動された後にメモ機能をサポートするアプリケーションを呼び出して駆動されたアプリケーションを実行させるシナリオの例を説明するための図である。

【図28】特定のアプリケーションが駆動された後にメモ機能をサポートするアプリケーションを呼び出して駆動されたアプリケーションを実行させるシナリオの例を説明するための図である。

【図29】記号学に関連したシナリオの例を説明するための図である。

【図30】記号学に関連したシナリオの例を説明するための図である。

【発明を実施するための形態】

【0010】

本発明の例示的な実施形態は、本発明の上記した技術的目的を達成するために提供される。
また、本発明に対する説明の便宜のために、定義される個体の名称は、同一に使用でき、これは、本発明による権利を限定するものではない。したがって、本発明は、類似した技術的背景を有するシステムに対して同一又は容易な変更により適用可能であることはもちろんである。

【0011】

後述する本発明の実施形態では、自然言語対話（Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｉｎｔｅｒａｃｔｉｏｎ：以下、ＮＬＩ）を通じる手書きベースのＵＩ技術（以下、‘手書きベースのＮＬＩ’と称する）が適用されるユーザー端末でメモ機能によりユーザーとの問答手順を遂行可能なようにする。
一般的に、ＮＬＩは理解と生成を含む。これら理解と生成機能で、コンピュータは、入力を理解し、人間に容易な理解が可能なようにテキストを表示する。したがって、ＮＬＩが、人間と電子機器との間で自然言語で対話可能にする自然言語理解の一つのアプリケーションと言える。

【0012】

例えば、ユーザー端末は、ＮＬＩを通じてユーザーから受信されるコマンドを遂行するか、あるいは入力コマンドを遂行するために必要な情報を問答手順でユーザーから取得する。
手書きベースのＮＬＩをユーザー端末に適用するために、本発明の手書きベースのＮＬＩを通じて、メモモードとコマンド処理モードとの間の切り替えが有機的に遂行されることが好ましい。
メモモードでは、ユーザーは、ユーザー端末で駆動されたアプリケーションにより表示される画面上で指又は電子ペンのような入力手段でメモを書き込む。このコマンド処理モードで、メモモードを通じて書き込まれるメモは、現在駆動されているアプリケーションに関連した情報と連動して処理される。

【0013】

例えば、切り替えは、電子ペンのボタンを押さえて、すなわちハードウェア的な信号の発生により、メモモードとコマンド処理モードとの間で発生する。
次の説明では電子ペンをメモ機能をサポートするための代表的な入力手段として説明するが、本発明では入力手段として電子ペンを使用するユーザー端末に限定されるものではない。言い換えれば、本発明の実施形態において、タッチパネルで情報の入力が可能な任意のデバイスが入力手段として使用できることは明らかである。

【0014】

本発明で手書きベースのＮＬＩを用いてユーザー端末がユーザーとの問答により所望の情報を受信し、これを処理した結果をユーザーに提供するためには事前に合意された情報を共有することが望ましい。
例えば、動作モードの切り替えを要請するためにシンボル、パターン、テキスト、これらの組み合わせの内の少なくとも一つを使用することを約束し、あるいは動作（又はジェスチャ）などのジェスチャ入力認識機能を通じて一つの動作を使用することで合意され得る。
メモモードからコマンド処理モードへの切り替え又はコマンド処理モードからメモモードへの切り替えが要求される。

【0015】

シンボル、パターン、テキスト、又はこれらの組み合わせに対応する入力情報を合意する場合に、ユーザーのメモパターンを分析し、分析した結果を考慮して、ユーザーの所望する情報を直感的に入力できる便利さを提供する。
本発明の他の説明では、アプリケーションが駆動されている状態で手書きベースのＮＬＩに基づいたメモ機能を通じて制御され、その結果を出力する多様なシナリオについて詳細に説明する。

【0016】

例えば、メモの全部又は一部を選択して所定のコマンドにより処理するシナリオ、特定アプリケーションの画面にメモ機能により特定情報を入力するシナリオ、手書きベースのＮＬＩを用いて問答手順で特定コマンドを処理するシナリオについて具体的に説明する。
以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。
下記の説明で、本発明に関連した公知の機能又は構成に関する具体的な説明が本発明の要旨を不明にすると判断された場合に、その詳細な説明を省略する。

【0017】

図１は、本発明の実施形態による手書きベースのＮＬＩをサポートするユーザー端末の概略的構成を示すブロック図である。
図１では、本発明の実施形態による手書きベースのＮＬＩをサポートするためにユーザー端末の構成要素が要求されるが、この構成要素は、他の機能を遂行するためにユーザー端末に追加され得る。
また、図１に示す各構成要素は、ハードウェア機能ブロックだけでなくソフトウェア機能ブロックの形態で構成することが可能である。

【0018】

図１を参照すると、アプリケーション実行部１１０は、ユーザーの要請によりネットワーク又は外部インターフェースを介して受信されるアプリケーションをメモリ（図示せず）と連動して設置する。
アプリケーション実行部１１０は、ユーザーの要求又は外部コマンドの受信により設置されたアプリケーションの内のいずれか一つを駆動させ、駆動されたアプリケーションを外部のコマンドに従って制御する。
外部コマンドは、該当アプリケーションが駆動することによって内部で発生するコマンド以外の外部から入力される大部分のコマンドを含む。

【0019】

例えば、外部コマンドは、ネットワークを介して入力される情報によるコマンドだけでなく手書きベースのＮＬＩを用いてユーザーにより入力される情報によるコマンドも含む。
説明の便宜のために、外部コマンドは、手書きベースのＮＬＩを通じてユーザーにより入力される情報によるコマンドに限定され、本発明がこれに限定されるものではないことに留意すべきである。

【0020】

アプリケーション実行部１１０は、特定アプリケーションの設置又は駆動による結果を手書きベースのＮＬＩを通じてユーザーに提供する。
例えば、アプリケーション実行部１１０は、タッチパネル部１３０のディスプレイ手段を通じて特定アプリケーションの設置又は駆動又は機能実行による結果を出力する。

【0021】

タッチパネル部１３０は、手書きベースのＮＬＩにより情報の入出力を処理する。
このタッチパネル部１３０は、ディスプレイ機能及び入力機能を遂行する。
このディスプレイ機能は、画面に情報を表示するための機能を一般的に意味し、入力機能は、ユーザーから情報を受信する機能を包括的に意味する。
しかしながら、ユーザー端末がディスプレイ機能及び入力機能を遂行するために追加構成を含むことは明らかである。

【0022】

例えば、ユーザー端末は、入力動作を感知するための動作感知モジュール又は光学文字入力を感知するための光感知モジュールをさらに含むことができる。
動作感知モジュールは、カメラ及び近接センサーを用いて、カメラ及び近接センサーを用いてユーザー端末と一定の距離内にあるオブジェクトの動作を感知することができる。
また、光感知モジュールは、光を感知し、光感知信号を出力できる。
説明の便宜のために、タッチパネル部１３０は、そのディスプレイ機能と入力機能両方ともを区分せずに遂行すると仮定する。

【0023】

タッチパネル部１３０は、ユーザーから所定の情報又はコマンドを受信し、受信された情報又はコマンドをアプリケーション実行部１１０及び／又はコマンド処理部１２０に提供する。
この情報は、ユーザーにより作成されたメモに関する情報、すなわちメモ画面でユーザーにより手書きされたメモ又は手書きベースのＮＬＩによる問答手順の応答に関する情報であり得る。さらに、この情報は、現在画面上に表示されるメモのうち全部又は一部を選択するための情報であり得る。

【0024】

このコマンドは、特定アプリケーションの設置を要請するコマンド又は既に設置されたアプリケーションのうち特定アプリケーションの駆動又は実行を要請するコマンドであり得る。
その他に、このコマンドは、選択されたアプリケーションによりサポートされる特定動作、機能の実行を要請するコマンドであり得る。
この情報又はコマンドは、テキスト以外にもライン、シンボル、パターン、又はそれらの組み合わせの形態で入力できる。このようなライン、シンボル、パターンは、合意（ａｇｒｅｅｍｅｎｔ）又は学習（ｌｅａｒｎｉｎｇ）により予め設定することができる。

【0025】

タッチパネル部１３０は、アプリケーション実行部１１０により、特定アプリケーションの駆動、駆動中であるアプリケーションの特定機能の遂行による結果を画面に表示する。
また、タッチパネル部１３０は、問答手順による質問又は結果を画面に表示する。
例えば、ユーザーが特定コマンドを入力する場合、タッチパネル部１３０は、コマンド処理部１２０から受信された特定コマンドの処理結果又は特定コマンドを処理するために追加に必要な情報を取得するための質問を表示する。
ユーザーから表示した質問に応答して追加情報を受信する場合、タッチパネル部１３０は、受信された追加情報をコマンド処理部１２０に提供する。
その後、タッチパネル部１３０は、コマンド処理部１２０の要請により他の情報を取得するように追加質問を表示し、あるいは受信した追加情報を反映した特定コマンドの処理結果を表示する。

【0026】

ここで、タッチパネル部１３０は、メモ画面を表示し、ユーザーによりメモ画面に適用されたペン入力によりペン入力イベントを出力する。
コマンド処理部１２０は、ペン入力イベント、例えばユーザーにより入力されたテキスト、シンボル、図形、パターンなどをタッチパネル部１３０から受信し、これらテキスト、シンボル、図形、パターンによりユーザーが入力を識別する。
例えば、コマンド処理部１２０は、ユーザーによりタッチパネル部１３０からメモ画面に記載したコンテンツを受信し、受信したメモのコンテンツを認識する。
言い換えれば、コマンド処理部は、ペン入力イベントによりペン入力コンテンツを認識する。

【0027】

例えば、コマンド処理部１２０は、受信されたテキスト、シンボル、図形、パターンに対する自然言語処理を通じてユーザーの意図による入力を認識することができる。
自然言語処理のために、コマンド処理部１２０は、手書きベースのＮＬＩ技術を採用する。
ユーザーの意図による入力は、特定アプリケーションの駆動又は現在駆動アプリケーションでの特定機能の遂行を要求するコマンド、あるいは質問に対する応答を含む。

【0028】

コマンド処理部１２０が、ユーザーの意図による入力が所定動作を要求するコマンドであると判定する場合、コマンド処理部１２０は、判定されるコマンドを処理する。
特に、コマンド処理部１２０は、判定されたコマンドに対応する認識結果をアプリケーション実行部１１０に出力する。
アプリケーション実行部１１０は、認識結果に基づいて特定アプリケーションを駆動させ、現在駆動中であるアプリケーションで特定機能を実行することができる。この場合、コマンド処理部１２０は、アプリケーション実行部１１０から処理された結果を受信してタッチパネル部１３０に提供する。
明らかに、アプリケーション実行部１１０は、処理結果をコマンド処理部１２０でなく、タッチパネル部１３０に直接提供することができる。

【0029】

判定されたコマンドを処理するのに追加情報が必要である場合、コマンド処理部１２０は、追加情報を得るための質問を生成してタッチパネル部１３０に提供する。
その後、コマンド処理部１２０は、質問に対する応答をタッチパネル部１３０から受信することができる。
コマンド処理部１２０は、判定されたコマンドを処理するために十分な情報を取得するまでタッチパネル部１３０を通じてユーザーとの問答交換、すなわち対話を持続することができる。
すなわち、コマンド処理部１２０は、タッチパネル部１３０を通じて問答手順を反復する。

【0030】

上記した動作を遂行するために、コマンド処理部１２０は、タッチパネル部１３０との相互作用（ｉｎｔｅｒｗｏｒｋｉｎｇ）により手書きベースのＮＬＩを採用する。
すなわち、コマンド処理部１２０は、手書きをベースの自然言語インターフェースを通じてメモ機能によりユーザーと電子機器との間の問答、すなわち対話を可能にする。
ユーザー端末は、ユーザーのコマンドを処理し、あるいはその処理結果をユーザーに提供する。

【0031】

本発明によるユーザー端末の上記した構成を考慮すれば、ユーザー端末は、コマンド処理部１２０、アプリケーション実行部１１０、及びタッチパネル部１３０に加えて他の構成要素を含んでもよい。
コマンド処理部１２０、アプリケーション実行部１１０、及びタッチパネル部１３０は、本発明の多様な実施形態で構成される。

【0032】

例えば、コマンド処理部１２０及びアプリケーション実行部１１０は、ユーザー端末に全般的な制御を提供する制御部１６０に組み込まれ、あるいは制御部１６０は、コマンド処理部１２０及びアプリケーション実行部１１０の動作を遂行するように構成され得る。

【0033】

タッチパネル部１３０は、手書きベースのＮＬＩの適用による情報の入出力を処理する構成である。
タッチパネル部１３０は、ユーザー端末の出力情報を表示するディスプレイパネルとユーザーが入力を適用する入力パネルを含む。
入力パネルは、ユーザーのシングルタッチ又はマルチタッチ入力、ドラッグ入力、手書き入力、描画（ｄｒａｗｉｎｇ）入力のような各種入力を感知できる少なくとも一つのパネルに実現することができる。
入力パネルは、指入力及びペン入力両方ともが感知できる一つのパネルを含み、あるいは２個のパネル、例えば指入力の感知が可能なタッチパネルとペン入力の感知が可能なペン認識パネルを含むように構成することもできる。

【0034】

図２は、本発明の実施形態による手書きベースのＮＬＩ技術をサポートするユーザー端末の具体的な構成を示すブロック図である。
図２を参照すると、本発明の実施形態によるユーザー端末１００は、制御部１６０、入力部１８０、タッチパネル部１３０、オーディオ処理部１４０、メモリ１５０、及び通信モジュール１７０を含む。

【0035】

タッチパネル部１３０は、ディスプレイパネル１３２、タッチパネル１３４、及びペン認識パネル１３６を含む。
このタッチパネル部１３０は、ディスプレイパネル１３２にメモ画面を表示し、タッチパネル１３４及びペン認識パネル１３６の内の少なくとも一つを通じてメモ画面にユーザーにより書き込まれた手書きメモを受信する。
例えば、タッチパネル部１３０は、タッチ入力モードでユーザーの指又はオブジェクトによるタッチ入力を感知すると、タッチパネル１３４を通じてタッチ入力イベントを出力する。タッチパネル部１３０は、ペン入力モードでユーザーのペン操作によるペン入力を感知すると、ペン認識パネル１３６を通じてペン入力イベントを出力する。

【0036】

ペン認識パネル１３６を通じてユーザーのペン入力の感知について説明すれば、ユーザー端末１００は、ペン認識パネル１３６を通じて、タッチペン２０に関するペン状態情報及びペン入力ジェスチャに対応するペン入力認識情報を収集する。
その後、ユーザー端末１００は、収集したペン状態情報及びペン認識情報にマッピングされる所定のペン機能コマンドを識別し、ペン機能コマンドに対応する機能を遂行する。
さらに、ユーザー端末１００は、ペン状態情報及びペン入力認識情報だけでなく現在アクティブなアプリケーションの機能タイプに関する情報を収集し、ペン状態情報、ペン入力認識情報、及び機能タイプ情報にマッピングされる所定のペン機能コマンドを生成することができる。

【0037】

このペン入力認識のために、ペン認識パネル１３６は、ユーザー端末１００の所定位置に配置され、特定イベントの発生あるいはデフォルトにより活性化され得る。
ペン認識パネル１３６は、ディスプレイパネル１３２のディスプレイ領域をカバーする領域にわたって、例えば、ディスプレイパネル１３２下の所定領域に作成される。
ペン認識パネル１３６は、タッチペン２０の接近によるペン状態情報及びタッチペン２０の操作を受信して制御部１６０に提供する。さらに、ペン認識パネル１４３は、タッチペン２０の入力ジェスチャによるペン入力認識情報を受信して制御部１６０に提供する。

【0038】

ペン認識パネル１３６は、コイルを有するタッチペン２０の電磁誘導方式に基づいてタッチペン２０の位置値を受信するように構成される。
ペン認識パネル１３６は、タッチペン２０の近接に対応する電磁誘導値を収集して制御部１６０に提供する。
電磁誘導値は、ペン状態情報、すなわちタッチペンがホバリング状態であるか、あるいは接触状態であるかを示す情報に対応する。
タッチペン２０は、ホバリング状態で所定間隔を保つことにより、ペン認識パネル１３６又はタッチパネル１３４からホバリングする一方で、タッチペン２０は、ディスプレイパネル１３２又はタッチパ１３４に接触するか、あるいは他の所定間隔で離隔されている。

【0039】

タッチペン２０の構成について詳細に説明する。
図３は、本発明の実施形態による手書きベースのＮＬＩをサポートするためのタッチペン２０の構成を示す図である。
図３を参照すると、タッチペン２０は、ペンボディ２２、ペンボディ２２の終端のペン先２１、ペン先２１に近接したペンボディ２２の内部に配置されるコイル２３、及びコイル２３から生成される電磁誘導値を変更するボタン２４を含む。
このような本発明による構成を有するタッチペン２０は、電磁誘導方式をサポートする。このコイル２３は、ペン認識パネル１３６の特定ポイントで磁場が形成され、それによってペン認識パネル１３６は、磁場位置を検出してタッチポイントを認識する。

【0040】

ペン先２１は、ディスプレイパネル１３２、又はディスプレイパネル１３２の上部にペン認識パネル１３６が配置される場合に、ペン認識パネル１３６に接触して、それによってディスプレイパネル１３２上の特定ポイントを示す。
ペン先２１がペンボディ２２の終端に配置され、コイル２３がペン先２１から所定距離だけ離隔されるため、ユーザーがタッチペン２０を把持した状態で書き込む場合、ペン先２１のタッチ位置とコイル２３により生成された磁場位置との間の距離が補償され得る。

【0041】

距離補償により、ユーザーは、ペン先２１でディスプレイパネル１３２の特定ポイントを示しつつ、手書き（記載）又は描画、タッチ（選択）、タッチ及びドラッグ（選択及び移動）のような入力動作を遂行できる。
特に、ユーザーは、ペン先２１でディスプレイパネル１３２をタッチした状態で、特定手書き又は描画を含むペン入力を適用することができる。

【0042】

タッチペン２０がペン認識パネル１３６に所定距離に接近する場合、コイル３６は、ペン認識パネル１３６の特定ポイントで磁場を生成する。
したがって、ユーザー端末１００は、ペン認識パネル１３６に形成される磁場をリアルタイム又は所定期間毎にスキャンする。
タッチペン２０が活性化される時点で、ペン認識パネル１３６は、活性化され得る。特に、ペン認識パネル１３６は、ペン認識パネル１３６にペン２０の接近により異なるペン状態を認識できる。

【0043】

ユーザーは、タッチペン２０のボタン２４を押す。
ボタン２４が押されることによって、特定信号が、タッチペン２０から生成され、ペン認識パネル１３６に提供される。
この動作のために、電磁誘導に変化を起こす特定キャパシタ、追加コイル、又は特定デバイスは、ボタン２４の隣接領域に配置され得る。
ボタン２４がタッチされ、あるいは押される場合、キャパシタ、追加コイル、又は特定デバイスは、コイル２３に接続され、それによってペン認識パネル１３６から生成される磁場誘導値を変えてボタン２４が押された状態を認識できる。あるいは、キャパシタ、追加コイル、又は特定デバイスは、ボタン２４が押された状態に対応する無線信号を生成し、ユーザー端末１００に提供される受信器（図示せず）に無線信号を提供し、それによって、ユーザー端末１００は、タッチペン２０のボタン２４が押された状態を認識することができる。

【0044】

上記したように、ユーザー端末１００は、タッチペン２０の異なる配置状態によって多様なペン状態情報を収集できる。
すなわち、ユーザー端末１００は、ペン２０が接触状態であるか、あるいはホバリング状態であるかを示す情報、及びタッチペン２０のボタン２４が押されたか、あるいは初期状態を維持しているかを示す情報を受信することができる。
ユーザー端末１００は、タッチペン２０から受信されるペン情報とペン入力ジェスチャに対応するペン入力認識情報に基づいて特定手書きコマンドを判定し、タッチペン２０のコイル２３から受信され、判定したコマンドに対応する機能を実行する。

【0045】

図３を参照すると、タッチペン２０がペン認識パネル１３６から第１の距離（所定の接触距離）に位置する場合、ペン認識パネル１３６は、タッチペン２０が接触状態であることを認識する。
また、ペン認識パネル１３６は、タッチペン２０が第１の距離と第２の距離（所定の近接距離）との間の範囲内に配置される場合、タッチペン２０がホバリング状態であることを認識する。
タッチ用ペン２０がペン認識パネル１３６から第２の距離以上の範囲に位置する場合、ペン認識パネル１３６は、タッチペン２０が“エア（ａｉｒ）状態”であることを認識する。
このように、ペン認識パネル１３６は、タッチペン２０に距離により多様なペン状態情報を提供できる。

【0046】

タッチパネル１３４を通じてユーザーのタッチ入力の感知に関して、タッチパネル１３４は、ディスプレイパネル１３２の上方又は下方に配置され得る。
タッチパネル１３４は、オブジェクトのタッチによる静電容量、抵抗、又は電圧の変化によるタッチ位置及びタッチ状態に関する情報を制御部１６０に提供する。
タッチパネル１３４は、ディスプレイパネル１３２の少なくとも一部に配置できる。
タッチパネル１３４は、動作モードにより、ペン認識パネル１３６と同時に活性化され、あるいはペン認識パネル１３６が活性化される場合に非活性化できる。特に、タッチパネル１３４は、同時モードでは、ペン認識パネル１３６と同時に活性化される。ペン入力モードでは、ペン認識パネル１３６は活性化され、一方でタッチパネル１３４は非活性化される。タッチ入力モードでは、タッチパネル１３４は活性化され、一方でペン認識パネル１３６は非活性化される。

【0047】

図４は、本発明の実施形態により、タッチパネル１３４とペン認識パネル１３６を通じてタッチ入力及びペンタッチ入力を感知する動作を説明するためのブロック図である。
図４を参照すると、タッチパネル１３４は、タッチパネルＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）とタッチパネルドライバを含む。

【0048】

タッチパネル１３４は、ユーザーの指のようなオブジェクトのタッチによる静電容量、抵抗、又は電圧の変化によるタッチ位置及びタッチ状態に関する情報、すなわちタッチ入力情報を制御部１６０に提供する。
ペン認識パネル１３６は、ペンタッチパネルＩＣとペンタッチパネルドライバを含む。
ペン認識パネル１３６は、タッチペン２０の接近と操作によるペン状態情報を受信して制御部１６０に提供する。また、ペン認識パネル１３６は、タッチペン２０の入力ジェスチャによるペン入力認識情報を受信して制御部１６０に提供する。

【0049】

制御部１６０は、イベントハブ、キュー、入力リーダ、及び入力ディスパッチャ（ｄｉｓｐａｔｃｈｅｒ）を含む。
制御部１６０は、入力リーダを通じてタッチパネル１３４及びペン認識パネル１３６から情報を受信し、入力ディスパッチャを通じてペン状態情報及びペン入力認識情報によってペン入力イベントを生成し、あるいはタッチ入力情報によってタッチ入力イベントを生成する。
また、制御部１６０は、キューとイベントハブを介してタッチ入力イベント及びペン入力イベントを出力し、ウィンドウマネージャの管理によって複数のアプリケーションビューのうち関連アプリケーションビューに対応する入力チャンネルを介してペン入力イベント及びタッチイベントの入力を制御する。

【0050】

ディスプレイパネル１３２は、ユーザー端末１００の動作に関連して多様な画面を出力する。
例えば、ディスプレイパネル１３２は、ユーザー端末１００の機能をサポートするための初期待機画面又はメニュー画面、機能選択によって表示されるファイル検索画面、ファイル再生画面、放送受信画面、ファイル編集画面、ウェブページアクセス画面、メモ画面、電子書籍閲覧画面、チャット画面、Ｅメール又はメッセージ作成、及び受信画面のような多様な画面を関連機能活性化によって提供できる。

【0051】

ディスプレイパネル１３２により提供される画面は、各々特定機能タイプに関する情報を有し、この機能タイプ情報は、制御部１６０に提供される。
ディスプレイパネル１３２の各機能が活性化される場合、ペン認識パネル１３６は、事前設定によって活性化される。
ペン認識パネル１３６から受信されるペン入力認識情報は、それに関連する形態でディスプレイパネル１３２に出力できる。例えば、ペン認識情報が特定パターンに対応するジェスチャである場合、パターンのイメージは、ディスプレイパネル１３２に出力される。
したがって、ユーザーは、そのイメージを見つつ、自身が適用されるペン入力を遂行するか否かを確認することができる。

【0052】

特に、本発明のペン入力では、入力開始時点と入力終了時点をタッチペン２０に関するペン状態情報の変化に基づいて判定することができる。
すなわち、ジェスチャ入力は、タッチペン２０が接触状態又はホバリング状態の内の少なくとも一つの状態から開始し、入力終了時点は、接触状態又はホバリング状態の内のいずれか一つが解除される場合であり得る。

【0053】

それによって、ユーザーは、タッチペン２０を用いてディスプレイパネル１３２上に接続し、あるいはディスプレイパネル１３２から一定間隔で離隔された状態でペン入力動作を遂行することができる。
例えば、ユーザー端末１００は、タッチペン２０が接触状態の範囲で動く場合、接触状態でタッチペン２０の移動に従って手書き、描画、タッチ、タッチアンドドラッグのようなペン入力を認識することができる。
ユーザー端末１００は、タッチペン２０がホバリング状態の範囲内に位置する場合、ホバリング状態でペン入力を認識することができる。

【0054】

メモリ１５０は、本発明によるユーザー端末１００を動作させるために必要な多様なプログラムとデータを格納する。
例えば、メモリ１５０は、ユーザー端末１００の動作に必要なオペレーティングシステム（ＯＳ）を格納することができ、上記したタッチパネル１３２上に表示される画面をサポートするための機能プログラムを格納することができる。
特に、メモリ１５０は、本発明により、ペン機能をサポートするためのペン機能プログラム１５１と、ペン機能プログラム１５１をサポートするためのペン機能テーブル１５３を格納することができる。

【0055】

ペン機能プログラム１５１は、本発明のペン機能をサポートするための多様なルーチンを含むことができる。
例えば、ペン機能プログラム１５１は、ペン認識パネル１３６の活性化条件を確認するルーチン、ペン認識パネル１３６が活性化される場合にタッチペン２０に関するペン状態情報を収集するルーチン、及びタッチペン２０のジェスチャによるペン入力を認識してペン入力認識情報を収集するルーチンを含むことができる。

【0056】

ペン機能プログラム１５１は、収集されたペン状態情報とペン入力認識情報に基づいて特定ペン機能コマンドを生成するルーチン、該当ペン機能コマンドに対応する機能を遂行するルーチンを含むことができる。
また、ペン機能プログラム１５１は、現在活性化状態である機能タイプに関する情報を収集するルーチンを収集した機能タイプ情報、ペン状態情報及びペン入力認識情報にマッピングされるペン機能コマンドを生成するルーチン、及びペン機能コマンドに対応する機能を遂行するルーチンをさらに含むことができる。

【0057】

上記した説明で、ペン機能コマンドを生成するルーチンは、メモリ１５０に格納されたペン機能テーブル１５３を参照してコマンドを生成するように設計される。
ペン機能テーブル１５３は、設計者又はプログラム開発者によってタッチペン２０の入力ジェスチャに対応する特定端末機能にマッピングされるペン機能コマンドを含む。
特に、ペン機能テーブル１５３は、ペン状態情報及び機能タイプ情報によって入力されるジェスチャ認識情報をそれぞれのペン機能コマンドにマッピングすることによって、同一のペン入力認識情報であってもペン状態情報及び機能タイプ情報に従って異なる機能が遂行され得る。

【0058】

また、ペン機能テーブル１５３は、ペン状態情報及びペン入力認識情報に特定端末機能に対応するペン機能コマンドをマッピングする。
ペン状態情報とペン入力認識情報のみで構成されるペン機能テーブル１５３は、現在活性化している機能のタイプに関係なく、ペン状態情報及びペン入力認識情報のみに基づいて特定機能の実行するようにサポートする。

【0059】

上記したように、ペン機能テーブル１５３は、ペン状態情報、機能タイプ情報、及びペン入力認識情報にマッピングされるペン機能コマンドを含む第１のペン機能テーブル、ペン状態情報とペン入力認識情報にマッピングされるペン機能コマンドを含む第２のペン機能テーブルの内の少なくとも一つを含む。
各ペン機能コマンドを含むペン機能テーブル１５３は、ユーザー設定又は実行されるアプリケーションプログラムのタイプに従って選択的に、又は自動で適用することができる。
例えば、ユーザーは、第１又は第２のペン機能テーブルを予め設定する。すると、ユーザー端末１００は、設定によって特定ペン機能テーブルに基づいて入力ジェスチャに該当するペン入力認識処理を遂行できる。

【0060】

一方、ユーザー端末１００は、設計方式又はユーザー設定により、第１のアプリケーションが活性化される場合に第１のペン機能テーブルを適用し、第２のアプリケーションが活性化される場合に第２のペン機能テーブルを適用する。
上記したように、ペン機能テーブル１５３は、活性化機能のタイプに従って多様な方式で適用することができる。
ペン機能テーブル１５３のアプリケーションの例は、より詳細に後述する。

【0061】

一方、端末１００が通信機能をサポートする場合に、ユーザー端末１００は、通信モジュール１７０を含む。
特に、ユーザー端末１００が移動通信機能をサポートする場合、通信モジュール１７０は、移動通信モジュールを含む。
通信モジュール１７０は、チャット、メッセージ送受信、通話のような通信機能を遂行できる。通信モジュール１７０がオペレーティングされる間に、タッチペン２０からペン入力認識情報が収集される場合、通信モジュール１７０は、制御部１６０の制御下にペン入力認識情報に対応するペン機能コマンドの遂行をサポートできる。

【0062】

このような通信モジュール１７０は、ユーザー端末１００の通信機能をサポートしつつ、ペン機能テーブル１５３のアップデートする外部情報を受信して制御部１６０に提供する。
上記したように、ペン機能テーブル１５３は、実行されるアプリケーションプログラムによる端末機能タイプに従って異なるように設定可能である。
すなわち、ユーザー端末１００に新たな機能が設置される場合、タッチペン２０のオペレーションに関連した新たな設定が要求される。
通信モジュール１７０は、新たな機能のための又は以前に設置された機能のためのペン機能テーブル１５３が提供される場合、デフォルト又はユーザー要請によって該当ペン機能テーブル１５３に関する情報の受信をサポートできる。

【0063】

入力部１８０は、サイドキー又は別途に作られたタッチパッドで構成され得る。
入力部１８０は、ユーザー端末１００のターンオン又はターンオフのためのボタン、ユーザー端末１００がホーム画面へ戻るためのホームキーを含むことができる。
入力部１８０は、本発明のペン機能運用モード設定のための入力信号をユーザー制御によって生成し、これを制御部１６０に伝送できる。
すなわち、入力部１８０は、別途のペン入力認識なしに、ペンの位置が検出され、検出された該当ペン位置によって機能を遂行する基本ペンオペレーションモード及び上記した多様なペン機能テーブル１５３の内のいずれか一つによるペンオペレーションモードのうちいずれか一つを設定するための入力信号を生成する。該当入力信号によって端末１００は、特定ペン機能テーブル１５３を呼び出し、これに基づいてペンオペレーションをサポートできる。

【0064】

オーディオ処理部１４０は、オーディオ信号の出力のためのスピーカ（ＳＰＫ）及びオーディオ信号の収集のためのマイクロフォン（ＭＩＣ）のうち少なくとも一つを含む。
このオーディオ処理部１４０は、ペンオペレーションモードを設定するようにユーザーに指示する通知音又は設定による効果音を出力する。
ペン認識パネル１３６が特定ペン入力ジェスチャによるペン入力認識情報を収集する場合、オーディオ処理部１４０は、ペン入力認識情報に対応する通知音又は機能遂行に関連した効果音を出力する。
オーディオ処理部１４０は、ペン入力ジェスチャでリアルタイムで受信されるペン入力に関連した効果音を出力することができる。

【0065】

さらに、オーディオ処理部１４０は、振動モジュールを制御してジェスチャ入力に対応する振動の大きさを制御できる。
オーディオ処理部１４０は、受信されるジェスチャ入力によって振動の大きさを変えられ得る。すなわち、オーディオ処理部１４０は、異なるペン入力認識情報を処理する場合、異なる振動の大きさを設定する。
オーディオ処理部１４０は、ペン入力認識情報のタイプに従って異なるボリュームとタイプの効果音を出力する。例えば、オーディオ処理部１４０は、現在遂行されている機能に関連したペン入力認識情報が収集される場合、所定の大きさを有する振動又は所定のボリュームを有する効果音を出力する。
他の機能を呼び出すためのペン入力認識情報が収集される場合、オーディオ処理部１４０は、相対的に大きい大きさの振動または相対的に大きいボリュームの効果音を出力する。

【0066】

制御部１６０は、本発明の実施形態によるペン機能をサポートするための多様な構成要素を含み、ペン機能のための信号とデータを処理し、ペン機能の実行を制御する。
このために、制御部１６０は、図５に示すような構成を有する。

【0067】

図５は、本発明による制御部１６０の詳細な構成を示すブロック図である。
図５を参照すると、本発明の制御部１６０は、機能タイプ決定部１６１、ペン状態決定部１６３、ペン入力認識部１６５、タッチ入力認識部１６９、コマンド処理部１２０、及びアプリケーション実行部１１０を含む。

【0068】

機能タイプ決定部１６１は、ユーザー端末１００で現在活性化されているユーザー機能のタイプを決定する。
特に、機能タイプ決定部１６１は、現在ディスプレイパネル１３２上に表示されている画面に関連した機能のタイプに関する情報を収集する。
ユーザー端末１００がマルチタスキングをサポートする場合、複数の機能は、複数のアプリケーションの駆動によって活性化できる。
この場合、機能タイプ決定部１６１は、ディスプレイパネル１３２上に表示される現在画面に関連した機能のタイプに関する情報のみを収集してコマンド処理部１２０に提供する。
機能タイプ決定部１６１は、複数の画面がディスプレイパネル１３２上に表示される場合、最上層で表示される画面に関連した機能のタイプに関する情報を収集できる。

【0069】

ペン状態決定部１６３は、タッチペン２０の位置とボタン２４の押し状態に関する情報を収集する。
上記したように、ペン状態決定部１６３は、ペン認識パネル１３６をスキャンして入力される電磁誘導値の変化を検出し、タッチペン２０がホバーリング状態であるか、又は接触状態であるか、ボタン２４が押されたか、あるいは解除状態であるかを判定し、その判定に対応するペン状態情報を収集する。
収集されるペン状態情報に対応するペン入力イベントは、コマンド処理部１２０に提供することができる。

【0070】

ペン入力認識部１６５は、タッチペン２０の動きによるペン入力を認識する。
ペン入力認識部１６５は、タッチペン２０がホバリング状態であるか、あるいは接触状態であるかに関係なく、ペン認識パネル１３６からタッチペン２０の動きによるペン入力ジェスチャに対するペン入力イベントを受信してペン入力認識を遂行し、それによるペン入力認識情報をコマンド処理部１２０に提供する。
ペン入力認識情報は、一つのオブジェクトを認識して取得される単一ペン入力認識情報、あるいは複数のオブジェクトを認識して取得される複合ペン入力認識情報であり得る。

【0071】

単一ペン入力認識情報又は複合ペン入力認識情報は、ペン入力ジェスチャにより決定される。
単一ペン入力認識情報又は複合ペン入力認識情報は、ペン入力ジェスチャにより決定され得る。
例えば、ペン入力認識部１６５は、タッチペン２０が接触状態又はホバリング状態を維持する状態で、タッチペン２０の継続して発生する動作に対応するペン入力のための単一ペン入力認識情報を生成できる。

【0072】

ペン入力認識部１６５は、タッチペン２０が接触状態とホバリング状態との間で切り替えられる場合になされる、タッチペン２０の動作に対応するペン入力のための複合ペン入力認識情報を生成できる。
ペン入力認識部１６５は、ホバリング状態からエアー状態に切り替えられる場合になされるタッチペン２０の動作に対応するペン入力のための複合ペン入力認識情報を生成できる。
あるいは、ペン入力認識部１６５は、タッチペン２０がペン認識パネル１３６に認識可能な範囲の境界を超える複数のペン入力のための複合ペン入力認識情報を生成する。

【0073】

タッチ入力認識部１６９は、指、オブジェクトのタッチ又は動きによるタッチ入力を認識する。
タッチ入力認識部１６９は、タッチタッチ入力に対するタッチ入力イベントを受信し、そのタッチ入力を認識し、それによるタッチ入力認識情報をコマンド処理部１２０に伝送する。

【0074】

コマンド処理部１２０は、動作モードに従って、機能タイプ決定部１６１から受信される機能タイプ情報、ペン状態決定部１６３から受信されるペン状態情報、及びペン入力認識部１６５から受信されるペン入力認識情報のうちいずれか一つを用いてペン機能コマンドを生成し、タッチ入力認識部１６９から受信されるタッチ入力認識情報に基づいてタッチ機能コマンドを生成する。
この動作で、コマンド処理部１２０は、多様なペン機能コマンドを定義したペン機能テーブル１５３を参照できる。
特に、コマンド処理部１２０は、設定又は現在活性化している機能のタイプに従って、機能タイプ情報、ペン状態情報、及びペン入力認識情報に基づいた第１のペン機能テーブル、ペン状態情報及びペン入力認識情報に基づいた第２のペン機能テーブル、及びペン入力認識情報に基づいた第３のペン機能テーブルを参照できる。
コマンド処理部１２０は、生成したペン機能コマンドをアプリケーション実行部１１０に提供する。

【0075】

アプリケーション実行部１１０は、コマンド処理部１２０から受信したペン機能コマンド及びタッチ機能コマンドを含む各種コマンドのうちいずれか一つに対応する機能の実行を制御する。
アプリケーション実行部１１０は、現在活性化されているアプリケーションに関連して、特定機能を実行し、新たなアプリケーション機能を呼び出し、又は特定機能を終了することができる。
コマンド処理部１２０とアプリケーション実行部１１０の動作について、より詳細に説明する。
まず、コマンド処理部１２０について説明する。

【0076】

図６は、本発明の実施形態によるユーザー端末において、手書きベースのＮＬＩをサポートするコマンド処理部の詳細な構成を示すブロック図である。
図６を参照すると、手書きベースのＮＬＩをサポートするコマンド処理部１２０は、認識エンジン２１０とＮＬＩエンジン２２０を含む。

【0077】

認識エンジン２１０は、認識管理モジュール２１２、遠隔認識クライアントモジュール（ｒｅｍｏｔｅ ｒｅｃｏｇｎｉｔｉｏｎ ｃｌｉｅｎｔ ｍｏｄｕｌｅ）２１４、及びローカル認識モジュール２１６を含む。
ローカル認識モジュール２１６は、手書き認識ブロック（２１５−１）、光文字認識ブロック（２１５−２）、及びオブジェクト認識ブロック（２１５−３）を含む。
ＮＬＩエンジン２２０は、対話（ｄｉａｌｏｇ）モジュール２２２と知能モジュール２２４を含む。
対話モジュール２２２は、対話フローを制御するための対話管理ブロック及びユーザーの意図を把握するための自然言語理解（Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ：ＮＬＵ）ブロックを含む。
知能モジュール２２４は、ユーザーの選好度を反映するためのユーザーモデリングブロック、常識推論ブロック、及びユーザー状況を反映するためのコンテンツ管理ブロックを含む。

【0078】

認識エンジン２１０は、電子ペンのような入力手段に対応する描画エンジン（ｄｒａｗｉｎｇ ｅｎｇｉｎｅ）とカメラのような知能（ｉｎｔｅｌｌｉｇｅｎｔ）入力プラットフォームから情報を受信する。
知能入力プラットフォーム（図示せず）は、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）のような光文字認識器であり得る。
この知能入力プラットフォームは、印刷されたテキスト又は手書きテキスト、数字、又はシンボルの形態を有する情報を読み取って認識エンジン２１０に提供する。

【0079】

描画エンジンは、指、オブジェクト、ペンのような入力手段から入力を受信する構成要素である。
描画エンジンは、入力手段から受信される入力情報を感知して認識エンジン２１０に提供する。したがって、認識エンジン２１０は、知能入力プラットフォーム及びタッチパネル部１３０から受信した情報を認識できる。
一例として、本発明の実施形態では、タッチパネル部１３０は入力手段から入力を受信し、タッチ入力認識情報とペン入力認識情報を認識エンジン２１０に提供するケースについて説明する。

【0080】

本発明の実施形態によれば、認識エンジン２１０は、情報として受信されたテキスト、ライン、シンボル、パターン、図形、又はそれらの組み合わせから現在表示されたメモ又はユーザーにより選択されたコマンドの一部又は全部を認識する。
このユーザーにより選択されたコマンドは、所定の入力である。ユーザーにより選択されたコマンドは、所定のシンボル、パターン、テキスト、又はそれらの組み合わせの内の少なくとも一つ、又はジェスチャ認識機能により予め設定された少なくとも一つのジェスチャに対応することができる。

【0081】

認識エンジン２１０は、上述した動作で取得した認識結果を出力する。
このために、認識エンジン２１０は、認識結果を出力するための全般的な制御を提供する認識管理モジュール２１２、遠隔認識クライアントモジュール２１４、及び入力情報を認知するためのローカル認識モジュール２１６を含む。
ローカル認識モジュール２１６は、手書きした入力情報を認知する手書き認識ブロック（２１５−１）、入力された光信号から情報を認知する光文字認識ブロック（２１５−２）、及び入力ジェスチャから情報を認知するオブジェクト認識ブロック（２１５−３）を少なくとも含む。

【0082】

手書き認識ブロック（２１５−１）は、手書き入力情報を認知する。
例えば、手書き認識ブロック（２１５−１）は、メモリ画面にタッチペン２０により書き込まれたメモを認識する。
具体的には、手書き認識ブロック（２１５−１）は、タッチパネル部１３０からメモ画面にタッチされるポイントの座標値を受信し、タッチされたポイントの座標値をストロークとして格納し、ストロークを用いてストロークアレイを生成する。
手書き認識ブロック（２１５−１）は、予め格納されている手書きライブラリと生成されたストロークアレイを含むストロークアレイリストを用いて手書きしたコンテンツを認識する。手書き認識ブロック（２１５−１）は、認識したコンテンツのうちメモコンテンツ及びコマンドに対応する認識結果を出力する。

【0083】

光文字認識ブロック（２１５−２）は、光感知モジュールにより感知された光信号を受信して光文字認識結果を出力する。
オブジェクト認識ブロック（２１５−３）は、動作感知モジュールにより感知されたジェスチャ感知信号を受信し、ジェスチャを認識してその認識結果を出力する。
手書き認識ブロック（２１５−１）、光文字認識ブロック（２１５−２）、及びオブジェクト認識ブロック（２１５−３）から出力される認識結果は、ＮＬＩエンジン２２０又はアプリケーション実行部１１０に提供される。

【0084】

ＮＬＩエンジン２２０は、処理、例えば認識エンジン２１０から受信された認識結果を分析してユーザーの意図を判定する。
すなわち、ＮＬＩエンジン２２０は、認識エンジン２１０から受信された認知結果からユーザーが意図した入力情報を判定する。特に、ＮＬＩエンジン２２０は、手書きベースのＮＬＩに基づいてユーザーとの問答を交換して十分な情報を収集し、収集した情報に基づいてユーザーの意図を判定する。

【0085】

この動作のために、ＮＬＩエンジン２２０の対話モジュール２２２は、ユーザーとの対話のための質問を生成し、その質問をユーザーに提供することによって、ユーザーからの応答を受信する対話フローを制御する。
対話モジュール２２２は、問答を通じて取得した情報を管理する（対話管理ブロック）。また、対話モジュール２２２は、管理される情報を考慮し、初期に受信したコマンドに対する自然言語処理を遂行してユーザーの意図を理解する（ＮＬＵブロック）。

【0086】

ＮＬＩエンジン２２０の知能モジュール２２４は、自然言語処理を通じてユーザーの意図を理解するために参照される情報を生成し、これを対話モジュール２２２に提供する。
例えば、知能モジュール２２４は、メモ時にユーザーの習慣などを分析してユーザーの選好傾向を反映する情報をモデリングし（ユーザーモデリングブロック）、常識を反映する情報を誘導し（常識推論ブロック）、あるいは現在のユーザーの状況を示す情報を管理する（コンテキスト管理ブロック）。
したがって、対話モジュール２２２は、知能モジュール２２４から受信された情報の助けでユーザーとの問答手順による対話フローを制御できる。

【0087】

一方、アプリケーション実行部１１０は、認識エンジン２１０からコマンドに該当する認識結果を受信し、コマンドが予め格納された類義語テーブルを検索し、類義語テーブルでコマンドに対応する類義語が存在すると、類義語に対応するＩＤを読み取る。
その後、アプリケーション実行部１１０は、予め格納された方法テーブルにリストされているＩＤに対応するメソッドを実行する。
したがって、メソッドは、コマンドに対応するアプリケーションを実行し、メモコンテンツは、アプリケーションに提供される。アプリケーション実行部１１０は、メモコンテンツを用いて関連したアプリケーションの機能を遂行する。

【0088】

図７は、本発明の実施形態によるユーザー端末で手書きベースのＮＬＩ技術を用いるＵＩをサポートする制御動作を説明するためのフローチャートである。
図７を参照すると、ユーザー端末は、ステップＳ３１０で、特定アプリケーションを駆動し、駆動したアプリケーションの機能を提供する。
特定アプリケーションは、ユーザーの要請によりユーザー端末に設置されたアプリケーションのうちユーザーにより駆動が要請されるアプリケーションである。

【0089】

例えば、ユーザーは、特定アプリケーションをユーザー端末のメモ機能により駆動させ得る。すなわち、ユーザー端末は、ユーザーの要請によりメモ階層を呼び出す。
その後、特定アプリケーションのＩＤ情報と実行コマンドに対応する情報が受信されると、ユーザー端末は、特定アプリケーションを検索して駆動する。
このような方法は、ユーザー端末に設置された多くのアプリケーションのうち所望のアプリケーションの速い実行に有用である。
特定アプリケーションのＩＤ情報は、例えばアプリケーションの名称であり得る。
実行コマンドに対応する情報は、アプリケーションの駆動をコマンドに予め設定された図形、シンボル、パターン、テキストであり得る。

【0090】

図８は、メモ機能により特定アプリケーション又は機能による動作を要請する一例を示す図である。
図８に示すケースにおいて、メモ機能により記載されたメモの一部は、ライン、閉ループ、又は図形を用いて選択され、選択されたメモコンテンツは他のアプリケーションを用いて処理される。
例えば、メモコンテンツ“ＧＡＬＡＸＹ ＮＯＴＥのプレミアムスイート”がラインを用いて選択され、コマンドは、テキスト送信アプリケーションを用いて選択されたメモコンテンツを送信するように発行される。

【0091】

図８を参照すると、メモリ画面上の短文“ＧＡＬＡＸＹ ＮＯＴＥのプレミアムスイート”に下線を引いた後に、テキストコマンドに対応する単語‘ＴＥＸＴ’を受信すると、ユーザー端末は、テキスト送信コマンドとして下線を引いた後に受信されるテキストコマンドに対応する入力単語を判定し、テキスト送信アプリケーションを用いてメモコンテンツを送信する。
すなわち、領域が選択されてコマンドに該当する入力が受信される場合、ユーザー端末は、コマンドとして入力を判定し、メモコンテンツとして選択された領域に含まれているペン入力コンテンツを判定する。

【0092】

ユーザーにより入力されたアプリケーションと一致するアプリケーションがユーザー端末に存在しない場合、類似したアプリケーションの候補セットは、ユーザーに提供することができ、ユーザーは、候補アプリケーションから意図するアプリケーションを選択することができる。

【0093】

他の実施形態では、ユーザー端末によりサポートされる機能は、メモ機能により実行され得る。
このために、ユーザー端末は、ユーザー端末はユーザーの要請によりメモ階層を呼び出し、ユーザーにより入力される情報に従って設置されたアプリケーションに対して検索する。
例えば、検索キーワードは、ユーザー端末に設置されたアプリケーションのうち特定アプリケーションを検索するために、メモ機能に対して再生されたメモ画面に入力される。
その後、ユーザー端末は、入力されたキーワードによりアプリケーションに対する検索を遂行する。
すなわち、ユーザーがメモ機能により画面に“車ゲーム”を記載する場合、ユーザー端末は、設置されたアプリケーションのうち‘車ゲーム’に関連したアプリケーションを検索し、その画面に検索結果を提供する。

【0094】

他の実施形態では、ユーザーは、メモ機能により画面に設置時期、例えば２０１１年２月を入力する。
その後、ユーザー端末は、２０１１年２月に設置されたアプリケーションに対して検索する。すなわち、ユーザーがメモ機能により画面に‘２０１１年２月’を手書きする場合、ユーザー端末は、設置されたアプリケーションのうち‘２０１１年２月’に設置されたアプリケーションを検索し、その検索結果を画面に提供する。

【0095】

上述したように、ユーザーのメモにより特定アプリケーションを駆動又は検索することは、ユーザー端末に多くのアプリケーションが設置される場合に有用である。
アプリケーションをより効率的に検索するために、設置されたアプリケーションは、インデックスを作成することが望ましい。
インデックス付きのアプリケーションは、特性、フィールド、機能のようなカテゴリにより分類することができる。
ユーザーが特定キー又はジェスチャの入力時に、メモ階層は、特定アプリケーションを検索するために、インデックス情報を活性化し、あるいは入力するようにアプリケーションのＩＤ情報をユーザーが入力するように起動することができる。
上記した方式で駆動又は検索される特定アプリケーションは、メモアプリケーション、スケジューラアプリケーション、マップアプリケーション、音楽アプリケーション、及び地下鉄アプリケーションを含む。

【0096】

特定アプリケーションが駆動されると、ユーザー端末は、ステップＳ３１２で、手書き情報の入力をモニタリングする。
この入力情報は、テキストだけでなくライン、シンボル、パターン、及びそれらの組み合わせの形態で入力できる。その上、ユーザー端末は、現在画面に手書きしたメモの一部又は全部を選択する領域を示す情報の入力をモニタリングすることができる。
メモが部分的に又は全体的に選択されると、ユーザー端末は、ステップＳ３１２で、選択されたメモコンテンツを処理するために、コマンドに対応する情報の追加入力をモニタリングする。

【0097】

ユーザー端末は、手書きベースの情報入力が感知されると、ステップＳ３１４で、感知した入力情報を認識するための動作を遂行する。
例えば、一部又は全部選択されたメモコンテンツのテキスト情報を、認識したり、あるいはテキスト以外にライン、シンボル、パターン、及びそれらの組み合わせの形態で入力される情報を認識したりする。
図６に示した認識エンジン２１０は、入力情報の認識を担当する。

【0098】

ユーザー端末が感知した入力情報を認識すると、ユーザー端末は、認識したテキスト情報のコンテンツを理解するために、認識したテキスト情報に対する自然言語処理を遂行する（ステップＳ３１６）。
ＮＬＩエンジン２２０は、認識したテキスト情報に対する自然言語処理を担当する。
入力情報がテキストとシンボルの組み合わせであると判定される場合、ユーザー端末は、自然言語処理と一緒にシンボルを処理する。

【0099】

シンボル処理において、ユーザー端末は、ユーザーの実際メモパターンを分析し、メモパターンの分析によりユーザーがよく使用するメインシンボルを検出する。
その後、ユーザー端末は、検出したメインシンボルを用いてユーザー意図を分析し、その分析結果に基づいてメインシンボルの意味を判定する。
メインシンボル別にユーザーが意図する意味は、データベース化し、以後に入力されるシンボルに対する解析時に使用される。すなわち、具備されているデータベースは、シンボル処理に使用される。

【0100】

図９は、本発明の実施形態において使用のためのユーザーの実際メモパターンの一例を示す図である。
図９に示すメモパターンは、ユーザーがシンボル“→”、“（ ）”、“＿”、“−”、“＋”、及び“？”をよく使用することを示す。
例えば、シンボル“→”は、追加説明又は段落の区分に使用され、シンボル“（
）”は、“（ ）”内のコンテンツが用語の定義又は記述であることを示す。
同一のシンボルは、異なる意味で解析され得る。
例えば、シンボル“→”は、「時間経過」、「因果関係」、「位置」、「属性間の関係説明」、「クラスタリングのための基準点」、「変更」を意味することもできる。

【0101】

図１０は、一つのシンボルが多様な意味として解析される一例を示す図である。
図１０を参照すると、シンボル“→”は、「時間経過」、「因果関係」、「位置」などを意味するために使用できる。

【0102】

図１１は、テキストとシンボルの組み合わせを含む入力情報がシンボルに基づいて異なる意味として解析される一例を示す図である。
ユーザー入力情報‘Ｓｅｏｕｌ→Ｂｕｓａｎ’は、‘Ｓｅｏｕｌからｂｕｓａｎまで’の意味だけでなく‘ＳｅｏｕｌをＢｕｓａｎに変更’という意味としても解析され得る。
複数の意味で解析可能なシンボルは、追加情報又は前後情報との関係を考慮して解析され得る。しかしながら、この解析は、ユーザーの意図を正確に把握できない原因となり得る。

【0103】

このような問題点を解消するために、シンボル認識／理解に対する広範囲の研究及び努力が要求される。
例えば、シンボル認識と理解との関係は、一般教養学分野の記号学（ｓｅｍｉｏｔｉｃｓ）で研究が進行されており、この研究は、広告、文学、映画、交通信号などで活用される。記号学は、広い意味で、サイン及びシンボルの機能、分析、解析、意味、及び表現、及び通信に関連した多様なシステムに関する理論及び研究である。
また、サイン及びシンボルは、エンジニアリング科学の観点でも研究されている。
例えば、研究は、機械／電気／コンピュータエンジニアリング分野でフローチャート及び設計図のシンボル認識に対して進行されている。この研究は、スケッチ（手書き図）認知に使用される。さらに、複雑な化学構造公式のシンボルの認識は、関連研究が化学分野で研究され、この研究は、手書き化学図認識（ｈａｎｄ−ｄｒａｗｎ ｃｈｅｍｉｃａｌ ｄｉａｇｒａｍ ｒｅｃｏｇｎｉｔｉｏｎ）に使用される。
図１２は、記号学でサイン及びシンボルを使用する例示図であり、図１３は、機械／電気／コンピュータエンジニアリング及び化学分野でサイン及びシンボルが使用される例示図である。

【0104】

ユーザー端末は、認識結果に対する自然言語処理によりユーザー入力の情報によるコンテンツを理解した後に、ステップＳ３１８で、認識したコンテンツに基づいてユーザーが入力情報を入力した意図を把握する。

【0105】

ユーザー端末は、入力情報に関するユーザーの意図を判定する場合、ステップＳ３２２で、ユーザーの意図に対応する動作を遂行し、あるいはユーザーの意図に対応する応答を出力する。
ユーザー端末は、ユーザーの意図に対応する動作を遂行した後、その動作結果をユーザーに出力することができる。

【0106】

一方、ユーザー端末が入力情報に関するユーザーの意図を把握できない場合、ユーザー端末は、ステップＳ３２０で、ユーザーとの問答手順を通じて、ユーザーの意図を把握するための追加情報を取得する。
このために、ユーザー端末は、ユーザーに問うための質問を生成してユーザーに提供する。
ユーザー端末は、ユーザーが質問の応答で追加情報を入力する場合、自然言語処理により理解したコンテンツに新たな入力情報を追加に考慮してユーザーの意図を再把握する。
図に示していないが、ユーザー端末は、新たな入力情報を理解するためにステップＳ３１４及びステップＳ３１６を追加して遂行することができる。
ユーザー端末は、ユーザーの意図を正確に把握するまで、ステップＳ３２０で、ユーザーとの問答交換、すなわちユーザーとの対話を通じてユーザーの意図を決定するために要求される大部分の情報を取得する。

【0107】

ユーザー端末が上記した問答手順にユーザーの意図を判定すると、ユーザー端末は、ステップＳ３２２で、ユーザーの意図に対応する動作を遂行し、あるいはユーザーにユーザーの意図に対応する応答結果を出力する。
ユーザー端末のＵＩ装置の構成及びＵＩ装置の手書きベースのＮＬＩによるＵＩ方法は、多様なシナリオを仮定することができる。

【0108】

図１４〜図２１は、本発明の実施形態によるメモ機能をサポートするアプリケーションに基づいた動作シナリオを説明するためのフローチャート及び図である。
すなわち、図１４〜図２１は、メモ機能をサポートするアプリケーションで記載されたメモを他のアプリケーションを呼び出して処理する多様な例を示す。

【0109】

図１４は、メモ機能をサポートするアプリケーションで記載されたメモを他のアプリケーションを起動して処理する動作を説明するためのフローチャートである。
図１４を参照すると、ユーザー端末１００は、メモアプリケーションが実行されると、タッチパネル部１３０を通じてメモ画面を表示し、ステップＳ１２０２で、メモ画面にユーザーが手書きしたメモを受信する。
ユーザー端末１００は、ユーザーによるペン入力によってペン認識パネル１３６を介してペン入力イベントを取得し、ユーザーの指又はオブジェクトからのタッチ入力に従ってタッチパネル１３４を通じてタッチ入力イベントを取得する。
本発明の実施形態により、ユーザーがタッチペン２０でメモを手書きすると、ユーザー端末１００は、例えばペン認識パネル１３６を通じてペン入力イベントを受信する。
ユーザーは、タッチペン２０を用いて一つのメモ画面に記載されたメモ及びコマンドを共に入力する。

【0110】

ユーザー端末は、ステップＳ１２０４で、ペン入力イベントによってペン入力コンテンツを認識する。
ユーザー端末は、認識エンジン２１０の手書き認識ブロック（２１５−１）を用いてペン入力のコンテンツを認識できる。
例えば、手書き認識ブロック（２１５−１）は、タッチパネル部１３０からメモ画面にタッチされるポイントの座標値を受信し、タッチされたポイントの座標値をストロークとして格納し、ストロークを用いてストロークアレイを生成する。手書き認識ブロック（２１５−１）は、予め格納された手書きライブラリと生成されたストロークアレイを含むストロークアレイリストを用いてペン入力コンテンツを認識する。

【0111】

ステップＳ１２０６において、ユーザー端末は、認識されたペン入力コンテンツからコマンドとこのコマンドの対象となるメモコンテンツを判定する。
ユーザー端末は、ペン入力コンテンツのうち選択した一部又は全体領域をコマンドが実行されるメモコンテンツとして決定する。
選択した一部又は全体の領域で所定の入力がある場合、ユーザー端末は、所定の入力をコマンドとして判断できる。この所定の入力は、予め設定されたシンボル、パターン、テキスト、又はそれらの組み合わせの内の少なくとも一つ、又は動作認識機能を通じて予め設定した少なくとも一つのジェスチャに対応する。

【0112】

より具体的には、図８に示したように、ユーザーがメモ画面に‘ＧＡＬＡＸＹ ＮＯＴＥのプレミアムスイート’に下線を引いた後、テキストコマンドに対応する単語‘ＴＥＸＴ’を入力する場合、ユーザー端末は、テキスト送信コマンドとしてテキストコマンドに対応する単語を決定し、送信するメモコンテンツとして下線領域のペン入力コンテンツを決定する。

【0113】

ユーザー端末は、ステップＳ１２０８で、コマンドに対応するアプリケーションを実行し、実行したアプリケーションの入力データとしてメモコンテンツを受信してアプリケーションの機能を遂行する。
特に、ユーザー端末は、アプリケーション実行部１１０を通じてコマンドに対応するアプリケーソンを駆動させてアプリケーションの機能を遂行できる。
すなわち、アプリケーション実行部１１０は、認識エンジン２１０からコマンドに対応する認識結果を受信し、コマンドが予め格納された類義語テーブルに存在するか否かを判定し、このコマンドに対応する類義語が存在する場合、類義語に対応するＩＤを読み取る。
その後、アプリケーション実行部１１０は、所定のメッソードテーブルを参照してＩＤ値に対応するメッソードを実行する。
それによって、メッソードがコマンドによるアプリケーションを実行させ、アプリケーションにメモコンテンツを伝送してメモコンテンツを入力データとしてアプリケーションの機能を遂行する。

【0114】

ユーザー端末は、アプリケーション機能の遂行後に、手書きしたコンテンツ、すなわちペン入力コンテンツと機能を遂行したアプリケーションに関する情報をメモとして格納することができる。
格納されたメモは、ユーザー要請によって呼び出すことができる。
例えば、ユーザー端末は、格納されたメモをユーザーから呼び出すための要請を受信すると、格納されているメモを呼び出し、この格納されているメモの手書きしたコンテンツすなわち、ペン入力コンテンツと既に実行されたアプリケーションに関する情報をメモ画面に表示する。
ユーザーが手書きしたコンテンツを編集する場合、ユーザー端末は、ユーザーから呼び出したメモの手書きコンテンツを編集するペン入力イベントを受信する。アプリケーションが既に格納されているメモに実行される場合、アプリケーションは、アプリケーションの再実行要請を受信して再遂行することができる。

【0115】

手書き認識により実行されるアプリケーションは、メール、テキスト、メッセージを送信する送信アプリケーション、インターネット、マップを検索する検索アプリケーション、情報を格納する保存アプリケーション、及び一つの言語を他の言語に翻訳する翻訳アプリケーションを含む。
以下に、本発明がメール送信アプリケーションに適用されるケースを、一実施形態として説明する。

【0116】

図１５は、ユーザー端末でメモ機能によりメモの一部をメールとして送信するシナリオを説明するための図である。
図１５を参照すると、ユーザーは、メモ機能によりユーザー端末の画面にメモを書き込み、そのメモのうち一部をライン、シンボル、閉ループを用いて選択する。
例えば、全体メモの一部領域は、閉ループを用いて選択され、それによって閉ループ内に存在する領域内のメモのコンテンツを選択することができる。
その後、ユーザーは、予め設定された又は直感的に認知可能なシンボルとテキストを用いて選択したコンテンツの処理を要請するコマンドを入力する。
例えば、ユーザーは、選択した領域を矢印で示し、任意の人「ＨＷＡ ＫＹＯＮＧ−ＫＩＭ シニア）を示すテキストを手書きする。

【0117】

この情報を受信すると、ユーザー端末は、選択した領域のメモコンテンツを「ＨＷＡ ＫＹＯＮＧ−ＫＩＭ シニア」に送信しようとするユーザーの意図を把握する。
例えば、ユーザー端末は、選択した領域を示す矢印と任意の人「ＨＷＡ ＫＹＯＮＧ−ＫＩＭ シニア）を示すテキストに対応するコマンドを判定する。
ユーザーの意図、例えばコマンドを判定した後に、ユーザー端末は、設置されたアプリケーションの中から選択されたメモコンテンツの伝送が可能な推薦アプリケーションを抽出する。その後、ユーザー端末は、抽出した推薦アプリケーションを表示することにより、ユーザーは、推薦アプリケーションの選択又は駆動を要求することができる。

【0118】

ユーザー端末は、ユーザーが推薦アプリケーションの内のいずれか一つを選択する場合、選択されたアプリケーションを起動し、このアプリケーションにより選択したメモコンテンツを「ＨＷＡ ＫＹＯＮＧ−ＫＩＭ シニア」に送信する。
ユーザー端末は、受信側に関する情報が事前に登録されていない場合、ユーザーに「ＨＷＡ ＫＹＯＮＧ−ＫＩＭ シニア」のメールアドレスを問い合わせる。
この場合、ユーザー端末は、選択したメモコンテンツをユーザーからメールアドレスの受信に応答して送信することができる。

【0119】

ユーザー端末は、ユーザーの意図、例えばコマンドを処理した後に、その結果を画面上に表示することによって、ユーザーは、自身の意図に適切な処理がなされたことを確認することができる。
一例として、ユーザー端末は、メール送信の完了を示すメッセージを表示しつつ、メール送信の内訳をリストに格納するか否かを尋ねる。ユーザーがリストに送信メールの内訳を格納するように要請する場合、ユーザー端末は、送信メールの内訳をリストに登録する。
上記したシナリオは、ユーザー端末がアプリケーション間の移動なしに、会議などを進行する過程でなされた手書きメモのコンテンツを当事者に伝送し、メッセージを伝送し、あるいは相互作用を通じて伝送されたメールの内訳を格納することでスループット向上を助けることができる。

【0120】

図１６Ａ及び図１６Ｂは、ユーザー端末がメモ機能による全体メモを送信するシナリオを説明するための図である。
図１６Ａ及び図１６Ｂを参照すると、ユーザーは、メモ機能により画面にメモを手書きする（書き込みメモ）。
その後、ユーザーは、全体メモをライン、シンボル、閉ループを用いて選択する（トリガリング）。例えば、ユーザーは、全体メモの周囲に閉ループを引く場合、閉ループ内のメモの全体コンテンツが選択されることを認識することができる。
ユーザーは、予め設定された又は直感的に認識可能なテキスト、例えば“テキスト送信”を手書きすることによって、選択したコンテンツに対するテキスト送信を要求する（書き込みコマンド）。

【0121】

ユーザーが入力した情報に基づいてＵＩを構成するＮＬＩエンジンは、ユーザーが選択された領域のコンテンツをテキストで送信しようとすることを認識する。
その後、これを認識したＮＬＩエンジンは、テキスト送信のための情報が不足すると判断してユーザーとの問答手順を通じて必要な情報をさらに取得する。
例えば、ＮＬＩエンジンは、テキストを送信する対象が誰であるか、例えば“誰に？”との質問をユーザーに提供する。
これに応答して、ユーザーがメモ機能を用いてテキストを受信する対象に関する情報を入力する。
この情報は、受信者の名前又は電話番号は、受信者に関する情報として直接入力することができる。図１６Ｂでは、「ＨＷＡ ＫＹＯＮＧ−ＫＩＭ」及び「ＪＵ ＹＵＮ−ＢＡＥ」は、受信者情報として入力される。

【0122】

ＮＬＩエンジンは、入力された名前住所録にユーザーにより直接に入力された名前「ＨＷＡ ＫＹＯＮＧ−ＫＩＭ」及び「ＪＵ ＹＵＮ−ＢＡＥ」に対応する電話番号を検出し、電話番号を受信対象として選択したメモコンテンツを有するテキストを送信する。
選択したメモコンテンツがイメージである場合、ユーザー端末は、イメージをテキストに変換して認識可能な形態にする手順を追加して遂行する。
上記したように、テキスト送信を完了すると、ＮＬＩエンジンは、処理結果を示す通知、例えばメッセージ“テキスト送信完了”を表示する。
したがって、ユーザーは、その処理が意図によって適切に完了することを確認する。

【0123】

図１７Ａ及び図１７Ｂは、ユーザー端末でメモ機能によりメモの一部に対する意味を検索するシナリオを説明するための図である。
図１７Ａ及び図１７Ｂを参照すると、ユーザーは、メモ機能により画面に手書きする（書き込みメモ）。
その後、ユーザーは、ライン、シンボル、閉ループなどを用いてメモの一部を選択する（トリガリング）。例えば、ユーザーは、単語周囲に閉ループを描いてメモの一部領域に記載された一つの単語を選択する。
ユーザーは、所定の又は直感的に認知可能なシンボル、例えば“？”を記載することによって選択したテキストの意味を要求する（書き込みコマンド）。

【0124】

ユーザーにより入力された情報に基づいたＵＩを構成するＮＬＩエンジンは、選択された単語の意味を探すために使用するエンジンをユーザに尋ねる。
このために、ＮＬＩエンジンは、ユーザーとの問答手順を使用する。
例えば、ＮＬＩエンジンは、画面上に“どの検索エンジン？”を表示してユーザーが検索エンジンを選択する情報を入力するように誘導する。
ユーザーは、メモ機能により応答として“ｗｉｋｉｐｅｄｉａ”を入力する。
したがって、ＮＬＩエンジンは、ユーザーの入力により検索エンジンとして“ｗｉｋｉｐｅｄｉａ”を使用しようとするユーザーの意図を認識する。
ＮＬＩエンジンは、“ｗｉｋｉｐｅｄｉａ”を用いて選択した“ＭＬＳ”の意味を確認し、その結果を表示する。したがって、ユーザーは、画面上に表示された情報から“ＭＬＳ”の意味を認識するようになる。

【0125】

図１８Ａ及び図１８Ｂは、ユーザー端末でメモ機能により他のアプリケーションの情報として記載されたメモの一部を登録するシナリオを説明するための図である。
図１８Ａ及び図１８Ｂを参照すると、ユーザーは、メモ機能により中国旅行のために準備する事項をＴｏＤｏリストに記載する（書き込みメモ）。
その後、ユーザーは、ライン、シンボル、閉ループを用いてメモの一部を選択する（トリガリング）。例えば、ユーザーは、テキスト周囲に閉ループを引いてメモの一部のうち“航空券の残りの料金を支払い”を選択する。
ユーザーは、所定の又は直感的に認識可能なテキスト、例えば“ＴｏＤｏリストに登録”と手書きすることによって選択したメモコンテンツの登録を要請する（書き込みコマンド）。

【0126】

ユーザーが入力した情報に基づいたＵＩを構成するＮＬＩエンジンは、選択された領域コンテンツに対応するタスクに対するスケジューリングを要請することがユーザーの意図であることを認識する。
その後、ＮＬＩエンジンは、スケジューリングのための情報が不足すると判定し、ユーザーとの問答手順を通じて必要な情報を取得する。
例えば、ＮＬＩエンジンは、該当スケジュールを処理する日程を問い合わせる質問、例えば“期日を入力”との質問をユーザーに提供する。
これに対応して、ユーザーは、メモ機能を用いて該当日程を処理する日付として“５月２日”を入力する。したがって、ＮＬＩエンジンは、スケジューリングのために、選択したコンテンツを５月２日まで処理する業務として格納する。
ユーザーの要請を処理した後に、ＮＬＩエンジンは、処理結果、例えばメッセージ“保存”を表示する。したがって、ユーザーは、自身の意図のように適切なプロセスが遂行されることを認識するようになる。

【0127】

図１９Ａ及び図１９Ｂは、ユーザー端末でメモ機能により記録されたメモをロック機能を用いて格納するシナリオを説明するための図である。
図１９Ｃは、ロック機能により格納されているメモを読み取るシナリオを説明するための図である。
図１９Ａ及び図１９Ｂを参照すると、ユーザーは、メモ機能により大阪旅行中にユーザーの経験を写真とメモを用いてユーザー端末の画面に手書きする（書き込みメモ）。
その後、ユーザーは、手書きしたコンテンツの一部又は全部をライン、シンボル、閉ループを用いて選択する（トリガリング）。例えば、ユーザーは、メモの周囲に閉ループを引いて全体メモを選択することができる。
ユーザーは、予め設定された又は直感的に認識可能なテキスト、例えば“ロック”を手書きしてロック機能により選択したメモコンテンツの登録を要請する。（書き込みコマンド）。

【0128】

ユーザー入力の情報に基づいたＵＩを構成するＮＬＩエンジンは、ユーザーがメモのコンテンツをロック機能により格納しようとすることを認知する。
すると、ＮＬＩエンジンは、情報がロック機能を設定するために不十分であると判定し、ユーザーとの問答手順を通じて必要な情報をさらに取得する。
例えば、ＮＬＩは、ロック機能を設定するためにパスワードを問う質問、例えば“パスワード入力”メッセージを画面に表示する。
ユーザーは、メモ機能により、ロック機能を設定するための応答としてパスワード“３２９５”を入力する。したがって、ＮＬＩエンジンは、選択したメモコンテンツをパスワード“３２９５”を用いて格納する。
ロック機能によりメモコンテンツを格納した後に、ＮＬＩエンジンは、処理結果、例えば“保存”メッセージを表示する。それによってユーザーは、自身の意図によって適切なプロセスがなされることを認識するようになる。

【0129】

図１９Ｃを参照すると、ユーザーは、ロック機能により格納されたメモのうちいずれか一つを選択する（選択メモ）。
ユーザーにより特定メモが選択されると、ＮＬＩエンジンは、選択されたメモを提供するためにパスワードが必要であると判定し、問答手順によりユーザーにパスワードの入力を誘導する（パスワード書き込み）。例えば、ＮＬＩエンジンは、ユーザーがパスワードを入力できるメモウィンドウを表示する。
ユーザーが有効なパスワードを入力する場合、ＮＬＩエンジンは、画面に選択したメモを表示する（メモ表示）。

【0130】

図２０は、ユーザー端末でメモ機能により記録した一部のメモを用いて特定機能を実行するシナリオを説明するための図である。
図２０を参照すると、ユーザーは、メモ機能によりユーザー端末の画面にメモを記録する（書き込みメモ）。
その後、ユーザーは、メモのうち一部をライン、シンボル、閉ループを用いて選択する（トリガリング）。例えば、ユーザーは、電話番号の周囲に閉ループを引いてメモの一部で電話番号“０１０−９５３０−０１６３”を選択する。
ユーザーは、予め設定された又は直感的に認識可能なテキスト、例えば“通話”を手書きすることによって、電話番号への通話を要求する（書き込みコマンド）。
ユーザーにより入力された情報に基づいてＵＩを構成するＮＬＩエンジンは、選択された電話番号を自然言語に翻訳して認知し、認知した電話番号“０１０−９５３０−０１６３”への電話通話を試みる。

【0131】

図２１Ａ及び図２１Ｂは、ユーザー端末でメモ機能により記録されたメモの一部を隠すシナリオを説明するための図である。
図２１Ａ及び図２１Ｂを参照すると、ユーザーは、メモ機能により自身が利用するウェブサイト別にＩＤとパスワードをユーザー端末の画面に手書きする（書き込みメモ）。
その後、ユーザーは、手書きしたメモのうち一部をライン、シンボル、閉ループを用いて選択する（トリガリング）。例えば、ユーザーは、パスワード周囲に閉ループを描いてメモのうち一部、すなわちパスワード“ｗｎｓｅ３２８１”を選択する。
ユーザーは、予め設定された又は直感的に認識可能なテキスト、例えば“ｈｉｄｅ”を手書きすることによって、選択したコンテンツを隠すことを要求する（書き込みコマンド）。

【0132】

上記したように、ユーザーが入力した情報に基づいてＵＩを構成するＮＬＩエンジンは、選択したメモコンテンツを隠すことがユーザーの意図であることを認知する。
ＮＬＩエンジンは、隠し機能を利用するために、追加情報が必要であると判断し、ユーザーとの問答手順を通じて必要な情報を取得する。例えば、ＮＬＩエンジンは、隠し機能を設定するためにパスワードを問う質問、例えば“パスワード入力”のメッセージを画面に出力する。
これに対する応答でユーザーがメモ機能を用いて隠し機能を設定するためのパスワードで“３２９５”を手書きする場合、ＮＬＩエンジンは、手書きした“３２９５”を自然言語に翻訳して認知した後、これを格納する。ＮＬＩエンジンは、選択されたメモコンテンツを隠すことによって、画面上に表示されないようにする。

【0133】

図２２は、ユーザー端末でメモ機能により記録したメモの一部を翻訳するシナリオを説明するための図である。
図２２を参照すると、ユーザーは、メモ機能を用いてユーザー端末の画面に手書きする（書き込みメモ）。その後、ユーザーは、手書きしたメモのうち一部をライン、シンボル、閉ループを用いて選択する（トリガリング）。例えば、下線を用いてメモがなされた全体領域のうち一部領域に記載された文章“明日午前１１時まで要求した文書受信”を選択する。
ユーザーは、予め設定した又は直感的に認知可能なテキスト、例えば“翻訳”として手書きすることによって、選択したコンテンツに対する翻訳を要求する（書き込みコマンド）。

【0134】

ユーザーにより入力された情報に基づいてＵＩを構成するＮＬＩエンジンは、選択したメモコンテンツに対する翻訳を要求する意図のあることを認知する。その後、ＮＬＩエンジンは、ユーザーとの問答手順を用いて翻訳する言語を指定することを要請する質問を画面に表示する。例えば、ＮＬＩエンジンは、画面上に‘どの言語？’メッセージを表示してユーザーが意図した言語を入力するように誘導する。
これに対応してユーザーがメモ機能を用いて“イタリア語”と手書きする場合、ＮＬＩエンジンは、ユーザーが意図する言語が“イタリア語”であることを認識する。
その後、ＮＬＩエンジンは、認識したメモコンテンツ、すなわち“明日午前１１時まで要求した文書受信”をイタリア語に翻訳して出力する。
それによって、ユーザーは、画面に要求した文章のイタリア翻訳を読み取る。

【0135】

図２３〜図２８は、所定のアプリケーションが駆動された後にメモ機能をサポートする他のアプリケーションを呼び出し、駆動されたアプリケーションを実行させるシナリオの例を説明するための図である。
図２３は、ユーザー端末のホーム画面でメモ階層を実行し、この画面上にメモ階層に特定アプリケーションを実行するシナリオを示す。
例えば、ユーザー端末は、ホーム画面にメモアプリケーションを実行してホーム画面にメモ階層をランチし、アプリケーション（例えば、アプリケーションの名称）「ＣＨＡＴＯＮ」に関する識別情報の受信によりアプリケーションを実行する。

【0136】

図２４は、ユーザー端末でメモ機能により特定アクティブアプリケーションの特定動作を制御するシナリオを示す。
例えば、メモ階層は、音楽再生アプリケーションが既に実行された画面でメモアプリケーションを実行させてランチされる。
その後、ユーザーが、画面上に希望する音楽題目“ＹＥＯＳＵ ＮＩＧＨＴ ＳＥＡ”を手書きする場合、ユーザー端末は、アクティブなアプリケーションで“ＹＥＯＳＵ ＮＩＧＨＴ ＳＥＡ”に対応する音源を再生する。

【0137】

図２５は、ユーザー端末でメモ機能によりアクティブな特定アプリケーションを制御するシナリオの例を示す。
例えば、ユーザーがビデオの視聴中にメモ階層で“４０：２２”にジャンプするために時間を記載する場合、ユーザー端末は、４０分２２秒の時点にジャンプして進行中であるビデオを再生する。
この機能は、ビデオ再生中以外にも音楽を聴取する中にも同一に遂行され得る。

【0138】

図２６は、ウェブブラウザがユーザー端末で実行中である間にメモ機能を用いる検索を試みるシナリオを示す。
例えば、ウェブブラウザを用いて特定ウェブページを読み取る間に、ユーザーは、画面に表示されたコンテンツの一部を選択し、メモ階層をランチした後に、メモ階層に単語“ＳＥＡＲＣＨ”を手書きすることによって、キーワードとして選択したコンテンツを用いて検索をコマンドする。
ＮＬＩエンジンは、ユーザーの意図を認識し、選択したコンテンツを自然言語処理を通じて理解する。
その後、ＮＬＩエンジンは、選択したコンテンツを用いて検索エンジンを用いて検索し、画面に検索結果を再生する。
上記したように、ユーザー端末は、特定アプリケーションを提供する画面での選択とメモ機能による情報入力を共に処理することができる。

【0139】

図２７は、メモ機能によりマップアプリケーションで所望の情報を取得するシナリオを示す。
例えば、ユーザは、メモ機能を用いてマップアプリケーションの画面で特定領域をその周囲に閉ループを引いて選択し、探すための情報、例えば“名所？”を手書きし、それによって選択された領域内の有名な場所に対する検索をコマンドする。
ユーザーの意図を認識する場合、ＮＬＩエンジンは、自身が保有したデータベース又はサーバのデータベースの有用な情報を検索し、現在の画面に表示されるマップ上に検索された情報を追加して表示する。

【0140】

図２８は、スケジュールアプリケーションが駆動されている間に、メモ機能により所望の情報を入力するシナリオを示す。
例えば、スケジュールアプリケーションが駆動されている間に、ユーザーは、メモ機能を実行して画面上にオフラインから直感的になされる情報を手書きする。
例えば、ユーザーは、スケジュール画面で閉ループを描いて特定日付を選択し、その日付のスケジュールを記載する。すなわち、ユーザーは、２０１２年８月１４日を選択し、その日付に対する“ＴＦワークショップ”を手書きする。
その後、ユーザー端末のＮＬＩエンジンは、追加情報として時間の入力を要請する。
例えば、ＮＬＩエンジンは、画面に質問“時間？”を表示し、それによって、ユーザーがメモ機能により“３：００ＰＭ”のような正確な時間、を手書きするように誘導する。

【0141】

図２９及び図３０は、記号学に関連したシナリオの例を示す。
図２９は、メモ機能により進行される問答手順のフローのコンテキストで手書きしたシンボルの意味を解析する一例を示す。
例えば、２個のメモ“イタリア出張”と“Ｉｎｃｈｅｏｎ→Ｒｏｍｅ”と共に記載された場合を仮定する。
シンボル“→”はある地域から他の地域への旅行として解析できるため、ユーザー端末のＮＬＩエンジンは、時間を問う質問、例えば“いつ？”をユーザーに出力する。
さらに、ＮＬＩエンジンは、ユーザーにより記載された日付、“４月５日”にＩｎｃｈｅｏｎからＲｏｍｅへ移動するために利用可能な飛行機に関する情報を検索し、その結果をユーザーに提供することができる。

【0142】

図３０は、メモ機能により記載されたシンボルの意味を駆動中であるアプリケーションと関連して解析する一例を示す。
例えば、地下鉄アプリケーションが駆動される画面でシンボル、すなわち矢印を用いてユーザーが出発地と目的地を直感的に表示する。
その後、ユーザー端末は、現在駆動中のアプリケーションにより目的地行きの電車の到着時間及び必要とする時間に関する情報を案内することができる。
上記したように、本発明は、多様なアプリケーションでメモ機能をサポートして該当アプリケーションを直感的に制御することによって、ユーザーの便宜性を向上させることができる。

【0143】

上記したシナリオは、メモ階層を画面上にランチしてメモ階層に情報を手書きする場合に、ユーザー端末は、その情報を認識して対応する動作を遂行することを特徴とする。
このために、追加的に画面上にメモ階層をランチするための技術を用意することが望ましい。
例えば、メモ階層は、メニューボタンの押し、特定ジェスチャの入力、タッチペンを押さえた状態、又は指で画面の上下スクローリングにより現在画面上にランチされ得る。
本発明の一実施形態では画面がメモ階層をランチするように上にスクロールされるが、他の多くの技術が使用可能である。

【0144】

本発明の実施形態ではハードウェア、ソフトウェア、これらの組み合わせで実現可能であることがわかる。
このようなソフトウェアは、データが削除可能であるか、あるいは再書き込み可能であるかに関係なく、ＲＯＭのような揮発性又は非揮発性メモリ装置、又はＲＡＭ、メモリチップ、デバイス、又は集積回路のようなメモリ、又はＣＤ、ＤＶＤ、磁気ディスク、又は磁気テープのような光学又は磁気的に記録可能であると同時に機械（例えば、コンピュータ）により読み取ることができる記憶媒体に保存することができる。

【0145】

さらに、本発明のユーザー端末でＵＩ装置及び方法は、制御部及びメモリを含むコンピュータ又は携帯端末により実現することができ、メモリは、本発明の実施形態を実現するためにコマンドを含むプログラムを格納するのに適合した機械読み取り可能な（コンピュータ読み取り可能な）記憶媒体の一例である。
したがって、本発明は、本発明の請求項により定められた装置又は方法を実現するための符号を実現するためのコードを含むプログラム、及びこのようなプログラムを格納する機械で読み取り可能な格納媒体を含む。このプログラムは、有線又は無線接続を通じて伝送される通信信号のような媒体を介して電気的に伝送でき、これに均等なものと共に本発明に含まれる。

【0146】

ユーザー端末におけるＵＩ装置及び方法は、有線又は無線で接続されるプログラム提供装置からプログラムを受信して格納することができる。
このプログラム提供装置は、本発明の実施形態を実現するためのコマンドを含むプログラム、本発明の実施形態に要求される情報を格納するメモリ、有線又は無線でＵＩ装置と通信する通信モジュール、及びＵＩ装置の要請時に又は自動で該当プログラムを送信する制御部を含むことができる。

【0147】

例えば、本発明の実施形態では、ＵＩを構成する認識エンジンは、認識結果に基づいてユーザーの意図を分析し、ユーザー意図に基づいた入力を処理する結果を提供し、これら機能はユーザー端末内で処理されると仮定する。
しかしながら、ユーザーは、本発明の実現に必要な機能をネットワークを介してアクセス可能なサーバとの連動により遂行することがさらに考慮される。
例えば、ユーザー端末は、認識エンジンの認識結果をネットワークを介してサーバへ提供する。その後、サーバは、受信した認識結果に基づいてユーザーの意図を把握してユーザー端末に提供する。

【0148】

追加情報がユーザーの意図又はそのプロセスにアクセスするために必要である場合、サーバは、端末との問答手順により追加情報を受信することができる。
また、ユーザーは、ユーザー端末の設定を調整することによって、本発明の動作をユーザー端末に限定し、あるいはネットワークを介してサーバとの連動に選択的に拡張することができる。

【0149】

以上、本発明の詳細な説明においては具体的な実施形態に関して説明したが、特許請求の範囲の記載及びこれと均等なものに基づいて定められる本発明の範囲及び精神を逸脱することなく、形式や細部の様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。

【符号の説明】

【0150】

２０ タッチペン
２１ ペン先
２２ ペンボディ
２３ コイル
２４ ボタン
１００ ユーザー端末
１１０ アプリケーション実行部
１２０ コマンド処理部
１３０ タッチパネル部
１３２ ディスプレイパネル
１３４ タッチパネル
１３６ ペン認識パネル
１４０ オーディオ処理部
１５０ メモリ
１５１ ペン機能プログラム
１５３ ペン機能テーブル
１６０ 制御部
１６１ 機能タイプ決定部
１６３ ペン状態決定部
１６５ ペン入力認識部
１６９ タッチ入力認識部
１７０ 通信モジュール
１８０ 入力部
２１０ 認識エンジン
２１２ 認識管理モジュール
２１４ 遠隔認識クライアントモジュール
２１５−１ 手書き認識ブロック
２１５−２ 光文字認識ブロック
２１５−３ オブジェクト認識ブロック
２１６ ローカル認識モジュール
２２０ ＮＬＩエンジン
２２２ 対話モジュール
２２４ 知能モジュール

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16A】

【図16B】

【図17A】

【図17B】

【図18A】

【図18B】

【図19A】

【図19B】

【図19C】

【図20】

【図21A】

【図21B】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】