【文献】
avi,Windows Mobile 6 アプリケーションブック 初版,株式会社毎日コミュニケーションズ 中川 信行,2009年 2月20日,第1版,p.92
【文献】
本間 一 Hajime Honma,はじめてのEvernote 初版,株式会社工学社 星 正明,2010年10月15日,第1版,pp.51-54,231,232
【文献】
栃尾 江美 EMI TOCHIO,Android情報活用術 初版,株式会社エムディエヌコーポレーション 藤岡 功,2011年 5月 1日,第1版,p.164
(58)【調査した分野】(Int.Cl.,DB名)
新しい音声録音機能を呼び出すための入力信号を受信した場合、前記新しい音声録音機能の活性化に応答して新しい音声録音機能表示領域を、既存の音声録音機能表示領域と区分して前記メモ作成画面上に出力する音声録音機能表示領域出力段階と、
前記音声録音機能が遂行されて音声録音が完了した時、録音された音声の内の少なくとも一部を音声認識し、テキストに変換した後、前記テキストの内の少なくとも一部を前記音声録音機能表示領域の題目として出力する段階と、
前記音声録音機能が遂行されて音声録音が完了した時、録音された音声の内の少なくとも一部を音声認識し、テキストに変換した後、前記テキストに含まれた単語のうち所定の頻度以上用いられる単語を前記音声録音機能表示領域に題目として出力する段階と、
前記音声録音情報が結合された前記メモ情報のみを抜粋し、前記抜粋された音声録音情報が結合されたメモ情報を前記音声録音機能表示領域の隣接する領域に音声録音補助メモ情報として配置する段階との内のいずれか1つの段階をさらに有することを特徴とする請求項1に記載のデータ複合記録機能サポート方法。
前記第1音声録音機能表示領域を前記表示ゾーン内に表示する段階は、前記第1音声録音機能表示領域上に前記第1音声録音機能による音声録音中の状態であることを表示し、音声録音完了を選択できるようサポートする第1制御マップを出力する段階と、
前記第1制御マップで音声録音完了ボタン選択による音声録音完了を指示し、録音された音声を再生できるようサポートする第2制御マップを出力する段階と、
前記第2制御マップで、録音された音声を再生するボタン選択による録音された音声再生を指示し、再生中の音声を一時停止又は停止ができるようサポートする第3制御マップを出力する段階と、
前記第3制御マップで一時停止するボタン選択による一時停止状態を指示し、さらに再生又は再生中止ができるようサポートする第4制御マップを出力する段階との内の少なくとも1つ段階を含むことを特徴とする請求項1に記載のデータ複合記録機能サポート方法。
前記第1音声録音機能表示領域を移動させるための入力信号発生時に、前記入力信号によって前記第1音声録音機能表示領域を前記メモ作成画面のうちの所定の位置に移動させる段階と、
前記第1音声録音機能表示領域を選択時に、前記第1音声録音機能表示領域を削除するための除去ボタンマップを出力する段階と、
前記メモ作成画面を拡大するための入力信号発生時に、前記第1音声録音機能表示領域を拡大された前記メモ作成画面の前記メモデータと重畳しない領域に配置整列させる段階との内のいずれか1つの段階をさらに有することを特徴とする請求項1に記載のデータ複合記録機能サポート方法。
オーディオ信号関連機能を活性化させるための入力信号と、前記オーディオ信号関連機能運用中にデータ複合記録機能を活性化させるための入力信号とを生成する入力部と入力機能をサポートするタッチパネルとの少なくとも1つと、
前記データ複合記録機能の活性化によってタッチ入力をメモデータとして表示可能な表示ゾーンと音声録音機能を活性化するために選択可能な音声録音アイコンとを含むメモ作成画面を出力する表示パネルと、
前記音声録音機能を呼出可能なメモ作成画面の出力を制御する制御部とを有し、
前記制御部は、前記音声録音アイコンを選択する入力に応答して、第1音声録音機能を活性化し、前記表示パネルが前記第1音声録音機能に対応する第1音声録音機能表示領域を前記メモデータと共に前記表示ゾーン内に表示するように制御し、
前記表示パネルは、第2音声録音機能を活性化するための入力に応答して、前記第2音声録音機能に対応する第2音声録音機能表示領域を、前記第1音声録音機能表示領域と区分して前記メモ作成画面上に出力することを特徴とするデータ複合記録機能サポート端末機。
前記第1音声録音機能が遂行されて音声録音が完了した時、前記音声録音完了のための入力信号発生時に録音された音声に基づいて生成された音声録音情報、該音声録音情報を前記メモ作成画面のメモ機能によるメモ情報と結合させて生成される複合記録情報を格納する格納部をさらに有することを特徴とする請求項7に記載のデータ複合記録機能サポート端末機。
前記制御部は、前記複合記録情報をサムネイルイメージに変換し、該サムネイルイメージを前記表示パネル上に具現されるマルチイメージ画面に出力するように制御することを特徴とする請求項8に記載のデータ複合記録機能サポート端末機。
前記制御部は、前記第1音声録音機能が遂行されて音声録音が完了した時、音声録音完了のための入力信号発生時に録音された音声の内の少なくとも一部を音声認識してテキストに変換し、前記テキストの内の少なくとも一部を前記第1音声録音機能表示領域の題目として出力するように制御し、
前記音声録音機能が遂行されて音声録音が完了した時、音声録音完了のための入力信号発生時に録音された音声の内の少なくとも一部を音声認識し、テキストに変換し、前記テキストに含まれた単語のうち一定頻度数以上の単語を前記音声録音機能表示領域に題目として出力するように制御することを特徴とする請求項7に記載のデータ複合記録機能サポート端末機。
前記表示パネルは、前記第1音声録音機能表示領域上に前記第1音声録音機能による音声録音中の状態であることを表示し、音声録音完了を選択できるようサポートする第1制御マップと、
前記第1制御マップで音声録音完了ボタン選択による音声録音完了を指示し、録音された音声を再生できるようサポートする第2制御マップと、
前記第2制御マップで録音された音声を再生するためのボタン選択による録音された音声再生を指示し、再生中の音声を一時停止又は停止ができるようサポートする第3制御マップと、
前記第3制御マップで一時停止のためのボタン選択による一時停止状態を指示し、さらに再生又は再生中止ができるようサポートする第4制御マップとの内の少なくとも1つを出力することを特徴とする請求項7に記載のデータ複合記録機能サポート端末機。
前記制御部は、前記音声録音情報から結合されたメモ情報のみを抜粋し、前記抜粋された前記メモ情報を前記第1音声録音機能表示領域の隣接する領域に音声録音補助メモ情報として配置することを特徴とする請求項7に記載のデータ複合記録機能サポート端末機。
前記表示パネルは、前記第1音声録音機能表示領域を移動させるための入力信号発生時に、前記入力信号によって前記メモ作成画面のうちの所定の位置に移動して表示する前記第1音声録音機能表示領域と、
前記第1音声録音機能表示領域を選択時に、前記第1音声録音機能表示領域を削除するための除去ボタンマップと、
前記メモ作成画面を拡大するための入力信号発生時に、拡大された前記メモ作成画面の前記メモデータと重畳しない領域に配置整列する前記音声録音機能表示領域との内の少なくとも1つを出力することを特徴とする請求項7に記載のデータ複合記録機能サポート端末機。
【発明を実施するための形態】
【0010】
次に、本発明に係るデータ複合記録機能サポート方法及びこれをサポートする端末機を実施するための形態の具体例を図面を参照しながら説明する。
【0011】
下記の説明では、本発明の実施形態による動作を理解するのに必要な部分だけが説明され、その他の部分の説明は、本発明の要旨を不明確にしないように省略することがあるに留意すべきである。
以下で説明される本明細書及び請求範囲に使用された用語や単語は、通常的または辞書的な意味に限定して解釈すべきものではなく、発明者は、自分の発明を最も最善の方法で説明するために用語の概念で適切に定義することができるという原則に即して本発明の技術的思想に符合する意味と概念として解釈されなければならない。
したがって、本明細書に記載した実施形態と図面に示した構成は、本発明の最も好ましい実施形態に過ぎないものであり、本発明の技術的思想をすべて代弁するものではないので、本出願時点においてこれらを代替することができる多様な均等物と変形例があり得ることを理解しなければならない。
【0012】
図1は、本発明の実施形態による端末機構成を概略的に示すブロック図である。
図1を参照すると、本発明の実施形態による端末機100は、無線通信部110、入力部120、オーディオ処理部130、タッチスクリーン140、格納部150、及び制御部160の構成を含む。
【0013】
このような構成を有する本発明の実施形態による端末機100は、データ複合記録機能をサポートするためにメモ機能と音声録音機能を同時サポートすることができ、この工程で記録されるメモ情報と音声録音情報を統合した複合記録情報を格納管理することができるようにサポートする。
特に、本発明の実施形態による端末機100は、オーディオ信号関連機能、例えば、無線通信部110基盤の通話機能運用中にメモ機能を活性化することができるようにサポートし、通話機能運用時に収集される音声を音声録音することができるようにサポートする。
また、端末機100は、収集された音声録音情報をメモ情報に含ませて複合記録情報を生成し、これを格納することができ、且つ複合記録情報検索時にメモ情報または音声録音情報のうち少なくとも1つに基づいて当該情報検索を行うことができるようにサポートする。
【0014】
無線通信部110は、音声通話のための通信チャネル形成及び画像通話のための通信チャネル形成、画像やメッセージなどのデータ伝送のための通信チャネル形成などを制御部160の制御の下に行う。
すなわち、無線通信部110は、音声通話チャネル、データ通信チャネル、及び画像通話チャネルを移動通信システム間に形成する。このために、無線通信部110は、送信する信号の周波数をアップコンバート及び増幅する無線周波数送信部と、受信した信号の周波数を低雑音増幅及びダウンコンバートする無線周波数受信部などを含むことができる。
【0015】
特に本発明の実施形態による無線通信部110は、音声通話、画像通話、データ通信機能の内のオーディオ信号を他の端末機または特定サーバーから受信し、これを制御部160に伝達することができる。
無線通信部110が受信したオーディオ信号は、ユーザ制御によって音声録音情報として格納することができる。
【0016】
一方、無線通信部110の運用中に本発明の実施形態によるデータ複合記録機能を活性化させることができる。
すなわち無線通信部110の運用中に音声録音機能を呼び出すことが可能なメモ作成画面が出力することができる。ユーザは、データ複合記録機能に基づいて無線通信部110を介して受信されたオーディオ信号を音声録音しながらメモ作成を同時に実行することができる。
【0017】
入力部120は、数字又は文字情報を入力して各種機能を設定するための多数の入力キー及び機能キーを含む。
機能キーは、特定機能を行うように設定された方向キー、サイドキー、及びショートカットキーなどを含むことができる。また、入力部120は、ユーザ設定及び端末機100の機能制御と関連したキー信号を生成し、制御部160に伝達する。
【0018】
このような入力部120は、多数のキーを含む「QWERTY」キーパッド、3×4キーパッド、4×3キーパッドなどで具現することができる。
また、入力部120は、タッチスクリーン140上に出力される「QWERTY」キーマップ、3×4キーマップ、4×3キーマップ、メニューマップ、制御キーマップなどで具現することができる。また、入力部120は、端末機100のタッチスクリーン140がフルタッチスクリーン形態でサポートされる場合、端末機100のケース側面に形成されるサイドキーのみを含むこともできる。
【0019】
特に本発明の実施形態による入力部120は、本発明の実施形態によるデータ複合記録機能を活性化するための入力信号、データ複合記録機能が活性化することによってメモ機能が活性化している間に音声録音機能の活性化を要請するための入力信号、音声録音完了のための入力信号、音声録音情報を当該メモ情報とともに複合記録情報として格納するための入力信号、格納された複合記録情報を検索するための入力信号などをユーザ制御によって生成することができる。生成された入力信号は、制御部160に伝達され、入力信号による機能運用実行をサポートする。
【0020】
オーディオ処理部130は、通話時に送受信されるオーディオデータ、受信されたメッセージに含まれたオーディオデータ、格納部150に格納されたオーディオファイル再生によるオーディオデータなどを出力するためのスピーカーSPKと、通話時にユーザの音声またはその他のオーディオ信号を収集するためのマイクMICを含む。
このようなオーディオ処理部130は、データ複合記録機能運用時、すなわちメモ機能が活性化された状態で音声録音機能サポートのためにマイクMICを活性化し、メモ作成中にオーディオ信号収集を行うことができる。収集された音声録音情報は、ユーザ制御によって当該メモ情報とともに複合記録情報として格納される。
【0021】
タッチスクリーン140は、表示パネル141とタッチパネル143を含む。
このようなタッチスクリーン140は、表示パネル141の前面にタッチパネル143が配置される構造を有することができる。
【0022】
表示パネル141は、端末機100の各種メニューを含めてユーザが入力した情報又はユーザに提供する情報を表示する。
すなわち表示パネル141は、端末機100の利用による多様な画面、例えば、待機画面、メニュー画面、メッセージ作成画面、通話画面などを提供することができる。このような表示パネル141は、液晶表示装置(Liquid Crystal Display)、OLED(Organic Light Emitted Diode)などで形成することができる。また、表示パネルは、タッチパネルの上部または下部に配置することができる。
【0023】
特に、本発明の実施形態による表示パネル141は、データ複合機能サポートインターフェースを提供する。
データ複合機能サポートインターフェースは、メモ機能活性化によるメモ作成画面インターフェース、メモ作成中の音声録音機能活性化による音声録音画面インターフェース、音声録音完了によって音声録音情報が添加されたメモ作成画面インターフェース、作成されたメモ情報をマルチイメージに出力する画面インターフェースなどを含む。
また、表示パネル141は、データ複合機能運用によって生成された複合記録情報検索のための画面インターフェースを提供することもできる。表示パネル141を介して出力される多様な画面インターフェースについては、後述にて、図面を参照しながらさらに詳しく説明する。
【0024】
タッチパネル143は、表示パネル141の前面又は後面のうち少なくとも一方に配置され、タッチする物体、例えばユーザの指の接触によってタッチイベントを生成し、生成されたタッチイベントを制御部160に伝達する。
この際、タッチパネル143を構成するセンサーは、マトリックス形態で配列され、タッチパネル上で発生するタッチイベントに対して当該位置情報とタッチイベントの種類に対する情報が制御部160に伝達される。
【0025】
特にタッチパネル143は、本発明の実施形態によるデータ複合記録機能が活性化される場合、メモ作成画面に対するタッチ機能のサポートを行うことができる。
すなわち本発明の実施形態によるタッチパネル143は、メモ作成画面が出力された状態で文字や線又はイメージなどを出力することができるようにするタッチイベント生成をサポートすることができる。
また、タッチパネル143は、音声録音情報に対応するイメージがメモ作成画面に出力される場合、当該音声録音情報に対応するイメージ上に特定メモ情報が作成されないように制限することができる。そしてまた、タッチパネル143は、タッチイベント特性によって音声録音情報に対応するイメージ上に一部の特定メモ情報が記入されるように許可することもできる。
【0026】
格納部150は、本発明の実施形態による機能動作に必要な多様なアプリケーションプログラムを含めて、タッチスクリーン140の運用のためのキーマップやメニューマップなどを格納することができる。
ここで、キーマップ、メニューマップは、それぞれ多様な形態になることができる。すなわち、キーマップは、キーボードマップ、3×4キーマップ、「QWERTY」キーマップなどにすることができ、現在活性化されているアプリケーションプログラムの運用制御のための制御キーマップになることができる。また、メニューマップは、現在活性化されているアプリケーションプログラム運用制御のためのメニューマップになることができる。このような格納部150は、大きくプログラム領域とデータ領域を含むことができる。
【0027】
プログラム領域は、端末機100の起動及び上述した各構成の運用のためのオペレーティングシステム(OS、Operating System)、端末機100の多様なユーザ機能サポートのためのアプリケーションプログラム、例えば多様なファイルを再生するためのアプリケーションプログラム、端末機100の通話機能サポートのためのアプリケーションプログラム、インターネットサーバーに接続するためのウェブブラウザ、その他音源を再生するためのMP3アプリケーションプログラム、写真などを検索するためのイメージ出力アプリケーションプログラム、動画再生アプリケーションプログラムなどを格納することができる。特に、本発明の実施形態によるプログラム領域は、複合記録機能サポートプログラム159を含むことができる。複合記録機能サポートプログラム159は、メモサポートプログラム151、音声録音サポートプログラム153を含むことができる。
【0028】
メモサポートプログラム151は、端末機100のメモ作成機能及びデータ複合記録機能サポートのためのプログラムである。
メモサポートプログラム151は、メモ作成画面出力ルーチン、メモ作成サポートルーチン、作成されたメモを格納するルーチンを含むことができる。
また、メモサポートプログラム151は、メモ作成画面が出力された状態で音声録音機能を呼び出すことができるように一定メニューを提供するルーチン、音声録音機能呼出によって音声録音情報が生成される場合、少なくとも1つの音声録音情報を作成中のメモ作成画面に追加するルーチン、メモ格納入力信号によって音声録音情報が追加されたメモ情報を複合記録情報として格納するルーチンを含む。
【0029】
ここで、メモサポートプログラム151は、複合記録情報をサムネイル(thumb−nail)イメージに変換し、これをマルチイメージ画面に表示するルーチンを含むことができる。
また、メモサポートプログラム151は、通話中にデータ複合記録機能を呼び出すことができるようにするボタンマップ出力ルーチンを含むことができる。
【0030】
音声録音サポートプログラム153は、音声録音機能をサポートするプログラムであり、特にメモ作成中に音声録音をサポートするプログラムである。
このような音声録音サポートプログラム153は、メモ作成画面がサポートされている状態で特定のメニュー選択によって音声録音機能を活性化させるルーチン、録音完了信号によって録音された情報に基づいて音声録音情報を生成するルーチン、生成された音声録音情報をメモサポートプログラム151に提供するルーチンを含むことができる。
【0031】
特に音声録音サポートプログラム153は、生成された音声録音情報に含まれたオーディオ信号をテキストに変換し、変換されたテキスト情報のうち少なくとも一部をメモ作成画面の一側に出力するようにサポートする題目サポートルーチン、音声録音情報を指示する音声録音機能表示領域の移動をサポートするルーチン、再生要請によって音声録音機能表示領域にリンクされた音声録音情報を再生するルーチンなどを含むことができる。
また、音声録音サポートプログラム153は、音声録音状態を指示する多様な制御マップを出力するルーチンを含むことができる。
【0032】
題目サポートルーチンは、オーディオ信号から変換されたテキスト情報のうち最初の時点から所定の長さのテキストを当該音声録音情報の題目に割り当てるサブルーチンと、割り当てられた題目情報を当該音声録音機能表示領域に適用して出力するサブルーチンとを含むことができる。
また、題目サポートルーチンは、テキスト情報のうち一定の回数以上繰り返された単語を抽出し、抽出された単語を当該音声録音情報の題目に割り当てるサブルーチンと、当該題目を音声録音機能表示領域に出力するサブルーチンとを含むことができる。
【0033】
データ領域は、端末機100の使用によって発生するデータを格納する領域であって、フォンブック(phonebook)データ、ウィゼット(widget)機能に関連する少なくとも1つのアイコン、及び多様なコンテンツを格納することができる。
また、データ領域は、タッチパネル143を介して入力されるユーザ入力を格納することができる。
特にデータ領域は、複合記録情報155を格納することができる。複合記録情報155は、メモ機能及び音声録音機能に基づいて作成された情報からなることができる。すなわち複合記録情報155は、メモ情報と音声録音情報が混合された形態になることができる。さらに、データ領域は、音声認識機能サポートのためのデータを格納することができる。
【0034】
制御部160は、端末機100の各構成への電源供給を制御し、初期化工程を行うようにサポートする。
また、制御部160は、端末機100のデータ複合記録機能活性化に必要な多様な信号フローを制御する。このために、制御部160は、以下の
図2に示すような構成を含むことができる。
【0035】
図2は、本発明の実施形態による制御部160の構成をより詳しく示すブロック図である。
図2を参照すると、本発明の実施形態による制御部160は、メモ作成サポート部161、音声録音サポート部163、オーディオ信号関連機能サポート部165の構成を含むことができる。
【0036】
メモ作成サポート部161は、端末機100のメモ機能をサポートすることができ、特に本発明の実施形態によるデータ複合記録機能のうち端末機100のメモ機能サポートを行う。
このようなメモ作成サポート部161は、メモ機能活性化のためのメニュー項目又はウィゼット項目を提供し、当該項目を活性化する入力信号が発生すれば、メモ作成画面を表示パネル141に出力するようサポートする。特に、メモ作成サポート部161は、オーディオ信号関連特定ユーザ機能、例えば通話機能、音声録音機能などが活性化される場合、表示パネル141にデータ複合記録機能のうちメモ機能活性化のためのリンクイメージやボタンマップを出力するようサポートする。
【0037】
一方、メモ作成サポート部161は、データ複合記録機能によるメモ作成工程で音声録音機能を利用することができるようにメモ作成画面に音声録音機能活性化のためのリンクイメージやボタンマップを出力するようサポートする。
また、音声録音機能が呼び出しされれば、メモ作成サポート部161は、当該音声録音機能が活性化中に、音声録音完了による音声録音情報を指示するイメージをメモ作成画面の所定位置に出力するようにサポートする。
【0038】
例えば、メモ作成サポート部161は、音声録音情報を音声録音機能表示領域に出力するようにサポートし、ユーザ制御によって当該音声録音機能表示領域をメモ作成画面領域上で移動させることができるようにサポートする。
また、メモ作成サポート部161は、端末機の状態変更、例えば縦モードから横モードへの変更又はその反対の変更が発生すれば、当該音声録音機能表示領域を変化された画面の比率に合わせてサイズを調整することができる。
また、メモ作成サポート部161は、画面のズームイン又はズームアウト入力信号によってメモ作成画面のサイズが変更される場合、音声録音機能表示領域のサイズを当該画面変化に適応するように変化させるよう制御することができる。
【0039】
メモ作成サポート部161は、メモ作成画面終了によって作成された複合記録情報を格納する場合、当該複合記録情報をサムネイルイメージに変換する。
また、メモ作成サポート部161は、情報検索のために当該サムネイルイメージをマルチイメージ画面上に出力するようにサポートすることができる。この際、サムネイルイメージには、作成されたメモ内容だけでなく、音声録音機能表示領域に対応するイメージをも含ませることができる。
【0040】
さらに、メモ作成サポート部161は、複合記録情報に含まれたメモ内容から音声録音機能表示領域を除外させ、メモ内容だけが含まれたイメージをサムネイルイメージに変換し、当該サムネイルイメージが音声録音情報を含むイメージであることを指示するインデックスを当該サムネイルイメージの少なくとも一部に示すようにサポートすることができる。また、メモ作成サポート部161は、当該メモ情報に対応するサムネイルイメージをマルチイメージ画面に出力し、且つ、当該サムネイルイメージの隣接した領域上に音声録音情報を別途表示するようにサポートすることができる。
【0041】
音声録音サポート部163は、端末機100の音声録音機能をサポートし、特に本発明の実施形態によるデータ複合記録機能のうち音声録音機能をサポートする構成である。
特に音声録音サポート部163は、データ複合記録機能によってメモ作成画面が提供された状態で音声録音機能をサポートすることができる。このような音声録音サポート部163は、ユーザによる音声録音機能を活性化させるための入力信号を受信した場合、音声録音実行と関連した制御マップをメモ作成画面の一部に出力するようサポートする。
ここで、制御マップは、音声録音状態によって多様な形態で出力することができる。制御マップと関連した画面インターフェースについては、後述にて図面を参照してさらに詳しく説明する。
【0042】
一方、音声録音サポート部163は、音声録音完了のための入力信号が発生すれば、格納された音声録音に基づいて音声録音情報を生成する。
この過程で、音声録音サポート部163は、音声録音の全体時間情報と日付情報を収集し、当該音声録音情報に含ませるように制御することができる。
また、音声録音サポート部163は、音声録音情報の題目を任意の題目として記入することができる。
特に音声録音サポート部163は、音声録音情報に含まれた音声のうち少なくとも一部
を音声認識することができる。
【0043】
このために、音声録音サポート部163は、格納部150に格納された音声認識データベースを利用することができる。音声認識が完了すれば、音声録音サポート部163は、音声認識された内容のうち少なくとも一部を音声録音機能表示領域上に題目として記入するようにサポートすることができる。これにより、メモ作成サポート部161によって出力されているメモ作成画面には、音声認識された特定のテキストが題目として記入された音声録音機能表示領域を出力することができる。
さらに、音声録音サポート部163は、音声認識された内容から一定の頻度数以上の単語を検索し、最も多い頻度数を有する単語または一定の頻度数以上を有する単語を題目に割り当てることができる。
【0044】
また、音声録音サポート部163は、音声録音情報を生成するとき、音声録音中に記入されたメモ情報だけを収集し、当該音声録音情報に含ませるように制御することができる。これにより、メモ作成画面には、音声録音機能表示領域が出力されると共に、音声録音機能表示領域に隣接する領域に一部のメモ情報が音声録音補助メモ情報として配置される。
音声録音過程で別に作成されたメモがない場合、メモ作成サポート部161により音声録音機能表示領域だけがメモ作成画面に出力される。
【0045】
オーディオ信号関連機能サポート部165は、本発明の実施形態によるオーディオ信号関連機能、例えば通話機能、音声録音機能、放送受信機能、ラジオ機能などをサポートする構成である。
特にオーディオ信号関連機能サポート部165は、特定のオーディオ信号関連機能サポート時に表示パネル141にデータ複合機能呼び出しのためのリンクイメージやボタンマップを出力するようにサポートする。
また、ユーザ制御によってデータ複合機能呼び出しのための入力信号が発生した場合、オーディオ信号関連機能サポート部165は、呼び出しのための入力信号特性によってメモ作成サポート部161及び音声録音サポート部163のうち少なくとも1つの構成を呼び出すことができる。
【0046】
一方、オーディオ信号関連機能サポート部165によるオーディオ信号関連機能が終了した場合、メモ作成サポート部161又は音声録音サポート部163によりサポートされるメモ機能及び音声録音機能は、その時点までの情報を自動格納するようにサポートすることができ、さらに、ユーザ設定や設計者の意図によってメモ機能及び音声録音機能が自動終了するようにサポートすることもできる。または、メモ作成サポート部161及び音声録音サポート部163は、メモ機能及び音声録音機能が一定の時間維持されるように制御することもできる。
【0047】
上述したように、本発明の実施形態によるデータ複合記録サポート端末機は、メモ機能運用工程で音声録音機能を複合的に運用することができるようにサポートし、音声録音機能によって収集された音声録音情報を当該メモ機能によるメモ情報に含ませて複合記録情報として格納することができるようにサポートする。
これにより、ユーザは、通話機能などオーディオ信号収集が可能な機能運用時にメモ機能とともに音声録音機能を容易に運用することができる。また、メモ情報と音声録音情報が一緒に格納及び管理されることによって、情報検索時にユーザは、音声録音情報又はメモ情報のうち少なくとも1つに基づいてさらに容易な情報検索を行うことができる。
【0048】
図3は、本発明の実施形態によるデータ複合記録機能サポート方法を説明するためのフローチャートである。
図3を参照すると、本発明の端末機100の制御部160は、ステップS301で、電源部から供給される電源を端末機の各構成に供給するように制御する。
【0049】
次に、制御部160は、ステップS303で、オーディオ信号関連機能、例えば通話機能や録音機能の活性化のための入力信号の発生可否を確認する。
この段階で、オーディオ信号関連機能と関連がない入力信号が発生すれば、制御部160は、ステップS305に分岐し、当該入力信号に対応するユーザ機能、例えばファイル検索機能、ウェブ接続機能などを行うようにサポートする。
【0050】
一方、ステップS303で、オーディオ信号関連機能活性化のための入力信号の発生を確認した場合、制御部160は、ステップS307に分岐し、データ複合記録機能選択のための入力信号の発生可否を確認する。
この工程で、データ複合記録機能呼び出しのための入力信号の発生がない場合、制御部160は、ステップS309に分岐し、当該オーディオ信号関連機能を行うようにサポートする。すなわち制御部160は、通話機能、音声録音機能、放送受信機能、ラジオ機能などステップS303で選択された機能に対応するオーディオ信号出力をサポートし、必要に応じてそれに対応する画面出力をサポートする。
【0051】
一方、ステップS307で、データ複合記録機能呼び出しのための入力信号が発生した場合、制御部160は、ステップS311で、データ複合記録機能サポートのための画面インターフェースを表示パネル141に出力するようにサポートする。
ここで、データ複合記録機能サポートのための画面インターフェースは、音声録音機能を呼び出すことができる入力信号生成が可能なメモ作成画面になる。制御部160は、当該画面インターフェースが出力された状態でメモ作成のための入力信号、すなわち多様なタッチイベントが発生すれば、当該タッチイベントに対応するメモ作成をサポートする。
【0052】
一方、制御部160は、ステップS313で、音声録音機能活性化のための入力信号の発生があるか否かを確認する。
この段階で、音声録音機能活性化のための入力信号が発生した場合、制御部160は、ステップS315に分岐し、音声録音機能を活性化するように制御する。
この際、制御部160は、音声録音機能が活性化されたことを指示するイメージをメモ作成画面上に出力するようサポートすることができる。また、制御部160は、音声録音機能が活性化している状態でも、メモ機能によるメモ作成をサポートすることができる。
【0053】
制御部160は、音声録音完了のための入力信号が発生すれば、収集された音声録音に基づいて音声録音情報を生成し、当該音声録音情報に該当するメモ作成画面変更を行う。
すなわち制御部160は、音声録音情報に該当する音声録音機能表示領域をメモ作成画面上に出力するようサポートする。
【0054】
次に、制御部160は、ステップS317で、データ複合記録機能終了のための入力信号の発生があるか否かを確認し、当該入力信号の発生がない場合、ステップS311の前に分岐して戻り、後続工程を再実行するようサポートする。
一方、データ複合記録機能終了のための入力信号が発生すれば、制御部160は、ステップS303の前に分岐して戻り、後続工程を行うようサポートする。
【0055】
以上では、本発明の実施形態によるデータ複合記録機能サポート端末機及びその運用によるデータ複合記録機能サポート方法を説明した。
以下では、本発明の実施形態によるデータ複合記録機能運用時に出力される画面インターフェースについて説明する。
【0056】
図4は、本発明の実施形態によるデータ複合記録サポート機能のうち当該機能呼び出しと関連した画面インターフェースの一例を示す図である。
ユーザは、端末機100の運用においてオーディオ信号関連機能、例えば通話機能を運用することができる。すなわち他の端末機から通話接続要請が来て応答するか、または他の端末機に要請した通話要請の応答を受信する場合、端末機100は、他の端末機と通話チャネルを形成し、通話機能をサポートする。この際、端末機100は、
図4に示すような画面を通話中に表示パネル141に出力するようサポートすることができる。
【0057】
特に端末機100の制御部160は、通話中に画面出力過程で本発明の実施形態によるデータ複合記録機能を活性化することができるリンクイメージ又はボタンマップ30を画面の一部に出力するようサポートすることができる。
ユーザは、通話中に画面でボタンマップ30を選択する入力信号、例えば当該ボタンマップ30を選択するタッチイベントを生成し、データ複合記録機能を活性化するよう制御する。
【0058】
制御部160は、ユーザが当該ボタンマップ30を選択し、データ複合記録機能を活性化するよう要請した場合、通話機能を維持した状態でデータ複合記録機能サポートのための画面インターフェースを出力するようサポートする。
この際、制御部160は、通話機能をバックグラウンドプロセッシングを通じて維持するように制御する。
【0059】
図5は、本発明の実施形態によるデータ複合記録機能画面インターフェースの一例を示す図である。
図5を参照すると、表示パネル141は、データ複合記録機能のうちメモ機能に対応するメモ作成画面40を表示する。
メモ作成画面40には、<501>画面に示すようにメモ作成が可能なメモ領域41と、メモ作成と関連したツールを選択することができるツール領域45と、複合機能呼び出しのための呼出領域42とを含むことができる。
【0060】
複合機能呼び出しのための呼出領域42には、カメラ機能呼び出しのためのカメラアイコン31、音声録音機能呼び出しのための音声録音アイコン33、特殊機能呼び出しのための特殊機能アイコン35を含むことができる。
<501>画面で、ユーザは、本発明の実施形態によるデータ複合記録機能運用のために音声録音アイコン33を選択して入力信号を生成することができる。
【0061】
表示パネル141は、<503>画面のように、音声録音機能が適用された画面インターフェースを出力することができる。
特に表示パネル141は、音声録音機能サポート状態を指示する音声録音機能表示領域50を出力することができる。音声録音機能表示領域50は、メモ領域41上の所定の領域に出力することができ、特に既に作成されたメモ情報46と重畳しない所定の領域上に出力することができる。音声録音機能表示領域50は、音声録音と関連した多様な状態を指示するように特定インデックスやイメージなどを含む形態で出力することができる。特に<503>画面のように、音声録音中の場合、音声録音機能表示領域50は、音声録音中であることを指示するインデックスまたは音声録音進行時間などを表示することができる。
【0062】
ユーザは、音声録音完了のための入力信号を生成することができる。
特にユーザは、<503>画面で、音声録音機能表示領域50の中止ボタン、例えば四角形形状のイメージを選択し、音声録音完了を行うことができる。それにより、表示パネル141は、<505>画面のように、録音された音声で音声録音情報を生成し、且つ当該音声録音機能表示領域50に題目を記入することができる。
このために制御部160は、録音された音声の少なくとも一部を音声認識してテキストに変換し、変換されたテキストのうち少なくとも一部の内容を音声録音機能表示領域50に題目として記入するよう制御することができる。
【0063】
図6は、本発明の実施形態による音声録音機能表示領域50に出力される多様な制御マップを示す図である。
図6を参照すると、本発明の実施形態による音声録音機能表示領域50に表示される制御マップは、音声録音機能活性化によって音声録音中であることを指示し、音声録音完了を選択することができるようサポートする第1制御マップ601と、第1制御マップ601で音声録音完了ボタン、例えば四角形イメージボタンを選択することによって音声録音完了を指示し、録音された音声を再生することができるようサポートする第2制御マップ603とを含むことができる。
【0064】
また、本発明の実施形態による制御マップは、第2制御マップ603で録音された音声を再生するためのボタン、例えば三角形イメージボタン選択による録音された音声再生を指示し、再生中の音声を一時停止又は停止させることができるようサポートする第3制御マップ605を含むことができる。
また、本発明の実施形態による制御マップは、第3制御マップ605で一時停止のためのボタン、例えば「II」イメージボタン選択による一時停止状態を指示し、さらに再生又は再生中止することができるようサポートする第4制御マップ607を含むことができる。
【0065】
ユーザは、上述した多様な制御マップに基づいて音声録音、録音された音声の再生、再生中の停止又は一時停止などを行うことができる。このような多様な制御マップは、
図5で説明したメモ作成画面40のメモ領域41上でユーザ制御によって変更されながら出力することができる。
【0066】
図7は、本発明の実施形態によるデータ複合記録機能による音声録音機能を説明するためのインターフェース画面を示す図である。
図7を参照すると、本発明の実施形態による表示パネル141は、複数の音声録音機能表示領域51、53を出力することができる。
このためにユーザは、
図5の<505>画面が出力された状態でさらに追加して音声録音機能を活性化するように制御することができる。すなわち端末機100がオーディオ信号関連機能をサポートしている間に、ユーザの音声録音機能運用によって第1音声録音情報が生成されれば、端末機は、
図5の<505>画面のように、第1音声録音機能表示領域51を出力することができる。
【0067】
その後、ユーザは、呼出領域42にあるアイコンのうち音声録音アイコン33を再選択し、さらに追加して音声録音を行うことができる。
それにより、制御部160は、新しい音声録音機能の活性化によって第2音声録音機能表示領域53を表示パネル141に出力するようサポートする。この際、制御部160は、第2音声録音機能表示領域53を第1音声録音機能表示領域51と区別される領域上に出力するようサポートする。
【0068】
一方、第2音声録音機能が完了すれば、制御部160は、録音された音声で第2音声録音情報を生成し、且つ、図に示すように第2音声録音機能表示領域53上に題目を記入する。この工程で、第1音声録音機能表示領域51上への題目出力工程と同様に、制御部160は、新たに録音された第2音声録音情報のうち少なくとも一部を音声認識してテキストに変換し、変換されたテキストのうち少なくとも一部の内容を題目として第2音声録音機能表示領域53に出力するようサポートする。
【0069】
図8は、本発明の実施形態によるデータ複合記録機能のうちメモ機能を説明するためのインターフェース画面を示す図である。
図8を参照すると、ユーザがデータ複合記録機能を運用するための入力信号を生成すれば、端末機100は、<801>画面のように、メモ機能運用のためのメモ作成画面40を表示パネル141に出力する。
【0070】
この際、メモ作成画面40は、音声録音機能を呼び出すことができる音声録音アイコン33を出力することができる。ユーザは、音声録音アイコン33の選択を行い、音声録音を行うことができ、音声録音完了時、制御部160は、図に示すように、音声録音よる音声録音機能表示領域50をメモ作成画面40上に出力するようサポートする。特に制御部160は、メモ情報46が記入されていないメモ領域41に音声録音機能表示領域50を出力する。
【0071】
一方、ユーザは、音声録音機能が完了した後にもメモ作成を行うことができる。
このために制御部160は、<803>画面のように、音声録音機能が完了した後でも、メモ作成のためのメモ作成画面40を表示パネル141に出力するようサポートする。
それにより、ユーザは、メモ領域41上にさらに追加メモ情報47を記入することができる。この際、ユーザは、音声録音機能表示領域50が出力されていないメモ領域41にメモを作成することが好ましい。ここで、ユーザが追加メモ情報47を記入する過程で追加メモ情報47の少なくとも一部が音声録音機能表示領域50に重畳しても、制御部160は、これを許容するように制御する。すなわち制御部160は、追加メモ情報47作成のためのタッチイベントが音声録音機能表示領域50を経て発生しても、これを有効なタッチイベントとして認識し、それによる追加メモ情報47の適用を行うことができる。
【0072】
但し、制御部160は、<805>画面のように、音声録音機能表示領域50上で発生するタッチイベントに対しては無効処理する。すなわち制御部160は、音声録音機能表示領域50が出力された位置上で発生するタッチイベントを無効処理し、別途の追加メモ情報47が作成されないよう制御することができる。
この工程で、制御部160は、追加メモ情報47の記入不可を案内する案内音や振動アラームを出力するよう制御することができる。一方、制御部160は、音声録音機能表示領域50のうち制御マップ領域603でタッチイベントが発生した場合、当該音声録音機能表示領域50にリンクされた音声録音情報を再生するように制御する。
【0073】
図9は、本発明の実施形態によるデータ複合記録機能のうち画面転換機能を説明のためのインターフェース画面を示す図である。
図9を参照すると、表示パネル141は、本発明の実施形態によるデータ複合記録機能運用によって<901>画面のようにメモ情報46と音声録音機能表示領域50が出力されるメモ作成画面40を出力する。ここで、ユーザは、メモ作成画面40を拡大するためのタッチイベント生成を行うことができる。例えば、ユーザは、メモ作成画面40上でズームインイベントを生成させるためのタッチ動作を行うことができる。
【0074】
それにより、制御部160は、タッチ動作の移動距離と速度に対応する画面拡大を行うことができる。すなわち制御部160は、<903>画面のように、ズームインイベントが発生した地点を中心に一定の比率に拡大された画面を出力する。この際、制御部160は、音声録音機能表示領域50を別途の画面拡大なしに以前の状態を維持するように制御することができる。且つ、制御部160は、メモ情報46の拡大によって音声録音機能表示領域50の位置を変更するよう制御することができる。すなわち制御部160は、メモ情報46の拡大によって音声録音機能表示領域50がメモ情報46と重畳しないように位置移動させることができる。
【0075】
一方、ユーザは、端末機100の運用中に縦モードから横モードへの状態変更のための動作を行うことができる。
それにより、端末機100は、<905>段階のように、横モード状態に配置することができる。且つ、端末機100は、横モードによって表示パネル141の出力をサポートする。
特に制御部160は、<903>画面で出力されていた縦画面を横画面に転換して表示パネル141に出力されるよう制御する。この際、制御部160は、音声録音機能表示領域50を横モードに対応するように調整することができる。例えば、制御部160は、音声録音機能表示領域50の一定領域を少なくとも一方向に拡張して表示されるよう制御することができる。また、制御部160は、横モード転換によって音声録音機能表示領域50がメモ情報46と重畳しないように画面位置の整列を行うことができる。
【0076】
図10は、本発明の実施形態によるデータ複合記録機能のうち移動機能を説明するためのインターフェース画面の図である。
図10を参照すると、表示パネル141は、<1001>画面のように、音声録音機能表示領域50とメモ情報46が一緒に出力されるメモ作成画面40を出力する。
【0077】
この際、ユーザは、音声録音機能表示領域50をメモ作成画面40の任意の領域に出力することを所望することができる。このために、ユーザは、音声録音機能表示領域50の選択のための入力信号を生成することができる。すなわちユーザは、音声録音機能表示領域50が出力された領域上で一定のタッチイベント、例えばロングタッチ、複数のタップタッチなどを行う。
【0078】
それにより、制御部160は、<1003>画面のように、音声録音機能表示領域50が選択されたことを指示する画面効果を提供する。すなわち制御部160は、音声録音機能表示領域50をボックス処理するか、ハイライト処理するか、または色反転処理するように制御することができる。且つ、制御部160は、当該音声録音機能表示領域50を除去することができる除去ボタンマップ55を当該音声録音機能表示領域50の隣接領域に出力するようサポートすることができる。
【0079】
もし、音声録音機能表示領域50を除去しようとする場合、ユーザは、除去ボタンマップ55を選択して除去することができる。
除去ボタンマップ55の選択のための入力信号が発生すれば、制御部160は、音声録音機能表示領域50の除去だけでなく、音声録音機能表示領域50にリンクされた音声録音情報まで一緒に除去するように制御することができる。
【0080】
一方、音声録音機能表示領域50が選択されれば、ユーザは、タッチムーブ動作、すなわちドラッグイベントを生成させて選択された音声録音機能表示領域50をメモ作成画面40の任意の領域に移動配置させることができる。例えば、ユーザは、<1005>画面のように、選択された音声録音機能表示領域50をメモ作成画面40の下端に配置させるように動作させることができる。その後、タッチ解除イベントが発生すれば、制御部160は、音声録音機能表示領域50をメモ作成画面40の下端に固定させるように制御する。
【0081】
図11は、本発明の実施形態によるデータ複合記録機能のうち音声録音機能表示領域の他の運用形態を説明するためのインターフェース画面を示す図である。
図11を参照すると、表示パネル141は、ユーザ制御によって音声録音機能呼び出しが可能なメモ作成画面40に該当するデータ複合記録機能画面インターフェースを<1101>画面のように出力する。
【0082】
この際、制御部160は、オーディオ信号関連機能が維持されるように制御することができる。ユーザは、メモ作成画面40で音声録音アイコン33選択のためのタッチ動作を行うことができる。
それにより、制御部160は、<1103>画面のように、音声録音機能を活性化しながら音声録音機能が進行中であることを示す音声録音機能表示領域50をメモ作成画面40の一部に出力するようサポートする。これにより、制御部160は、外部より受信したオーディオ信号又はマイクMICが収集するオーディオ信号などを音声録音するように制御することができる。一方、ユーザは、<1103>画面のように、音声録音中にもメモ作成を行うことができる。それにより、制御部160は、音声録音中に追加されたメモ情報48をメモ作成画面40に出力することができる。
【0083】
音声録音を完了させるために、ユーザは、音声録音機能表示領域50の制御マップ領域601を利用する。すなわちユーザは、音声録音完了のための制御マップ領域601の選択を行うことができる。それにより、制御部160は、<1105>画面のように、音声録音中に追加されたメモ情報48を抜粋し、音声録音機能表示領域50に隣接する領域に音声録音補助メモ情報56として配置させることができる。
【0084】
図12は、本発明の実施形態によるデータ複合記録機能に基づいて生成された情報を検索するサポート画面の一例を示す図である。
図12を参照すると、制御部160は、データ複合記録機能に基づいて生成された複合記録情報をサムネイルイメージに変換することができる。また、制御部160は、図に示すように変換されたサムネイルイメージ(1201、1202、1203)をマルチイメージ画面上にそれぞれ出力することができる。
【0085】
サムネイルイメージ(1201、1202、1203)は、情報記録時点に作成されたメモ情報と音声録音機能表示領域に対応するイメージが一定の比率でそれぞれ縮小されたイメージにすることができる。例えば、第1サムネイルイメージ1201は、一定メモ情報と1つの音声録音機能表示領域が画面中央に配置された形態の複合記録情報が縮小されて生成される。第2サムネイルイメージ1202は、一定メモ情報と2つの音声録音機能表示領域がそれぞれ画面の一定の領域に分離して配置された形態の複合記録情報が縮小されて生成される。第3サムネイルイメージ1203は、一定メモ情報と音声録音機能表示領域が配置され、且つユーザ制御によって音声録音機能表示領域が画面の下端に移動固定された形態の複合記録情報が縮小されて生成される。
ユーザは、上述したサムネイルイメージ(1201、1202、1203)を確認し、当該サムネイルイメージ(1201、1202、1203)がどんな情報を含んでいるかを概略的に確認することができる。
【0086】
図13は、本発明の実施例によるデータ複合記録機能に基づいて生成された情報を検索するサポート画面の他の一例を示す図である。
図13を参照すると、表示パネル141は、2つの複合記録情報に対応するサムネイルイメージ(1301、1302)がそれぞれ出力される。表示パネル141に出力されるサムネイルイメージ(1301、1302)は、それぞれ特定方式によって作成された複合記録情報になることができる。すなわち
図13に示すサムネイルイメージ(1301、1302)は、音声録音中に追加メモ情報を作成することによって、音声録音機能表示領域に音声録音補助メモ情報が追加された形態の複合記録情報から生成されたイメージになることができる。
【0087】
また、音声録音機能表示領域に出力される題目は、音声録音情報の音声認識結果のうち一定頻度数以上の単語として決定されたものであることができる。すなわち一番目のサムネイルイメージ1301は、「promise」という単語が一定頻度数以上含まれた音声録音情報を有する複合記録情報から生成されたイメージになる。これと同様に、二番目のサムネイルイメージ1303は、「meeting」という単語が一定頻度数以上含まれた音声録音情報を有する複合記録情報から生成されたイメージになる。
【0088】
ユーザは、このようなサムネイルイメージ(1301、1302)を確認する過程で内部に記入された断片的な情報だけで当該複合記録情報の全体内容を類推することによって、それぞれのサムネイルイメージを選択し、複合記録情報の原本を呼び出さなくても、情報確認をさらに速く且つ簡単に行うことができる。
【0089】
上述した携帯端末100は、その提供形態に近距離通信のための近距離通信モジュール、被写体の静止画像/動画を撮影するためのカメラモジュール、携帯端末100の有線通信方式または無線通信方式によるデータ送受信のためのインターフェース、インターネットネットワークと通信し、インターネット機能を行うインターネット通信モジュール、及びデジタル放送受信と再生機能を行うデジタル放送モジュールなどのように上記で言及していない構成を含むこともできる。
【0090】
このような構成要素は、デジタル機器のコンバージョンス(convergence)傾向によって変形が非常に多様なので、すべて列挙することはできないが、言及された構成要素と同等な水準の構成要素が携帯端末100にさらに含まれて構成することができる。また、本発明の実施形態による携帯端末100は、その提供形態によって前述した構成から特定構成が除外されるか、他の構成に代替されてもよいことは勿論である。これは、本技術分野における通常の知識を有する者には容易に理解され得る。
【0091】
また、本発明の実施形態による携帯端末100は、メモ機能及び音声録音機能をサポートするすべての形態のデバイスを含むことができる。例えば、携帯端末100は、多様な通信システムに対応する通信プロトコルに基づいて動作するすべての移動通信端末機(mobile communication terminals)を含めて、PMP(Portable Multimedia Player)、デジタル放送プレーヤー、PDA(Personal Digital Assistant)、音楽再生機(例えば、MP3プレーヤー)、携帯ゲーム端末、スマートフォン(Smart Phone)、ノート・パソコン、及びハンドヘルドパソコンなどすべての情報通信機器とマルチメディア機器及びそれに対する応用機器を含むことができる。
【0092】
尚、本発明は、上述の実施形態に限られるものではない。本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。