(58)【調査した分野】(Int.Cl.,DB名)
前記入力装置を割り当てる段階は、タッチパネル、ペンタッチパネル、ハードウェアキー、カメラ、マイク、及びモーションセンサーの内の少なくとも1つを含む入力装置を前記複数のアプリ別で重複しないように割り当てる段階を含むことを特徴とする請求項1に記載の多重入力制御方法。
前記入力装置を割り当てる段階は、前記電子装置の入力装置及び前記外部入力装置の内から選択される少なくとも1つを前記複数のアプリ別に独立的に運用できるように割り当てる段階を含むことを特徴とする請求項5に記載の多重入力制御方法。
前記制御部は、前記少なくとも1つの入力装置で発生した入力信号を受信した時、前記入力装置が割り当てられたアプリの種類を確認し、前記確認されたアプリに前記入力信号を適用するよう制御することを特徴とする請求項15に記載の多重入力制御を支援する電子装置。
前記制御部は、前記複数のアプリに関わる画面が表示された領域別にタッチパネル又はペンタッチパネルの少なくとも1つの領域を区分し、前記少なくとも1つの区分されたタッチパネル又はペンタッチパネルの各領域を該当するアプリの入力手段として動作するよう割り当てることを特徴とする請求項23に記載の多重入力制御を支援する電子装置。
前記外部入力装置は、タッチパネル、ペンとペンタッチパネル、キーボード、カメラ、マイク、及びモーションセンサーの内の少なくとも1つを含むことを特徴とする請求項25に記載の多重入力制御を支援する電子装置。
前記制御部は、前記少なくとも1つの外部入力装置から入力信号を受信した時、前記外部入力装置が割り当てられたアプリの種類を確認し、前記確認されたアプリに前記入力信号を適用するよう制御することを特徴とする請求項25に記載の多重入力制御を支援する電子装置。
前記制御部は、前記複数のアプリに関わる画面が表示された領域別に前記接続インターフェースを介して接続されたタッチパネル又はペンタッチパネルの少なくとも1つの領域を区分し、前記少なくとも1つの区分されたタッチパネル又はペンタッチパネルの各領域を該当するアプリの入力手段として動作するよう割り当てることを特徴とする請求項31に記載の多重入力制御を支援する電子装置。
【発明を実施するための形態】
【0013】
次に、本発明に係る多重入力制御方法並びにこれを支援する電子装置及びシステムを実施するための形態の具体例を図面を参照しながら説明する。
【0014】
実施形態を説明することにおいて本発明が属する技術分野によく知られており、本発明と直接的に関連がない記述内容に対しては説明を省略する。
また、実質的に同様な構成と機能を有した構成要素に対しては詳細な説明を省略する。
同じ理由で添付図面において一部構成要素は誇張するか、省略するか、或いは概略的に図示し、各構成要素の大きさは実際の大きさを全面的に反映するものではない。したがって本開示は添付した図面に示した相対的な大きさや間隔によって制限されない。
【0015】
図1は、本発明の第1の実施形態による多重入力制御を支援する電子装置、例えば端末機(以下、「端末機」として説明)の構成を概略的に示すブロック図である。
図1を参照すると、本発明の端末機100は、通信部110、オーディオ処理部130、表示部140、貯蔵部150及び制御部160の構成を含む。
【0016】
そして本発明の端末機100は、入力装置としてハードウェアキー120、接続インターフェース180、及びカメラ170、表示部140に含まれたタッチパネル141とペンタッチパネル145などの構成をさらに含む。
さらに本発明の端末機100は、入力装置として加速度センサーや近接センサー、ジャイロセンサー(図示せず)などモーションセンサーをさらに含むこともできる。このために端末機100は上述したセンサーを追加で装着することができる。
【0017】
ここでカメラ170は、端末機100の画像収集機能支援のための構成として、カメラ170が収集した画像信号は制御部160の立場から特定機能の運用(perform)のために収集された入力データとなる。
これによって本発明の説明ではカメラ170構成を入力装置として分類するものである。
一方、接続インターフェース180は、外部入力装置及び外部出力装置のうちの少なくとも1つが接続することができるインターフェースである。
例えば、外部入力装置は、キーボードや、マウス、インターフェース接続用電子ペン、リモコンなど多様な構成を含むことができる。これによって接続インターフェース180は上述した外部入力装置が接続される場合を基準に入力装置として分類することができる。
【0018】
一方、外部入出力装置としてスマートTV、スマートモニター、他の電子装置などが接続インターフェース180に接続することができる。
この場合、接続インターフェース180は、端末機100のデータを外部入出力装置に出力する出力機能と、外部入出力装置が収集した使用者入力信号を制御部160に伝達する入力機能を共に行うことができる。
したがって、以下説明で接続インターフェース180は、接続される外部装置の特性によって入力装置として説明したり、または入出力装置として説明する。
【0019】
ペンタッチパネル145は電子ペン運用による電子ペンコンタクトや電子ペンジェスチャーなどを入力信号として収集する構成である。
これによって本発明の端末機100で説明する入力装置はペンタッチパネル145及びこれをベースに運用される電子ペンの構成をさらに含むことができる。
【0020】
上述した構成を含む本発明の端末機100は、多重入力制御機能を支援する。
すなわち、端末機100は貯蔵部150に貯蔵されて運用されたり、或いは外部サーバー装置に貯蔵されてサーバーベースで運用される複数のアプリケーションプログラム(Application Program:以下、「アプリ」と称す)の内の少なくとも1つのアプリ活性化による特定アプリの運用を支援する。
【0021】
この時、端末機100は特定アプリの運用支援のために端末機100に含まれた入力装置のうちの少なくとも1つを特定アプリにマッピングして(割り当てて)提供する。
端末機100は活性化される特定アプリの個数及び使用者選択によって少なくとも1つの入力装置を特定アプリに割り当てるように支援することができる。これによって本発明の端末機100は使用者が複数のアプリを運用する段階で特定入力装置の運用によって特定アプリの入力制御が可能になるように支援する。
【0022】
通信部110は、端末機100の通信機能を支援する構成である。
このような通信部110は、端末機100のメッセージサービス機能、ウェブページブラウズ(閲覧)機能、ビデオ通話機能、音声通話機能、データ送受信機能、クラウド機能などを支援するための多様な通信チャンネル形成を支援する。
端末機100は通信部110の上述した機能支援のために多様なアプリを提供する。
【0023】
使用者は各アプリの活性化を介して当該アプリの機能運用を行う。
特に通信部110ベースの多様なアプリの運用時、端末機100は各アプリ別に入力装置を割り当てることを支援することができる。例えば、通信部110ベースの複数のウェブページブラウズ機能が行われる。
この時、複数のウェブページブラウズ機能の運用によって複数のウェブページはそれぞれ独立した入力装置が割り当てられる。
【0024】
ここで独立した入力装置の例として、複数のウェブページの内の第1ウェブページはタッチパネル141が入力装置としてマッピングし、第2ウェブページはペンタッチパネル145が入力装置としてマッピングすることができる。
また、第1ウェブページはタッチパネル141又はペンタッチパネル145の少なくとも1つの第1領域が入力装置としてマッピングし、第2ウェブページはタッチパネル141又はペンタッチパネル145の少なくとも1つの第2領域が入力装置としてマッピングすることができる。例えば、使用者は第1ウェブページ運用時、タッチパネル141の運用を行い、第2ウェブページ運用時、電子ペンの運用を行うことができる。
【0025】
他の例としてウェブページブラウズ機能とチャットサービス機能が通信部110ベースで運用される過程でウェブページブラウズ機能はタッチパネル141が入力装置としてマッピングし、チャットサービス機能はペンタッチパネル145が入力装置としてマッピングすることができる。
またウェブページブラウズ機能とビデオ通話機能が通信部110ベースで運用される過程でウェブページ検索機能はタッチパネル141とペンタッチパネル145が入力装置としてマッピングし、ビデオ通話機能はハードウェアキー120が入力装置としてマッピングすることができる。
【0026】
ハードウェアキー120は、端末機100の運用(operation)に必要な多様な入力信号を生成する構成である。
ハードウェアキー120は、ボタンキーや、サイドキー、ホームキーなどの多様な形態で構成することができる。
このようなハードウェアキー120は、1つのアプリが活性化された状態では当該のアプリの運用のためのキーとして運用される。
そして複数のアプリが活性化される場合、ハードウェアキー120は制御部160の制御に従って特定アプリの運用のためのキーとして運用することができる。
【0027】
また、ハードウェアキー120は使用者選択によって指定されたアプリの運用のためのキーとして運用することができる。
ハードウェアキー120が特定アプリの運用のために指定される場合、ハードウェアキー120を押すことによって発生する入力信号は指定されたアプリの運用のためにだけ適用することができる。
そしてハードウェアキー120の運用は使用者選択によって他のアプリの運用のために変更することができる。
また、指定されたアプリの運用が終了すると、ハードウェアキー120は、制御部160制御に従って他のアプリ運用のために割り当てられたり、使用者のアプリ指定のための待機状態を有することができる。
【0028】
ハードウェアキー120を押すことによって発生する入力信号は、ハードウェアキー120から発生した信号を区分するための入力装置ID値及び当該のボタンの種類などの情報を含む。
これによってハードウェアキー120を押すことによる入力信号が制御部160に伝達されると、制御部160は入力装置ID値、ボタンの種類確認を通してどんなアプリに如何に適用するかを決定する。
このために制御部160は、ハードウェアキー120に対するアプリIDマッピング情報を確認する。
ハードウェアキー120に対するアプリIDマッピング情報は、アプリIDに該当するアプリ運用過程でデフォルトで選定したり、使用者選択によって選定することができる。
【0029】
一方、本発明の端末機100は、ハードウェアキー120のそれぞれに対するアプリ指定を支援することもできる。
例えば、ハードウェアキー120のホームキーは第1アプリ運用のための入力手段としてマッピングし、ハードウェアキー120のサイドキーは第2アプリ運用のための入力手段としてマッピングすることができる。
このために端末機100は、各ハードウェアキー120のボタンIDを提供し、制御部160は、ボタンIDをベースとして、どんなボタンを押したかによる入力信号をどんなアプリの運用のために如何に使うかを決定することができる。
【0030】
オーディオ処理部130は、運用過程で発生する多様なオーディオ信号を処理する構成である。
例えばオーディオ処理部130は、端末機100で生成された、或いは複合されたオーディオ信号出力を支援するためにスピーカー(SPK)を含み、また音声通話やビデオ通話機能、録音機能などを支援するためにオーディオ信号を収集することができるマイク(MIC)を含む。
このようなオーディオ処理部130構成のうちのマイク(MIC)は入力装置として分類される。これによってマイク(MIC)は特定アプリの運用のための入力装置として使うことができる。例えば、マイク(MIC)は収集された音声信号をビデオ通話機能又は音声通話機能のように特定通話機能の入力信号として収集してこれを制御部160に提供する。
【0031】
また、マイク(MIC)は、音声認識機能ベースで特定アプリの運用のための命令語生成する入力装置として使うことができる。
例えば、複数のウェブページのうちの第1ウェブページはマイク(MIC)が入力装置として割り当てられ、第2ウェブページはタッチパネル141及びペンタッチパネル145が入力装置として割り当てられることができる。
この環境で端末機100が音声信号が収集すると、これを音声認識してこれに対応する命令語を生成して第1ウェブページの運用に適用するように支援することができる。
【0032】
一方、オーディオ処理部130は、特定アプリに入力装置が割り当てられる場合、これを案内する案内音を出力することができる。
また特定アプリに対してどんな入力装置が割り当てられたのか確認要請を受信すると、オーディオ処理部130は制御部160の制御によってこれに対する案内音出力を支援することができる。
付加的に、オーディオ処理部130は、特定入力装置から入力信号発生のための要請を受信すると、当該の入力信号を説明する案内音出力を支援することができる。
例えば接続インターフェース180に外部入出力装置が接続された後、外部入出力装置を介して特定アプリの運用制御のための入力信号が受信されると当該の入力信号に対する案内音出力を支援することができる。上述した案内音出力機能は、設計者の意図又は使用者選択によって省略することもできる。
【0033】
表示部140は、本発明の端末機100運用過程に必要な多様な機能画面を出力する構成である。
例えば表示部140は、メニュー画面、特定アプリ運用画面、複数のアプリ運用画面、複数のアプリ運用のうちの特定アプリの全体画面などを出力することができる。
特に本発明の表示部140は、使用者選択によって活性化されるアプリ運用画面を出力することができる。この時、表示部140は複数のアプリの運用が要請された場合、アプリ運用画面を画面分割を介して出力することができる。
【0034】
この過程で本発明の多重入力制御を支援するために表示部140は、入力装置マッピング画面を提供する。
入力装置マッピング画面は、複数のアプリからアプリを選択するためのアプリ選択領域、複数のアプリの内から選択されたアプリに関わる画面を出力するアプリ運用領域、選択されたアプリにマッピング可能な(割り当て可能な)入力装置を選択するための入力装置選択領域を含む。
そして表示部140は、入力装置の内の少なくとも1つが選択された後、該当するアプリの運用画面を出力し、入力装置から受信した入力信号が適用されたアプリの運用画面を出力する多重入力制御画面を提供することができる。
多重入力制御画面は、入力装置選択領域を除いて入力装置マッピング画面と類似の画面で構成することができる。例えば、多重入力制御画面は、入力装置選択領域の代りに入力装置マッピング情報領域に提供することができる。
このような多様な画面インターフェースに対して後述する図面を参照してより詳しく説明する。
【0035】
一方、上述した表示部140は、入力機能支援のためにタッチパネル141、表示パネル143及びペンタッチパネル145を含む。
タッチパネル141は、静電容量方式、抵抗膜方式など使用者の指タッチによる物理的又は電気的変化を感知するパネルである。
このようなタッチパネル141は、表示パネル143の前面又は後面に配置されて使用者の指などのタッチによる位置情報及び指の動きによるジェスチャー情報を制御部160に提供する。
表示パネル143は、画面構成要素が出力される領域である。このような表示パネル143はタッチパネル141にマッピングされて多様な画面構成要素が出力される。
例えば、表示パネル143は、前述の入力装置マッピング画面、多重入力制御画面などを出力する。
【0036】
ペンタッチパネル145は、表示パネル143の前面又は後面などに配置されて電子ペンアクセスによって電子ペンを認識し、電子ペンの動きによる情報を制御部160に提供する構成である。
このようなペンタッチパネル145は、電子ペンの特性によって多様な形態で設けることができる。例えばペンタッチパネル145は電磁気誘導方式のパネルで構成することができる。
上述したタッチパネル141及びペンタッチパネル145は、本発明の入力装置構成の内の特定入力装置として区分することができる。
一方、本発明の多重入力制御機能で手タッチ又はペンタッチ機能の少なくとも1つが含まれないように設計する場合、表示部140はタッチパネル141又はペンタッチパネル145の少なくとも1つが含まれない構成で具現することができる。
【0037】
一方、表示部140は、複数のアプリの運用過程で各アプリの運用のために独立的に割り当てられた入力装置から入力信号が発生する場合、当該入力信号発生に対する情報を出力する。
例えば、表示部140は、第1アプリ運用のために割り当てられた第1入力装置から第1入力信号が発生すると、第1アプリ運用画面上に第1入力信号発生に対するテキストポップアップ又は第1入力信号に該当する特定機能遂行情報を出力する。
また、表示部140は、第2アプリ運用のために割り当てられた第2入力装置から第2入力信号が発生すると、第2アプリ運用画面に第2入力信号の種類や第2入力信号による機能遂行情報をテキストなどで出力する。
【0038】
貯蔵部150は、端末機100を運用するのに必要な多様なアプリケーションプログラム、端末機100を運用することで発生する多様なデータを貯蔵する。
例えば、貯蔵部150は、端末機100を運用するのに必要なオペレーションシステムなどのプログラムを貯蔵することができる。
特に、貯蔵部150は、使用者機能に係る多様なアプリを貯蔵し、使用者要請に従って制御部160に提供して当該のアプリの機能が運用されるようにデータを提供する。
このために貯蔵部150は図に示したように複数のアプリ151、多重入力制御プログラム153、及び入力装置リスト155を含み得る。
【0039】
複数のアプリ151は、端末機100に設置された多様な機能を支援するアプリケーションプログラムである。
複数のアプリ151は、表示部140にアイコン形態で提供されたり、別途メニュー項目で提供されたり、ホットキーなどに割り当てられて使用者要請に従って、或いは情報によって活性化される。
例えば複数のアプリ151は、前述の音声通話アプリ、ビデオ通話アプリ、クラウドアプリ、カメラアプリ、ウェブ接続アプリなど多様なアプリを含む。
【0040】
また複数のアプリ151は、類似機能に対して複数のアプリを含むこともできる。
例えば複数のアプリ151は、複数のブラウザーアプリを含むことができる。
また、複数のアプリ151は、カメラ170関連して複数のアプリを含むことができる。また複数のアプリ151は、外部入出力装置活用のための複数のアプリを含むことができる。また複数のアプリ151は、本発明の多重入力制御のためのアプリを含むことができる。
これによって、端末機100は、複数のアプリが活性化される場合、多重入力制御アプリを呼び出して活性化して入力装置選択のための設定を提供したり、デフォルトで特定入力装置を独立的に運用するように支援することができる。
【0041】
多重入力制御プログラム153は、端末機100で運用される少なくとも1つのアプリに対する少なくとも1つの入力装置マッピングを支援するプログラムである。
このような多重入力制御プログラム153は、活性化の要請を受けたアプリの種類を確認するルーチン、該当アプリの運用のために利用可能な入力装置の種類を収集するルーチン、多重入力制御モード設定を支援するルーチン、多重入力制御モード設定時、特定アプリの運用のために少なくとも1つの入力装置の選択を支援するルーチンを含む。
ここで多重入力制御プログラム153は、多重入力制御モード設定時、1つのアプリが活性化される場合、運用可能なすべての入力装置を該当するアプリの運用のために提供するルーチンを含む。
また多重入力制御プログラム153は、多重入力制御モード設定時、複数のアプリが活性化される場合、複数のアプリの運用のための入力装置リスト155を提供するルーチン、使用者選択による、或いはデフォルトで、選択された入力装置を特定アプリの運用のために割り当てるルーチンを含むことができる。
【0042】
入力装置リスト155は、特定アプリの運用のために利用可能な入力装置を収集した情報である。
例えば入力装置リスト155は、メッセージサービスアプリに対してタッチパネル141、ペンタッチパネル145、ハードウェアキー120を入力装置として含むことができる。
また入力装置リスト155はメッセージサービスアプリに対して上述した構成以外に接続インターフェース180を介して接続可能なキーボードやマウス、タッチパネル、ペンとペンタッチパネルなどをリスト項目としてさらに含むことができる。
【0043】
このために端末機100は、接続インターフェース180に接続された外部装置を確認して、当該外部装置を入力装置リスト155に含ませるように支援することができる。
また、端末機100は、接続インターフェース180を介して外部入出力装置が接続される場合、当該外部入出力装置の外部入力装置部分を入力装置リスト155に含ませるように支援することができる。
上述したように本発明の入力装置リスト155は、特定のアプリの活性化が受信されると、現在、端末機100で当該アプリの運用のために利用可能なすべての入力装置の項目を含むように更新することができる。
【0044】
一方、複数のアプリが運用される環境で第1アプリに第1入力装置が割り当てられた場合、第1入力装置は入力装置リスト155の第2アプリに関連した項目から除外される。
また、特定の入力装置、例えば領域区分を介して独立的に入力制御が可能なタッチパネル141やペンタッチパネル145の場合には、他のアプリに既に割り当てられた場合でも新しいアプリの運用のために、入力装置リスト155に含まれて提示することができる。
上述した入力装置リスト155の提供に対して後述する画面例示図などを参照してより詳しく説明する。
【0045】
カメラ170は、端末機100の画像収集機能支援のための構成である。
このようなカメラ170は、画像信号を収集して制御部160に提供するという側面で端末機100の入力装置として分類することができる。
例えばカメラ170は、収集された画像に対する画像認識を介して特定の命令語を実行する構成とすることができる。
例えば、カメラ170は、使用者の顔や使用者の手を撮影することができ、制御部160は、カメラ170が収集した画像を分析して事前に定義された所定のパターンと比較して現在撮影された画像を特定の命令語入力のための画像として認識することができる。
結果的に、カメラ170も本発明の1つの入力装置として分類することができ、これによって特定のアプリ運用時、カメラ170が入力装置の一種類として提供され、選択され得る。
【0046】
接続インターフェース180は、端末機100に接続可能な外部入出力装置との接続のための構成である。
このような接続インターフェース180は、有線方式及び無線方式を共に支援することができる。したがって接続インターフェース180は、ユニバーサルシリアルバス(USB)インターフェース、汎用非同期送受信(UART)インターフェースなどの有線シリアルインターフェースを含むことができる。
また接続インターフェース180は、無線インターフェース、例えばブルートゥース(登録商標)接続インターフェース、ZigBee(登録商標)接続インターフェース、ウルトラワイドバンド(UWB)接続インターフェース、RFID接続インターフェース、赤外線接続インターフェース、無線アプリケーションプロトコル(WAP)接続インターフェースなど無線接続インターフェースを含むことができる。
【0047】
すなわち、上述した接続インターフェース180は、端末機100と接続可能な多様な方式の通信接続インターフェースを含むことができる。
このような接続インターフェース180は、1つの外部入出力装置だけでなく複数の外部入出力装置接続のために複数のポート及び複数の無線通信モジュールを含んで構成することができる。
例えば接続インターフェース180は、キーボードやマウスなどの接続を支援することができ、また無線リモコンなどの接続、スマートTVとの接続、スマートモニターとの接続、タブレットコンピューターやパーソナルコンピューター、ノートPCなどとの接続などを支援することができる。上述した接続インターフェース180は本発明の多重入力制御サポートの過程で外部入力装置も本発明の入力装置として動作するように提供するための構成である。
【0048】
制御部160は、本発明の端末機100の運用に係る多様な信号の処理とデータの処理を支援する構成である。
すなわち、制御部160は、特定アプリの活性化が要請された場合、特定アプリの運用を行ってアプリ運用画面を表示部140に出力するように支援する。
この過程で制御部160は予め設定された情報によって、或いは使用者要請に従って特定アプリの運用のための入力装置割り当てをデフォルトで、或いは選択的に、支援することができる。
特に制御部160は、複数のアプリが運用される場合、各アプリの運用のための入力装置が独立的に運用されるよう支援する。このために制御部160は、
図2に示すような構成を含み得る。
【0049】
図2は、本発明の第1の実施形態による
図1の制御部の構成を詳細に示すブロック図である。
図2を参照すると、本発明の制御部160は、イベント処理部163及びアプリ機能遂行部161の構成を含む。
【0050】
アプリ機能遂行部161は、アプリ活性化のための要請を受信すると、該当アプリの運用のためのプログラムルーチンを読み込んで、該当プログラムルーチンの読み込み及び実行過程で必要なデータ収集を介してアプリの運用を支援する構成である。
特にアプリ機能遂行部161は、イベント処理部163で提供される入力信号を特定アプリに適用し、該当アプリへの適用によるアプリ運用画面を表示部140やオーディオ処理部130などに出力するように支援する。
【0051】
この時、アプリ機能遂行部161は、イベント処理部163が提供した入力信号の入力装置IDを確認してどんなアプリにマッピングされた入力装置なのか確認する。
このためにアプリ機能遂行部161は、アプリID別にマッピングされた入力装置ID情報を生成及び管理する。
そして入力装置ID、アプリID確認を介して受信された入力信号を該当アプリに適用するように制御する。
ここでタッチパネル141やペンタッチパネル145などのように入力装置の部分割り当てが可能な入力装置に対してアプリ機能遂行部161は、アプリID別に入力装置ID情報だけではなく領域区分情報を共に生成及び管理する。
そしてアプリ機能遂行部161は、タッチパネル141のような入力装置から提供された入力信号の場合、入力装置ID情報確認後、領域区分情報を確認してどんなアプリIDにマッピングされたことか確認する。
【0052】
イベント処理部163は、端末機100で運用可能な多様な入力装置の区分、アプリ別の割り当て、特定入力装置から発生した入力信号の分配処理などを支援する。
このためにイベント処理部163は、入力マネージャー162及びアプリ選択部164を含む。
入力マネージャー162は、入力装置リスト155の生成及び更新を支援する。
入力マネージャー162は、入力装置リスト155をベースとしてアプリ別の入力装置割り当てのための入力装置マッピング画面を支援する。
【0053】
これをより詳しく説明すると、入力マネージャー162は少なくとも1つのアプリ活性化のための要請を受信すると、該当アプリの運用のための入力装置を選択することができるアプリモジュールマッピング画面を提供する。
このために入力マネージャー162は、入力装置リスト155を作成するか、又は貯蔵部150に貯蔵された入力装置リスト155を参照する。
アプリは、設計過程で運用のための特定タイプの入力装置に対する情報を含むことができる。これによって入力マネージャー162はアプリが提供する運用可能な入力装置に対する情報と端末機100で現在利用可能な入力装置情報を比べて実際に利用可能な入力装置項目を含んだ入力装置マッピング情報を作成する。
【0054】
入力装置マッピング情報は、各アプリ別に生成及び更新運用することができる。
付加的に、入力マネージャー162は、外部入力装置などが接続インターフェース180を介して接続された場合、接続された外部入力装置が現在運用中のアプリに適用することができる装置の場合、当該外部入力装置を入力装置リスト155に含むように情報更新することを支援する。
そして当該外部入力装置がアプリ運用のために選択された場合、入力装置マッピング情報を更新するように支援する。
【0055】
一方、入力マネージャー162は、特定アプリの運用のための入力装置マッピングを使用者選択によって提供するか、又は別途の使用者選択がない場合、デフォルトで設計された情報によってマッピングする。
また入力マネージャー162は、特定アプリが運用中に他のアプリが追加で活性化された場合、以前のアプリに割り当てられた入力装置を調整することもできる。
例えば入力マネージャー162は、第1アプリに第1入力装置と第2入力装置を割り当ててから、第2アプリの運用のために第2入力装置を割り当てるよう要請を受けた場合、第1アプリに対して第1入力装置のみを割り当てるように制御することができる。
また入力マネージャー162は、第1アプリに第1入力装置と第2入力装置を割り当ててから、第2アプリの運用のために第1入力装置を割り当てるよう要請を受けた場合、第1アプリに対して第1入力装置の第1領域を割り当てるよう制御することができる。
そして入力マネージャー162は、第2アプリに対して第1入力装置の第1領域と独立した第2領域を割り当てるよう入力装置マッピング情報生成及び管理を支援する。そして入力マネージャー162は、入力装置から生成された入力信号をアプリ選択部164に提供する。
【0056】
アプリ選択部164は、入力マネージャー162が作成した入力装置マッピング情報を参照して特定入力信号の処理を支援する。
すなわち、アプリ選択部164は、特定入力信号が収集されると、入力装置マッピング情報を確認して当該入力信号を提供した入力装置がどんなアプリにマッピングされているのか確認して、該当アプリに当該入力信号を適用するようアプリ機能遂行部161に要請する。
この過程でアプリ選択部164は多重入力制御画面を提供することができる。
多重入力制御画面は、少なくとも1つのアプリの運用のための入力信号処理を支援するための画面となる。
【0057】
このような多重入力制御画面は、複数のアプリ運用画面が出力された場合、入力装置から提供された入力信号がどんなアプリの運用に適用されるかどうかを確認することができるように情報出力を支援する。
アプリ選択部164は、多重入力制御画面を介して特定入力装置から提供された入力信号の種類及び適用案内を支援する。
このような入力信号関連情報の出力は、使用者設定、或いは設計者の意図によって省略することもできる。また、アプリ選択部164はどんなアプリにどんな入力装置が割り当てられるかどうかを案内する情報を当該アプリの隣接した領域に出力するように支援することもできる。
【0058】
上述したように本発明の多重入力制御機能を支援する端末機100は、少なくとも1つのアプリが活性化される過程で運用可能な入力装置の情報を提供して、所望する特定入力装置の運用を支援することができる。
特に本発明の端末機100は、複数のアプリが運用された場合、各アプリの運用のための入力装置を独立的に割り当てて提供することによって、入力装置別の操作を介して各アプリの運用制御を支援することができる。
また本発明の端末機100は、接続インターフェース180を介して接続された外部入出力装置をより直観的に、独立した入力手段として用いることができる。
【0059】
図3は、本発明の第1の実施形態による多重入力制御方法を説明するためのフローチャートである。
図3を参照すると、本発明の多重入力制御方法は、S301段階で、端末機100の制御部160が機能運用待機を行う。
このために制御部160は、電源部の電源分配と待機画面状態又はスリープ状態などを維持するように支援する。
【0060】
次に、制御部160は、S303段階で多重入力制御モード設定であるのか否かを確認する。
この動作段階で制御部160は多重入力制御モード設定でない場合、S305段階に分岐してデフォルト運用処理を支援する。
すなわち、制御部160は、特定アプリ運用のための要請が発生すると、当該アプリに対して端末機100の入力装置を当該アプリに割り当てて、入力装置で発生した入力信号によるアプリの実行(運用)を行う。
【0061】
一方、多重入力制御モード設定である場合、制御部160は、S307段階に分岐して複数のアプリ運用のための環境なのか確認する。
ここで制御部160は、単一アプリ運用環境の場合、S309段階に分岐して設定によって入力装置を単一アプリに割り当て、そしてアプリの実行(運用)を行う。ここで制御部160は単一アプリ運用のための少なくとも1つの入力装置を使用者が選択できるように提供する。
【0062】
一方、S307段階で複数のアプリ運用環境である場合、制御部160は、S311段階に分岐してアプリ別の入力装置マッピング(割り当て)を実行する。
この時、制御部160は予め設定された情報によって複数のアプリのそれぞれに対して複数の入力装置をデフォルトで割り当てることができる。
例えば、制御部160は、第1アプリに対してタッチパネル141を入力装置としてデフォルトで割り当てることができる。また、制御部160は第2アプリに対してペンタッチパネル145を入力装置としてデフォルトで割り当てることができる。
【0063】
または、制御部160は、各アプリ別の入力装置設定のための入力装置マッピング画面を提供し、使用者選択によって特定入力装置を特定アプリに割り当てるように支援することもできる。
そして制御部160は、どんなアプリにどんな入力装置が割り当てられたか(マッピングされたか)どうかを確認するようマッピング情報を表示部140に出力するよう制御する。
制御部160は、アプリID別に入力装置IDをマッピングした入力装置マッピング情報を生成及び管理する。
【0064】
次に、制御部160は、S313段階でアプリ別に割り当てられた入力装置から入力信号が収集されるか否か確認する。
ここで特定入力信号が収集されると、制御部160は、S315段階で該当入力信号にマッピングされたマッピングアプリを確認し、これを該当アプリに適用するように制御する。
このために入力装置は、入力信号を提供する時、入力装置ID情報を入力信号に含んで提供する。制御部160は入力装置ID情報を確認して当該入力装置IDとマッピングされたアプリIDを入力装置マッピング情報を介して確認する。
そして制御部160は当該入力信号を特定アプリに適用する。
【0065】
S313段階で入力信号収集がない場合、制御部160は、S317段階に分岐して多重入力制御モード解除のためのイベントが発生したか否かを確認する。
そして多重入力制御モード解除のためのイベントが発生した場合、S305段階へ戻り端末機100の設定によるデフォルト処理を支援する。
【0066】
一方、多重入力制御モード解除のためのイベント発生がない場合、S311段階に分岐して戻り、以下の段階を繰り返す。
S311段階を再実行する段階で、制御部160は使用者要請に従って特定アプリ別入力装置マッピングを変更することができる。
または制御部160は、新しい外部入力装置が入力装置として端末機100に接続される場合、新たに接続された入力装置を特定アプリに適用するように入力装置マッピング画面を提供する。
そして制御部160は、使用者選択によって新たに接続された入力装置を特定アプリ運用に適用する。
【0067】
この段階で制御部160は、入力装置マッピング情報を更新及び管理する。
特定入力装置マッピングに対する使用者選択がない場合、制御部160は設定によって、或いは該当入力装置運用が可能になるように設計されたアプリに自動に割り当てて、これをベースとして該当入力装置の運用によるアプリ運用を支援することもできる。
または制御部160は、外部入力装置が接続された場合、当該外部入力装置に対して使用者選択のための待機状態を有するように制御することもできる。
【0068】
図4は、本発明の第1の実施形態による多重入力制御機能が適用される端末機の画面インターフェースの一例を説明するための図である。
図4を参照すると、本発明の端末機100は、多重入力制御画面を表示部140に出力する。
【0069】
符号401の画面に示した多重入力制御画面は複数のアプリが活性化された状態を例示したものである。
このような多重入力制御画面は、アプリ選択領域40、アプリ運用領域50、入力装置マッピング情報領域60を含む。
アプリ選択領域40は、端末機100が提供する複数のアプリの内の少なくとも1つを選択することができる領域である。
図に示したアプリ選択領域40は、複数のアプリをアイコン形態で並列したものである。当該アプリ選択領域40は現在表示されていない他のアプリの検索のためにスクロール機能を支援することができる。または、アプリ選択領域40は現在表示されていない他のアプリのアイコンが表示されることができる補助窓機能を支援することができる。
【0070】
アプリ運用領域50は、例示的に第1アプリ(App1)及び第2アプリ(App2)が運用画面を出力した状態を示したもので第1アプリ運用領域51及び第2アプリ運用領域52を含む。
アプリ選択領域40に配置されたアプリをドラッグしてアプリ運用領域50の中、特定領域に移動させた場合、ドラッグされたアプリが活性化されながら当該アプリの運用画面をアプリ運用領域50に出力する。
図に示した画面では2つのアプリが活性化される状態を示したが本発明はこれに限定されるものではない。より多い個数のアプリが活性化された場合、アプリ運用領域50はより多い個数のアプリ運用領域を提供することができる。
【0071】
入力装置マッピング情報領域60は、アプリ運用領域50で各アプリに割り当てられた入力装置の情報を提供する領域である。
このような入力装置マッピング情報領域60は、第1アプリ運用領域51に配置された第1入力装置情報領域61及び第2アプリ運用領域52に配置された第2入力装置情報領域62を含む。
例えば、第1入力装置情報領域61は「Hand」に該当するタッチパネル141が1アプリ(App1)の入力装置として割り当てられた状態を示す。また、第2入力装置情報領域62は「Pen」に該当するペンタッチパネル145が第2アプリ(App2)の入力装置として割り当てられた状態を示す。
【0072】
したがって、使用者が端末機100の表示部140で指を利用して入力信号を生成する場合、端末機100はこの手タッチ入力信号を第1アプリ(App1)運用のためにだけで適用することができる。
また使用者が端末機100の表示部140で電子ペンを利用して入力信号を生成する場合、端末機100はペンタッチ入力信号を第2アプリ(App2)運用のためにだけで適用することができる。
この過程で端末機100は手タッチとペンタッチが同時に発生しても各タッチを区分して第1アプリ(App1)及び第2アプリ(App2)にそれぞれ適用するように支援する。
【0073】
一方、入力装置の変更を望む場合、使用者は入力装置マッピング情報領域60を選択して他の入力装置に変更を試みることができる。
例えば入力装置マッピング情報領域60のうち、第2入力装置情報領域62が選択されると、端末機100は符号403の画面のように入力装置マッピング画面を提供する。
入力装置マッピング画面はアプリ選択領域40、アプリ運用領域50、入力装置選択領域70を含む。
ここでアプリ選択領域40、アプリ運用領域50は、符号401の画面と同様に維持される。そして入力装置選択領域70は図に示したように第2アプリ(App2)運用のために利用可能な入力装置の種類を提供する。
ここで端末機100は、接続インターフェース180に接続された外部入力装置を検索することができる。符号403の画面ではマウス装置101とキーボード装置103が外部入力装置として接続インターフェース180に接続された状態を仮定したものである。
【0074】
これによって入力装置選択領域70は、ペンタッチパネル145に該当する「Pen」、タッチパネル141に該当する「Hand」、ハードウェアキー120に該当する「Button」、外部入力装置の内のマウス装置101に該当する「mouse」、キーボード装置103に該当する「keyboard」などを選択項目で提供する。
ここで使用者は入力装置選択領域70に提供された装置項目の内の複数個を入力装置として選択することができる。
それにより複数の入力装置に対するマッピング情報を入力装置マッピング情報領域に出力することができる。
一方、符号403の画面(入力装置マッピング画面)で第1入力装置情報領域61は多重入力制御画面状態と同様状態を維持することができる。
または入力装置マッピング画面で第1入力装置情報領域61は第2アプリ(App2)に係る入力装置選択領域70のように変更することができる。
【0075】
図5は、本発明の第1の実施形態による多重入力制御機能が適用される端末機の画面インターフェースの他の一例を説明するための図である。
図5を参照すると、本発明の端末機100は、図に示したように同様の入力装置情報である「Hand」を示す入力装置マッピング情報領域60を有する多重入力制御画面を表示部140に出力する。
ここで多重入力制御画面は、先ず
図4で説明したようにアプリ選択領域40、アプリ運用領域50、入力装置マッピング情報領域60を含む。
そしてアプリ選択領域40及びアプリ運用領域50は、
図4で説明した領域と実質的に同じ構成となることができ、それに対する詳細説明は省略する。
【0076】
一方、入力装置マッピング情報領域60には第1アプリ(App1)にマッピングされた第1入力装置情報領域61に「Hand」が出力され、第2アプリ(App2)にマッピングされた第2入力装置情報領域62に「Hand」が出力される。
すなわち、
図5では第1アプリ(App1)及び第2アプリ(App2)が共にタッチパネル141を入力手段として割り当てられた状態を示す。
ここで端末機100は、第1アプリ(App1)及び第2アプリ(App2)に対する独立的な入力装置支援のためにタッチパネル141を図に示したように領域が区分されるように支援する。
【0077】
一方、示した図では点線で領域区分を示したがこの点線は実際具現過程で省略したり、或いは実線のような指示表示に変更することもできる。
点線又は実線などで領域区分を支援する場合、端末機100は第1アプリ(App1)運用のための入力手段を第1タッチパネル領域41として表し、第2アプリ(App2)運用のための入力手段を第2タッチパネル領域42として表すことで容易に認知するように支援する。
端末機100は、第1タッチパネル領域41で発生した手タッチ入力信号は第1アプリ(App1)に適用し、第2タッチパネル領域42で発生した手タッチ入力信号は第2アプリ(App2)に適用する。
【0078】
付加的に、表示部140のタッチパネル141のアプリ選択領域40は、タッチパネル共同領域43として表されることができる。
制御部160の側面から、タッチパネル共同領域43、第1タッチパネル領域41、第2タッチパネル領域42はそれぞれ独立したタッチ領域として区分することができる。
各領域で発生したタッチ信号は該当領域に配置されたアプリの運用に適用することができる。
ここでタッチパネル共同領域43で発生したタッチ信号は第1アプリ運用領域51又は第2アプリ運用領域52に適用するように支援することができる。
【0079】
例えば、アプリ選択領域40の第3アプリ(App3)に該当するアイコンがドラッグされて第1アプリ運用領域51に置かれる場合、第1アプリ(App1)は終了され、第3アプリ(App3)運用画面が第1アプリ運用領域51に出力される。
一方、第1アプリ運用領域51で運用された特定アプリは使用者制御によって第2アプリ運用領域52に移動することができる。
例えば第1アプリ運用領域51の第1アプリ(App1)が選択されてドラッグされた後、第2アプリ運用領域52に置かれた場合、第1アプリ(App1)は第2アプリ運用領域52に出力することができる。
【0080】
図6は、本発明の第1の実施形態による多重入力制御機能が適用される端末機の画面インターフェースのさらに他の一例を説明するための図である。
図6を参照すると、本発明の端末機100は、アプリ選択領域40、第1アプリ運用領域51、第2アプリ運用領域52が含まれた画面を表示部140に出力する。
アプリ選択領域40は複数のアプリの内の少なくとも1つを選択するように支援する領域である。実質的にアプリ選択領域40は、前述の
図4及び
図5などで説明したアプリ選択領域40と同様の役目を行う。
【0081】
第1アプリ運用領域51は、図に示したように第1アプリ(App1)運用による画面が出力される領域である。
特に、第1アプリ(App1)は、文字入力が要求されるアプリとなり得る。
例えば第1アプリ(App1)は、ウェブページブラウズ(閲覧)機能、メッセージ作成機能、文書編集機能などと対応する。
第1アプリ運用領域51に出力される第1アプリ(App1)の出力方向は使用者要請に従って出力方向を変更することができる。
例えば使用者が第1アプリ運用領域51で特定方向ジェスチャーを行う場合、端末機100は当該ジェスチャー方向によって第1アプリ(App1)の運用画面の出力方向を変更することができる。
【0082】
一方、第1アプリ運用領域51には第1アプリ(App1)運用過程でテキスト入力を要請するイベントが発生すると、図に示したように第1仮想入力窓(SIP1)を画面の一側に出力することができる。
特に第1仮想入力窓(SIP1)は、第1アプリ(App1)の運用画面が出力された方向と整合するように出力することができる。
【0083】
第2アプリ運用領域52は、図に示したように第2アプリ(App2)運用による画面が出力される領域である。
このような第2アプリ(App2)も文字入力が要求されるアプリとなり得る。
例えば、第2アプリ(App2)はチャット機能、ウェブページブラウズ(閲覧)機能、スケジュール機能、写真編集機能などと対応する。
一方、第2アプリ(App2)運用画面の出力方向は、第1アプリ(App1)の運用画面出力方向と対称する方向となることができる。
または使用者設定によって第2アプリ(App2)運用画面は第1アプリ(App1)運用画面と同様の方向に出力することもできる。
【0084】
このような第2アプリ運用領域52に出力される第2アプリ(App2)運用画面の出力方向も使用者要請に従って調整することができる。
例えば第2アプリ運用領域52で時計回りのジェスチャーに該当するタッチ信号が発生すると、第2アプリ(App2)運用画面は時計回り方向に90度回転した状態で出力することができる。
また第2アプリ運用領域52で反時計回りのジェスチャーに該当するタッチ信号が発生すると、第2アプリ(App2)運用画面は反時計回り方向に90度回転した状態に出力することができる。
【0085】
第2アプリ(App2)運用過程でテキスト入力を要請するイベントが発生すると、第2仮想入力窓(SIP2)が第2アプリ運用領域52の一側に出力される。
特に第2仮想入力窓(SIP2)は、第2アプリ(App2)の運用画面が出力された方向と整合するように出力することができる。
一方、上述の説明で第1仮想入力窓(SIP1)と第2仮想入力窓(SIP2)が他のキー配列を有するキーマップを出力した状態を説明したが本発明はこれに限定されるものではない。すなわち、第1仮想入力窓(SIP1)と第2仮想入力窓(SIP2)は同様のキーマップ、例えば仮想QWERTYキーパッドなどを出力することもできる。
【0086】
図6で説明した端末機100は、第1アプリ運用領域51において第1アプリ(App1)運用のために第1タッチパネル領域41を独立的に運用する。
また端末機100は、第2アプリ運用領域52において第2アプリ(App2)運用のために第2タッチパネル領域42を独立的に運用する。
また端末機100は、アプリ選択領域40を独立的に運用できるようにタッチパネル共同領域43を用いる。
【0087】
各タッチパネル領域で発生したタッチ信号は、当該領域に配置されたアプリ運用のために適用される。
一方、上述の説明ではタッチパネル141の領域区分に対して説明したが本発明がこれに限定されるものではない。即ち、ペンタッチパネル145も表示部140のタッチパネル141と類似の方式で第1アプリ運用領域51、第2アプリ運用領域52、及びタッチパネル共同領域43で区分することができる。
これによって入力装置マッピング情報として第1アプリ運用領域51及び第2アプリ運用領域52の一定領域に第1入力装置情報領域61及び第2入力装置情報領域62が提供される。
【0088】
第1入力装置情報領域61及び第2入力装置情報領域62には、該当アプリ運用領域にマッピングされた入力装置の情報が出力される。
図6に示すものは、第1アプリ運用領域51及び第2アプリ運用領域52共にタッチパネル141及びペンタッチパネル145が領域区分で独立的に割り当てられた状態を意味する「Hand」及び「Pen」情報を示したものである。
ここで第2アプリ運用領域52がペンタッチパネル145の運用のみを利用するように設定された場合、第2入力装置情報領域62には「Pen」情報だけが出力される。
そして第2アプリ運用領域52上で発生する手タッチ信号は、第1アプリ運用領域51で運用中のアプリに適用されるように制御される。
【0089】
図7は、本発明の第2の実施形態による多重入力制御機能を支援するシステムの構成を概略的に示す図である。
図7を参照すると、本発明の多重入力制御システム10は、端末機100、第1外部入出力装置200、及び第2外部入出力装置300を含む。
【0090】
ここで本発明の多重入力制御システム10は、端末機100の機能性に従い第1外部入出力装置200と端末機100のみを含む構成、或いは追加的な他の外部入出力装置をさらに含むこともできる。
上述した構成を含む多重入力制御システム10は、端末機100で実行(運用)されるアプリのアプリ運用画面を端末機100の接続インターフェース180に接続した第1外部入出力装置200又は第2外部入出力装置300の少なくとも1つに提供するように支援する。
【0091】
この過程で多重入力制御システム10の端末機100は活性化された少なくとも1つのアプリの運用(manipulate)のための入力装置を独立的に提供する。
例えば、端末機100で複数のアプリが活性化される状況で第1アプリ(App1)の運用画面は端末機100に出力され、第2アプリ(App2)運用画面は第1外部入出力装置200に提供され、第3アプリ(App3)運用画面は第2外部入出力装置300に提供されることと仮定する。
ここで端末機100は、第1アプリ(App1)運用画面のための入力装置を端末機100が提供する入力装置、例えばタッチパネル141、ペンタッチパネル145、ハードウェアキー120、カメラ170、マイク(MIC)、モーションセンサーの内の少なくとも1つを割り当てることができる。
【0092】
そして端末機100は、第1外部入出力装置200に出力される第2アプリ(App2)運用のために第1アプリ(App1)に割り当てられた入力装置と独立して運用することができる入力装置を割り当てる。
例えば、第1アプリ(App1)にタッチパネル141が割り当てられた場合、端末機100はペンタッチパネル145、ハードウェアキー120、カメラ170、マイク(MIC)及びモーションセンサーの内の少なくとも1つを第2アプリ(App2)運用のための入力手段として提供する。
また端末機100は、第1アプリ(App1)に割り当てられたタッチパネル141の領域と区分可能なタッチパネル141の領域を第2アプリ(App2)に割り当てる。
【0093】
また端末機100は、第1外部入出力装置200に出力される第2アプリ(App2)の運用のために別途に設けた第1外部入力装置210、第2外部入力装置270、及び第3外部入力装置280の内の少なくとも1つを使用者選択によって、或いはデフォルトで第1外部入出力装置200の入力手段で割り当てる。
使用者が第2アプリ(App2)の運用のために割り当てされた入力装置を利用して入力信号を発生させると、当該入力信号は第2アプリ(App2)に適用され、これによって変化した第2アプリ(App2)運用画面が第1外部入出力装置200に出力される。
【0094】
ここで使用者は、端末機100の入力装置の内の第2アプリ(App2)運用のために割り当てられた入力装置を操作することができる。
また使用者は、第1外部入出力装置200に割り当てられた第1乃至第3外部入力装置(210、270、280)の内の少なくとも1つを操作して第2アプリ(App2)に適用する入力信号を生成することができる。
ここで第1乃至第3外部入力装置(210、270、280)の内の少なくとも1つで生成された入力信号は第1外部入出力装置200を介して端末機100に伝達する。
【0095】
端末機100は、第1外部入出力装置200から入力信号を受信すると、これを第2アプリに適用する。
そして端末機100は、入力信号が適用された第2アプリ(App2)運用画面を第1外部入出力装置200に出力する。
この過程で端末機100は第1外部入出力装置200と有線方式又は無線方式の少なくとも1つの通信チャンネルを形成する。
そして当該通信チャンネルを利用して入力信号を受信し、第2アプリ(App2)運用画面を第1外部入出力装置200に出力する。
【0096】
このために第1外部入出力装置200は、第1外部入力装置210、第1外部入出力装置表示部240、第1外部入出力装置制御部260、第2外部入力装置270、及び第3外部入力装置280を含む。
そして第1外部入出力装置200は、第1外部入力装置210を支援するための信号受信部211をさらに含む。
ここで第2外部入力装置270はカメラ装置であり得る。
第3外部入力装置280はモーション感知センサーであり得る。
【0097】
第1外部入出力装置制御部260は、端末機100と有線方式又は無線方式の少なくとも1つの方式をベースとして通信チャンネルを形成することができる通信モジュールを含む。
そして第1外部入出力装置制御部260は、端末機100から第2アプリ(App2)運用画面を受信して第1外部入出力装置表示部240に出力するよう支援する。
そして第1外部入出力装置制御部260は、端末機100との接続過程で第1外部入出力装置200運用のために利用可能な第1乃至第3外部入力装置(210、270、280)に対する情報を端末機100に提供する。
【0098】
そして第1外部入出力装置制御部260は、第1外部入力装置210が第2アプリ(App2)運用のために設定された状態で、第1外部入力装置210から入力信号が発生すると、これを信号受信部211を利用して受信する。
そして第1外部入出力装置制御部260は、受信された入力信号を端末機100に伝達する。
【0099】
以後、第1外部装置制御部260は、入力信号が適用された第2アプリ(App2)運用画面を端末機100から受信し、これを第1外部入出力装置表示部240に出力するように支援する。
第1外部装置制御部260は、端末機100と第1外部入出力装置200が接続されると、第1乃至第3外部入力装置(210、270、280)に対する情報を端末機100に提供する。端末機100は第1外部入出力装置200運用のために割り当てられた外部入力装置の情報を受信すると、これを複数のアプリのうちに第1外部入力装置200に提供するアプリの入力装置選択情報として提供する。
【0100】
第2外部入出力装置300は、第4外部入力装置310、第5外部入力装置320、第2外部入出力装置表示部340、第2外部入出力装置制御部360を含む。
第2外部入出力装置制御部360は、端末機100の接続要請に従って通信チャンネルを形成することができる少なくとも1つの有線又は無線通信モジュールを含む。
第2外部入出力装置制御部360は、端末機100と接続されると、第2外部入出力装置300で運用可能な入力装置情報、すなわち、第4及び第5外部入力装置(310、320)に対する情報を収集して端末機100に提供する。
【0101】
そして端末機100で第3アプリ(App3)運用のために第4又は第5外部入力装置(310、320)の少なくとも1つが選択されると、当該外部入力装置で生成された入力信号は第2外部入出力装置制御部360の制御によって端末機100に提供される。
そして入力信号が適用された第3アプリ(App3)運用画面が受信されると、第2外部入出力装置制御部360は、第3アプリ(App3)運用画面を第2外部入出力装置表示部340に出力するように支援する。
ここで端末機100は、第2外部入出力装置300に出力される第3アプリ(App3)運用のために他のアプリと独立した入力装置を割り当てることもできる。すなわち、端末機100はペンタッチパネル145やハードウェアキー120などを第3アプリ(App3)運用のために割り当てることもできる。上述した入力装置の割り当ては予め設定された情報によってデフォルトで決定するか、又は使用者選択によって決定することもできる。
【0102】
一方、端末機100は、第1アプリ(App1)運用画面、第2アプリ(App2)運用画面、第3アプリ(App3)運用画面のうちの少なくとも1つのみを出力することができる。
すなわち、端末機100は、第2アプリ(App2)運用画面及び第3アプリ(App3)運用画面は表示部140に出力しないように制御することができる。
使用者は、第1外部入出力装置表示部240に出力される第2アプリ(App2)運用画面を確認すると共に第2アプリに割り当てられた入力装置を利用して第2アプリ(App2)運用のための入力信号を生成することができる。
また使用者は、第2外部入出力装置表示部340に出力される第3アプリ(App3)運用画面を確認しながら第3アプリ(App3)に割り当てられた入力装置を利用して第3アプリ(App3)運用のための入力信号を生成することができる。
【0103】
上述の説明で端末機100は、第1アプリ(App1)運用画面、第2アプリ(App2)運用画面、第3アプリ(App3)運用画面を支援することで説明したが本発明はこれに限定されるものではない。
すなわち、端末機100は、表示部140に出力される第1アプリ(App1)運用をしなく、第1外部入出力装置200及び第2外部入出力装置300に運用画面を出力する第2アプリ(App2)及び第3アプリ(App3)のみを運用することもできる。
この場合、端末機100は第2アプリ(App2)運用画面及び第3アプリ(App3)運用画面を表示部140に出力することができる。そして端末機100は第2アプリ(App2)運用のための入力信号及び第3アプリ(App3)運用のための入力信号が受信されると、これを表示部140に出力することができる。
【0104】
以上で説明したように本発明の第2の実施形態による多重入力制御機能を支援する多重入力制御システム10は、端末機100が少なくとも1つの活性化されたアプリの実行結果を外部入出力装置に提供し、当該アプリの運用のために用いる入力装置を使用者設定によって、或いはデフォルトで独立して割り当てられるよう支援する。
特に第2の実施形態による多重入力制御機能を支援する多重入力制御システム10は、端末機100で独立的に入力装置を割り当てるだけでなく、接続インターフェースを介して接続された外部入出力装置及び端末機100で実行される少なくとも1つのアプリのための入力手段としての外部入力装置までも割り当てるよう支援する。
【0105】
図8は、本発明の第2の実施形態による多重入力制御方法の内の端末機の運用方法を説明するためのフローチャートである。
図8を参照すると、本発明の第2の実施形態による多重入力制御方法の内の端末機100の運用方法は、先ず端末機100がS801段階で機能運用待機を行う。
【0106】
この段階で端末機100の制御部160は、電源部から供給された電源を分配し、予め設定された情報によって待機画面を表示部140に出力したり、少なくとも1つのアイコン出力又はメニュー項目を出力する。
そして端末機100はイベントが発生すると、S803段階で該当イベントが多重入力制御モード設定のためのイベントなのか否か確認する。
【0107】
ここで端末機100は多重入力制御モード設定のためのイベントではない場合、S805段階に分岐してイベント特性に従う機能遂行を実行する。
例えば端末機100は、使用者要請に従って、或いは予め設定された情報によって少なくとも1つのアプリを活性化し、対応するアプリの画面を表示部に出力する。
この時、端末機100は入力装置を表示部140の最上位レイヤーに運用画面を出力するアプリに割り当てる。
そして端末機100は、入力装置から発生された入力信号を最上位レイヤーに運用画面を出力するアプリに適用する。
【0108】
一方、S803段階で発生したイベントが多重入力制御モードイベントである場合、端末機100は、S807段階に分岐して外部装置が接続されているか否かを確認する。
ここで端末機100は外部装置の接続がない場合、S809段階に分岐して端末機100の入力装置をベースとして多重入力制御を支援する。
例えば端末機100は、複数のアプリ活性化が要請されると、それぞれのアプリに対して端末機100の各入力装置が独立的に割り当てられることができるように制御する。
この段階で端末機100は、タッチパネル141やペンタッチパネル145の領域を区分し、区分された領域を各アプリに独立的に割り当てる。そして端末機100は各アプリの多重入力制御のために区分された領域に対する情報と各アプリ情報をマッピングし、区分された領域で発生した入力信号を当該アプリにだけ適用する。
【0109】
一方、S807段階で外部装置接続がある場合、S811段階で外部入力装置及び端末機の入力装置をベースとして多重入力制御を支援する。
この支援をするために端末機100は、接続インターフェース180に接続された外部入出力装置又は外部入力装置の入力装置ID情報を収集し、これを含む入力装置リストを生成及び管理する。
そして端末機100は、外部入力装置又は端末機の入力装置の中から使用者選択によって、或いは制御部160制御によって選択された少なくとも1つの入力装置と特定アプリをマッピングして入力装置マッピング情報を生成及び管理する。
この時、端末機100は、アプリID別に入力装置IDをマッピングして入力装置マッピング情報を生成及び管理する。
ここでアプリID別に1つ以上の入力装置IDがマッピングされる。
【0110】
次に、端末機100は、S813段階で入力信号を収集したか否かを確認する。
そして端末機100は、入力信号が収集されると、マッピング情報による機能制御及び情報出力を支援する。
ここで多重入力制御システム10の入力装置は、入力信号生成を要請を受けると、入力装置IDを入力信号に含んで端末機100の制御部160に提供する。
特にタッチパネル141やペンタッチパネル145のように領域区分を介して独立的な入力装置駆動の可能な構成は、領域の位置情報を入力信号に含んで提供する。
端末機100の制御部160は、入力装置ID確認を介してアプリIDを確認し、当該入力信号を該当アプリに適用するように支援する。そして端末機100は、入力信号が適用されたアプリ運用画面を端末機100の表示部140、又は外部入出力装置に出力するように支援する。
【0111】
一方、S813段階で入力信号が収集されない場合、端末機100はS817段階に分岐して多重入力制御モード解除のためのイベント発生があったのか否かを確認する。
そして端末機100は、解除イベントの発生がない場合、S811段階に戻り以下の段階を再遂行する。
再遂行の過程で端末機100は、特定アプリに対する入力装置の割り当てを変更することができる。
【0112】
S817段階で多重入力制御モード解除のためのイベントが発生すると、端末機100は、S819動作段階に分岐して端末機100の終了イベントが発生したのか否かを確認する。
そして端末機100は、終了イベントの発生がなければS803段階に戻り、以下の段階を再遂行する。
【0113】
以上で説明したように、本発明の第2の実施形態による多重入力制御機能は、端末機100に設けた入力装置だけではなく接続インターフェース180を介して接続可能な外部入力装置も端末機100で運用される個々のアプリに対して独立した入力装置として利用されるように支援することができる。
これによって本発明の端末機100を通して、或いは端末機100にてコンテンツを再生する場合、使用者は、外部入出力装置の大画面を通してコンテンツを見ることができ、端末機100上で実行されるアプリをより容易に制御することができる。
【0114】
図9A〜
図10Bは、本発明の第2実施例による多重入力制御機能を支援する端末機100の画面インターフェースの一例を説明するための図である。
説明に先立って、以下では本発明の第2の実施形態による多重入力制御機能を端末機100に1つの外部入出力装置が接続される環境を基準で説明する。
しかし、本発明はこれに限定されるものではなく、より多い外部入出力装置との接続によって端末機でのアプリ運用領域の個数をさらに増やすこともできる。
【0115】
図9A〜
図10Bを参照すると、本発明の端末機100は、符号901の画面のように多重入力制御画面を表示部140に出力する。
多重入力制御画面は、アプリ選択領域40、アプリ運用領域50、及び入力装置マッピング情報領域60を含む。
【0116】
アプリ選択領域40は、図に示すように複数のアプリの内から少なくとも1つを選択することができる領域として、複数のアプリに対するアイコンが表示される。
アプリ選択領域40は、現時点で表示されていないアイコンの検索のためにスクロール機能を提供することができる。
また本発明のアプリ選択領域40の一側には、特定アプリ運用領域を表示部140に全画面で出力することができるように支援する全画面仮想キー49が配置される。
【0117】
アプリ運用領域50は、第1アプリ運用領域51及び第2アプリ運用領域52を含んで構成される。
ここで第1アプリ運用領域51は、端末機100の表示部140にだけ出力されるアプリ運用画面を出力する領域として用いられる。
また第1アプリ運用領域51ベースで運用されるアプリは、端末機100の入力装置を利用するように支援する。
第1アプリ運用領域51の一側にはアプリ運用画面が出力される位置情報である「My Device」が出力される。
ここで「My Device」の意味は、第1アプリ運用領域51を介して活性化されるアプリは、運用画面が端末機100の表示部140にだけ出力されることを意味する。
【0118】
第2アプリ運用領域52は、第1アプリ運用領域51で運用されるアプリとは異なるアプリの運用画面が出力される領域である。
特に第2アプリ運用領域52に出力されるアプリの運用画面は、接続インターフェース180を介して接続された外部入出力装置で出力することができる。
このため、第2アプリ運用領域52の一側には外部入出力装置の識別情報に該当する「LN 46230T」が出力される。
言い換えれば、第2アプリ運用領域52に出力されるアプリ運用画面は「LN 46230T」を識別情報として有する外部入出力装置に出力される。
また、第2アプリ運用領域52の一側には入力装置マッピング情報領域60が出力される。
【0119】
入力装置マッピング情報領域60には図に示すように「Remote controller」と「Camera」が出力される。
ここで「Remote controller」と「Camera」が外部入出力装置を介して入力信号を提供する外部入出力装置の入力装置であることを示す。
又は「Remote controller」は外部入出力装置を介して入力信号を提供する入力装置であり、「Camera」は端末機100のカメラ170に対応することもできる。
すなわち、第2アプリ運用領域52に運用画面を提供するアプリは、外部入出力装置を介して入力信号を提供する「Remote controller」と端末機100のカメラ170を介して入力信号を提供することができる。
又は「camera」が外部入出力装置に装着されたカメラを指示する場合、第2アプリ運用領域52に関わるアプリの入力信号は、外部入出力装置を介してだけ受信することができる。
一方、第1アプリ運用領域51のアプリ運用のために端末機100がデフォルトで提供する入力装置がマッピングされる場合、図に示すように別途の入力装置マッピング情報が出力されないこともある。
【0120】
一方、符号901の画面では、使用者はアプリ選択領域40に羅列された複数のアプリの内の第1アプリ(App1)を選択してこれを第1アプリ運用領域51にドラッグさせる。
それにより端末機100は、第1アプリ運用領域51への第1アプリ(App1)のアイコンのドラッグが、第1アプリ(App1)を活性化させるための入力信号として判断し、第1アプリ(App1)を活性化することができる。
そして端末機100は、符号903の画面のように第1アプリ(App1)活性化による運用画面を第1アプリ運用領域51に出力する。
【0121】
また、符号905の画面のように、使用者がアプリ選択領域40で第2アプリ(App2)を選択して第2アプリ運用領域52にドラッグさせた場合、端末機100は第2アプリ(App2)が活性化するよう制御する。
そして端末機100は、符号907の画面のように第2アプリ(App2)活性化による画面を第2アプリ運用領域52に出力する。
符号907の画面で全画面仮想キー49が押されると、端末機100は、
図10Aの符号1001の状況画面のように端末機100の表示部140に第1アプリ(App1)の運用画面のみを出力する。
これと共に端末機100は、多重入力制御画面への転換のために仮想制御キー80を画面一側に出力する。これと共に端末機100は、第2アプリ(App2)の運用画面を第1外部入出力装置200を介して出力するように支援することができる。
これによって第1使用者(User1)は端末機100を介して第1アプリ(App1)の運用を行い、第2使用者(User2)は端末機100で活性化された第2アプリ(App2)の運用画面を第1外部入出力装置200を介して運用することができる。
【0122】
符号1001の画面で、端末機100は、第2アプリ(App2)を運用するために第2アプリ(App2)のバックグラウンドプロセッシングを支援することができる。
そして端末機100は、第2アプリ(App2)運用によるアプリ運用画面を接続インターフェース180を介して第1外部入出力装置200に伝達する。
第1外部入出力装置200は、端末機100から第2アプリ(App2)運用画面情報を受信し、これを第1外部入出力装置表示部240に出力する。
【0123】
一方、第1外部入出力装置200は、第1外部入力装置210、例えばリモートコントローラーから入力信号が発生すると、これを端末機100に伝達する。
これにより端末機100と第1外部入出力装置200は、第2アプリ(App2)運用画面伝達のための通信チャンネル及び入力信号伝達のための通信チャンネルを形成する。
端末機100は、第1外部入出力装置200から入力信号を受信すると、当該入力信号の入力装置IDを確認し、受信した入力信号を第2アプリ(App2)に適用するように制御する。
そして端末機100は、入力信号が適用された第2アプリ(App2)の運用画面を接続インターフェース180を介して第1外部入出力装置200に提供する。
この過程で端末機100は、受信した入力信号による第2アプリ(App2)の運用と、それによる運用画面の伝達をバックグラウンドプロセッシングで行うことができる。
ここで端末機100は、第1外部入出力装置200からの入力信号受信に対する案内テキストや案内音出力を支援することもできる。
【0124】
一方、
図10Bの符号1003の画面のように仮想制御キー80を選択する入力信号が発生すると、端末機100は、符号1005の画面のように多重入力制御画面を出力する。
すなわち、端末機100は、第1アプリ(App1)運用中に第1使用者(User1)又は第2使用者(User2)によって仮想制御キー80選択のための入力信号が発生すると、アプリ選択領域40及び第2アプリ運用領域52を含む画面を表示部140に出力する。
【0125】
図11は、本発明の実施形態による多重入力制御システムを支援する機能モジュールを示すブロック図である。
図11を参照すると、本発明の多重入力制御システム10は、端末機100が少なくとも1つの入力装置(120、141、145、170、MIC)を含み、第1接続インターフェース181を介して前述の実施形態で説明した外部入力装置(101、103、210、270、280、310、320)の内の少なくとも1つが接続される。
第1ドライバー(Driver1)167は、少なくとも1つの入力装置(120、141、145、170、MIC)と外部入力装置(101、103、210、270、280、310、320)の接続及び当該構成から伝達される入力信号をイベント処理部163に伝達する構成である。
【0126】
イベント処理部163は、入力マネージャー162及びアプリ選択部164の構成を含み、上述した構成を利用して少なくとも1つの入力装置(120、141、145、170、MIC)及び外部入力装置(101、103、210、270、280、310、320)の内の少なくとも1つから伝達される入力信号を複数のアプリの内のいずれか1つのアプリに提供する。
【0127】
アプリ機能遂行部161は、イベント処理部163から入力信号が伝達され、これを特定アプリに伝達して該当アプリの運用に適用するように制御する構成である。
図に示すものは、第1アプリ(App1)及び第2アプリ(App2)が駆動することを例として説明したが本発明はこれに限定されるものではない。
すなわち、アプリ機能遂行部161は、より多い個数のアプリを活性化することができる。
アプリ機能遂行部161で駆動するアプリが追加された場合、イベント処理部163はそれぞれのアプリの駆動のための入力信号を独立的に適用するように制御する。
すなわち、イベント処理部163は、少なくとも1つの入力装置(120、141、145、170、MIC)及び外部入力装置(101、103、210、270、280、310、320)の内の他のアプリに重複して割り当てられていない入力装置を新たに活性化されたアプリに割り当てるように制御する。
【0128】
ここでイベント処理部163は、他のアプリにすでに割り当てられた入力装置を使用者要請に従って新たに活性化されるアプリに割り当てるようにすることもできる。
これによりイベント処理部163は、入力装置を選択することができる環境を端末機100の表示部140を介して提供することができる。
又はイベント処理部163は、予め設定されたスケジュールによって特定入力装置を各アプリで独立的に割り当てて、これを使用者が認識するように案内情報を出力することができる。
例えばイベント処理部163は、複数の入力装置を活性化されるアプリに対して順次に割り当てることができる。又はイベント処理部163は、タッチパネル141又はペンタッチパネル145の少なくとも1つの独立的な領域を、活性化された複数のアプリの内の表示部140に出力される複数のアプリそれぞれに割り当てて提供することができる。
【0129】
第1アプリ(App1)及び第2アプリ(App2)は、イベント処理部163から伝達される入力信号によってアプリの実行(運用)を行い、アプリ実行によるデータを表示マネージャー165に伝達する。
それにより表示マネージャー(Display Manager)165は、これを第2ドライバー169を介して表示部140に出力するか、第2接続インターフェース182を介して前述の外部入出力装置(200、300)の内の少なくとも1つに伝達する。
ここで外部入出力装置(200、300)は先に
図7で説明した第1外部入出力装置200及び第2外部入出力装置300の内の少なくとも1つとなることができる。
【0130】
上述の説明で端末機に入力装置の構成が含まれる形態を基準で説明したが、本発明はこれに限定されるものではない。
すなわち、本発明の端末機は、入力装置の構成が除去して外部入力装置を接続することができる接続インターフェースを含む構成をとることもできる。
ここで接続インターフェースは、複数のアプリ運用のための入力信号を生成する少なくとも1つの外部入力装置が接続されるように支援する。
この場合、端末機の制御部は、上述のように複数のアプリ活性化要請を受信した場合、少なくとも1つの外部入力装置をイベント発生によって、或いは予め設定された情報によって複数のアプリ別に独立的に運用されるように割り当てることができる。
【0131】
外部入力装置は、接続インターフェースを介して接続されるタッチパネル、ペンとペンタッチパネル、キーボード、カメラ、マイク、及びモーションセンサーの内の少なくとも1つを含むことができる。
この環境で制御部は、複数のアプリ別に接続インターフェースを介して接続されたタッチパネル領域を区分して割り当てることができる。
また制御部は、複数のアプリ別に接続インターフェースを介して接続されたペンタッチパネル領域を区分して割り当てることができる。
また制御部は、1つのキーボードキーの内の一部キーを区分して各アプリ別に割り当てることができる。
【0132】
端末機の制御部は、少なくとも1つの外部入力装置から入力信号を受信すると、外部入力装置が割り当てられたアプリの種類を確認し、入力信号を確認されたアプリに適用するように制御する。
端末機は、複数のアプリ運用によるアプリ運用領域を出力する表示部をさらに含むことができ、前述の画面インターフェースを外部入力装置に対して提供することができる。
すなわち、端末機の表示部は、アプリ選択領域、アプリ運用領域、入力装置選択領域の内の少なくとも1つを出力することができる。
また端末機の表示部は、アプリ選択領域、複数のアプリの内から選択されたアプリに関わる画面が出力されるアプリ運用領域、アプリにマッピングされた(割り当てられた)少なくとも1つの外部入力装置の情報を出力する入力装置マッピング情報領域を含む画面を出力することができる。
【0133】
制御部は、アプリに関わる画面が表示された領域別に接続インターフェースを介して接続されたタッチパネル又はペンタッチパネルの少なくとも1つの領域を区分して、少なくとも1つの区分されたタッチパネル及びペンタッチパネルの各領域を該当アプリの入力手段として動作するように割り当てることができる。
この時、端末機に含まれる表示部は、イベント発生によって各アプリ別の画面領域の内の少なくとも1つに仮想入力窓を出力することができる。
【0134】
付加的に、端末機は、複数のアプリ駆動のために通信部を含み、複数のアプリ運用を支援する外部サーバー装置との接続を行うことができる。
そして端末機は、外部サーバー装置からサーバーベースで運用される複数のアプリを上述した外部入力装置をベースとして運用することができる。
また端末機は、複数のアプリ駆動のための上述した接続インターフェースを提供し、複数のアプリ運用を支援する外部電子装置の接続を支援することができる。
この場合端末機は、外部電子装置で運用される複数のアプリに対して外部入力装置の区分と割り当て、アプリ制御を支援することができる。
【0135】
以上で説明したように、本発明の実施形態による多重入力制御機能は、端末機100で運用されるアプリ別に入力装置を独立的に運用可能になるように支援することができる。
従って、使用者は、アプリ間のスイッチングなしで所望するアプリに入力信号を提供する入力装置を操作することができる。
また本発明の多重入力制御機能は、外部装置が接続されて動作する複数のアプリの1つに少なくとも1つの入力装置を割り当て、ユーザーインターフェースの拡張性を強化することができる。
【0136】
一方、上述の携帯端末機100は、その提供形態によって多様な追加モジュールをさらに含むことができる。
すなわち、携帯端末機100は、通信端末機の場合、近距離通信のための近距離通信モジュール、携帯端末機100の有線通信方式又は無線通信方式によるデータ送受信のためのインターフェース、インターネットネットワークと通信してインターネット機能を行うインターネット通信モジュール、及びデジタル放送受信と再生機能を行うデジタル放送モジュールなどのように上記で言及されない構成をさらに含むこともできる。
【0137】
このような構成要素は、デジタル機器の機能集中化の傾向によって変形が非常に多様で全部列挙することはできないが、上記言及された構成要素と同等な水準の構成要素が上記デバイスに追加でさらに含まれて構成することができる。
また、本発明の携帯端末機100は、その提供形態によって上記の構成で特定構成が除かれたり、他の構成と取り替えられることもできることは勿論である。これは本技術分野の通常の知識を有した者には容易に理解される。
【0138】
また、本発明の実施形態による携帯端末機は、例えば携帯端末機100は、多様な通信システムに対応する通信プロトコルに基づいて動作するすべての移動通信端末機(mobile communication terminals)をはじめとして、PMP(Portable Multimedia Player)、デジタル放送プレーヤー、PDA(Personal Digital Assistant)、音楽再生機(例えば、MP3プレーヤー)、携帯ゲーム端末、スマートフォン(Smart Phone)、ノート・ブック(Notebook)PC、及びハンドヘルドPCなどすべての情報通信器機とマルチメディア及びそれに対する応用機器を含むことができる。
【0139】
尚、本発明は、上述の実施形態に限られるものではない。本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。