(58)【調査した分野】(Int.Cl.,DB名)
前記第2の表示手段は、前記移動操作受付手段の移動する操作によって前記文字列が表示部へ近づくと、前記表示部に示す表示位置とは別に、前記移動する文字列において当該文字列を表示しようとする位置を表示することを特徴とする請求項1に記載の情報処理装置。
前記第1の表示手段は、押下を受け付けたキーに対応する文字列を用いて変換可能な文字列を前記表示部へ表示する候補として表示することを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
前記第1の表示手段は、候補として表示された文字列が前記ソフトウェアキーボードの文字列を変換する操作に対応するキーに移動されることにより、当該文字列を用いて変換可能な文字列を前記表示部へ表示する候補として表示することを特徴とする請求項4に記載の情報処理装置
前記第1の表示手段は、前記キーが押下された状態で前記キーとは異なるキーの押下により複数のそれぞれのキーに対応する文字列を用いて、前記表示部へ表示する候補を表示することを特徴とする請求項1乃至6の何れか1項に記載の情報処理装置。
【図面の簡単な説明】
【0014】
【
図1】本発明の実施形態に係る情報処理装置の構成を示す構成図である。
【
図2】本発明の実施形態に係る情報処理装置のハードウェアの構成を示すこう製図である。
【
図3】本発明の実施形態に係る情報処理装置で実行される文書への文字列などの挿入処理を示すフローチャートである。
【
図4】本発明の実施形態に係る情報処理装置で実行される文書の文字列などの削除、入れ替え処理を示すフローチャートである。
【
図5】本発明の実施形態に係るソフトウェアキーボードの構成を示す構成図である。
【
図6】本発明の実施形態に係る画面情報テーブルの構成を示す構成図である。
【
図7】本発明の実施形態において文字列の挿入が可能なソフトウェアキーボードの構成を示す構成図である。
【
図8】本発明の実施形態において文字列の挿入が可能なソフトウェアキーボードの構成を示す構成図である。
【
図9】本発明の実施形態において文字列の挿入が可能なソフトウェアキーボードの構成を示す構成図である。
【
図10】本発明の実施形態において文字列の削除が可能なソフトウェアキーボードの構成を示す構成図である。
【
図11】本発明の実施形態において文字列の削除が可能なソフトウェアキーボードの構成を示す構成図である。
【
図12】本発明の実施形態において文字列の削除が可能なソフトウェアキーボードの構成を示す構成図である。
【
図13】本発明の実施形態において文字列の入れ替えが可能なソフトウェアキーボードの構成を示す構成図である。
【
図14】本発明の実施形態において文字列の入れ替えが可能なソフトウェアキーボードの構成を示す構成図である。
【
図15】本発明の実施形態において文字列の入れ替えが可能なソフトウェアキーボードの構成を示す構成図である。
【
図16】本発明の実施形態において文字列の入れ替えが可能なソフトウェアキーボードの構成を示す構成図である。
【
図17】本発明の実施形態において文字列の挿入が可能なソフトウェアキーボードの構成を示す構成図である。
【
図18】本発明の実施形態において文字列の挿入が可能なソフトウェアキーボードの構成を示す構成図である。
【
図19】本発明の実施形態において文字列の挿入が可能なソフトウェアキーボードの構成を示す構成図である。
【
図20】本発明の実施形態において文字列の挿入が可能なソフトウェアキーボードの構成を示す構成図である。
【
図21】本発明の実施形態において文字列の挿入が可能なソフトウェアキーボードの構成を示す構成図である。
【
図22】本発明の実施形態において文字列の挿入が可能なソフトウェアキーボードの構成を示す構成図である。
【
図23】本発明の実施形態において文字列の挿入が可能なソフトウェアキーボードの構成を示す構成図である。
【
図24】本発明の実施形態において文字列の挿入が可能なソフトウェアキーボードの構成を示す構成図である。
【
図25】本発明の実施形態において文字列の挿入が可能なソフトウェアキーボードの構成を示す構成図である。
【
図26】本発明の実施形態において文字列の挿入が可能なソフトウェアキーボードの構成を示す構成図である。
【
図27】本発明の実施形態においてパスワードを入力するための画面の構成を示す構成図である。
【
図28】本発明の実施形態においてパスワードを入力するためのソフトウェアキーボードの構成を示す構成図である。
【
図29】本発明の実施形態においてパスワードを入力するためのソフトウェアキーボードの構成を示す構成図である。
【
図30】本発明の実施形態においてパスワードを入力するための画面の構成を示す構成図である。
【
図31】本発明の実施形態において漢字・かな変換を行った文字列の挿入が可能なソフトウェアキーボードの構成を示す構成図である。
【
図32】本発明の実施形態において漢字・かな変換を行った文字列の挿入が可能なソフトウェアキーボードの構成を示す構成図である。
【
図33】本発明の実施形態において漢字・かな変換を行った文字列の挿入が可能なソフトウェアキーボードの構成を示す構成図である。
【
図34】本発明の実施形態において漢字・かな変換を行った文字列の挿入が可能なソフトウェアキーボードの構成を示す構成図である。
【
図35】本発明の実施形態において漢字・かな変換を行った文字列の挿入が可能なソフトウェアキーボードの構成を示す構成図である。
【
図36】本発明の実施形態において漢字・かな変換を行った文字列の挿入が可能なソフトウェアキーボードの構成を示す構成図である。
【
図37】本発明の実施形態において漢字・かな変換を行った文字列の挿入が可能なソフトウェアキーボードの構成を示す構成図である。
【
図38】本発明の実施形態において漢字・かな変換を行った文字列の挿入が可能なソフトウェアキーボードの構成を示す構成図である。
【
図39】本発明の実施形態において漢字・かな変換を行った文字列の挿入が可能なソフトウェアキーボードの構成を示す構成図である。
【
図40】本発明の実施形態において漢字・かな変換を行った文字列の挿入が可能なソフトウェアキーボードの構成を示す構成図である。
【
図41】本発明の実施形態において漢字・かな変換の候補を表示するウィンドウの構成を示す構成図である。
【
図42】本発明の実施形態において漢字・かな変換の候補を表示するウィンドウの構成を示す構成図である。
【
図43】本発明の実施形態において漢字・かな変換の候補を表示するウィンドウの構成を示す構成図である。
【
図44】本発明の実施形態において漢字・かな変換の候補を表示するウィンドウの構成を示す構成図である。
【
図45】本発明の実施形態において漢字・かな変換を行った文字列の挿入が可能なソフトウェアキーボードの構成を示す構成図である。
【
図46】本発明の実施形態に係る情報処理装置で実行される文書への文字列などの挿入処理を示すフローチャートである。
【
図47】本発明の実施形態に係る情報処理装置で実行される次のボタンの押下にかかる処理を行う際に複数文字列を吹き出し表示する処理を示すフローチャートである。
【
図48】本発明の実施形態に係る情報処理装置で実行される漢字・かな変換処理を示すフローチャートである。
【発明を実施するための形態】
【0015】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
[第1の実施形態]
【0016】
図1には、本発明の実施形態にかかる情報処理装置の概略構成を示す構成図である。
【0017】
情報処理装置100は、ユーザが指で触れることで様々な操作入力が可能なタッチパネル101を備えており、このタッチパネル101では、タッチパネル101が押下されたことを検出する押下検出手段102と、タッチパネル101へ種々の画面などを表示する画面表示手段103を備えている。
【0018】
また、情報処理装置100は、自身で実行する各種の処理を制御する制御手段104を備えており、制御手段104は、押下検出手段102によってタッチパネル101が押下されたことを検出したことに応じて、様々なイベントを生成するイベント生成手段105と、さらに、押下検出手段102によってタッチパネル101が押下された長さによって、生成するイベントを変更することが可能なように、この押下された長さを監視するタイマ監視手段106と、を備えている。尚、各機能の詳細については、後述することとする。
【0019】
図2には、情報処理装置100におけるハードウェアの概略構成を示す構成図が示されている。
【0020】
以下、
図2を用いて、
図1に示した情報処理装置100のハードウェア構成について説明する。
【0021】
図2において、201はCPUで、システムバス204に接続される各デバイスやコントローラを統括的に制御する。
【0022】
また、ROM202あるいは外部メモリ211には、CPU201の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム(以下、OS)や、各サーバ或いは各PCの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
【0023】
203はRAMで、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をROM202あるいは外部メモリ211からRAM203にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
【0024】
また、205は入力コントローラで、キーボードや不図示のマウス等のポインティングデバイス等の入力部209からの入力を制御する。206はビデオコントローラで、CRTディスプレイ(CRT)や液晶ディスプレイ等の表示部210への表示を制御する。
【0025】
表示部210は、タッチパネルシートが貼られており、システムの操作画面を表示するとともに、表示してあるキーが押されると、その位置情報を、入力コントローラ205を介してCPU201に伝える。また、キーが押された後、そのキーがリリース、つまり、指などが離れたことを検知すると、キーから特定される文字列が表示される。
【0026】
207はメモリコントローラで、ブートプログラム,各種のアプリケーション,フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置(ハードディスク(HD))や、フレキシブルディスク(FD)、或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ211へのアクセスを制御する。
【0027】
208は通信I/Fコントローラで、ネットワーク(例えば、LAN)を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いた通信等が可能である。
【0028】
なお、CPU201は、例えばRAM203内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、表示部210上での表示を可能としている。また、CPU201は、表示部210上の不図示のマウスカーソル等でのユーザ指示を可能とする。
【0029】
本発明を実現するための後述する各種プログラムは、外部メモリ211に記録されており、必要に応じてRAM203にロードされることによりCPU201によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル等も、外部メモリ211に格納されており、これらについての詳細な説明も後述する。
【0030】
図3は、本発明の実施形態に係る情報処理装置で実行される文書への文字列などの挿入処理を示すフローチャートである。尚、各ステップは、CPU201の制御の下、処理が実行される。
【0031】
ステップS100では、押下検出手段102は、表示部210に表示されたソフトウェアキーボードのボタンが押下されたか否かを判定し、押下されたと判定した場合は、ステップS101へ処理を進める。
【0032】
このソフトウェアキーボードの一例を
図5に示す。ソフトウェアキーボード300は、文字列等を入力、表示するための入力文字表示エリア301、文字列を入力するための文字列ボタン303、及び所定の機能を動作させることが可能な機能ボタン304を備えている。
【0033】
ステップS101では、押下検出手段102は、ボタンの押下にかかる押下位置を検出し、ステップS102では、押下検出手段102は、押下された位置が、押下されたボタンの表示領域内(あるいは、押下可能範囲内)であるか否かを判定し、表示領域内であると判定した場合は、ステップS105へ処理を進め、表示領域内であると判定しない場合は、ステップS103へ処理を進める。
【0034】
ここで押下された位置とは、画面における座標を示しており、
図6に示される画面の構成に関する情報を記憶している画面情報テーブル400を用いて、この位置を特定している。
【0035】
画面情報テーブル400は、画面を一意に識別するための画面ID401に対応して、入力文字表示エリア301に関する領域を座標として記憶し、更に、後述するが、入力文字表示エリア301がパスワードを入力するためのエリアか否かを判定するためのパスワード入力フラグ403を備えている。
【0036】
更に、画面情報テーブル400は、文字列ボタン303や機能ボタン304の位置情報として、座標に関する情報をそれぞれ備えている。
【0037】
以後も、位置とは、この座標を示しており、説明は省略するものとする。
【0038】
ステップS103では、画面表示手段103は、押下されたボタンから入力される文字列や動作する機能を特定するための特定情報を表示し、ステップS104では、画面表示手段103は、ステップS101において検出した押下位置が移動されていれば、その移動先に、この特定情報も移動させる。
【0039】
ステップS105では、押下検出手段102は、押下されたボタンがリリースされたか否かを判定し、リリースされたと判定した場合、ステップS106へ処理を進め、押下されたと判定しない場合は、ステップS101へ処理を進める。
【0040】
ここまでの流れを具体的な例として説明すると、
図7に示すように、入力文字表示エリア301に表示された文書に対して、文書を構成するdとfとの間に、eを挿入したい場合を例として説明する。
【0041】
この場合、ユーザは、まず、ボタンとして、eを押下すると、初めは、eのボタンの領域内で押下された位置を検出するが、eを押下した状態(詳しくは、eを押下した後、ソフトウェアキーボードから指を話さない状態、以下、同じ)で、eのボタンの表示領域外へ指を移動させていくと、
図8に示すように、現在、eのボタンが押下されていることをユーザに知らしめるため、eのボタンを押下することで入力することができるeという文字列を特定情報として表示する。
【0042】
そして、このeのボタンがリリースされるまで、ユーザの指の移動に応じて、eという文字列の特定情報も移動させて表示することを行っている(ステップS101からステップS105)。
【0043】
ステップS106では、押下検出手段102は、押下されたボタンがリリースされた位置が、入力文字表示エリア301であるか否かを判定し、入力文字表示エリア301であると判定した場合は、ステップS107へ処理を進め、入力文字表示エリア301であると判定しない場合は、ステップS108へ処理を進める。
【0044】
ステップS107では、イベント生成手段105は、リリースされた位置で文字列を挿入する、あるいは、機能を動作させる。
【0045】
本ステップにおける具体的な例を
図9に示す。ユーザが、eのボタンを押下した状態で、入力文字表示エリア301へ移動させ、文書を構成するdとfとの間でリリースした時、dとfとの間に、eという文字列が挿入される。
【0046】
具体例では、文字列ボタン303が押下されたことを例としてあげたが、バックスペース、スペース、Enterなどの所定の機能を動作する機能ボタン304が押下されたときも同様に、機能ボタン304が押下された状態で、このボタンの表示領域外へ移動した場合は、その移動先で、この機能ボタン304を押下することで動作する機能を特定するための特定情報を表示し、入力文字表示エリア301へ移動して、機能ボタン304がリリースされたら、そのリリースされた位置において、機能ボタン304が押下されたとして、その動作(バックスペースをいれる、スペースをいれる、改行するなど)を行う。
【0047】
ステップS108では、イベント生成手段105は、現在、入力文字表示エリア301におけるカーソルの位置に対して、文字列を挿入するか、あるいは、機能を動作させる。本ステップもステップS107と同様に、押下されたボタンが文字列ボタン303か機能ボタン304によって、文字列を挿入するか、あるいは、機能を動作させる。
【0048】
次に、
図4は、本発明の実施形態に係る情報処理装置で実行される文書の文字列などの削除、入れ替え処理を示すフローチャートである。尚、各ステップは、CPU201の制御の下、処理が実行される。
【0049】
ステップS200では、押下検出手段102は、表示部210に表示されたソフトウェアキーボードが押下されたか否かを判定し、押下されたと判定した場合は、ステップS201へ処理を進める。
【0050】
ステップS201では、押下検出手段102は、ボタンが押下された位置を検出し、ステップS202では、押下検出手段102は、押下された位置が、入力文字表示エリア301であるか否かを判定し、入力文字表示エリア301内であると判定した場合は、ステップS203へ処理を進め、入力文字表示エリア301内であると判定しない場合は、処理を終了する。
【0051】
ステップS203では、画面表示手段103は、表示部210に表示された画面が、パスワードを入力するための画面でないか否かを判定し、パスワードを入力するための画面であると判定した場合は、処理を終了し、パスワードを入力するための画面であると判定しない場合は、ステップS204へ処理を進める。
【0052】
本ステップにおける判定は、表示部210へ表示された画面のIDに該当する、画面情報テーブルの画面IDに対応するパスワード入力フラグ403がONになっていた場合、表示部210に表示された画面は、パスワードを入力するための画面であると判定し、パスワード入力フラグ403がOFFになっていた場合、表示部210に表示された画面は、パスワードを入力するための画面であると判定しない。
【0053】
このような判定を行う理由としては、
図27に示すパスワードを入力するための画面が表示部210へ表示されている場合、パスワードを入力するエリアを押下すると、
図28に示すソフトウェアキーボードでパスワードの入力を開始するが、
図29に示すように、パスワードが第三者へ盗み見られるなどのリスクが生じることから、入力したパスワードが*などの別の文字列へ変換され、
図30に示すようにパスワードを入力するエリアには、*の文字列が表示される。
【0054】
このような場合、文字列の入れ替えや削除を行う必要性は、殆どないことから、このような画面が表示された場合、本処理を終了することとしている。
【0055】
ステップS204では、画面表示手段103は、入力文字表示エリア301に表示された文書を構成する文字列のうち、押下された文字列にフォーカスをあて、ステップS205では、タイマ監視手段106は、長い時間(所定時間)、入力文字表示エリア301の一定の箇所が押下されたか否かを判定し、押下されたと判定した場合、ステップS213へ処理を進め、押下されたと判定しない場合、ステップS206へ処理を進める。
【0056】
ステップS206では、押下検出手段102は、ボタンが押下された位置を検出し、ステップS207では、押下検出手段102は、ステップS206において検出した位置が、入力文字表示エリア301の外であるか否かを判定し、外であると判定しない場合、ステップS205へ処理を進め、外であると判定した場合、ステップS208へ処理を進める。
【0057】
ステップS208では、画面表示手段103は、押下された文字列を入力文字表示エリア301の外へ表示し、ステップS209では、画面表示手段103は、ステップS201において検出した押下位置が移動されていれば、その移動先に、この文字列も移動させる。
【0058】
そして、ステップS210では、押下検出手段102は、ボタン上で押下されなくなった(リリースされた)か否かを判定し、押下されなくなった(リリースされた)と判定した場合、ステップS211へ処理を進め、押下されなくなった(リリースされた)と判定しない場合は、ステップS212へ処理を進める。
【0059】
ステップS211では、画面表示手段103は、入力文字表示エリア301でフォーカスがあてられた文字列を、ステップS210でリリースされたボタンが押下されることで入力される文字列に入れ替えるか、あるいは、ステップS210でリリースされたボタンが押下されることで動作する機能を動作させる。
【0060】
ステップS212では、画面表示手段103は、入力文字表示エリア301でフォーカスがあてられた文字列を削除する。
【0061】
本処理の具体例を説明する。まず、ユーザは、入力文字表示エリア301に表示された文書のうち、削除したい文字列としてeを押下した状態で(
図10)、入力文字表示エリア301外へ、eを移動させる。その際に、入力文字表示エリア301外では、指の移動先においても、この文字列eが表示される(
図11)。
【0062】
すると、入力文字表示エリア301の外へ移動し、ボタンが配置されていないところで、押下することを止めると、入力文字表示エリア301に表示され、ユーザが押下(選択)した文字列eが削除され、e以後の文字列が左に寄せられて表示される(
図12)。
【0063】
また、ユーザは、入力文字表示エリア301に表示された文書のうち、入れ替えたい文字列としてeを押下した状態で(
図13)、入力文字表示エリア301外へ、eを移動させる。その際に、入力文字表示エリア301外では、指の移動先においても、この文字列eが表示される(
図14)。
【0064】
すると、入力文字表示エリア301の外へ移動し、ボタンが配置されているところで、押下することを止めると(
図15)、入力文字表示エリア301に表示され、ユーザが押下(選択)した文字列eに代わって、押下することを止めた位置のボタンを押下することで入力される文字列を表示するか、あるいは、押下することを止めた位置のボタンを押下することで動作する機能を動作させる(
図16)。
【0065】
本実施形態の変形例として、
図3に示す文書への文字列などの挿入処理では、1つの文字列を挿入したが、複数の文字列を挿入することも可能である。
【0066】
この方法として、まず、ステップS100においてボタンが押下された後、ステップS105において当該ボタンがリリースする前に、他のボタンが、タイマ監視手段106によって長い時間、押下されたか否かを判定し、押下されたと判定した場合、その他のボタンを押下することで入力される文字列も追加して、入力文字表示エリア301に表示された文書へ挿入する対象とすることが可能である。
【0067】
この追加は、ステップS105において、ボタンがリリースされるまで、いくつも追加することが可能であり、追加したいボタンを長い時間、押下することを、逐次、追加される。
【0068】
この流れを具体的な例として説明すると、
図17に示すように、入力文字表示エリア301に表示された文書に対して、文書を構成するdとfとの間に、xyzを挿入したい場合を例として説明する。
【0069】
ユーザは、まず、xを押下し、
図18に示すようにソフトウェアキーボードを押下した状態で、yが入力可能な文字列ボタン303まで指を移動させて、この文字列ボタン303を長い時間、押下する(
図19)。
【0070】
すると、
図20に示されるように、最初に押下したxに追加してyについても、挿入対象となる文字列として追加される。そして、
図21に示すように、継続して、ソフトウェアキーボードを押下した状態で、zが入力可能な文字列ボタン303まで指を移動させ、長い時間、押下すると(
図22)、x、yに追加してzも挿入可能な文字列とされる(
図23)。
【0071】
そして、ユーザは、挿入対象とする文字列を決定した後、ソフトウェアキーボードから指を離さないようにして(
図24)、入力文字表示エリア301に表示された文書に対して、xyzを挿入したい位置に指を移動させて、指を離すと(
図25)、離した位置に、xyzが挿入される(
図26)。
[第2の実施形態]
【0072】
次に第2の実施形態について説明するが、第1の実施形態では、キーボードにおいて押下されたキーに対応する文字列等の挿入を行っているが、第2の実施形態では、キーボードにおいて押下されたキーに対応する文字列から漢字やかな等への文字に変換して挿入する。
【0073】
尚、第2の実施形態は、第1の実施形態と同様な構成及び処理を備えるため、同一の構成及び処理については、同一符号を用いて説明を行うが、詳細な説明は省略するものとする。
【0074】
図31には、ソフトウェアキーボードの一例が示されており、
図5に示すソフトウェアキーボードとほぼ同様な構成を備えるが、キーボードに対して押下されたキーに対応する文字列から漢字・かな変換を行うための変換候補を表示するボタン501、漢字・かな変換を行った文字列を挿入する際に、変換後の複数の文字列を貯めて表示する吹き出し502、吹き出しに貯めて表示された文字列を入力文字表示エリア301へ挿入することをユーザへアシストする為の矢印503を備えている点で異なる。
【0075】
このソフトウェアキーボードを用いて、文字列の挿入を行うが、本実施形態では、
図32に示すように「空」をいう漢字を入力文字表示エリアに挿入する例をあげて発明の説明を行う。
【0076】
次に、
図46には、本発明の実施形態に係る情報処理装置で実行される文書への文字列などの挿入処理を示すフローチャートであり、
図3に示すフローチャートを改良したものである。尚、各ステップは、CPU201の制御の下、処理が実行される。
【0077】
まず、
図31に示すソフトウェアキーボードの入力モードを英字、数字、漢字・かな等へ切り替えるためのモード切替キー504が漢字・かなの入力モードになっている際に、以降の処理が行われ、ステップS300では、押下検出手段102は、ステップS100において押下された位置を検出する。
【0078】
ステップS301では、ステップS300で検出したボタンの押下にかかる押下位置が当該ボタンの表示領域内(あるいは、押下可能範囲内)であるか否かを判定し、表示領域内であると判定した場合は、ステップS302へ処理を進め、表示領域内であると判定しない場合は、ステップS303へ処理を進める。
【0079】
ボタンの押下にかかる押下位置が当該ボタンの表示領域内であることの例として、
図33に示すように、「空」の文字列を挿入するにあたり、その先頭文字のアルファベット「s」が押下されたことを示している。
【0080】
この時点以降、ソフトウェアキーボードから指を離さずに、挿入するための文字列を作成することを行っている。
【0081】
ステップS302では、押下検出手段102は、次のボタンの押下にかかる処理を行っているが、詳細は、
図47に示すフローチャートで説明する。
【0082】
図47には、次のボタンの押下にかかる処理を示すフローチャートが示されている。尚、各ステップは、CPU201の制御の下、処理が実行される。
【0083】
ステップS400では、押下検出手段102は、次のボタンの押下位置を検出する。次のボタンが押下されていることを示す例として、
図34に示すように、「空」の文字列を挿入するにあたり、その先頭文字のアルファベット「s」の次のアルファベットに該当する「o」に対応したボタンが押下されたことを示している。
【0084】
この場合、「s」に対応するボタンを指で押下した状態で、当該指とは異なる指で「o」に対応したボタンを押下している。
【0085】
ステップS401では、画面表示手段103は、1番目に押下したボタンの位置に吹き出しが表示されているか否かを判定し、表示されていると判定した場合は、ステップS403へ処理を進め、表示されていると判定しない場合、ステップS402へ処理を進める。
【0086】
ステップS402では、画面表示手段103は、1番目に押下したボタンの位置(あるいは、ボタンの近傍の位置)に吹き出しを表示し、ステップS403では、画面表示手段103は、次に押下したボタンに対応する文字列を表示されている吹き出しに追加する。この際に、文字列がかな変換できるものであれば変換を行って追加する。
【0087】
ステップS402における吹き出しを表示した例として、
図35に示すように、前の文字列として「s」に対応するボタンが押下された後、「o」に対応するボタンが押下され、その際に、「s」に対応するボタンの位置(あるいは、ボタンの近傍の位置、以降、同様)に吹き出しを表示して、その吹き出しの中に、「s」と「o」とからなる文字列をローマ字変換した文字「そ」を表示する。
【0088】
ユーザがタッチパネル101から指を離したこと(この場合、「s」に対応するボタンの位置から離れたこと)を押下検出手段102によって検出すると、このボタンの位置に表示した吹き出しは消去され、吹き出しの中に表示していた文字列は、漢字やかな等の変換を行うことなく、表示された文字列のまま、入力文字表示エリア301のカーソル位置302に表示する。
【0089】
一方、吹き出しに文字列を表示したまま、さらに他のボタンを押下したときの吹き出しを表示した例として、
図36に示すように、吹き出しに「そ」という文字列が表示された状態で、指を「s」に対応するボタンから離すことなく、当該指と異なる指で、「r」に対応するボタンを押下した場合、
図37に示すように、吹き出しに「そr」が表示される。
【0090】
さらに、
図38に示すように、当該異なる指で「a」に対応するボタンを押下した場合、
図39に示すように、吹き出しに「そら」が表示される。このような表示例を行う処理が、ステップS403に関する処理に対応している。
【0091】
吹き出しへの文字列の追加は、1番目に押下したボタンに対して所定の領域外へ指を移動しない限り、何文字でも追加可能であり、ステップS301では、前述したが、その指が所定の領域外へ移動したか否かを判定し、移動したと判定した場合、ステップS303へ処理を進めている。
【0092】
ステップS303では、画面表示手段103は、吹き出しが表示されているか否かを判定し、表示されていると判定した場合は、ステップS304へ処理を進め、表示されていると判定しない場合は、ステップS307へ処理を進める。
【0093】
ステップS304では、押下検出手段102は、指がボタンから離れることなく、所定の領域外へ移動されると、指の押下位置に合わせて、表示されている吹き出しが移動する。
【0094】
この吹き出しが移動する例が、
図40に示されており、「s」に対応するボタンの位置に表示されていた吹き出しが(
図39)、指の押下位置に合わせて、ボタン501の位置まで移動されたことが示されている。
【0095】
ステップS305では、漢字・かな変換処理を行うが、詳細は、
図48に示すフローチャートを用いて説明する。
【0096】
図48には、漢字・かな変換処理を示すフローチャートが示されており、各ステップは、CPU201の制御の下、処理が実行される。
【0097】
ステップS500では、押下検出手段102は、吹き出しがボタン501の位置にあるか否かを判定し、位置にあると判定した場合、ステップS501へ処理を進め、位置にないと判定した場合、処理を終了する。
【0098】
ステップS501では、押下検出手段102は、吹き出しがボタン501の位置に、一定時間、存在すると判定すると、吹き出しの中に表示された文字列の変換候補の一覧を表示するウィンドウ600が表示される。
【0099】
この変換候補の一覧を表示する例として、まず、
図40に示すように、吹き出しに「そら」が表示された状態で、吹き出しをボタン501へ移動させて、一定時間、ボタン501の位置で吹き出しを表示させておく。
【0100】
すると、
図41に示されるように、吹き出しの中に表示された文字列に対して変換可能な文字列(漢字、かな、カタカナ等)を選択形式で表示する。
【0101】
図41の例では、吹き出しに「そら」が表示されているので、その変換候補として、「空」、「ソラ」、「そら」が表示されている。
【0102】
ステップS502では、押下検出手段102は、変換候補の一覧を表示するウィンドウ600が表示された状態で、変換候補のなかから、変換したい文字列へ吹き出しが移動されたことを検出する。
【0103】
例えば、
図41に示されるように、変換したい文字列として「空」を選択する場合、吹き出しを空が表示された位置へ移動させる。
【0104】
ステップS503では、画面表示手段103は、吹き出しの中に表示された文字列を、ステップS502で選択した変換したい文字列に変換する。
【0105】
ステップS305では、押下検出手段102は、吹き出しが入力文字表示エリア301の近傍(所定距離の範囲内)に移動したか否かを判定し、移動したと判定した場合、ステップS306へ処理を進め、移動したと判定しない場合、ステップS105へ処理を進める。
【0106】
ステップS306では、画面表示手段103は、吹き出しが入力文字表示エリア301へ近づくと、入力文字表示エリア301に表示された文章に対して文字列の挿入をアシストするため、入力文字表示エリア301の方向を示すように矢印503を表示する。
【0107】
変換候補の一覧を表示するウィンドウ600で、吹き出しの中に表示された文字列を変換した後、入力文字表示エリア301に、変換後の文字列を挿入する際の例として、
図42に示されるように、変換後の「空」が表示された吹き出しを入力文字表示エリア301の方へ、指で移動させる。
【0108】
すると、
図43に示すように、吹き出しが入力文字表示エリア301へ近づくと、入力文字表示エリア301に表示された文書に対して文字列の挿入をアシストするため、入力文字表示エリア301の方向を示すように矢印503が表示され、
図44に示されるように、矢印503を挿入したい位置に移動して指を離すと、当該位置に文字列を挿入する。
【0109】
また、文字列の変換を行うことなく、吹き出しを入力文字表示エリア301に近づけたときも同様に、
図31に示されるように、矢印503が表示される
【0110】
ステップS105からステップS108では、第1の実施形態と同様に、入力文字表示エリア301に表示された文書に対して、文書を構成する文字列間で指が離れた位置に吹き出しに表示された文字列を挿入したり、文書に対して表示されたカーソルの位置に吹き出しに表示された文字列を挿入して、吹き出しを消去する。
【0111】
図45には、文書を構成する文字列間で指が離れた位置に吹き出しに表示された文字列を挿入した例が示されており、「あいうえおかきく」という文書に対して、「お」と「か」という文字列の間に、吹き出しの中に表示された「空」が挿入されたことを示している。
【0112】
ステップS307では、押下検出手段102は、検出した押下位置に、1番目に押下したボタンに対応する文字列を表示させる。そして、ステップS105で、当該ボタンがリリースされたことを検知すると、ステップS106以降の処理を進め、当該ボタンに対応する文字列を、入力文字表示エリア301に表示された文書に対して挿入する。
【0113】
本実施形態の変形例として、第2の実施形態では、2つの指を使ってボタンを押下することで文字列を選択したが、このような形態に限らず、1つの指で文字列を選択することも可能である。
【0114】
操作方法としては、第1の実施形態における変形例と同様な方法をとり、
図46に示す文書への文字列などの挿入処理において、ユーザがボタンを押下すると、ステップS301において、ステップS300で検出したボタンの押下にかかる押下位置が当該ボタンの表示領域内(あるいは、押下可能範囲内)であるか否かを判定し、表示領域内であると判定した場合は、ステップS302へ処理を進め、表示領域内であると判定しない場合は、ステップS303へ処理を進める。
【0115】
ステップS302では、次のボタンの押下にかかる処理を行うが、ステップS400において次のボタンの押下にかかる押下位置を検出する。
【0116】
この検出方法として、ステップS105において当該ボタンがリリースされる前に、次のボタンが、タイマ監視手段106によって長い時間、押下されたか否かを判定し、押下されたと判定した場合、その押下位置を検出する。
【0117】
以降、ステップS401からステップS403において、押下された次のボタンに対応する文字列も追加して、吹き出しに表示する。
【0118】
尚、ソフトウェアキーボードのモード切替キー504が漢字・かなの入力モードに際に、第2の実施形態のような処理を行い、モード切替キー504が英字の入力モードの際に、第1の実施形態のような処理に切替えることも可能である。
【0119】
以上、本発明によれば、文書中に文字列を追加などする際に、容易な操作によって文字列の追加等を行うことが可能となるので、ユーザの入力にかかる手間を軽減することができる。
【0120】
以上、実施形態例を詳述したが、本発明は、例えば、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【0121】
更には、画像処理装置、画像形成装置、及び撮影装置など、どのような装置であっても、このようなタッチパネル形式の表示部を備え、入力を行うことが可能な装置であれば、適用することが可能である。
【0122】
また、本発明におけるプログラムは、各処理方法をコンピュータが実行可能(読み取り可能)なプログラムであり、本発明の記憶媒体は、各処理方法をコンピュータが実行可能なプログラムが記憶されている。尚、本発明におけるプログラムは、各装置の処理方法ごとのプログラムであってもよい。
【0123】
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムを読取り実行することによっても、本発明の目的が達成されることは言うまでもない。
【0124】
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。
【0125】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、DVD−ROM、磁気テープ、不揮発性のメモリカード、ROM、EEPROM、シリコンディスク等を用いることができる。
【0126】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータで稼働しているOS等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0127】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0128】
一方、本発明の例とは異なり、本発明は、1つの機器からなる装置に適用してもよい。つまり、情報処理装置単体に適用してもよい。
【0129】
また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【0130】
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ,データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステム、あるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。