特開 2024-63217 操作方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024063217

(43)【公開日】2024-05-10

(54)【発明の名称】操作方法

(51)【国際特許分類】

   G06F 3/041 20060101AFI20240501BHJP

   G06F 3/04886 20220101ALI20240501BHJP

   G06F 3/023 20060101ALN20240501BHJP

【ＦＩ】

G06F3/041 580

G06F3/04886

G06F3/023 460

【審査請求】有

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2024034995

(22)【出願日】2024-03-07

(62)【分割の表示】P 2023073602の分割

【原出願日】2015-10-14

(71)【出願人】

【識別番号】000005810

【氏名又は名称】マクセル株式会社

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】鈴木 基之

(72)【発明者】

【氏名】橋本 康宣

(72)【発明者】

【氏名】益岡 信夫

(72)【発明者】

【氏名】清水 宏

(72)【発明者】

【氏名】吉澤 和彦

(72)【発明者】

【氏名】渡辺 光信

(57)【要約】      （修正有）

【課題】指の位置を非接触で検出して入力操作を行う場合、指の動きの無効な動作には反応せず、意図した入力操作に応じて正しく処理を実行する入力端末装置を提供すること。
【解決手段】位置入力対象物を介してユーザの操作を入力する入力端末装置において、ユーザが操作する位置入力対象物の位置を非接触で検出する位置検出部と、位置検出部で検出した位置に基づいてカーソルを表示する表示部と、位置検出部で検出した位置に基づいて対応する操作処理を実行させる操作処理制御部を備える。操作処理制御部は、操作処理の実行に関する複数の動作モードを有し、該動作モードの１つには、位置入力対象物の位置に応じたカーソルの移動以外のいずれの操作処理も実行しない状態を含む。操作処理制御部は、ユーザが位置入力対象物を介して特定の操作を行った場合、複数の動作モードを切り替える構成とする。
【選択図】図５

【特許請求の範囲】

【請求項1】

位置入力対象物を介してユーザの操作を入力可能な端末装置であって、
前記位置入力対象物の３次元位置を非接触で検出する位置検出部と、
操作対象を表示する表示部と、
前記位置検出部で検出した３次元位置に基づいて対応する操作処理を実行させる操作処理制御部を備え、
前記操作処理制御部は、
前記位置入力対象物が所定時間以上継続して前記表示部に表示される前記操作対象に対応する３次元位置にあると前記位置検出部により検出されると、前記操作対象に対して操作処理を行わない第１動作モードから前記操作対象に対して操作処理を行う第２動作モードに切り替えるように制御し、
更に、前記表示部に対する前記位置入力対象物の３次元位置のうち前記表示部に対する垂直方向の位置を複数のレイヤーに分割し、前記位置検出部で検出した前記位置入力対象物の垂直方向の位置が前記複数のレイヤーのどのレイヤーの範囲内にあるかに応じて前記表示部の表示内容を変更するように制御し、
前記複数のレイヤーの境界にさらに遷移領域を設定し、前記位置入力対象物の位置が前記遷移領域内に移動したときは、前記表示部には直前に表示していた操作用の画面を継続して表示しつつ、前記位置入力対象物の位置が前記遷移領域内であることを通知するように制御することを特徴とする端末装置。

【請求項2】

請求項１記載の端末装置であって、
前記操作制御処理部は、前記第２動作モードにおいて前記位置入力対象物の前記表示部に対する垂直方向の位置が所定の第１範囲内にある場合、前記操作対象の表示を変更するように前記表示部を制御することを特徴とする端末装置。

【請求項3】

請求項１記載の端末装置であって、
前記操作制御処理部は、前記表示部に対する前記垂直方向の位置を複数のレイヤーに分割し、前記位置検出部で検出した前記位置入力対象物の垂直方向の位置が前記複数のレイヤーのどのレイヤーの範囲内にあるかに応じて前記表示部の表示内容を変更するように制御することを特徴とする端末装置。

【請求項4】

請求項３に記載の端末装置であって、
前記操作処理制御部は、前記複数のレイヤーの境界にさらに遷移領域を設定し、前記位置入力対象物の位置が前記遷移領域内に移動したときは、前記表示部には直前に表示していた操作用の画面を継続して表示するとともに、画面の背景を変えることを特徴とする端末装置。

【請求項5】

請求項１乃至４のいずれかに記載の端末装置であって、
前記位置検出部は、発光素子及び受光素子を含んで構成されたものであることを特徴とする端末装置。

【請求項6】

請求項１乃至４のいずれかに記載の端末装置であって、
前記位置検出部は、超音波を用いたセンサを含んで構成されたものであることを特徴とする端末装置。

【請求項7】

請求項１乃至４のいずれかに記載の端末装置であって、
前記位置検出部は、カメラを含んで構成されたものであることを特徴とする端末装置。

【請求項8】

請求項１記載の端末装置であって、
更に、タッチ操作を検出するタッチパネルを備え、
前記タッチパネルへのタッチ操作に基づいて対応する操作処理を実行させる第１操作入力モードと、前記位置検出部で検出した３次元位置に基づいて対応する操作処理を実行させる第２操作入力モードと、を備えることを特徴とする端末装置。

【請求項9】

請求項８記載の端末装置であって、
更に、前記第１操作入力モードから前記第２操作入力モードへ切替可能な操作入力部を備えることを特徴とする端末装置。

【請求項10】

請求項８記載の端末装置であって、
前記位置入力対象物による所定の操作を検知すると、前記第１操作入力モード又は前記第２操作入力モードに切り替えることを特徴とする端末装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、手首等に装着して使用する小型の入力端末装置および操作入力方法に関する。

【背景技術】

【0002】

近年、通話だけでなく種々の情報の検索やメールの送受信、予定の管理などの処理を行うスマートフォンのような携帯情報端末が急速に普及している。しかし、これらの携帯情報端末は移動の際に鞄やポケットに収納されることが多く、受信したメールの確認等を行うためには、一々鞄やポケットから携帯情報端末を取り出す必要がある。このため、これらの携帯情報端末と無線通信により接続した腕時計のようなより小型の入力用の端末装置が開発されている。

【0003】

スマートフォンのような携帯情報端末ではタッチパネルにより情報の表示および指による入力を行なえるが、小型の入力端末装置では、タッチパネルも小さくなるため、指のタッチにより細かな操作入力を行うのが困難になる。そのため、ユーザの手の甲を入力面として用いる非接触の入力方式が提案されている。

【0004】

例えば、特許文献１に記載のリストバンド型入力デバイスでは、本体部に発光部と受光部を設けて、手の甲や手のひら上の指先の位置を非接触で検知することにより、文字を入力可能にする構成となっている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１４－１０６７６５公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

従来のタッチパネル等を用いた文字入力方法では、ユーザの指がパネル面に接触しているときは指の動きに従って文字の描画を行い、ユーザの指がパネル面から離れているときは描画を行わないように、入力の有効期間と無効期間を区別して入力できる。これにより、線分や点などの複数の「画」から構成される文字を入力する場合、有効な「画」の部分と、「画」と「画」との間を移動する無効な部分とを区別することで、所望の文字を正しく入力できる。

【0007】

一方、特許文献１等の非接触入力方法では、指先が通過した手の甲上の複数の格子ポイントを検出し、そのドットマトリクス情報から入力した文字を認識している。しかしながら、指先の通過位置に関し、文字を構成する「画」に対する有効な部分と、「画」と「画」との間を移動する無効な部分とを区別していない。すなわち、「画」とは関係ない無効な部分まで文字の一部として検出することで、入力した文字が誤って認識され易いという課題がある。言い換えれば、文字描画の開始点と終了点が不明確であるということである。この無効部分を予め予想して除外するとしても、入力時に書き順が異なっている場合や、濁点を含む文字や画数が多い文字を入力する場合には、無効部分の軌跡が一定しないことから、誤入力は避けられないと思われる。

【0008】

本発明の目的は、指の位置を非接触で検出して入力操作を行う場合、指の動きの無効な動作には反応せず、意図した入力操作に応じて正しく処理を実行する入力端末装置を提供することである。

【課題を解決するための手段】

【0009】

本発明は、位置入力対象物を介してユーザの操作を入力する入力端末装置において、前記ユーザが操作する前記位置入力対象物の位置を非接触で検出する位置検出部と、前記位置検出部で検出した位置に基づいてカーソルを表示する表示部と、前記位置検出部で検出した位置に基づいて対応する操作処理を実行させる操作処理制御部を備え、前記操作処理制御部は、前記操作処理の実行に関する複数の動作モードを有し、該動作モードの１つには、前記位置入力対象物の位置に応じた前記カーソルの移動以外のいずれの操作処理も実行しない状態を含み、前記操作処理制御部は、前記ユーザが前記位置入力対象物を介して特定の操作を行った場合、前記複数の動作モードを切り替える。

【0010】

また本発明は、位置入力対象物を介してユーザの操作を入力する操作入力方法において、前記ユーザが操作する前記位置入力対象物の位置を非接触で検出する位置検出ステップと、前記位置検出ステップで検出した位置に基づいてカーソルを表示部に表示する表示ステップと、前記位置検出ステップで検出した位置に基づいて対応する操作処理を実行する操作処理ステップを備え、前記操作処理ステップは、前記操作処理の実行に関する複数の動作モードを有し、該動作モードの１つには、前記位置入力対象物の位置に応じた前記カーソルの移動以外のいずれの操作処理も実行しない状態を含み、前記操作処理ステップは、前記ユーザが前記位置入力対象物を介して特定の操作を行った場合、前記複数の動作モードを切り替える。

【発明の効果】

【0011】

本発明によれば、指の位置を非接触で検出して入力操作を行う場合、指の動きの無効な動作には反応せず、意図した入力操作に応じて正しく処理を実行する入力端末装置を提供できる。

【図面の簡単な説明】

【0012】

【図1A】入力端末装置の構成を示すブロック図（実施例１）。

【図1B】入力端末装置のソフトウェア構成の一例を示す図。

【図2】入力端末装置の外観を示す図。

【図3】指操作モードの検出原理を示す図。

【図4】手書き文字入力処理における表示部の表示例を示す図。

【図5】入力端末装置全体の動作切り替えを示すフローチャート。

【図6】動作モードとそれに対応するカーソル表示の例を示す図。

【図7】手書き文字入力処理における画面表示の例を示す図。

【図8】図７における動作モードと描画位置の時間変化を示す図。

【図9】指操作モードによる手書き文字入力処理を示すフローチャート。

【図10】図９における動作モードの判定処理Ｓ６０５を示すフローチャート。

【図11】キー文字入力処理のための表示部の構成を示す図（実施例２）。

【図12】指操作モードによるキー文字入力処理の例を示す図。

【図13】指操作モードによるキー文字入力処理を示すフローチャート。

【図14】図１３における動作モードの判定処理Ｓ１１０５を示すフローチャート。

【図15】マウス操作入力処理で使用する動作モードとカーソル表示の例を示す図（実施例３）。

【図16】マウス操作入力処理における画面表示の例を示す図。

【図17】指操作モードによるマウス操作入力処理を示すフローチャート。

【図18】図１７における動作モードの判定処理Ｓ１５０４を示すフローチャート。

【図19】３Ｄ指操作モードの検出原理を示す図（実施例４）。

【図20】３Ｄ指操作モードにおける画面表示の例を示す図。

【図21】３Ｄ指操作モードによるマウス操作入力処理を示すフローチャート。

【図22】キー文字入力処理における画面表示の例を示す図。

【図23】レイヤー間に遷移領域を設けた場合の画面表示の例を示す図（実施例５）。

【図24】レイヤー間に遷移領域を設けた場合のマウス操作入力処理を示すフローチャート。

【発明を実施するための形態】

【0013】

以下、本発明の実施形態を、図面を用いて説明する。

【実施例0014】

実施例１では、入力端末装置の構成と、指位置を検出して手書き文字を入力する場合について説明する。

【0015】

図１Ａは、実施例１に係る入力端末装置１の構成を示すブロック図であり、その内部構成（ハードウェア構成）を説明する。入力端末装置１はスマートフォン等の携帯情報端末２と接続して使用する。本実施例の入力端末装置１は、操作入力機能として、光反射を用いる指操作モード（非接触検出方式）とタッチ操作モード（接触検出方式）とを備えている。

【0016】

主制御部１０１は、ＣＰＵ（Central Processing Unit）等で構成され、ＲＯＭ（Read Only Memory）１０２或いはＲＡＭ（Random Access Memory）１０３に記憶された各種の動作プログラム及びデータに従って入力端末装置１の全体を制御する。システムバス１００は制御部１０１と入力端末装置１内の各部との間でデータ送受信を行うためのデータ通信路である。

【0017】

ＲＯＭ１０２は、入力端末装置１を制御するための各種プログラムが格納されたメモリであり、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）やフラッシュＲＯＭのような書き換え可能なＲＯＭを用いる。ＲＡＭ１０３は、ＲＯＭ１０２に記憶されたプログラムの実行時の一時記憶領域、或いは指位置検出センサ１０６で検出した指の位置情報の一時記憶として使用する。ストレージ部１０４は、入力端末装置１の動作設定値等の情報を記憶し、例えばフラッシュＲＯＭやＳＳＤ（Solid State Drive）のような不揮発性で書き換え可能なデバイスを用いる。ＲＯＭ１０２及びＲＡＭ１０３は主制御部１０１と一体構成であってもよい。また、ＲＯＭ１０２は独立構成とはせず、ストレージ部１０４内の一部記憶領域を使用する構成でもよい。

【0018】

加速度センサ１０５は、入力端末装置１の加速度を検出するセンサである。指位置検出センサ１０６は、ユーザの指或いはペンなどの位置入力対象物の位置を反射光により非接触で検出するセンサである。近距離無線通信部１０７は、無線通信により携帯情報端末２と接続し、入力端末装置１に入力された情報を送信する。通信方式としては、例えばＢｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）などが用いられる。

【0019】

表示制御部１０８は、入力された文字や入力端末装置１の種々の設定画像などを表示部１０９ａに表示するのを制御する。タッチパネル１０９は、表示部１０９ａとタッチ操作入力部１０９ｂとを備える。表示部１０９ａは液晶パネルなどの表示デバイスであり、表示制御部１０８の制御により文字や画像などを表示する。タッチ操作入力部１０９ｂは、表示部１０９ａの表示面に配置される。

【0020】

タッチ操作入力部１０９ｂは、例えば静電容量式などのタッチパッド方式の入力デバイスであり、指やタッチペンなどによる接触操作を操作入力として検出する。具体的には、例えば、指でタッチパネルにタッチした後にタッチしたまま指を特定の方向に移動させるスワイプと呼ばれるジェスチャー、指でタッチパネルにタッチした後に所定値以上の速度で指を移動させてから指をリリースさせるフリックと呼ばれるジェスチャー、指でタッチパネルにタッチした後に素早くリリースするタップと呼ばれるジェスチャー等を検出する。これによって、入力端末装置１へのタッチ方式での操作入力が可能となる。

【0021】

計時部１１０は、例えばユーザが設定した日時・時刻からの経過時間をＲＴＣ（Real Time Clock）回路を用いて計測を行い、日時・時刻情報を出力する。主制御部１０１は、計時部１１０から出力される日時・時刻情報を読み込むことでタイマ等の処理を行う。操作入力部１１１は、入力端末装置１に対する操作指示の入力を行う指示入力部であり、電源のオン／オフや操作モードの設定を行うためのボタンを有する。

【0022】

このように本実施例の入力端末装置１は、ユーザの指の位置を非接触で検出して文字等を入力する指位置検出センサ１０６と、指をタッチパネル１０９に接触することで操作入力するタッチ操作入力部１０９ｂと、文字や画像などを表示する表示部１０９ａを備える構成としている。これにより、指操作モードとタッチ操作モードの２つの操作入力機能を可能にしている。

【0023】

図１Ｂは、入力端末装置１のソフトウェア構成の一例を示す図であり、ＲＯＭ１０２、ＲＡＭ１０３及びストレージ部１０４におけるソフトウェアの構成を示す。

【0024】

主制御部１０１は、ＲＯＭ１０２に記憶されたプログラムを実行することにより、基本動作処理制御部１０２１、指位置情報取得部１０２２、タッチ位置情報取得部１０２３を構成する。また、ＲＡＭ１０３は、ＲＯＭ１０２に記憶されたプログラムを実行する際に必要に応じてデータを一時的に保持する一時記憶領域１０３１を備える。ストレージ部１０４には、ＲＯＭ１０２に記憶されたプログラムを実行する際の設定情報１０４１が記憶されている。なお、以下では説明を簡単にするために、主制御部１０１がＲＯＭ１０２に格納されたプログラム実行することにより、各動作ブロックの制御を行うものとして記述する。

【0025】

基本動作処理制御部１０２１は、入力端末装置１の各種設定や全体の動作を制御する。指位置情報取得部１０２２は、指位置検出センサ１０６の出力に基づいてユーザの指やペンなどの位置入力対象物の位置情報を取得する。タッチ位置情報取得部１０２３は、タッチ操作入力部１０９ｂの出力に基づいて指やタッチペンなどがタッチパネル１０９に接触した位置情報を取得する。

【0026】

指操作処理制御部１０２４では、指位置情報取得部１０２２から取得した位置入力対象物の位置の情報に基づいて、どのような操作が入力されたかを判定し、判定結果に対応した処理の制御を行う。タッチ操作処理制御部１０２４では、タッチ位置情報取得部１０２３から取得したタッチパネル１０９をタッチした位置の情報に基づいて、どのような操作が入力されたかを判定し、判定結果に対応した処理の制御を行う。

【0027】

図２は、入力端末装置１の外観を示す図である。腕時計タイプの入力端末装置であり、ユーザの手首に装着して使用する。装置表面側にはタッチパネル１０９（表示部１０９ａ）を配置する。装置側面のユーザの手の甲側には、指位置検出センサ１０６として２個のセンサ１０６ａ，１０６ｂを配置する。これらのセンサは、例えば発光／受光素子からなる。また、装置側面のユーザの腕側には、操作入力部１１１として操作ボタンを配置している。

【0028】

図３は、指操作モードの検出原理を示す図で、指の位置と表示部の表示位置の関係を示す。ユーザの指（位置入力対象物）ＰＳは、例えばユーザの手の甲側の位置Ａ－Ｂ－Ｃ－Ｄ内で移動する。指位置検出センサ１０６ａ，１０６ｂは、赤外線発光素子と受光素子から構成され、発光素子から出射された赤外光は指ＰＳで反射され、受光素子で反射光を検出する。受光素子での検出信号のレベルは、各センサ１０６ａ，１０６ｂから指ＰＳまでの距離Ｌａ，Ｌｂに対応したものとなる。

【0029】

指位置検出センサ１０６の出力信号は指位置情報取得部１０２２に送られ、位置Ａ－Ｂ－Ｃ－Ｄで表される位置入力検出範囲Ｐａにおける指ＰＳの位置Ｆを取得する。また、位置入力検出範囲Ｐａの位置Ａ－Ｂ－Ｃ－Ｄは、タッチパネル１０９の表示部１０９ａの表示範囲Ｄａの位置ａ－ｂ－ｃ－ｄにそれぞれ対応している。これより、位置入力検出範囲Ｐａにおける指ＰＳの位置Ｆに対応して、表示範囲Ｄａにおけるカーソル等の表示位置ｆが決定される。

【0030】

図４は、手書き文字入力処理における表示部１０９ａの表示例を示す図である。領域５０１は、入力された手書き文字を認識した結果を表示し、領域５０２は、指により入力された手書き文字を表示する。文字入力処理のためユーザが選択するボタン５０３として、手書き文字を認識させる処理を選択する認識処理指示ボタン５０３ａ、ひらがなやアルファベット等の入力する文字の種類を切り替える文字種切替処理指示ボタン５０３ｂ、入力した手書き文字の表示を消去する消去処理指示ボタン５０３ｃ、領域５０１に表示された認識結果の文字列を漢字等に変換する処理を選択する文字変換処理指示ボタン５０３ｄ、手書き文字入力処理を終了する終了処理指示ボタン５０３ｅなどを配置している。

【0031】

図５は、入力端末装置１全体の動作切り替えを示すフローチャートである。ここでは、操作入力部１１１でのボタン押下操作により、電源オン／オフと操作入力モード（指操作モード／タッチ操作モード）の切り替えを行う。

【0032】

Ｓ３０１では、操作入力部１１１の出力の取り込みを行い、Ｓ３０２では操作入力部１１１が押されている否かを判定する。操作入力部１１１が押されている場合（Ｙｅｓ）にはＳ３０６に分岐する。Ｓ３０６では、操作入力部１１１が押されている時間を判定し、電源オン／オフの切り替えまたは操作入力モードの切り替え処理に進む。

【0033】

判定処理Ｓ３０６で操作入力部１１１が所定の時間Ｔｐ以上押されている場合（Ｙｅｓ）には、Ｓ３１３に分岐し電源がオン状態か否かによりオン／オフ切り替えの処理を行う。Ｓ３１３で電源がオン状態の場合（Ｙｅｓ）には、Ｓ３１４に分岐し電源をオフしてＳ３０１に戻る。電源をオフした場合には、消費電力を低減するため、主制御部１０１、計時部１１０、および操作入力部１１１などを除く部位への電源の供給を停止する。Ｓ３１３で電源がオフ状態の場合（Ｎｏ）には、Ｓ３１５に分岐し電源をオンしてＳ３０１に戻る。電源をオンした場合には、入力端末装置１を構成する各部に電源を供給する。

【0034】

判定処理Ｓ３０６で操作入力部１１１が所定の時間Ｔｐ以上押されていない場合（Ｎｏ）には、Ｓ３０７に分岐し電源がオン状態か否かを判定する。電源がオフの場合（Ｎｏ）にはＳ３０１に戻る。電源がオンの場合（Ｙｅｓ）にはＳ３０８に分岐する。

【0035】

Ｓ３０８では、操作入力モードの切り替え処理を行う。すなわち、現在の操作入力モードが指操作モードに設定されている場合（Ｙｅｓ）には、Ｓ３０９にてタッチ操作モードに切り替え設定し、Ｓ３１０ではタッチパネル１０９の表示部１０９ａにカーソルの表示を行わないように設定する。現在の操作入力モードが指操作モードに設定されていない場合（Ｎｏ）には（すなわちタッチ操作モードに設定されている場合には）、Ｓ３１１にて指操作モードに切り替え設定し、Ｓ３１２ではタッチパネル１０９の表示部１０９ａにカーソルの表示を行うように設定する。

【0036】

判定処理Ｓ３０２で操作入力部１１１が押されていない場合（Ｎｏ）には、Ｓ３０３に進み、設定されている操作入力モードに従い処理を行う。指操作モードの場合（Ｙｅｓ）にはＳ３０４に進み、指位置情報取得部１０２２から取得した指の位置の情報に基づいてどのような操作が入力されたかを判定し、判定結果に対応した処理を実行する。指操作モードではない場合（Ｎｏ）には（すなわちタッチ操作モードの場合には）Ｓ３０５に進み、タッチ位置情報取得部１０２３から取得したタッチした位置の情報に基づいてどのような操作が入力されたかを判定し、判定結果に対応した処理を実行する。指操作実行処理Ｓ３０４或いはタッチ操作実行処理Ｓ３０５での処理を実行後、Ｓ３０１に戻る。

【0037】

以下、指操作モードにおける手書き文字入力処理について具体的に説明する。本実施例では、指操作に対して複数の動作状態（動作モード）を与えることで、手書きによる文字入力を正しくかつ容易に行えるようにしている。

【0038】

図６は、動作モードとそれに対応するカーソル表示の例を示す図である。動作モードＭ０は、指を操作してもカーソル移動以外の文字入力のための描画を行わない状態（描画停止）である。動作モードＭ１は、指を操作するとその位置に応じて文字入力のための描画を実行する状態である。また、現在の動作モードをユーザが容易に識別できるように、動作モードに応じてカーソルの表示（例えば白／黒表示）を切り替える。なお、動作モードの切り替えは、後述するように、操作中の指を操作面内のある位置に所定時間ｔ０以上保持するという特定の操作を行うことで、動作モードをＭ０からＭ１へ、あるいは逆にＭ１からＭ０へ切り替えることができる。

【0039】

これより、動作モードがＭ１のときのみ描画が可能となる。よって、線分や点などの複数の「画」から構成される文字を入力する場合、有効な「画」の部分に対して動作モードをＭ１に設定し、「画」と「画」との間を移動する無効な部分に対して動作モードをＭ０に設定することで、所望の文字を容易に正しく入力できるようになる。

【0040】

図７は、手書き文字入力処理における画面表示の例を示す図である。ここではひらがなの「あ」を入力する場合を例とする。文字入力の手順を（Ｓ１）～（Ｓ９）で示し、そのときの動作モード（Ｍ０／Ｍ１）を付記している。

【0041】

以下の説明で、カーソルをある位置に「保持」すると表現しているが、カーソルの位置が所定の距離ｒ０以内で動き（ブレ）があってもこれを許容し、「保持」状態と見なすものとする。このｒ０はユーザの意図しない動き（手振れなど）によるもので、例えば数ｍｍ程度の値とする。また、「保持」状態と判定するための時間ｔ０は、例えば数ｓｅｃ程度の値とする。これらの閾値は、ユーザや使用環境に応じて設定してもよい。

【0042】

（Ｓ１)：動作モードがＭ０（描画停止）の状態において、指ＰＳを位置入力検出範囲Ｐａ内で動かすことにより、カーソルを文字入力表示領域５０２の位置７ａに移動させる。
（Ｓ２）：カーソルを位置７ａの位置に所定の時間ｔ０以上保持する。これにより、動作モードがＭ１（描画実行）に切り替わり、またカーソルの表示が変わる。

【0043】

（Ｓ３）：カーソルの表示が変わったところで指を移動させ、カーソルを文字入力表示領域５０２の位置７ｂに移動させる。これにより、位置７ａから位置７ｂまでの線が描画される。
（Ｓ４）：カーソルを位置７ｂで所定の時間ｔ０以上保持する。これにより、動作モードがＭ０（描画停止）に切り替わり、またカーソルの表示が変わる。

【0044】

（Ｓ５）：カーソルの表示が変わったところで指を移動させ、カーソルを文字入力表示領域５０２の位置７ｃに移動させる。
（Ｓ６）：位置７ｃで所定の時間ｔ０以上保持する。これにより、動作モードがＭ１に切り替わり、またカーソルの表示が変わる。

【0045】

以下、同様に描画動作を継続する。すなわち、描画を行う場合には動作モードをＭ１としてカーソルを移動させ、描画を行わない場合には動作モードをＭ０としてカーソルを移動させる。また、カーソルを移動した位置に所定の時間ｔ０以上保持することで動作モードを切り替えることで手書き文字入力を行う。

【0046】

（Ｓ７)：ひらがなの「あ」の描画が完了すると、位置７ｄに所定の時間ｔ０以上保持する。これにより、動作モードがＭ０に切り替わり、カーソルの表示が変わる。
（Ｓ８）：認識処理指示ボタン５０３ａにカーソルを移動させる。
（Ｓ９）：カーソルを認識処理指示ボタン５０３ａに所定の時間ｔ０以上保持することで認識処理が実行され、認識した結果が表示領域５０１に表示される。

【0047】

図８は、図７における動作モードと描画位置の時間変化を示す図である。（ａ）は位置入力対象物（ユーザの指）ＰＳの位置、（ｂ）は動作モード、（ｃ）は表示部描画位置を示す。横軸の（Ｓ１）～（Ｓ６）と記号（７ａ）～（７ｃ）は、図７における記号に対応している。このように、描画が行われるのは、動作モードがＭ１の期間のみであり、位置入力対象物ＰＳを同じ位置に時間ｔ０以上保持することで動作モードの切り替えが行われる。

【0048】

図９は、指操作モードによる手書き文字入力処理を示すフローチャートである。以下、各処理の内容を順に説明する。

【0049】

Ｓ６０１では、指位置情報取得部１０２２により指ＰＳの位置Ｆを取得し、Ｓ６０２では、取得した指ＰＳの位置Ｆを図３で説明したように表示範囲Ｄａにおける位置ｆに変換する。次にＳ６０３では、位置ｆとＲＡＭ１０３の一時記憶領域に記憶されている前回取得した位置ｆｄとの距離ｒが、所定の距離ｒ０以下か否かを判定する。

【0050】

判定処理Ｓ６０３において、距離ｒが所定の距離ｒ０以上の場合（Ｎｏ）にはＳ６１７に分岐する。Ｓ６１７では、位置ｆが文字入力表示領域５０２の表示範囲内か否かを判定する。位置ｆが文字入力表示領域５０２の範囲内の場合（Ｙｅｓ）には、Ｓ６１８に分岐する。位置ｆが文字入力表示領域５０２の範囲外の場合（Ｎｏ）には、Ｓ６２０に分岐する。Ｓ６２０では動作モードをＭ０に設定し、Ｓ６１５に進む。

【0051】

Ｓ６１８では設定されている動作モードを判定する。動作モードがＭ０の場合には、描画処理を行わずＳ６１５に進む。動作モードがＭ１の場合にはＳ６１９に分岐し、表示範囲Ｄａにおける位置ｆｄから位置ｆまでの描画処理を行い、Ｓ６１５に進む。

【0052】

一方、判定処理Ｓ６０３において、距離ｒが所定の距離ｒ０以下の場合（Ｙｅｓ）にはＳ６０４に分岐する。Ｓ６０４では、位置ｆが表示範囲Ｄａにおいて文字入力を行う所定の領域５０２の表示範囲内、或いは処理指示ボタン５０３の表示範囲内か否かを判定する。位置ｆが文字入力表示領域５０２或いは処理指示ボタン５０３の表示範囲内の場合（Ｙｅｓ）には、Ｓ６０５に進む。位置ｆが文字入力表示領域５０２或いは処理指示ボタン５０３の表示範囲外の場合（Ｎｏ）には、Ｓ６１５に進む。

【0053】

Ｓ６０５ではタイマにより動作モードを判定する。すなわち、保持時間を所定時間ｔ０と比較し動作モードの切り替えを行う。なお、Ｓ６０５の判定処理の詳細は図１０で説明する。Ｓ６０６では、判定した動作モードに応じて分岐処理を行う。動作モードがＭ０の場合にはＳ６１５に進み、動作モードがＭ１の場合にはＳ６０７に進む。Ｓ６０７では、位置ｆが処理指示ボタン５０３の表示範囲内か否かを判定する。位置ｆが処理指示ボタン５０３の表示範囲内の場合（Ｙｅｓ）にはＳ６０８に進み、位置ｆが処理指示ボタン５０３の表示範囲外の場合（Ｎｏ）にはＳ６１５に進む。

【0054】

Ｓ６０８では、位置ｆが５０３ａから５０３ｅのどの処理指示ボタンの表示範囲かより分岐処理を行う。位置ｆが認識処理指示ボタン５０３ａの表示範囲内の場合には、Ｓ６０９に進み認識処理を実行する。位置ｆが文字種切替処理指示ボタン５０３ｂの表示範囲内の場合には、Ｓ６１０に進み文字種切り替え処理を実行する。位置ｆが消去処理指示ボタン５０３ｃの表示範囲内の場合には、Ｓ６１１に進み消去処理を実行する。位置ｆが変換処理指示ボタン５０３ｄの表示範囲内の場合には、Ｓ６１２に進み変換処理を実行する。
各々の処理を実行後、Ｓ６１３に進みタイマをリセット・停止し、Ｓ６１４では動作モードをＭ０に設定する。位置ｆが終了処理指示ボタン５０３ｅの表示範囲内の場合には、手書き文字入力処理を終了する。

【0055】

Ｓ６１５では、設定されている動作モードに応じて、例えば図６に示すようなカーソルを表示範囲Ｄａの位置ｆに表示する。次にＳ６１６では、現在位置ｆを前回位置ｆｄとして置換し、ＲＡＭ１０３の一時記憶領域に記憶し、Ｓ６０１に戻る。

【0056】

図１０は、図９における動作モードの判定処理Ｓ６０５を示すフローチャートである。

【0057】

Ｓ７０１では、タイマが起動されているか否かを判定する。タイマが起動されていない場合（Ｎｏ）には、Ｓ７０２に進みタイマを起動し、処理を終了する。タイマが起動されている場合（Ｙｅｓ）には、Ｓ７０３に進む。

【0058】

Ｓ７０３では、タイマが所定の時間ｔ０を超えたか否かを判定する。所定の時間ｔ０を超えていない場合（Ｎｏ）には処理を終了する。所定の時間ｔ０を超えている場合（Ｙｅｓ）にはＳ７０４に進む。

【0059】

Ｓ７０４では、動作モードによる分岐処理を行う。動作モードがＭ０の場合にはＳ７０５に進み、動作モードをＭ１に切り替え設定する。動作モードがＭ１の場合にはＳ７０６に進み、動作モードをＭ０に切り替え設定する。その後Ｓ７０７に進み、タイマをリセット・停止して処理を終了する。

【0060】

以上のように、実施例１では、ユーザの指などの位置入力対象物の表示画面上の位置を所定の距離ｒ０以内で所定の時間ｔ０以上保持することで動作モードを切り替え、描画を行う場合には動作モードをＭ１としてカーソルを移動させ、描画を行わない場合には動作モードをＭ０としてカーソルを移動させる。これにより、複数の画数の文字を入力する場合にも、画と画の間の移動を非描画区間として区別することができ、書き順が違っていても意図した文字を容易に正しく入力することが可能となる。また、漢字等のより複雑な文字も入力することが可能となる。

【0061】

また、処理指示ボタンが表示された領域にカーソルを移動させ、カーソルを移動した位置から所定の距離ｒ０以内の位置を所定の時間ｔ０以上保持することで処理指示ボタンに対応した処理を行うことができ、処理指示ボタンが表示された位置にマウスなどの入力手段でカーソルを移動させてクリックしたのと同様の操作を行うことができる。

【0062】

なお、本実施例では処理指示ボタンとして認識処理指示ボタン５０３ａ、文字種切替処理指示ボタン５０３ｂ、消去処理指示ボタン５０３ｃ、文字変換処理指示ボタン５０３ｄ、終了処理指示ボタン５０３ｅで構成された例を示したが、これに限定することなく、他の処理指示ボタンを設けるようにしてもよい。

【0063】

また、本実施例ではタッチパネル１０９による操作入力モード（タッチ操作モード）と指位置検出センサ１０６による操作入力モード（指操作モード）の切り替えを操作入力部１１１により行うようにしたが、他の方法で切り替えるようにしてもよい。例えば手の甲を指でタップした場合、加速度センサ１０５により振動が検出され、タッチパネル１０９ではタッチの検出がされないことから、タッチパネル１０９の検出結果と加速度センサ１０５の検出結果により手の甲がタップされたことを判断し、手の甲を指でタップした場合には操作入力モードを切り替えるようにしてもよい。

【0064】

また、本実施例では、動作モードを切り替えるための特定の操作として、ユーザの指などの位置入力対象物の表示画面上の位置を所定の距離ｒ０以内で所定の時間ｔ０以上保持する操作を採用したが、これに限らない。他の特定の操作として、例えば、位置入力対象物を移動させることでカーソルを移動させ、移動した位置で手の甲をタップすることで動作モードを切り替えるようにしてもよい。

【実施例0065】

実施例２では、キーボードのように画面に表示されたキーを選択することで入力を行う場合について説明する。小型の携帯情報端末では、表示部１０９ａに表示されるキーも小さくなり、タッチパネル１０９を指でタッチすることにより入力するのは困難になる。そこで、指操作モードによりキー文字入力を行う。

【0066】

図１１は、キー文字入力処理のための表示部１０９ａの構成を示す図である。領域１００１はキー文字入力された文字を表示する部分で、文字入力キー１００２は入力する文字を選択するためのキーである。キー１００３は各種の処理を指示するためのものであり、ひらがなやアルファベット等の入力する文字の種類を切り替える文字種切替処理指示キー１００３ａ、領域１００１に表示されている入力文字を削除する削除処理指示キー１００３ｂ、キー文字入力処理を終了する終了処理指示キー１００３ｃなどで構成される。

【0067】

図１２は、指操作モードによるキー文字入力処理の例を示す図であり、ここでは、アルファベットの「Ｙ」を入力する場合を例とする。入力の手順を（Ｓ１）～（Ｓ４）で説明する。

【0068】

（Ｓ１）：動作モードがＭ０の状態において、指ＰＳを位置入力検出範囲Ｐａ内で動かすことにより、カーソルを文字入力キー「ＷＸＹＺ」が表示された位置１２ａに移動させる。
（Ｓ２）：カーソルを位置１２ａに所定の時間ｔ０以上保持する（この場合も、所定の距離ｒ０以内の動きは許容する。以下同様である）。これにより、動作モードがＭ１に切り替え設定され、文字「Ｗ」「Ｘ」「Ｙ」「Ｚ」を選択する表示が行われる。

【0069】

（Ｓ３）：文字選択表示されたところで、指を移動させ、カーソルを文字「Ｙ」が表示されている位置１２ｂに移動させる。
（Ｓ４）：カーソルを位置１２ｂに所定の時間ｔ０以上保持する。これにより、文字「Ｙ」が入力文字として決定され、入力文字表示領域１００１に文字「Ｙ」が表示される。文字入力が完了すると、動作モードはＭ０に切り替わる。

【0070】

図１３は、指操作モードによるキー文字入力処理を示すフローチャートである。

【0071】

Ｓ１１０１では、指位置情報取得部１０２２により指ＰＳの位置Ｆを取得し、Ｓ１１０２では、取得した指ＰＳの位置Ｆを表示範囲Ｄａにおける位置ｆに変換する。次にＳ１１０３では、位置ｆと前回取得した位置ｆｄとの距離ｒが、所定の距離ｒ０以下か否かを判定する。

【0072】

判定処理Ｓ１１０３において、距離ｒが所定の距離ｒ０以上の場合（Ｎｏ）にはＳ１１１４に分岐する。距離ｒが所定の距離ｒ０以下の場合（Ｙｅｓ）にはＳ１１０４に分岐する。Ｓ１１０４では、位置ｆが文字入力キー１００２或いは処理指示キー１００３の表示領域内か否かを判定する。判定処理Ｓ１１０４において、位置ｆが文字入力キー１００２或いは処理指示キー１００３の表示領域内の場合（Ｙｅｓ）にはＳ１１０５に分岐し、文字入力キー１００２或いは処理指示キー１００３の表示領域外の場合（Ｎｏ）にはＳ１１１４に分岐する。

【0073】

Ｓ１１０５ではタイマにより動作モードを判定する。すなわち、保持時間を所定時間ｔ０と比較し動作モードの切り替えを行う。なお、Ｓ１１０５の判定処理の詳細は図１４で説明する。Ｓ１１０６では、判定した動作モードに応じて分岐処理を行う。動作モードがＭ０の場合にはＳ１１１４に進み、動作モードがＭ１の場合にはＳ１１０７に進む。Ｓ１１０７では、文字選択表示がオンの状態か否かを判定する。

【0074】

判定処理Ｓ１１０７において、文字選択表示がオンの場合（Ｙｅｓ）にはＳ１１１６に進み、文字選択表示がオフの場合（Ｎｏ）にはＳ１１０８に進む。Ｓ１１１６では、位置ｆが文字選択表示領域内か否かを判定する。位置ｆが文字選択領域内の場合（Ｙｅｓ）にはＳ１１１７に進み、位置ｆが文字選択表示領域外の場合（Ｎｏ）にはＳ１１１４に進む。Ｓ１１１７では、位置ｆに表示された文字を入力文字として決定し、入力文字表示領域１００１に表示する。Ｓ１１１８では文字選択表示をオフとし、Ｓ１１１２に進む。

【0075】

Ｓ１１０８では、位置ｆが文字入力キー１００２或いは処理指示キー１００３のいずれのキーの表示領域内か否かにより分岐処理を行う。位置ｆが文字入力キー１００２の表示領域内の場合には、Ｓ１１０９に進み文字選択表示をオンとし、位置ｆに表示されたキーに対応した文字の選択表示を行なう。位置ｆが文字種切替処理指示キー１００３ａの表示領域内の場合には、Ｓ１１１０に進み文字種切替処理を実行する。位置ｆが削除処理指示キー１００３ｂの表示領域内の場合には、Ｓ１１１１に進み削除処理を実行する。各々の処理を実行後、Ｓ１１１２に進みタイマをリセット・停止し、Ｓ１１１３では動作モードをＭ０に設定する。位置ｆが終了処理指示キー１００３ｃの表示領域内の場合にはキー文字入力処理を終了する。

【0076】

Ｓ１１１４では、設定されている動作モードに応じて、例えば図６に示すようなカーソルを表示範囲Ｄａの位置ｆに表示する。次にＳ１１１５では、現在位置ｆを前回位置ｆｄとして置換し、ＲＡＭ１０３の一時記憶領域に記憶してＳ１１０１に戻る。

【0077】

図１４は、図１３における動作モードの判定処理Ｓ１１０５を示すフローチャートである。

【0078】

Ｓ１２０１では、タイマが起動されているか否かを判定する。タイマが起動されていない場合（Ｎｏ）には、Ｓ１２０２に進みタイマを起動し、処理を終了する。タイマが起動されている場合（Ｙｅｓ）には、Ｓ１２０３に進む。

【0079】

Ｓ１２０３では、タイマが所定の時間ｔ０を超えたか否かを判定する。所定の時間ｔ０を超えていない場合（Ｎｏ）には処理を終了する。所定の時間ｔ０を超えている場合（Ｙｅｓ）にはＳ１２０４に進む。

【0080】

Ｓ１２０４では、動作モードをＭ１に切り替え設定する。この場合、図１３のＳ１１１３にて、キー文字入力実行後の動作モードはＭ０に切り替わるので、Ｍ１からＭ０への切り替えは不要である。その後Ｓ１２０５に進み、タイマをリセット・停止して処理を終了する。

【0081】

以上のように実施例２では、文字入力キー或いは処理指示キーを表示した位置にカーソルを移動させ、移動したカーソルの位置から所定の距離ｒ０以内の位置を所定の時間ｔ０以上保持することで入力する文字の選択或いは実行する処理の指示を容易に行うことが可能となる。これにより、文字入力キー或いは処理指示キーが表示された位置にマウスなどの入力手段でカーソルを移動させてクリックしたのと同様の操作を行うことができる。

【0082】

なお、本実施例では処理指示キーとして文字種切替処理指示キー１００３ａ、削除処理指示キー１００３ｂ、終了処理指示キー１００３ｃで構成された例を示したが、これに限定することなく、他の処理指示に対応したキーを設けるようにしてもよい。また、文字入力キーについても、アルファベットやひらがなの一文字が一つのキーに対応したようなキーボードや、数字の入力に対応したキーボードを表示して入力するようにしてもよい。