特許 6089181 データ入力システム、情報処理装置、情報処理プログラム及びその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6089181

(24)【登録日】2017年2月17日

(45)【発行日】2017年3月8日

(54)【発明の名称】データ入力システム、情報処理装置、情報処理プログラム及びその方法

(51)【国際特許分類】

   G06F 3/0488 20130101AFI20170227BHJP

   G06F 3/0489 20130101ALI20170227BHJP

   G06F 3/023 20060101ALI20170227BHJP

   H03M 11/04 20060101ALI20170227BHJP

【ＦＩ】

   G06F3/0488 160

   G06F3/0489 170

   G06F3/023 310L

【請求項の数】12

【全頁数】28

(21)【出願番号】特願2014-168693(P2014-168693)

(22)【出願日】2014年8月21日

(65)【公開番号】特開2016-45650(P2016-45650A)

(43)【公開日】2016年4月4日

【審査請求日】2016年5月9日

【新規性喪失の例外の表示】特許法第３０条第２項適用 火の国情報シンポジウム２０１４論文集（発行所：一般社団法人情報処理学会 九州支部 発行日：平成２６年３月４日） ［刊行物等］ ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｗｗｗ．ｉｐｓｊ−ｋｙｕｓｈｕ．ｊｐ／ｐａｇｅ／ｒｏｎｂｕｎ／ｈｉｎｏｋｕｎｉ／１００３／ｐｒｏｇｒａｍ．ｈｔｍ 掲載日：平成２６年３月１３日

【早期審査対象出願】

(73)【特許権者】

【識別番号】304028726

【氏名又は名称】国立大学法人 大分大学

(73)【特許権者】

【識別番号】514212607

【氏名又は名称】株式会社リフライ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100160716

【弁理士】

【氏名又は名称】遠藤 力

(72)【発明者】

【氏名】中島 誠

(72)【発明者】

【氏名】松原 重喜

(72)【発明者】

【氏名】佐藤 直人

(72)【発明者】

【氏名】野見山 大史

(72)【発明者】

【氏名】杉本 孝生

【審査官】 酒井 優一

(56)【参考文献】

【文献】 特表２００９−５２２６９７（ＪＰ，Ａ）

【文献】 特開２０１３−１５００８５（ＪＰ，Ａ）

【文献】 特開２００５−１１５８０８（ＪＰ，Ａ）

【文献】 特開２００６−２６８３１３（ＪＰ，Ａ）

【文献】 特開２０１０−１８６２５４（ＪＰ，Ａ）

【文献】 特開平０９−２４４７９２（ＪＰ，Ａ）

【文献】 特開２００８−０７１３１３（ＪＰ，Ａ）

【文献】 特開２００９−１６９４５６（ＪＰ，Ａ）

【文献】 特開２０１４−０５９７２２（ＪＰ，Ａ）

【文献】 特開平０９−１６０９０６（ＪＰ，Ａ）

【文献】 特開２０１３−１６４６７６（ＪＰ，Ａ）

【文献】 特開２０１３−０３３３９５（ＪＰ，Ａ）

【文献】 特開２０１４−０２３０８０（ＪＰ，Ａ）

【文献】 特開２０１３−２３２８６５（ＪＰ，Ａ）

【文献】 国際公開第２００９／０６９３９２（ＷＯ，Ａ１）

【文献】 特開２０１１−２１６０９４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４８８

Ｇ０６Ｆ ３／０２３

Ｇ０６Ｆ ３／０４８９

(57)【特許請求の範囲】

【請求項1】

携帯端末と、前記携帯端末と通信する情報処理装置と、を有するデータ入力システムであって、
前記携帯端末は、
第１方向に沿って配置された複数の方形の入力キーを有し且つ互いに前記入力キーの辺の長さ以上の長さ離隔するように配置される複数の入力キー列を含むと共に、前記入力キーの配置ピッチを維持しがなら、キーの大きさを小さくするように変更可能なソフトウェアキーボードのキー配列を含むキー配列画像を表示するタッチパネルと、
前記タッチパネルの接触された位置を示す座標情報を生成する座標情報生成部と、
前記座標情報を前記情報処理装置に供給する座標情報供給部と、を有し、
前記情報処理装置は、
前記座標情報を前記携帯端末から取得する座標情報取得部と、
前記座標情報を前記キー配列画像に対応した文字データに変換する変換部と、
前記変換部から取得した文字データが示す文字を表示する情報表示部と、を有する
ことを特徴とするデータ入力システム。

【請求項2】

前記座標情報から、前記タッチパネルに表示されているキー配列画像のキー配列を変更した画像である更新画像を生成する更新画像生成部と、
前記更新画像を前記携帯端末に供給する画像供給部とを更に有する、請求項１に記載のデータ入力システム。

【請求項3】

前記情報処理装置は、
前記タッチパネルに表示される画像を更新するか否かを判定する画像更新部を更に有し、
前記画像供給部は、前記画像更新部が前記タッチパネルに表示される画像を更新すると判定したときに、前記更新画像を前記携帯端末に供給する、請求項２に記載のデータ入力システム。

【請求項4】

前記画像更新部は、
前記画像供給部が先に供給した画像と、前記更新画像とを比較し、
前記画像供給部が先に供給した画像と前記更新画像が一致しないときに、前記タッチパネルに表示される画像を更新すると判定する、請求項３に記載のデータ入力システム。

【請求項5】

前記画像更新部は、
前記画像供給部が先に供給した画像の一部と、前記更新画像の対応する部分とを比較し、
比較した部分が一致しないときに、前記タッチパネルに表示される画像を更新すると判定する、請求項３に記載のデータ入力システム。

【請求項6】

前記更新画像は、前記複数の入力キー列の間に配置され且つ互いに前記入力キーの辺の長さ以上の長さ離隔するように配置された一対の入力キーを含む、請求項３〜５の何れか一項に記載のデータ入力システム。

【請求項7】

前記第１方向に配置された複数の入力キーは、前記第１方向と相違する第２方向に沿って配置するように変更可能である、請求項６に記載のデータ入力システム。

【請求項8】

前記キー配列画像の前記複数の入力キー列の間の領域は、前記情報表示部に表示されたマウスポインタを移動するために使用する領域である、請求項６又は７に記載のデータ入力システム。

【請求項9】

第１方向に沿って配置された複数の方形の入力キーを有し且つ互いに前記入力キーの辺の長さ以上の長さ離隔するように配置される複数の入力キー列を含むと共に、前記入力キーの配置ピッチを維持しがなら、キーの大きさを小さくするように変更可能なソフトウェアキーボードのキー配列を含むキー配列画像を表示するタッチパネルを有し、前記タッチパネルの接触された位置を示す座標情報を生成する携帯端末から前記座標情報を取得する座標情報受信部と、
前記座標情報を前記キー配列画像に対応した文字データに変換する変換部と、
前記変換部から取得した文字データが示す文字を表示する情報表示部と、
を有することを特徴とする情報処理装置。

【請求項10】

第１方向に沿って配置された複数の方形の入力キーを有し且つ互いに前記入力キーの辺の長さ以上の長さ離隔するように配置される複数の入力キー列を含むと共に、前記入力キーの配置ピッチを維持しがなら、キーの大きさを小さくするように変更可能なソフトウェアキーボードのキー配列を含むキー配列画像を表示するタッチパネルを有し、前記タッチパネルの接触された位置を示す座標情報を生成する携帯端末から前記座標情報を取得し、
前記座標情報を前記キー配列画像に対応した文字データに変換し、
前記文字データを出力する、
処理をデータ処理部に実行させることを特徴とするコンピュータプログラム。

【請求項11】

携帯端末は、タッチパネルに第１方向に沿って配置された複数の方形の入力キーを有し且つ互いに前記入力キーの辺の長さ以上の長さ離隔するように配置される複数の入力キー列を含むと共に、前記入力キーの配置ピッチを維持しがなら、キーの大きさを小さくするように変更可能なソフトウェアキーボードのキー配列を含むキー配列画像を表示し、
前記携帯端末は、前記タッチパネルの接触された位置を示す座標情報を生成し、
前記携帯端末は、前記座標情報を情報処理装置に供給し、
前記情報処理装置は、前記座標情報を前記キー配列画像に対応した文字データに変換し、
前記情報処理装置は、前記文字データが示す文字を情報表示部に表示する、
ことを有することを特徴とする情報処理方法。

【請求項12】

携帯端末は、タッチパネルに第１方向に沿って配置された複数の方形の入力キーを有し且つ互いに前記入力キーの辺の長さ以上の長さ離隔するように配置される複数の入力キー列を含むと共に、前記入力キーの配置ピッチを維持しがなら、キーの大きさを小さくするように変更可能なソフトウェアキーボードのキー配列を含むキー配列画像を表示し、
前記携帯端末は、前記タッチパネルの第１タップされた位置を示す第１座標情報を生成し、
前記携帯端末は、前記第１座標情報を情報処理装置に供給し、
前記情報処理装置は、前記第１座標情報から、前記キー配列画像のキー配列と相違するキー配列を含む更新画像を生成し、
前記情報処理装置は、前記更新画像を前記携帯端末に供給し、
前記携帯端末は、前記更新画像を表示し、
前記携帯端末は、前記タッチパネルの第２タップされた位置を示す第２座標情報を生成し、
前記携帯端末は、前記第２座標情報を前記情報処理装置に供給し、
前記情報処理装置は、前記第２座標情報を前記更新画像に対応した文字データに変換し、
前記情報処理装置は、前記文字データが示す文字を前記情報処理装置の情報表示部に表示する、
ことを有することを特徴とする情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ入力システム、情報処理装置、情報処理プログラム及びその方法に関する。

【背景技術】

【0002】

企業及び公的機関において、障害者が雇用される機会は増加している。企業等に雇用されている障害者の多くは、キーボードを使用したパーソナルコンピュータ等の電子計算機へのデータ入力作業に従事している。しかしながら、キーボードを使用したデータ入力作業は、障害の程度に関わらず、障害者の身体的負担が大きく、障害者の身体的負担により作業効率が低下するだけでなく、頭痛又は肩こりなどの二次的な障害が障害者に生ずるおそれがある。

【0003】

障害者がキーボードを使用せずにデータ入力作業を行うための障害者向けデータ入力システムが知られている。例えば、非特許文献１には、プリントアウトしたキーボードのキー配列画像上に配置した赤外線ＬＥＤ装置を点灯させることによりＷｉｉ（登録商標）Ｒｅｍｏｔｅを使用してデータ入力動作を実行する障害者向けデータ入力システムが記載されている。非特許文献１に記載される障害者向けデータ入力システムでは、比較的価格が安いＷｉｉ（登録商標）Ｒｅｍｏｔｅを使用してデータ入力システムを構成するため、低コストでデータ入力システムを実現することができる。また、非特許文献１に記載される障害者向けデータ入力システムでは、プリントアウトしたキーボードのキー配列画像上にデータ入力動作をするので、キーボードの縮小・拡大等のカスタマイズが容易である。

【0004】

また、表示部を有する携帯端末をユーザインタフェースとして使用するデータ入力システムが知られている。特許文献１には、データ入力用アプリケーションを搭載したペンデジタイザからコンピュータにデータを入力するデータ入力システムが記載される。また、特許文献２には、医療支援システム用の専用アプリケーションがインストールされたスマートフォンから電子カルテ用のプログラム等がインストールされたパーソナルコンピュータである院内端末にアクセス可能な医療支援用のデータ入力システムが記載される。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特表２００７−５１１００３号公報

【特許文献2】特開２０１４−４８８５８号公報

【非特許文献】

【0006】

【非特許文献1】「上肢障がい者向け入力支援における研究」、久楽忠昭，大西克実，中野秀男、Journal of Infomatics 8(1), 2011

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、非特許文献１に記載されるデータ入力システムでは、プリントアウトしたキー配列上にデータ入力動作をするために、専用の赤外線ＬＥＤ装置を用意する必要がある。また、非特許文献１に記載されるデータ入力システムでは、Ｗｉｉ（登録商標）Ｒｅｍｏｔｅとプリントアウトしたキー配列との位置関係を変更する毎に較正をする必要があるので、プリントアウトしたキー配列の使用位置は固定する必要がある。さらに、非特許文献１に記載されるデータ入力システムでは、赤外線ＬＥＤ装置に配置されるスイッチを押下して赤外線ＬＥＤを点灯させる必要があるが、指によってスイッチを押下する動作は指を動かすのが容易でない障害者には利用し難いという問題がある。

【0008】

また、特許文献１及び２では、携帯端末に情報を入力するためのインタフェースアプリケーションをインストールする必要があるので、携帯端末のＯＳ（Operating System）毎にインタフェースアプリケーションを開発する必要がある。特許文献１及び２では、携帯端末の種類毎にインタフェースアプリケーションを開発する必要があるので、開発コストが増加するおそれがある。

【0009】

本発明は、これらの問題を解決可能なデータ入力システムを提供することを目的とする。すなわち、本発明は、開発コスト及び購入コストを要する専用デバイス及び携帯端末のＯＳ毎に相違するインタフェースアプリケーションを利用せずに、ユーザが普段使用している携帯端末を使用してデータ入力が可能なデータ入力システムを提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明に係るデータ入力システムは、携帯端末と、携帯端末と通信する情報処理装置とを有し、携帯端末は、キー配列画像を表示するタッチパネルと、タッチパネルの接触された位置を示す座標情報を生成する座標情報生成部と、座標情報を供給する座標情報供給部と、を有し、情報処理装置は、座標情報を取得する座標情報取得部と、座標情報をキー配列画像に対応した文字データに変換する変換部と、変換部から取得した文字データが示す文字を表示する情報表示部と、を有することを特徴とする。

【0011】

さらに、本発明に係るデータ入力システムは、座標情報から、タッチパネルに表示されているキー配列画像のキー配列を変更した画像である更新画像を生成する更新画像生成部と、前記更新画像を携帯端末に供給する画像供給部とを更に有することができる。

【0012】

さらに、本発明に係るデータ入力システムでは、情報処理装置は、タッチパネルに表示される画像を更新するか否かを判定する画像更新部を更に有し、画像供給部は、画像更新部がタッチパネルに表示される画像を更新すると判定したときに、更新画像を携帯端末に供給することができる。

【0013】

さらに、本発明に係るデータ入力システムでは、画像更新部は、画像供給部が先に供給した画像と更新画像とを比較し、画像供給部が先に供給した画像と更新画像が一致しないときに、タッチパネルに表示される画像を更新すると判定することができる。

【0014】

さらに、本発明に係るデータ入力システムでは、画像更新部は、画像供給部が先に供給した画像の一部と、更新画像の対応する部分とを比較し、比較した部分が一致しないときに、タッチパネルに表示される画像を更新すると判定することができる。

【0015】

さらに、本発明に係るデータ入力システムでは、キー配列画像は、第１方向に沿って配置された複数の方形の入力キーを有し且つ互いに入力キーの辺の長さと同一の長さ離隔するように配置された複数の入力キー列を含むことができる。

【0016】

さらに、本発明に係るデータ入力システムでは、更新画像は、複数の入力キー列の間に配置され且つ互いに入力キーの辺の長さと同一の長さ離隔するように配置された一対の入力キーを含むことができる。

【0017】

さらに、本発明に係るデータ入力システムでは、第１方向に配置された複数の入力キーは、配置ピッチを維持しがなら、大きさを小さくするように変更可能であることができる。

【0018】

また、本発明に係る情報処理装置は、キー配列画像を表示するタッチパネルを有し、タッチパネルの接触された位置を示す座標情報を生成する携帯端末から座標情報を取得する座標情報受信部と、座標情報をキー配列画像に対応した文字データに変換する変換部と、変換部から取得した文字データが示す文字を表示する情報表示部と、を有することを特徴とする。

【0019】

また、本発明に係るコンピュータプログラムは、キー配列画像を表示するタッチパネルを有し、タッチパネルの接触された位置を示す座標情報を生成する携帯端末から座標情報を取得し、座標情報をキー配列画像に対応した文字データ変換し、文字データを出力する、処理をデータ処理部に実行させることを特徴とする。

【0020】

また、本発明に係る情報処理方法は、携帯端末は、タッチパネルにキー配列画像を表示し、携帯端末は、タッチパネルの接触された位置を示す座標情報を生成し、携帯端末は、座標情報を情報処理装置に供給し、情報処理装置は、座標情報をキー配列画像に対応した文字データに変換し、情報処理装置は、文字データが示す文字を情報表示部に表示することを有することを特徴とする。

【0021】

また、本発明に係る情報処理方法は、携帯端末は、タッチパネルにキー配列画像を表示し、タッチパネルの第１タップされた位置を示す第１座標情報を生成し、第１座標情報を情報処理装置に供給し、情報処理装置は、第１座標情報から、キー配列画像のキー配列と相違するキー配列を含む更新画像を生成し、更新画像を携帯端末に供給し、携帯端末は、更新画像を表示し、タッチパネルの第２タップされた位置を示す第２座標情報を生成し、第２座標情報を情報処理装置に供給し、情報処理装置は、第２座標情報を第２座標情報を更新画像に対応した文字データに変換し、文字データが示す文字を情報処理装置の情報表示部に表示することを有することを特徴とする。

【発明の効果】

【0022】

本発明に係るデータ入力システムでは、ユーザが普段使用している携帯端末を使用したデータ入力が可能になる。

【図面の簡単な説明】

【0023】

【図1】実施形態に係るデータ入力システムの概略斜視図である。

【図2】実施形態に係るデータ入力システムの概略構成の一例を示す図である。

【図3】図２に示すパーソナルコンピュータの概略構成の一例を示す図である。

【図4】図２に示す携帯端末の概略構成の一例を示す図である。

【図5】図４に示す携帯端末のタッチパネルに初期画像を表示する処理の動作シーケンスの一例を示す図である。

【図6】図４に示すタッチパネルに表示される初期画像の一例を示す図である。

【図7】実施形態に係るデータ入力システムにおける文字表示処理の動作シーケンスの一例を示す図である。

【図8】更新画像生成処理の一例を示すフローチャートである。

【図9】更新画像の一例を示す図である。

【図10】文字データ生成処理の一例を示すフローチャートである。

【図11】実施形態に係るデータ入力システムにおける入力モード切替処理の動作シーケンスの一例を示す図である。

【図12】入力モード切替処理で生成される第１更新画像の一例を示す図である。

【図13】入力モード切替処理で生成される第２更新画像の例を示す図であり、（ａ）は第２更新画像の一例を示し、（ｂ）は第２更新画像の他の例を示し、第２更新画像の更に他の例を示す図である。

【図14】入力モード切替処理で生成される第１更新画像の他の例を示す図であり、（ａ）は第１更新画像の他の例の第１部分拡大図であり、（ｂ）は第１更新画像の他の例の第２部分拡大図であり、（ｃ）は第１更新画像の他の例の第３部分拡大図である。

【図15】キー配列変更処理で生成される第１更新画像の一例を示す図である。

【図16】キー配列変更処理において生成される第２更新画像の例を示す図であり、（ａ）は第２更新画像の一例を示し、（ｂ）は第２更新画像の他の例を示す図である。

【図17】キー配列カスタマイズ処理の動作シーケンスの一例を示す図である。

【図18】（ａ）はキー配列カスタマイズ処理における第２更新画像を示す図であり、（ｂ）はキー配列カスタマイズ処理における第３更新画像の例を示す図である。

【図19】実施形態に係るデータ入力システムにおけるマウスポインタ移動処理の動作シーケンスの一例を示す図である。

【図20】マウスポインタ移動データ生成処理の一例を示すフローチャートである。

【図21】実施形態に係るデータ入力システムにおけるキーサイズ変更処理の動作シーケンスの一例を示す図である。

【図22】キーサイズ変更処理において生成される更新画像の一例を示す図である。

【図23】画像監視処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0024】

以下図面を参照して、本発明に係るデータ入力システム、情報処理装置、情報処理プログラム及びその方法について説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明との均等物に及ぶ点に留意されたい。以降、異なる図面において同じ参照符号が付されたものは同じ機能を有する構成要素であることを意味する。

【0025】

〔実施形態に係るデータ入力システムの概要〕
図１は、実施形態に係るデータ入力システムの概略斜視図である。

【0026】

データ入力システム１は、上肢障害者１００によりデータ入力されるシステムである。データ入力システム１は、パーソナルコンピュータ２と、パーソナルコンピュータ２にＷＷＷ（World Wide Web）を介して接続される携帯端末３とを有する。パーソナルコンピュータ２は、情報表示部２０３と、情報処理部２１０とを有する。携帯端末３は、タッチパネル３０４を有する。パーソナルコンピュータ２の情報表示部２０３にはアプリケーション画像２６１が表示され、携帯端末３のタッチパネル３０４には、ソフトウェアキーボード（ソフトキーボードとも称される）のキー配列画像３２１が表示される。

【0027】

上肢障害者１００は、キーボードを使用せずに、ソフトウェアキーボードのキー配列画像３２１がウェブブラウザを介して表示された携帯端末３のタッチパネル３０４をタップ等の接触により操作することにより、文字等の情報を入力する。携帯端末３は、タッチパネル３０４がタップされた位置を示す座標情報を取得する。そして、携帯端末３は、取得した座標情報をパーソナルコンピュータ２の情報処理部２１０に供給する。情報処理部２１０は、携帯端末３から供給された座標情報を取得し、取得した座標情報をソフトウェアキーボードへの入力イベントに変換する。次いで、情報処理部２１０は、ソフトウェアキーボードを使用して入力イベントに応じた処理を実行して、入力イベントを文字データに変換する。そして、パーソナルコンピュータ２は、変換した文字データをアプリケーション画像２６１に対応するアプリケーションを介して情報表示部２０３に出力する。パーソナルコンピュータ２の情報表示部２０３は、入力された文字データが示す文字を表示する。

【0028】

データ入力システム１では、上肢障害者１００は、キーボードを使用せずに、携帯端末３のタッチパネル３０４を使用して情報を入力することができるので、キーボードのキーを押下することなくデータ入力が可能である。また、データ入力システム１では、ソフトウェアキーボードはパーソナルコンピュータ２に搭載されたものを使用し、携帯端末３にはソフトウェアキーボードは搭載されず、ウェブブラウザを搭載するだけでよい。データ入力システム１を使用する上肢障害者１００は、自らが所有する携帯端末３にソフトウェアキーボードを搭載することなく、携帯端末３に搭載されたウェブブラウザを使用して、ソフトウェアキーボードを使用できる。また、データ入力システム１では、ソフトウェアキーボードは携帯端末３に搭載されることはないので、携帯端末３に搭載されるＯＳ（Operating System）毎にソフトウェアキーボードを用意する必要がなく、ソフトウェアキーボードの開発コストを抑制できる。

【0029】

〔実施形態に係るデータ入力システムの構成〕
図２は、データ入力システム１の概略構成の一例を示す図である。

【0030】

データ入力システム１では、不図示の交換機が、広域通信回線網である通信ネットワーク５を介して相互に接続される。交換機は、ある地域をカバーする無線通信ネットワークを通信ネットワーク５に接続する。無線通信ネットワークには、地域内をカバーする無線ゾーンを管理するように基地局４が配置される。基地局４は、基地局４が属する不図示の無線ネットワーク制御装置を介して交換機に接続される。そして、その地域内の携帯端末３が、パーソナルコンピュータ２等と通信を行う際に、携帯端末３は、基地局４を介して交換機に接続され、さらに通信ネットワーク５に接続される。

【0031】

また、通信ネットワーク５は、イーサネット（登録商標）等の有線ＬＡＮにより、不図示のゲートウェイを介して、イントラネット６と接続される。イントラネット６には、パーソナルコンピュータ２がさらに接続される。

【0032】

図３は、パーソナルコンピュータ２の概略構成の一例を示す図である。

【0033】

パーソナルコンピュータ２は、種々の情報処理が可能な情報処理装置であり、情報通信部２０１と、情報記憶部２０２と、情報表示部２０３と、情報入力部２０４と、情報処理部２１０とを備える。

【0034】

情報通信部２０１は、イーサネット（登録商標）などの有線の通信インターフェース回路を有する。情報通信部２０１は、イントラネット６を介して携帯端末３等と通信を行う。そして、情報通信部２０１は、携帯端末３等から受信したデータを情報処理部２１０に供給する。また、情報通信部２０１は、情報処理部２１０から供給されたデータを携帯端末３等に送信する。

【0035】

情報記憶部２０２は、例えば、半導体メモリ、磁気ディスク装置、及び光ディスク装置のうちの少なくとも一つを有する。情報記憶部２０２は、情報処理部２１０による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、情報記憶部２０２は、ドライバプログラムとして、情報通信部２０１を制御する通信デバイスドライバプログラム等を記憶する。また、情報記憶部２０２は、オペレーティングシステムプログラムとして、ＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）等の通信方式による接続制御プログラム等を記憶する。また、情報記憶部２０２は、アプリケーションプログラムとして、ソフトウェアキーボードを記憶すると共に、各種データの送受信を行うデータ処理プログラム等を記憶する。コンピュータプログラムは、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて情報記憶部２０２にインストールされてもよい。

【0036】

情報処理部２１０は、一又は複数個のプロセッサ及びその周辺回路を有する。情報処理部２１０は、パーソナルコンピュータ２の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵである。情報処理部２１０は、パーソナルコンピュータ２の各種処理が情報記憶部２０２に記憶されているプログラム等に応じて適切な手順で実行されるように、情報通信部２０１等の動作を制御する。情報処理部２１０は、情報記憶部２０２に記憶されているプログラム（ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等）に基づいて処理を実行する。また、情報処理部２１０は、複数のプログラム（アプリケーションプログラム等）を並列に実行することができる。

【0037】

情報処理部２１０は、通信管制部２２０と、座標情報変換部２３０と、イベント変換部２４０と、画像更新部２５０と、情報表示アプリケーション２６０を有する。通信管制部２２０は、座標情報取得部２２１と、画像供給部２２２とを有する。イベント変換部２４０は、文字データ変換部２４１と、更新画像生成部２４２とを有する。情報処理部２１０が有するこれらの各部は、情報処理部２１０が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、情報処理部２１０が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとしてパーソナルコンピュータ２に実装されてもよい。

【0038】

図４は、携帯端末３の概略構成の一例を示す図である。

【0039】

携帯端末３は、端末の一例であり、例えば多機能携帯電話（いわゆる「スマートフォン」）であり、無線通信ネットワークへの接続、近距離無線通信、所定のアプリケーションプログラムの実行等を可能とする。そのために、携帯端末３は、端末通信部３０１と、近距離端末通信部３０２と、端末操作部３０３と、タッチパネル３０４と、端末記憶部３０５と、端末処理部３１０とを備える。なお、携帯端末３は、通信機能を有する通信装置であればよく、例えば携帯端末（Personal Digital Assistant, PDA）、携帯ゲーム機、携帯音楽プレーヤ、タブレットＰＣ等でもよい。

【0040】

端末通信部３０１は、主に２．１ＧＨｚ帯を感受帯域とするアンテナを含む、通信インターフェース回路を有し、携帯端末３を通信ネットワーク５に接続する。端末通信部３０１は、基地局４により割り当てられるチャネルを介して、基地局４との間でＣＤＭＡ（Code Division Multiple Access）方式等による無線信号回線を確立し、基地局４との間で無線通信を行う。そして、端末通信部３０１は、基地局４から受信したデータを端末処理部３１０に供給する。また、端末通信部３０１は、端末処理部３１０から供給されたデータを基地局４に送信する。なお、端末通信部３０１は、ＨＴＴＰ（Hypertext Transfer Protocol）のプロトコルに従ってパーソナルコンピュータ２との間のデータ通信を行う。また、端末通信部３０１は、主に２．４ＧＨｚ帯を感受帯域とするアンテナを含む通信インターフェース回路を有し、基地局４を介さずにＷｉ−Ｆｉ（登録商標）等の無線ＬＡＮの基地局を介して無線通信を行う。

【0041】

近距離端末通信部３０２は、Ｂｌｕｅｔｏｏｔｈ ＬＥ（Low Energy）（登録商標）等の通信方式に従った近距離無線通信を行うためのインターフェース回路を有し、他の携帯端末３等との間で近距離無線通信を行う。そして、近距離端末通信部３０２は、他の携帯端末３等から受信したデータを端末処理部３１０に供給する。また、近距離端末通信部３０２は、端末処理部３１０から供給されたデータを他の携帯端末３等に送信する。なお、近距離端末通信部３０２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ（Radio Frequency IDentification）、ＺｉｇＢｅｅ等の他の通信方式に従った近距離無線通信を行うためのインターフェース回路を有してもよい。

【0042】

端末操作部３０３は、携帯端末３の操作が可能であればどのようなデバイスでもよく、例えば、キーパッド等である。ユーザは、このデバイスを用いて、文字、数字等を入力することができる。端末操作部３０３は、ユーザの指示を受け付け、受け付けた指示に対応する信号を発生し、端末処理部３１０に出力する。

【0043】

タッチパネル３０４は、動画像、静止画像等の出力が可能であればどのようなデバイスでもよく、例えば、タッチパネル式の表示装置である。タッチパネル３０４は、端末処理部３１０から供給される動画像データに応じた動画像、静止画像データに応じた静止画像等を表示する。タッチパネル３０４は、タップ、ドラッグ、フリック等の接触により、ユーザの指示を受け付け、受け付けた指示に対応する信号を発生し、端末処理部３１０に出力する。

【0044】

端末記憶部３０５は、例えば、半導体メモリを有する。端末記憶部３０５は、端末処理部３１０での処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、端末記憶部３０５は、ドライバプログラムとして、端末通信部３０１を制御する携帯電話通信デバイスドライバプログラム、無線ＬＡＮ通信デバイスドライバプログラム、近距離端末通信部３０２を制御する近距離無線通信デバイスドライバプログラム、端末操作部３０３を制御する入力デバイスドライバプログラム、タッチパネル３０４を制御する出力デバイスドライバプログラム等を記憶する。また、端末記憶部３０５は、オペレーティングシステムプログラムとして、Ｂｌｕｅｔｏｏｔｈ ＬＥ（登録商標）規格の近距離無線通信方式を実行する接続制御プログラム、携帯電話及び無線ＬＡＮの接続制御プログラム等を記憶する。また、端末記憶部３０５は、アプリケーションプログラムとして、ウェブページの取得及び表示を行うウェブブラウザプログラムを含む種々のプログラムを記憶する。コンピュータプログラムは、例えばフラッシュメモリを含む半導体メモリ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて端末記憶部３０５にインストールされてもよい。

【0045】

また、端末記憶部３０５は、データとして、携帯端末３のユーザ識別情報であるユーザＩＤ、パーソナルコンピュータ２へアクセスするためのアドレス等を記憶する。さらに、端末記憶部３０５は、所定の処理に係る一時的なデータを一時的に記憶してもよい。

【0046】

端末処理部３１０は、一又は複数個のプロセッサ及びその周辺回路を有する。端末処理部３１０は、携帯端末３の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵ（Central Processing Unit）である。端末処理部３１０は、携帯端末３の各種処理が端末記憶部３０５に記憶されているプログラム、端末操作部３０３及びタッチパネル３０４の操作等に応じて適切な手順で実行されるように、端末通信部３０１、近距離端末通信部３０２等の動作を制御する。端末処理部３１０は、端末記憶部３０５に記憶されているプログラム（ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等）に基づいて処理を実行する。また、端末処理部３１０は、複数のプログラム（アプリケーションプログラム等）を並列に実行することができる。

【0047】

端末処理部３１０は、画像設定部３１１と、座標情報生成部３１２と、座標情報供給部３１３とを有する。端末処理部３１０が有するこれらの各部は、端末処理部３１０が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、端末処理部３１０が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとして携帯端末３に実装されてもよい。

【0048】

〔実施形態に係るデータ入力システムの初期化処理〕
図５は、携帯端末３のタッチパネル３０４に初期画像を表示する処理の動作シーケンスの一例を示す図である。

【0049】

以下に説明する動作シーケンスは、各装置において予め各装置の記憶部に記憶されているプログラムに基づき主に各装置の制御部により各装置の各要素と協働して実行される。

【0050】

まず、携帯端末３の画像設定部３１１は、タッチパネル３０４を介した上肢障害者１００の指示に従って、ウェブブラウザをタッチパネル３０４に表示する（Ｓ１０１）。次いで、携帯端末３の画像設定部３１１は、タッチパネル３０４のウェブブラウザに上肢障害者１００から入力されたパーソナルコンピュータ２のＵＲＬ（Uniform Resource Locator）を受け付ける。（Ｓ１０２）。次いで、携帯端末３の画像設定部３１１は、初期画像要求信号を端末通信部３０１を介してパーソナルコンピュータ２に送信する（Ｓ１０３）。

【0051】

パーソナルコンピュータ２の画像供給部２２２は、初期画像要求信号に応じて、ソフトウェアキーボードのキー配列の初期画像に対応する初期画像データを携帯端末３に供給する（Ｓ１０４）。次いで、携帯端末３の画像設定部３１１は、端末通信部３０１が受信した初期画像データが示す初期画像を取得する。携帯端末３の画像設定部３１１は、初期画像データが示す初期画像を取得すると、取得した初期画像をタッチパネル３０４にウェブブラウザを介して表示する（Ｓ１０５）。

【0052】

図６は、タッチパネル３０４に表示される初期画像の一例を示す図である。

【0053】

初期画像４００は、タッチパネル３０４にウェブブラウザを介して表示される。初期画像４００は、複数の文字入力キーを含む文字入力キー群４０１と、シフトキー４０２と、スペースキー４０３と、エンタキー４０４と、バックスペースキー４０５と、カーソルキー４０６とを有する。また、初期画像４００は、２つのショートカットキー４１０と、入力モード切替キー４１１と、カスタマイズキー４１２と、ファンクションキー４１３と、キーサイズ変更キー４１４とを有する。これらの入力キーは何れも方形の形状を有する。また、初期画像４００は、入力内容表示部４３０を更に有する。

【0054】

文字入力キー群４０１の「あ」キー〜「は」キー及びエンタキー４０４は第１入力キー列４２１を形成し、文字入力キー群４０１の「ま」キー〜「記号」キー、シフトキー４０２及びスペースキー４０３は第２入力キー列４２２を形成する。カーソルキー４０６、ショートカットキー４１０、入力モード切替キー４１１、カスタマイズキー４１２及びファンクションキー４１３は、第３入力キー列４２３を形成する。第１入力キー列４２１、第２入力キー列４２２及び第３入力キー列４２３のそれぞれは、横方向に沿って配置された複数の入力キーを有する。第１入力キー列４２１と第２入力キー列４２２との間隔、及び第１入力キー列４２１と第３入力キー列４２３との間隔は、初期画像４００に表示される入力キーの辺の長さと同一の長さである。

【0055】

文字入力キー群４０１に含まれる文字入力キーのそれぞれは、ツータップ入力により入力する文字を決定するときに使用される。文字入力キー群４０１の「あ」キー〜「わ」キーのそれぞれは、それぞれの行のひらがな文字を入力するときに使用される。文字入力キー群４０１の「゛゜小」は濁音、半濁音及び小書き文字を入力するときに使用され、「記号」キーは記号を入力するときに使用される。

【0056】

入力内容表示部４３０は、上肢障害者１００がタッチパネル３０４を操作して入力した文字列を一時的に表示する。入力内容表示部４３０に表示された文字列は、エンタキー４０４のタップ又は入力モード切替キー４１１を使用した入力モードの切替えによりクリアされる。

【0057】

携帯端末３の画像設定部３１１が画像を表示する領域は、情報表示部２０３に表示されるマウスポインタを移動するために使用される領域４４０である。

【0058】

〔実施形態に係るデータ入力システムにおける文字入力処理〕
図７は、携帯端末３のタッチパネル３０４におけるツータップ入力により入力し、パーソナルコンピュータ２の情報表示部２０３に文字を表示する処理の動作シーケンスの一例を示す図である。

【0059】

以下に説明する動作シーケンスは、各装置において予め各装置の記憶部に記憶されているプログラムに基づき主に各装置の制御部により各装置の各要素と協働して実行される。

【0060】

まず、タッチパネル３０４は、初期画像４００の文字入力キー群４０１に含まれる文字入力キーのいずれかのタップである第１タップを検出し（Ｓ２０１）、第１タップのタッチパネル３０４上の座標を座標情報生成部３１２に供給する。座標情報生成部３１２は、タッチパネル３０４から取得した第１タップのタッチパネル３０４上の座標から第１タップのウェブブラウザ上の座標である第１座標情報を生成する（Ｓ２０２）。座標情報供給部３１３は、座標情報生成部３１２が生成した第１座標情報に対応する第１座標情報信号をパーソナルコンピュータ２に送信する（Ｓ２０３）。

【0061】

パーソナルコンピュータ２は、第１座標情報信号を受信すると、受信した第１座標情報信号が示す第１座標情報に応じた更新画像を生成する（Ｓ２０４）。更新画像は、タッチパネル３０４に表示されているキー配列画像のキー配列を変更した画像である。

【0062】

図８は、Ｓ２０４の更新画像を生成する処理の一例を示すフローチャートである。

【0063】

座標情報取得部２２１は、受信した第１座標情報信号が示す第１座標情報を取得する（Ｓ３０１）。次いで、座標情報変換部２３０は、座標情報取得部２２１が取得した第１座標情報をイベント変換部２４０が読み取り可能な第１入力イベントに変換する（Ｓ３０２）。座標情報変換部２３０は、ウェブブラウザの座標を示す第１座標情報から、携帯端末３のタッチパネル３０４においてイベント変換部２４０の画像の何れのキーに対応する部分がタップされたかを推定する。座標情報変換部２３０は、推定されたタップ位置に対応するキーがタップされたことを示す入力イベントを生成する。座標情報変換部２３０は、生成した第１入力イベントをイベント変換部２４０に供給する。

【0064】

第１入力イベントが供給されると、イベント変換部２４０の更新画像生成部２４２は、供給された第１入力イベントに対応する更新画像を生成する（Ｓ３０３）。次いで、画像供給部２２２は、更新画像５００を情報通信部２０１に供給する（Ｓ３０４）。

【0065】

図９は、更新画像生成部２４２が生成する更新画像の一例を示す図である。図９に示す更新画像は、供給された第１入力イベントが文字入力キー群の「あ」キーがタップされたことを示すときに生成する更新画像である。

【0066】

更新画像５００は、選択可能なように展開されたあ行の５つの文字に対応する「あ」キー５０１〜「お」キー５０５を有する。「い」キー５０２及び「う」キー５０３は、第１入力キー列４２１と第３入力キー列４２３との間に、互いに入力キーの辺の長さと同一の長さ離隔するように配置される。また、「え」キー５０４及び「お」キー５０５は、第１入力キー列４２１と第２入力キー列４２２との間に、互いに入力キーの辺の長さと同一の長さ離隔するように配置される。更新画像５００では、「あ」キー５０１〜「お」キー５０５が選択可能なように展開されるが、「か」キーがタップされたときは、「か」キー〜「こ」キーが選択可能なように展開される。同様に、「さ」キー〜「わ」キーがタップされたときは、それぞれの行の文字がそれぞれ選択可能なように展開される。「゛゜小」がタップされたときは、濁音、半濁音及び小書き文字のそれぞれが選択可能な入力キーが展開され、「記号」がタップされたときは、例えば、句点、読点、右かっこ及び左かっこのそれぞれが選択可能な入力キーが展開される。

【0067】

情報通信部２０１は、更新画像５００に対応する更新画像データを携帯端末に送信する（Ｓ２０５）。次いで、携帯端末３の画像設定部３１１は、端末通信部３０１が受信した更新画像データが示す更新画像５００を取得する。携帯端末３の画像設定部３１１は、更新画像５００を取得すると、更新画像５００をタッチパネル３０４にウェブブラウザを介して表示する（Ｓ２０６）。

【0068】

次いで、タッチパネル３０４は、更新画像５００の選択可能に展開された文字入力キーの何れかのタップである第２タップを検出し（Ｓ２０７）、第２タップのタッチパネル３０４上の座標を座標情報生成部３１２に供給する。座標情報生成部３１２は、タッチパネル３０４から取得した第２タップのタッチパネル３０４上の座標から第２タップのウェブブラウザ上の座標である第２座標情報を生成する（Ｓ２０８）。座標情報供給部３１３は、座標情報生成部３１２が生成した第２座標情報に対応する第２座標情報信号をパーソナルコンピュータ２に送信する（Ｓ２０９）。

【0069】

パーソナルコンピュータ２は、第２座標情報信号を受信すると、受信した第２座標情報信号が示す第２座標情報に応じた文字データを生成する（Ｓ２１０）。

【0070】

図１０は、Ｓ２１０の文字データを生成する処理の一例を示すフローチャートである。

【0071】

座標情報取得部２２１は、受信した第２座標情報信号が示す第２座標情報を取得する（Ｓ４０１）。次いで、座標情報変換部２３０は、座標情報取得部２２１が取得した第２座標情報をイベント変換部２４０が読み取り可能な第２入力イベントに変換する（Ｓ４０２）。座標情報変換部２３０は、生成した第２入力イベントをイベント変換部２４０に供給する。第２入力イベントが供給されると、イベント変換部２４０の文字データ変換部２４１は、供給された第２入力イベントを文字データに変換する（Ｓ４０３）。例えば、供給された第２入力イベントが更新画像５００の選択可能なように展開された「い」キーがタップされたことを示すとき、文字データ変換部２４１は、第２イベントを、「い」を示す文字データに変換する。次いで、文字データ変換部２４１は、変換した文字データを情報表示部２０３に供給する（Ｓ４０４）。

【0072】

次いで、情報表示部２０３は、供給された文字データが示す文字を表示する（Ｓ２１１）。例えば、供給された文字データが「い」を示す文字データであるとき、文字データ変換部２４１は、「い」を示す画像を情報表示部２０３においてアクティブなアプリケーションとして表示されている情報表示アプリケーション２６０の画像に「い」を表示する。

【0073】

次いで、図８を参照して説明した処理と同様の処理を実行して、受信した第２座標情報信号が示す第２座標情報に応じた第２更新画像を生成する（Ｓ２１２）。ここでは、イベント変換部２４０の更新画像生成部２４２は、供給された第２入力イベントに応じて初期画像４００を生成する（Ｓ３０３）。次いで、画像供給部２２２は、初期画像４００を情報通信部２０１に供給する（Ｓ３０４）。次いで、情報通信部２０１は、初期画像４００に対応する初期画像データを携帯端末に送信する（Ｓ２１３）。そして、携帯端末３の画像設定部３１１は、初期画像４００を取得すると、初期画像４００をタッチパネル３０４にウェブブラウザを介して表示する（Ｓ２１４）。

【0074】

〔実施形態に係るデータ入力システムにおける入力モード切替処理〕
図１１は、携帯端末３のタッチパネル３０４において入力モード切替キー４１１をタップして入力モードを切替える処理の動作シーケンスの一例を示す図である。

【0075】

以下に説明する動作シーケンスは、各装置において予め各装置の記憶部に記憶されているプログラムに基づき主に各装置の制御部により各装置の各要素と協働して実行される。

【0076】

まず、タッチパネル３０４は、入力モード切替キー４１１のタップである第１タップを検出し（Ｓ５０１）、第１タップのタッチパネル３０４上の座標を座標情報生成部３１２に供給する。座標情報生成部３１２は、タッチパネル３０４から取得した第１タップのタッチパネル３０４上の座標から第１タップのウェブブラウザ上の座標である第１座標情報を生成する（Ｓ５０２）。座標情報供給部３１３は、座標情報生成部３１２が生成した第１座標情報に対応する第１座標情報信号をパーソナルコンピュータ２に送信する（Ｓ５０３）。

【0077】

パーソナルコンピュータ２は、第１座標情報信号を受信すると、図８を参照して説明した処理と同様の処理を実行して、受信した第１座標情報信号が示す第１座標情報に応じた第１更新画像を生成する（Ｓ５０４）。

【0078】

図１２は、入力モード切替処理において、更新画像生成部２４２が生成する第１更新画像の一例を示す図である。

【0079】

第１更新画像６００は、選択可能なように展開された入力モード切替キー６０１と、カタカナ入力キー６０２と、英字入力キー６０３と、数字入力キー６０４とを有する。カタカナ入力キー６０２は、第３入力キー列４２３とバックスペースキー４０５との間に配置される。また、英字入力キー６０３及び数字入力キー６０４は、第１入力キー列４２１と第３入力キー列４２３との間に、互いに入力キーの辺の長さと同一の長さ離隔するように配置される。

【0080】

情報通信部２０１は、第１更新画像６００に対応する第１更新画像データを携帯端末に送信する（Ｓ５０５）。次いで、携帯端末３の画像設定部３１１は、端末通信部３０１が受信した第１更新画像データが示す第１更新画像６００を取得する。携帯端末３の画像設定部３１１は、第１更新画像６００を取得すると、第１更新画像６００をタッチパネル３０４にウェブブラウザを介して表示する（Ｓ５０６）。

【0081】

次いで、タッチパネル３０４は、第１更新画像６００の選択可能に展開された入力キー６０１〜６０４の何れかのタップである第２タップを検出し（Ｓ５０７）、第２タップのタッチパネル３０４上の座標を座標情報生成部３１２に供給する。座標情報生成部３１２は、タッチパネル３０４から取得した第２タップのタッチパネル３０４上の座標から第２タップのウェブブラウザ上の座標である第２座標情報を生成する（Ｓ５０８）。座標情報供給部３１３は、座標情報生成部３１２が生成した第２座標情報に対応する第２座標情報信号をパーソナルコンピュータ２に送信する（Ｓ５０９）。

【0082】

パーソナルコンピュータ２は、第２座標情報信号を受信すると、図８を参照して説明した処理と同様の処理を実行して、受信した第２座標情報信号が示す第２座標情報に応じた第２更新画像を生成する（Ｓ５１０）。次いで、情報通信部２０１は、第２更新画像に対応する第２更新画像データを携帯端末に送信する（Ｓ５１１）。次いで、携帯端末３の画像設定部３１１は、端末通信部３０１が受信した第２更新画像データが示す第２更新画像を取得する。携帯端末３の画像設定部３１１は、第２更新画像を取得すると、第２更新画像をタッチパネル３０４にウェブブラウザを介して表示する（Ｓ５１２）。

【0083】

図１３は、入力モード切替処理において、更新画像生成部２４２が生成する第２更新画像の例を示す図である。図１３（ａ）はカタカナ入力キー６０２が第２タップされたときの第２更新画像を示し、図１３（ｂ）は英字入力キー６０３が第２タップされたときの第２更新画像を示し、図１３（ｃ）は数字入力キー６０４が第２タップされたときの第２更新画像を示す図である。なお、入力モード切替キー６０１が第２タップされたとき、イベント変換部２４０の更新画像生成部２４２は、初期画像４００と同一の画像を生成する。

【0084】

図１３（ａ）に示す第２更新画像６１０は、文字入力キー群６１１を有する。文字入力キー群６１１の「ア」キー〜「ワ」キーのそれぞれは、それぞれの行のカタカナ文字を入力するときに使用される。文字入力キー群６１１の「゛゜小」は濁音、半濁音及び小書き文字を入力するときに使用され、「記号」キーは記号を入力するときに使用される。

【0085】

図１３（ｂ）に示す第２更新画像６２０は、文字入力キー群６２１を有する。文字入力キー群６２１の「ａｂｃ」キー〜「ｗｘｙｚ」キーのそれぞれは、キーに示される英字を入力するときに使用される。例えば、「ａｂｃ」キーは、ａ、ｂ及びｃを入力するときに使用される。文字入力キー群６２１の「記号１」キー〜「記号３」キーのそれぞれは、記号を入力するときに使用される。一例では、「記号１」キーは「＠」、「＃」、「／」、「＿」及び「＆」を入力するときに使用され、「記号２」キーは「´」、「”」、「（」、及び「）」を入力するときに使用される。また、「記号３」キーは、「．」、「，」、「？」及び「！」を入力するときに使用される。

【0086】

図１３（ｃ）に示す第２更新画像６３０は、文字入力キー群６３１を有する。文字入力キー群６３１の「１」キー〜「０」キーのそれぞれは、キーに示される数字を入力するときに使用される。

【0087】

図１４は、更新画像生成部２４２が生成する第１更新画像の他の例を示す図である。図１４（ａ）は、カタカナ文字を入力するときに使用される文字入力キー群６１１を有する第２更新画像６１０がタッチパネル３０４に表示されているときに図１１に示す入力モード切替処理が実行されたときの第１更新画像の部分拡大図である。図１４（ｂ）は、英文字を入力するときに使用される文字入力キー群６２１を有する第２更新画像６２０がタッチパネル３０４に表示されているときに図１１に示す入力モード切替処理が実行されたときの第１更新画像の部分拡大図である。図１４（ｃ）は、数字を入力するときに使用される文字入力キー群６３１を有する第２更新画像６３０がタッチパネル３０４に表示されているときに図１１に示す入力モード切替処理が実行されたときの第１更新画像の部分拡大図である。

【0088】

図１３（ａ）に示す第２更新画像６１０が第１タップされたときの更新画像である第１更新画像６４０は、選択可能なように展開された入力モード切替キー６４１と、ひらがな入力キー６４２と、英字入力キー６４３と、数字入力キー６４４とを有する。図１３（ｂ）に示す第２更新画像６２０が第１タップされたときの更新画像である第１更新画像６５０は、選択可能なように展開された入力モード切替キー６５１と、ひらがな入力キー６５２と、全角入力キー６５３と、数字入力キー６５４とを有する。図１３（ｃ）に示す第２更新画像６３０が第１タップされたときの更新画像である第１更新画像６６０は、選択可能なように展開された入力モード切替キー６６１と、ひらがな入力キー６６２と、英字入力キー６６３と、半角入力キー６６４とを有する。

【0089】

〔実施形態に係るデータ入力システムにおけるキー配列変更処理〕
図６に示す初期画像４００が携帯端末３のタッチパネル３０４に表示されているときに、カスタマイズキー４１２が第１タップされると、タッチパネル３０４にソフトウェアキーボードのキー配列画像をカスタマイズする処理が実行される。キー配列変更処理は、図１１に示す入力モード切替処理と同様の処理により実行される。すなわち、キー配列変更処理は、カスタマイズキー４１２のタップである第１タップの検出（Ｓ５０１）に応じて、パーソナルコンピュータ２は、第１更新画像を生成する（Ｓ５０４）。そして、携帯端末３の画像設定部３１１は、パーソナルコンピュータ２が生成した第１更新画像を取得すると、第１更新画像をタッチパネル３０４にウェブブラウザを介して表示する（Ｓ５０６）。

【0090】

図１５は、キー配列変更処理において、更新画像生成部２４２が生成する第１更新画像の一例を示す図である。

【0091】

第１更新画像７００は、選択可能なように展開されたカスタマイズキー７０１と、横方向配列キー７０２と、縦方向配列キー７０３と、自作配列キー７０４と、カスタムキー７０５とを有する。横方向配列キー７０２及び縦方向配列キー７０３は、第１入力キー列４２１と第３入力キー列４２３との間に、互いに入力キーの辺の長さと同一の長さ離隔するように配置される。また、自作配列キー７０４は第３入力キー列４２３とバックスペースキー４０５との間に配置され、カスタムキー７０５はファンクションキー４１３に隣接して配置される。自作配列キー７０４及びカスタムキー７０５は、互いに入力キーの辺の長さと同一の長さ離隔するように配置される。

【0092】

情報通信部２０１は、第１更新画像７００に対応する第１更新画像データを携帯端末に送信する（Ｓ５０５）。次いで、携帯端末３の画像設定部３１１は、端末通信部３０１が受信した第１更新画像データが示す第１更新画像７００を取得する。携帯端末３の画像設定部３１１は、第１更新画像７００を取得すると、第１更新画像７００をタッチパネル３０４にウェブブラウザを介して表示する（Ｓ５０６）。

【0093】

次いで、タッチパネル３０４は、第１更新画像７００の選択可能に展開された入力キー７０１〜７０４の何れかのタップである第２タップを検出する（Ｓ５０７）。座標情報供給部３１３は第２タップの位置に対応する第２座標情報に対応する第２座標情報信号をパーソナルコンピュータ２に送信し（Ｓ５０９）、パーソナルコンピュータ２は第２座標情報に応じた第２更新画像を生成する（Ｓ５１０）。そして、パーソナルコンピュータ２は第２更新画像に対応する第２更新画像データを携帯端末に送信し、携帯端末３の画像設定部３１１は、第２更新画像をタッチパネル３０４にウェブブラウザを介して表示する（Ｓ５１２）。

【0094】

図１６は、キー配列変更処理において、更新画像生成部２４２が生成する第２更新画像の例を示す図である。図１６（ａ）は縦方向配列キー７０３が第２タップされたときの第２更新画像を示し、図１６（ｂ）は自作配列キー７０４が第２タップされたときの第２更新画像の一例を示す図である。なお、カスタマイズキー７０１及び横方向配列キー７０２の何れかが第２タップされたとき、イベント変換部２４０の更新画像生成部２４２は、初期画像４００と同一の画像を生成する。この場合、第２更新画像が初期画像４００と同一の画像となる。

【0095】

図１６（ａ）に示す第２更新画像７１０は、第１入力キー列７１１と、第２入力キー列７１２と、第３入力キー列７１３とを有する。第１入力キー列７１１、第２入力キー列７１２及び第３入力キー列７１３のそれぞれは、縦方向に沿って配置された複数の入力キーを有する。第１入力キー列７１１と第２入力キー列７１２との間隔、及び第２入力キー列７１２と第３入力キー列７１３との間隔は、入力キーの辺の長さと同一の長さである。第１入力キー列７１１は「あ」キー〜「は」キーを有し、第２入力キー列７１２は「ま」キー〜エンタキーを有し、第３入力キー列７１３はショートカットキー〜バックスペースキーを有する。

【0096】

図１６（ｂ）に示す第２更新画像７２０は、第１入力キー列７２１と、第２入力キー列７２２と、第３入力キー列７２３とを有する。第１入力キー列７２１、第２入力キー列７２２及び第３入力キー列７２３のそれぞれは、横方向に沿って配置された複数の入力キーを有する。第１入力キー列７２１と第２入力キー列７２２との間隔、及び第２入力キー列７２２と第３入力キー列７２３との間隔は、入力キーの辺の長さと同一の長さである。第１入力キー列７２１は「あ」キー〜「は」キーを有し、第２入力キー列７２２は「ま」キー〜「記号」キーを有し、第３入力キー列７２３はショートカットキー〜バックスペースキーを有する。

【0097】

〔実施形態に係るデータ入力システムにおけるキー配列カスタマイズ処理〕
図１７は、携帯端末３のタッチパネル３０４に表示されるにソフトウェアキーボードのキー配列画像のキー配列を変更するキー配列カスタマイズ処理の動作シーケンスの一例を示す図である。

【0098】

以下に説明する動作シーケンスは、各装置において予め各装置の記憶部に記憶されているプログラムに基づき主に各装置の制御部により各装置の各要素と協働して実行される。

【0099】

Ｓ７０１〜Ｓ７１２の処理は、図１１に示すＳ５０１〜Ｓ５１２の処理と同様の処理のため、説明は省略する。Ｓ７０１の第１タップは図６に示す初期画像４００のカスタマイズキー４１２のタップであり、Ｓ７０７の第２タップは図１５に示す第１更新画像７００のカスタムキー７０５のタップである。

【0100】

図１８（ａ）は、図１５に示す第１更新画像７００のカスタムキー７０５が第２タップされたときの第２更新画像を示す図である。

【0101】

第２更新画像８１０は、第１入力キー列８１１と、第２入力キー列８１２と、第３入力キー列８１３と、第４入力キー列８１４と、カスタムキー８１５とを有する。第１入力キー列８１１、第２入力キー列８１２、第３入力キー列８１３及び第４入力キー列８１４のそれぞれは、横方向に沿って配置された複数の入力キーを有する。

【0102】

第２更新画像８１０が表示されているときに、入力キーの何れかが第３タップ及び第４タップがされると、パーソナルコンピュータ２は、第３タップされた入力キーの表示位置を第４タップされた位置へ移動した画像を生成する。次いで、パーソナルコンピュータ２は生成した画像を携帯端末３に供給し、携帯端末３は、供給された画像をタッチパネル３０４に表示する。

【0103】

すなわち、タッチパネル３０４は、第２更新画像８１０の入力キーの何れかのタップである第３タップ及び第３タップに次ぐ第４タップを検出し（Ｓ７１３）、第３タップ及び第４タップのタッチパネル３０４上の座標を座標情報生成部３１２に供給する。座標情報生成部３１２は、タッチパネル３０４から取得した第３タップ及び第４タップのタッチパネル３０４上の座標から第３タップ及び第４タップのウェブブラウザ上の座標である第３座標情報及び第４座標情報を生成する（Ｓ７１４）。座標情報供給部３１３は、座標情報生成部３１２が生成した第３座標情報及び第４座標情報に対応する第３座標情報信号及び第４座標情報信号をパーソナルコンピュータ２に送信する（Ｓ７１５）。

【0104】

パーソナルコンピュータ２は、第３座標情報信号及び第４座標情報信号を受信すると、図８を参照して説明した処理と同様の処理を実行して、受信した第２座標情報信号が示す第２座標情報に応じた第２更新画像を生成する（Ｓ７１６）。すなわち、座標情報取得部２２１は、受信した第３座標情報信号及び第４座標情報信号が示す第３座標情報及び第４座標情報を取得する（Ｓ３０１）。次いで、座標情報変換部２３０は、座標情報取得部２２１が取得した第３座標情報及び第４座標情報をイベント変換部２４０が読み取り可能な第３入力イベント及び第４入力イベントに変換する（Ｓ３０２）。第３入力イベント及び第４入力イベントが供給されると、イベント変換部２４０の更新画像生成部２４２は、第３入力イベントが示す入力キーの位置と第４入力イベントが示す位置に移動した第３更新画像を生成する（Ｓ３０３）。

【0105】

図１８（ｂ）は、キー配列カスタマイズ処理において、更新画像生成部２４２が生成する第３更新画像の例を示す図である。図１８（ｂ）に示す第３更新画像８２０は、第２更新画像８１０において、「あ」キー８１６が第３タップされ、「あ」キー８２６がある位置が第４タップされることにより、「あ」キー８１６の表示位置が「あ」キー８２６の表示位置に移動された例である。

【0106】

キー配列カスタマイズ処理が実行される前の初期画像４００では、第１入力キー列４２１に「あ」キーが配置される。一方、第３更新画像８２０では、第１入力キー列８２１から外れた位置に「あ」キー８２６が配置される。

【0107】

次いで、情報通信部２０１は、第３更新画像に対応する第３更新画像データを携帯端末に送信する（Ｓ７１７）。次いで、携帯端末３の画像設定部３１１は、端末通信部３０１が受信した第３更新画像データが示す第３更新画像を取得し、第３更新画像をタッチパネル３０４にウェブブラウザを介して表示する（Ｓ７１８）。

【0108】

〔実施形態に係るデータ入力システムにおけるマウスポインタ移動処理〕
図１９は、携帯端末３のタッチパネル３０４をドラックすることにより情報表示部２０３に表示されるマウスポインタを移動するマウスポインタ移動処理の動作シーケンスの一例を示す図である。

【0109】

以下に説明する動作シーケンスは、各装置において予め各装置の記憶部に記憶されているプログラムに基づき主に各装置の制御部により各装置の各要素と協働して実行される。

【0110】

まず、タッチパネル３０４は、ドラックを検出し（Ｓ８０１）、ドラックの始点及び終点のタッチパネル３０４上の座標を座標情報生成部３１２に供給する。座標情報生成部３１２は、タッチパネル３０４から取得したドラックの始点及び終点のタッチパネル３０４上の座標からドラックのウェブブラウザ上の座標であるドラック座標情報を生成する（Ｓ８０２）。座標情報供給部３１３は、座標情報生成部３１２が生成したドラック座標情報に対応するドラック座標情報信号をパーソナルコンピュータ２に送信する（Ｓ８０３）。

【0111】

パーソナルコンピュータ２は、ドラック座標情報信号を受信すると、受信したドラック座標情報信号が示すドラック座標情報に応じたマウスポインタ移動データを生成する（Ｓ８０４）。

【0112】

図２０は、Ｓ８０４のマウスポインタ移動データを生成する処理の一例を示すフローチャートである。

【0113】

座標情報取得部２２１は、受信したドラック座標情報信号が示すドラック座標情報を取得する（Ｓ９０１）。次いで、座標情報変換部２３０は、ドラック座標情報をマウスポインタ移動データに変換する（Ｓ９０２）。マウスポインタ移動データは、タッチパネル３０４へのドラックの方向及び距離に基づいて演算される。例えば、タッチパネル３０４に横方向に右から左に１ｃｍに亘ってドラックされたとき、現在のマウスポインタの座標から右方向に数センチ移動した座標を示す情報表示部２０３上の座標を示すデータをマウスポインタ移動データとして演算する。そして、座標情報取得部２２１は、変換したマウスポインタ移動データを情報表示部２０３に供給する（Ｓ９０３）。

【0114】

そして、情報表示部２０３は、供給されたマウスポインタ移動データが示す位置にマウスポインタを移動して表示する（Ｓ８０５）。

【0115】

なお、マウスポインタ移動処理において、ドラックの始点を第１タップとして、図１１に示す入力モード切替処理と同様の処理を実行して、「右クリック」キー及び「左クリック」キーを表示することもできる。

【0116】

また、マウスポインタ移動処理におけるドラッグの始点および終点の検出は一定時間（一例では、１秒以内の短時間）毎に行い、タッチパネル３０４上でのドラッグと情報表示部２０３上でのマウスポインタの移動がリアルタイムで連動するようにすることもできる。

【0117】

〔実施形態に係るデータ入力システムにおけるキーサイズ変更処理〕
図２１は、携帯端末３のタッチパネル３０４に表示される初期画像４００のキーサイズ変更キー４１４をタップして、表示されるソフトウェアキーボードのキー配列画像のキーのサイズを変更するキーサイズ変更処理の動作シーケンスの一例を示す図である。

【0118】

以下に説明する動作シーケンスは、各装置において予め各装置の記憶部に記憶されているプログラムに基づき主に各装置の制御部により各装置の各要素と協働して実行される。

【0119】

まず、タッチパネル３０４は、キーサイズ変更キー４１４の何れかのキーのタップを検出し（Ｓ１００１）、タップのタッチパネル３０４上の座標を座標情報生成部３１２に供給する。座標情報生成部３１２は、タッチパネル３０４から取得したタップのタッチパネル３０４上の座標からタップのウェブブラウザ上の座標であるタップ座標情報を生成する（Ｓ１００２）。座標情報供給部３１３は、座標情報生成部３１２が生成したタップ座標情報に対応するタップ座標情報信号をパーソナルコンピュータ２に送信する（Ｓ１００３）。パーソナルコンピュータ２は、タップ座標情報信号を受信すると、図８を参照して説明した処理と同様の処理を実行して、受信したタップ座標情報信号が示すタップ座標情報に応じた更新画像を生成する（Ｓ１００４）。

【0120】

図２２は、キーサイズ変更処理において、更新画像生成部２４２が生成する更新画像の一例を示す図である。図２２に示す更新画像９００は、「ｓｉｚｅ−」キーがタップされたことを示すときの更新画像である。

【0121】

更新画像９００は、複数の文字入力キーを含む文字入力キー群９０１と、シフトキー９０２と、スペースキー９０３と、エンタキー９０４と、バックスペースキー９０５と、カーソルキー９０６とを有する。また、更新画像９００は、２つのショートカットキー９１０と、入力モード切替キー９１１と、カスタマイズキー９１２と、ファンクションキー９１３と、キーサイズ変更キー９１４とを有する。また、更新画像９００は、入力内容表示部９３０を更に有する。

【0122】

更新画像９００に表示される入力キーは、初期画像４００に表示される入力キーと比較すると、配置ピッチを維持しながら、大きさを小さくするように変更されている。すなわち、更新画像９００に表示される入力キーは、縦方向及び横方向に隣接する入力キーの配置ピッチを維持しながら、辺の長さを変更する。例えば、カスタマイズキー９１２の中心とファンクションキー９１３の中心との間の距離は、初期画像４００のカスタマイズキー４１２の中心とファンクションキー４１３の中心の間の距離と等しい。また、カスタマイズキー９１２の中心と文字入力キー群９０１の中心の「な」キーとの間の距離は、初期画像４００のカスタマイズキー４１２の中心と文字入力キー群４０１の「な」キーの中心との間の距離と等しい。

【0123】

〔実施形態に係るデータ入力システムにおける画像監視処理〕
図２３は、携帯端末３のタッチパネル３０４に表示される画像を更新か否かを判定する画像監視処理の一例を示すフローチャートである。

【0124】

図２３に示す画像監視処理は、パーソナルコンピュータ２が初期画像要求信号を受信した（Ｓ１０３）後に、開始される。まず、画像更新部２５０は、所定の時間、待機する（Ｓ１１０１）。次いで、画像更新部２５０は、画像供給部２２２が先に供給した画像と、更新画像生成部２４２が生成した更新画像とを比較して、携帯端末３のタッチパネル３０４に表示される画像を更新するか否かを判定する（Ｓ１１０２）。画像更新部２５０は、画像供給部２２２が先に供給した画像と、更新画像生成部２４２が生成した更新画像とが一致しないときに、携帯端末３のタッチパネル３０４に表示される画像を更新すると判定する。画像更新部２５０が携帯端末３のタッチパネル３０４に表示される画像を更新すると判定すると、画像供給部２２２は、更新画像生成部２４２が生成した更新画像を情報通信部２０１に供給し（Ｓ１１０３）、処理はＳ１１０４に進む。また、画像更新部２５０は、画像供給部２２２が先に供給した画像と、更新画像生成部２４２が生成した更新画像とが一致したときに、携帯端末３のタッチパネル３０４に表示されるソフトウェアキーボードのキー配列画像を更新しないと判定する。画像更新部２５０が携帯端末３のタッチパネル３０４に表示される画像を更新すると判定すると、処理はＳ１１０４に進む。

【0125】

処理がＳ１１０４に進むと、画像更新部２５０は、画像監視処理を終了するか否かを判定する。例えば、画像更新部２５０は、携帯端末３のタッチパネル３０４にキーボードのキー配列画像を表示していたウェブブラウザが閉じられて、端末処理部３１０から供給される監視停止指示を取得したとき、画像監視処理を終了すると判定する。画像更新部２５０が画像監視処理を終了すると判定しないとき、処理はＳ１１０１に戻る。

【0126】

画像監視処理は、図７〜２２を参照して説明した実施形態とは別個に動作する処理である。すなわち、画像監視処理は、キー配列画像が表示されるタッチパネル３０４へのタップ等の接触がないときに、更新画像生成部２４２が生成した更新画像を携帯端末３に供給することができる。例えば、図７〜１０を参照して説明した文字入力処理において、更新画像生成部２４２が入力された文字列から次に入力される文字を推定して第１タップを省略するために、更新画像を表示することができる。一例では、文字列「こんにち」が入力されたとき、更新画像生成部２４２は、次に文字「は」が入力されると推定して、「は」キー〜「ほ」キーが選択可能なように展開された更新画像を生成することができる。他の例では、文字列「こんにち」が入力されたとき、更新画像生成部２４２は、次に文字「は」が入力されると推定して、入力内容表示部４３０に文字列「こんにちは」を表示してもよい。また、更新画像生成部２４２が所定の周期で広告を含むキー配列画像を生成する場合には、広告を含むキー配列画像を携帯端末３のタッチパネル３０４に表示することが可能になる。

【0127】

データ入力システム１では、パーソナルコンピュータ２に搭載されるソフトウェアキーボードを使用するので、携帯端末３に専用のソフトウェアキーボードをインストールする必要はない。携帯端末３に専用のソフトウェアキーボードをインストールする必要はないので、携帯端末のＯＳ毎にソフトウェアキーボードを開発する必要がなく、コストの低減が可能である。

【0128】

また、データ入力システム１は、ウェブブラウザの座標である座標情報を入力イベントに変換する座標情報変換部２３０を有するので、イベント変換部２４０は、入力イベントに応じた画像を生成する他のソフトウェアキーボードに置換可能である。

【0129】

また、データ入力システム１では、入力キー列は、入力キーの一辺の長さと同一の間隔で配置されるので、上肢障害者１００が入力キーをタップするときに、誤タップする可能性を低くすることができる。また、データ入力システム１では、ツータップすることにより文字を入力するので、文字が誤入力される可能性を低くすることができる。また、第１タップにより表示される更新画像は、選択可能な入力キーとして、入力キー列の間に配置され且つ互いに入力キーの辺の長さと同一の長さ離隔するように配置された一対の入力キーを含む。互いに入力キーの辺の長さと同一の長さ離隔するように配置された入力キーを選択可能な入力キーとして使用するので、第２タップのときに生じる誤タップの可能性を低くすることができる。

【0130】

また、データ入力システム１では、キーサイズ変更キー４１４を使用して、複数の入力キーの配置ピッチを維持しがなら、大きさを小さくするように変更できるので、データ入力システム１を使用する上肢障害者の誤タップの可能性を更に低くすることができる。

【0131】

また、データ入力システム１では、入力キー列の配列方向を横方向又は縦方向の何れかに変更できると共にカスタムキー７０５を使用して入力キーの配置を変更できるので、上肢障害者の障害の態様に応じて、好ましい配列を選択することができる。

【0132】

また、データ入力システム１では、携帯端末３の画像設定部３１１が画像を表示する領域４４０は、入力内容表示部４３０も含めて、全て情報表示部２０３に表示されたマウスポインタを移動するために使用する領域として使用することにより、どの位置からでも、マウスポインタを移動させられることで、表示領域を有効活用することができる。

【0133】

データ入力システム１では、携帯端末３は、搭載されるウェブブラウザを介してＨＴＴＰを使用してパーソナルコンピュータ２と通信しているが、パーソナルコンピュータ２が対応する通信機能を有する場合は、近距離端末通信部３０２を介して通信してもよい。

【0134】

データ入力システム１では、イベント変換部２４０を使用するが、入力イベントに応じた画像を生成する他のソフトウェアキーボードを使用してもよい。

【0135】

データ入力システム１では、初期画像４００の第１入力キー列４２１、第２入力キー列４２２及び第３入力キー列４２３のそれぞれ間隔は、入力キーの辺の長さと同一の長さであるが、入力キーの辺の長さよりも長くしてもよい。

【0136】

データ入力システム１では、画像供給部２２２が先に供給した画像と更新画像とを比較して、画像を更新するか否かを判定するが、先に供給した画像の一部と、更新画像の対応する部分とを比較することにより、画像を更新するか否かを判定してもよい。例えば、更新画像生成部２４２が入力される文字列を推定して入力内容表示部４３０に表示する機能を有する場合には、先に供給した画像及び更新画像の入力内容表示部４３０の画像に対応する画像データを比較することにより、画像を更新するか否かを判定してもよい。また、更新画像生成部２４２が所定の周期で広告を含むキー配列画像を生成する場合には、先に供給した画像及び更新画像の広告が配置される部分に対応する画像データを比較することにより、画像を更新するか否かを判定してもよい。

【符号の説明】

【0137】

１ データ入力システム
２ パーソナルコンピュータ
２０３ 情報表示部
２２１ 座標情報取得部
２２２ 画像供給部
２３０ 座標情報変換部（変換部）
２４１ 文字データ変換部（変換部）
２４２ 更新画像生成部
３ 携帯端末
３０４ タッチパネル
３１２ 座標情報生成部
３１３ 座標情報供給部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】