特許 6972430 端末、入力表示方法および入力表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6972430

(24)【登録日】2021年11月5日

(45)【発行日】2021年11月24日

(54)【発明の名称】端末、入力表示方法および入力表示システム

(51)【国際特許分類】

   H04M 1/247 20210101AFI20211111BHJP

   H04M 1/7243 20210101ALI20211111BHJP

【ＦＩ】

   H04M1/247

   H04M1/7243

【請求項の数】10

【全頁数】20

(21)【出願番号】特願2021-514639(P2021-514639)

(86)(22)【出願日】2020年11月19日

(86)【国際出願番号】JP2020043230

【審査請求日】2021年3月16日

【早期審査対象出願】

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】110003166

【氏名又は名称】特許業務法人山王内外特許事務所

(72)【発明者】

【氏名】平井 正人

(72)【発明者】

【氏名】松原 勉

(72)【発明者】

【氏名】山内 貴司

【審査官】 石井 則之

(56)【参考文献】

【文献】 特開２０１９−１６１２６０（ＪＰ，Ａ）

【文献】 特開２０１６−２２５８６９（ＪＰ，Ａ）

【文献】 特開２０１９−１７９４８０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｍ １／２４７

Ｈ０４Ｍ １／７２４３

(57)【特許請求の範囲】

【請求項1】

音声の入力モードおよび文字の入力モードのうちから、入力モードの選択を受け付ける入力モード選択部と、
前記入力モード選択部によって選択が受け付けられた入力モードを通信相手側の端末に通知する通知部と、
前記入力モード選択部によって選択が受け付けられた入力モードによる情報の入力を受け付ける入力受付部と、
前記通信相手側の端末から通知された入力モードを取得するモード取得部と、
前記入力受付部によって入力が受け付けられた情報をディスプレイの表示領域に表示するための表示情報を生成する表示制御部と、
を備え、
前記表示制御部は、
前記モード取得部によって前記通信相手側の端末から通知された入力モードが取得されると、取得した入力モードを前記表示領域に表示するための表示情報を生成し、生成した表示情報に従って前記通信相手側の端末から通知された入力モードを前記ディスプレイに表示させる
ことを特徴とする端末。

【請求項2】

前記表示制御部は、前記ディスプレイの表示領域に入力された曲線に沿って、前記入力受付部によって入力が受け付けられた文字列を表示するための表示情報を生成し、前記曲線に沿って配置された前記文字列を、生成した表示情報に従って前記ディスプレイに表示させる
ことを特徴とする請求項１に記載の端末。

【請求項3】

音声および文字の入力以外の操作でかつユーザが端末に対して行う複数の種類の操作をそれぞれ示す複数の操作モードのうちから、操作モードの選択を受け付ける操作モード選択部と、
前記操作モード選択部によって選択が受け付けられた操作モードに対応する機能を実行する機能実行部と、
を備え、
前記通知部は、前記操作モード選択部によって選択が受け付けられた操作モードを前記通信相手側の端末に通知し、
前記モード取得部は、前記通信相手側の端末から通知された操作モードを取得し、
前記表示制御部は、前記モード取得部によって前記通信相手側の端末から通知された操作モードが取得されると、取得した操作モードを前記表示領域に表示するための表示情報を生成し、生成した表示情報に従って前記通信相手側の端末から通知された操作モードを前記ディスプレイに表示させる
ことを特徴とする請求項１に記載の端末。

【請求項4】

前記入力受付部は、音声認識により音声に対応する文字列の入力を受け付ける音声入力部、および、ソフトウェアのキーボードまたはハードウェアのキーボードを用いた文字列の入力を受け付けるキーボード入力部である
ことを特徴とする請求項１に記載の端末。

【請求項5】

前記操作モード選択部は、ユーザが端末の画面に図形の描画を行う操作モード、ユーザが端末を介して複数の画像情報から画像情報の選択を行う操作モード、および、ユーザが端末のカメラで撮影を行う操作モードのうちから、操作モードの選択を受け付け、
前記機能実行部は、図形の描画を実行する図形描画部、複数の画像情報から前記画像情報を選択する画像選択部、および、カメラで撮影を行う撮影処理部である
ことを特徴とする請求項３に記載の端末。

【請求項6】

前記表示制御部は、前記通信相手側の端末における情報の入力の完了が通知された場合に、前記通信相手側の端末から通知された入力モードを非表示にするための表示情報を生成し、生成した表示情報に従って前記通信相手側の端末から通知された入力モードを、前記ディスプレイで非表示にする
ことを特徴とする請求項１に記載の端末。

【請求項7】

前記表示制御部は、前記通信相手側の端末における操作の完了が通知された場合に、前記通信相手側の端末から通知された操作モードを非表示にするための表示情報を生成し、生成した表示情報に従って前記通信相手側の端末から通知された操作モードを、前記ディスプレイで非表示にする
ことを特徴とする請求項３に記載の端末。

【請求項8】

前記表示制御部は、
前記通信相手側の端末における情報の入力の完了が通知される前に、前記通信相手側の端末から従前と異なる入力モードが通知された場合、または、
前記通信相手側の端末における操作の完了が通知される前に、前記通信相手側の端末から入力モードが通知された場合、
新たに通知された入力モードを前記表示領域に表示するための表示情報を生成し、生成した表示情報に従って、新たに通知された入力モードを前記ディスプレイに表示させ、
前記通信相手側の端末における操作の完了が通知される前に、前記通信相手側の端末から従前と異なる操作モードが通知された場合、または、
前記通信相手側の端末における情報の入力の完了が通知される前に、前記通信相手側の端末から操作モードが通知された場合、
新たに通知された操作モードを前記表示領域に表示するための表示情報を生成し、生成した表示情報に従って、新たに通知された操作モードを前記ディスプレイに表示させる
ことを特徴とする請求項３に記載の端末。

【請求項9】

入力モード選択部が、音声の入力モードおよび文字の入力モードのうちから、入力モードの選択を受け付けるステップと、
通知部が、前記入力モード選択部によって選択が受け付けられた入力モードを通信相手側の端末に通知するステップと、
入力受付部が、前記入力モード選択部によって選択が受け付けられた入力モードでの情報の入力を受け付けるステップと、
モード取得部が、前記通信相手側の端末において選択された入力モードを取得するステップと、
表示制御部が、前記入力受付部によって入力が受け付けられた情報をディスプレイの表示領域に表示するための表示情報を生成するステップと、
を備え、
前記表示制御部は、
前記モード取得部によって前記通信相手側の端末から通知された入力モードが取得されると、取得した入力モードを前記表示領域に表示するための表示情報を生成し、生成した表示情報に従って前記通信相手側の端末から通知された入力モードを前記ディスプレイに表示させる
ことを特徴とする入力表示方法。

【請求項10】

端末間で通信により互いのディスプレイに情報を表示する入力表示システムであって、
通信相手側の端末と通信する通信部と、
音声の入力モードおよび文字の入力モードのうちから、入力モードの選択を受け付ける入力モード選択部と、
前記入力モード選択部によって選択が受け付けられた入力モードを、前記通信部により前記通信相手側の端末に送信させて通知する通知部と、
前記入力モード選択部によって選択が受け付けられた入力モードでの情報の入力を受け付ける入力受付部と、
前記通信部によって前記通信相手側の端末から受信された入力モードを取得するモード取得部と、
前記入力受付部によって入力が受け付けられた情報を前記ディスプレイの表示領域に表示するための表示情報を生成する表示制御部と、
を備え、
前記表示制御部は、
前記モード取得部によって前記通信相手側の端末から通知された入力モードが取得されると、取得した入力モードを前記表示領域に表示するための表示情報を生成し、生成した表示情報に従って前記通信相手側の端末から通知された入力モードを前記ディスプレイに表示させる
ことを特徴とする入力表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、端末、入力表示方法および入力表示システムに関する。

【背景技術】

【0002】

離れた２地点間で通信によりコミュニケーションを行う通信端末装置が知られている。例えば、特許文献１には、メッセージの編集または作成中の状態を伝達過程として相手の通信端末装置に報知しつつメッセージを作成して送信し、相手の通信端末装置で作成されたメッセージを受信して再生する通信端末装置が記載されている。

【0003】

特許文献１に記載された通信端末装置において、メッセージの受け手は、メッセージの編集または作成中の状態を通じてメッセージの送り手を認識することができる。例えば、メッセージの受け手は、「メッセージを入力中です。」または「メッセージが削除されました。」といった、メッセージの送り手の状況を認識することができ、相手の状況に配慮したコミュニケーションを行うことができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００６−１４０７４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載された通信端末装置においては、メッセージの受け手が、送り手がメッセージを入力していることを認識できるが、送り手がメッセージの入力を完了してメッセージを受信するまでにどの程度の待ち時間が掛かるのかを推測できないという課題があった。これは、端末間の通信によるコミュニケーションを臨場感に欠けるものとする。

【0006】

本開示は上記課題を解決するものであり、通信相手側の端末における情報の入力時間を推測することができる、端末、入力表示方法および入力表示システムを得ることを目的とする。

【課題を解決するための手段】

【0007】

本開示に係る端末は、音声の入力モードおよび文字の入力モードのうちから、入力モードの選択を受け付ける入力モード選択部と、入力モード選択部によって選択が受け付けられた入力モードを通信相手側の端末に通知する通知部と、入力モード選択部によって選択が受け付けられた入力モードによる情報の入力を受け付ける入力受付部と、通信相手側の端末から通知された入力モードを取得するモード取得部と、入力受付部によって入力が受け付けられた情報をディスプレイの表示領域に表示するための表示情報を生成する表示制御部とを備え、表示制御部は、モード取得部によって通信相手側の端末から通知された入力モードが取得されると、取得した入力モードを表示領域に表示するための表示情報を生成し、生成した表示情報に従って通信相手側の端末から通知された入力モードをディスプレイに表示させる。

【発明の効果】

【0008】

本開示によれば、表示制御部が、通信相手側の端末から通知された入力モードを表示領域に表示するための表示情報を生成し、生成した表示情報に従ってディスプレイが通信相手側の端末から通知された入力モードを表示する。ユーザは、一般的な通信端末を使用した経験から、端末が備える複数の種類の入力モードのそれぞれについて情報の入力に必要な時間を大まかに把握している。このため、本開示に係る端末が、通信相手側の端末から通知された入力モードをディスプレイに表示することにより、通信相手側の端末における情報の入力時間を推測することができる。

【図面の簡単な説明】

【0009】

【図1】実施の形態１に係る入力表示システムの構成を示すブロック図である。

【図2】実施の形態１に係る端末の構成を示すブロック図である。

【図3】実施の形態１に係る入力表示方法を示すフローチャートである。

【図4】音声入力を行う送信側の端末の画面と受信側の端末の画面とを示す説明図である。

【図5】キーボード入力を行う送信側の端末の画面と受信側の端末の画面とを示す説明図である。

【図6】キーボード入力を行う端末の画面と音声入力を行う端末の画面とを示す説明図である。

【図7】実施の形態１に係る端末の機能を実現するハードウェア構成を示すブロック図である。

【図8】実施の形態１に係る端末の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。

【図9】実施の形態２に係る端末の構成を示すブロック図である。

【図10】実施の形態２に係る入力表示方法を示すフローチャートである。

【図11】図形の描画を行う送信側の端末の画面と受信側の端末の画面とを示す説明図である。

【図12】画像選択操作を行う送信側の端末の画面と受信側の端末の画面とを示す説明図である。

【図13】カメラ撮影を行う送信側の端末の画面と受信側の端末の画面とを示す説明図である。

【図14】ツール選択と選択したツールを用いた図形の描画を行う送信側の端末の画面と受信側の端末の画面とを示す説明図である。

【発明を実施するための形態】

【0010】

実施の形態１．
図１は、実施の形態１に係る入力表示システム１の構成を示すブロック図である。図１に示す入力表示システム１は、端末２間で通信によって互いのディスプレイに情報を表示するシステムである。入力表示システム１において、送信側の端末２が、受信側の端末２へ送信する情報（メッセージなど）を入力する場合に、情報の入力モードを示す情報を、受信側の端末２に送信する。端末２は、例えば、スマートフォン、タブレット端末またはＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）である。受信側の端末２は、送信側の端末２から受信した入力モードをディスプレイに表示する。図１において、２台の端末２間で通信する場合を示したが、入力表示システム１は、３台以上の端末２で互いの表示情報を共有してもよい。

【0011】

入力表示システム１において、端末２は、各種の入力モードのうち、一つの入力モードが選択されると、選択された入力モードを通信相手側の端末２に通知し、当該入力モードの情報入力を開始する。端末２は、通信相手側の端末２から入力モードが通知されると、通知された入力モードをディスプレイに表示する。スマートフォン、タブレット端末またはＰＣといった端末２で利用可能な入力モードとしては、例えば、音声入力モードおよびキーボード入力モードがある。音声入力モードは、音声認識によって音声に対応する文字列を入力するモードである。キーボード入力モードは、ソフトウェアのキーボードまたはハードウェアのキーボードを用いた文字列の入力を受け付けるモードである。

【0012】

キーボード入力モードは、キーボードを用いて文字ごとに入力が行われる。一方、音声入力モードは、マイクに発声するだけである。すなわち、音声入力モードは、キーボード入力モードと比較して情報入力に必要な時間が短くて済む。スマートフォン、タブレット端末またはＰＣを使用する習慣があるユーザは、このような入力モードごとの情報入力に必要な時間の違いを、経験上把握している。そこで、端末２は、通信相手側の端末２から通知された入力モードを取得すると、取得した入力モードをディスプレイに表示するための表示情報を生成し、生成した表示情報に従って、通信相手側の端末から通知された入力モードをディスプレイに表示させる。これにより、ユーザは、例えば通信相手側の端末２で情報入力が完了するまでの時間を大まかに推測することができる。

【0013】

図２は、実施の形態１に係る端末２の構成を示すブロック図である。図１に示した入力表示システム１が備える端末２は、ともに図２に示す構成要素を有している。端末２は、入力モード選択部３、音声入力部４ａ、キーボード入力部４ｂ、通知部５、通信部６、モード取得部７、表示制御部８、文字列一時保存部９、ディスプレイ１０、操作受付部１１、文字管理データベース１２（以下、文字管理ＤＢ１２と記載する。）、文字管理部１３、および軌跡判別部１４を備える。

【0014】

入力モード選択部３は、端末２で実行可能な複数の種類の入力モードから、入力モードの選択を受け付ける。例えば、入力モード選択部３は、選択操作（１）に基づいて、音声入力モードまたはキーボード入力モードのいずれかの選択を受け付ける。例えば、入力モード選択部３は、ポインティングデバイスを用いた選択操作を受け付け、音声入力部４ａおよびキーボード入力部４ｂのうち、選択を受け付けた入力モードに対応する入力受付部を起動する。ポインティングデバイスとしては、例えば、タッチパネルを想定している。ただし、これは一例であり、ポインティングデバイスには、ジョイスティック、ポインティングスティック、タッチパッド、スタイラス、データグローブ、トラックボール、ペンタブレット、マウス、ライトペンまたはジョイパッドを用いることができる。

【0015】

音声入力部４ａは、音声認識により音声に対応する文字列の入力を受け付ける入力受付部である。例えば、音声入力部４ａは、ユーザの音声を検出し、検出した音声を音声認識する。音声認識には、音声認識辞書データベース（以下、音声認識辞書ＤＢと記載する。）が用いられる。音声認識辞書ＤＢは、例えば、人間の発声の単位である音素の音響特徴が記述された音響モデルと、音声認識する言葉が記述された認識辞書とが登録されている。音声入力部４ａは、入力した音声を認識する音声認識エンジンを有する。

【0016】

音声入力部４ａは、入力した音声を分析し、音声の音響特徴を算出して、音声認識辞書ＤＢに登録されている認識辞書に記述された言葉の中から、算出した音響特徴に最も近い音響特徴を有する言葉を探索する。音声入力部４ａは、探索した言葉を示す文字列を、音声の認識結果を示す文字列として表示制御部８に出力する。

【0017】

なお、音声入力部４ａは、音声認識エンジンおよび音声認識辞書ＤＢの代わりに、データ送受信部を備えてもよい。データ送受信部は、インターネットなどの通信回線を介して図示せぬ音声認識サーバとの間でデータを送受信することが可能な通信機器であり、例えば、通信部６であってもよい。データ送受信部は、音声入力部４ａによって検出された音声を示すデータを、音声認識サーバに送信する。音声認識サーバは、音声を認識する音声認識エンジンを備えており、データ送受信部から送信された音声を示すデータを受信すると、受信したデータが示す音声を認識し、音声の認識結果を示す文字列を、データ送受信部に送信する。データ送受信部は、音声認識サーバから受信した音声認識結果を示す文字列を、表示制御部８に出力する。

【0018】

キーボード入力部４ｂは、ソフトウェアのキーボードまたはハードウェアのキーボードを用いた文字列の入力を受け付ける入力受付部である。例えば、ソフトウェアキーボードでは、ディスプレイ１０に表示されたキーボードに対して、タッチパネルで文字の入力が受け付けられる。以下の説明では、キーボード入力部４ｂが、ソフトウェアキーボードを用いるものを想定する。

【0019】

通知部５は、入力モード選択部３によって選択が受け付けられた入力モードを通信相手側の端末２に通知するものである。例えば、通知部５は、通信部６を介して通信接続することにより、通信相手側の端末２に対し入力モードを示す情報を通知する。通信部６は、通信相手側の端末２との間で通信を行う装置である。通信部６が行う通信の形態は、無線通信と有線通信のいずれであってもよい。

【0020】

モード取得部７は、通信相手側の端末２から通知された入力モードを取得するものである。例えば、モード取得部７は、通信部６を介して通信接続することにより、通信相手側の端末２から入力モードを示す情報を受信する。モード取得部７によって取得される入力モードは、通信相手側の端末２が備える入力モード選択部３により選択が受け付けられた入力モードである。

【0021】

表示制御部８は、音声入力部４ａおよびキーボード入力部４ｂによって入力が受け付けられた情報（例えば、文字列）をディスプレイ１０の表示領域に表示するための表示情報を生成する。文字列一時保存部９は、音声入力部４ａまたはキーボード入力部４ｂにより入力が受け付けられた文字列を示すデータを、一時的に保存する。例えば、文字列を示すデータは、軌跡判別部１４から曲線情報が出力されるまで文字列一時保存部９に保存される。ディスプレイ１０は、表示制御部８によって生成された表示情報に従って情報を表示する。

【0022】

操作受付部１１は、ユーザの操作として線をなぞる操作（２）を受け付けて、受け付けた操作の内容を軌跡判別部１４に出力する。例えば、操作受付部１１は、ポインティングデバイスを用いた操作（２）を受け付ける。文字管理ＤＢ１２は、文字種、文字サイズ、文字高および文字幅の対応関係を示す文字属性表情報が登録されたデータベースである。

【0023】

文字管理部１３には、ディスプレイ１０に表示する文字の文字サイズが事前に設定されている。文字管理部１３は、文字管理ＤＢ１２に登録された文字属性表情報を参照して、事前に設定された文字サイズに対応する文字高を示す文字属性情報を、軌跡判別部１４に出力し、事前に設定された文字サイズに対応する文字高および文字幅を示す文字属性情報を、表示制御部８に出力する。

【0024】

軌跡判別部１４は、操作受付部１１によって受け付けられた操作によってディスプレイ１０の表示領域上に入力された線の軌跡を判別する。例えば、軌跡判別部１４は、ユーザの操作によって入力された線を構成する点群の時系列データを、ポインティングデバイスから取得する。軌跡判別部１４は、ポインティングデバイスから取得した点群の時系列データに基づいて、ユーザの操作によって入力された線の軌跡を表す曲線の長さおよび形状を示す曲線情報を生成し、生成した曲線情報を表示制御部８に出力する。曲線には、直線または折れ曲がった線も含まれる。すなわち、軌跡判別部１４によって判別される曲線には、ディスプレイ１０の表示領域上の点群の時系列データを用いて算出可能な様々な形状の線が含まれる。

【0025】

図３は、実施の形態１に係る入力表示方法を示すフローチャートである。
入力モード選択部３は、入力モードの選択を受け付ける（ステップＳＴ１）。続いて、通知部５は、通信部６を介して通信接続している通信相手側の端末２に対し、入力モード選択部３によって選択が受け付けられた入力モードを通知する（ステップＳＴ２）。音声入力モードの選択が受け付けられると、音声入力部４ａが、音声入力モードによる情報の入力を受け付ける（ステップＳＴ３）。キーボード入力モードの選択が受け付けられた場合には、キーボード入力部４ｂが、キーボード入力モードによる情報の入力を受け付ける（ステップＳＴ３）。

【0026】

音声入力部４ａおよびキーボード入力部４ｂのうち、選択が受け付けられた入力モードに対応する入力受付部は、情報の入力が完了していなければ（ステップＳＴ４；ＮＯ）、情報の入力を継続する。情報の入力が完了すると（ステップＳＴ４；ＹＥＳ）、選択が受け付けられた入力モードに対応する入力受付部は、情報の入力の完了を示す情報を、入力モード選択部３に出力する。入力モード選択部３は、情報の入力の完了を示す情報を通知部５に出力する。通知部５は、通信部６を介して通信接続することにより、情報の入力の完了を示す情報を、通信相手側の端末２に通知する（ステップＳＴ５）。

【0027】

続いて、表示制御部８は、音声入力部４ａおよびキーボード入力部４ｂのうち、選択が受け付けられた入力モードに対応する入力受付部によって入力が受け付けられた情報を、ディスプレイ１０に表示するための表示情報を生成する（ステップＳＴ６）。ディスプレイ１０は、表示制御部８によって生成された表示情報に従って、音声入力部４ａおよびキーボード入力部４ｂのうち、選択が受け付けられた入力モードに対応する入力受付部によって入力が受け付けられた情報を表示する（ステップＳＴ７）。

【0028】

モード取得部７は、通信相手側の端末２から通知された入力モードを取得したか否かを確認する（ステップＳＴ８）。例えば、モード取得部７は、通信部６を介して通信接続することにより、入力モードを示す情報を、通信相手側の端末２から受信する。モード取得部７によって取得された入力モードを示す情報は、表示制御部８に出力される。

【0029】

表示制御部８は、取得した入力モードをディスプレイ１０に表示させるための表示情報を生成する（ステップＳＴ９）。ディスプレイ１０は、表示制御部８によって生成された表示情報に従って、通信相手側の端末２から通知された入力モードを表示する（ステップＳＴ１０）。ユーザは、ディスプレイ１０に表示された入力モードを視認することで、通信相手側の端末２がどの入力モードで情報を入力しているのかを把握でき、把握した入力モードによる情報の入力時間を大まかに推測できる。

【0030】

モード取得部７は、通信相手側の端末２において情報の入力が完了したか否かを確認する（ステップＳＴ１１）。例えば、モード取得部７は、通信部６が通信相手側の端末２から情報の入力の完了を示す情報が受信すると（ステップＳＴ１１；ＹＥＳ）、通信相手側の端末２において情報の入力が完了したことを表示制御部８に通知する。また、通信部６が通信相手側の端末２から情報の入力の完了を示す情報を受信しなければ（ステップＳＴ１１；ＮＯ）、モード取得部７は、上記確認処理を繰り返す。

【0031】

表示制御部８は、通信相手側の端末２において情報の入力が完了した場合、通信相手側の端末２から通知された入力モードを非表示にさせる表示情報を生成して、ディスプレイ１０に出力する。ディスプレイ１０は、表示制御部８によって生成された上記表示情報に従って、通信相手側の端末２から通知された入力モードの表示を画面から消去（非表示）する（ステップＳＴ１２）。

【0032】

図４は、音声入力を行う送信側の端末２の画面１０Ａと受信側の端末２の画面１０Ｂとを示す説明図である。入力モード選択部３は、ディスプレイ１０とタッチパネルを用いたユーザインタフェースとして実現される。図４に示す例では、表示制御部８が、音声入力モードに対応するボタン画像３ａとキーボード入力モードに対応するボタン画像３ｂとを表示させるための表示情報を生成する。ディスプレイ１０は、表示制御部８によって生成された表示情報に従ってボタン画像３ａおよびボタン画像３ｂを表示する。

【0033】

ユーザが、タッチパネルを用いてボタン画像３ａまたはボタン画像３ｂを押下する操作を行うと、タッチパネルによって検出された操作情報は、入力モード選択部３に出力される。入力モード選択部３は、当該操作情報に基づいて、入力モードの選択を受け付ける。図４においてはボタン画像３ａが押下されているので、入力モード選択部３は、音声入力モードの選択を受け付ける。通知部５は、通信部６を介して、選択が受け付けられた入力モード（音声入力モード）を受信側の端末２に通知する。受信側の端末２は、送信側の端末２から通知された音声入力モードを示す情報を、画面１０Ｂに表示する。例えば、画面１０Ｂには、「音声入力中です」といったテキスト情報が表示される。

【0034】

送信側の端末２において、音声入力部４ａは、ユーザによる「ＡＢＣＤ」という発声を音声認識し、音声認識結果である文字列Ｍを表示制御部８に出力する。これにより、音声入力が完了したので、通知部５は、通信部６を介して、受信側の端末２に音声入力の完了を通知する。続いて、表示制御部８は、軌跡判別部２４から取得した曲線情報と音声入力部４ａから取得した文字列Ｍとを用いて、曲線情報が示す曲線Ｃに沿って文字列Ｍを配置した表示情報を生成する。表示制御部８によって生成された表示情報は、ディスプレイ１０に出力され、さらに通信部６を介して受信側の端末２に送信される。

【0035】

ディスプレイ１０は、図４に示すように、表示制御部８によって生成された表示情報に従って、画面１０Ａに文字列Ｍを表示する。受信側の端末２は、送信側の端末２から音声入力の完了が通知されると、画面１０Ｂから入力モードの表示を消去する。この後、受信側の端末２は、送信側の端末２から受信した表示情報に従って、画面１０Ｂに文字列Ｍを表示する。

【0036】

図５は、キーボード入力を行う送信側の端末２の画面１０Ａと受信側の端末２の画面１０Ｂとを示す説明図である。送信側の端末２において、図４に示すボタン画像３ｂが押下されると、入力モード選択部３は、キーボード入力モードの選択を受け付ける。通知部５は、通信部６を介して、選択が受け付けられたキーボード入力モードを、受信側の端末２に通知する。受信側の端末２は、送信側の端末２から通知された入力モード（キーボード入力モード）を示す情報を、画面１０Ｂに表示する。例えば、画面１０Ｂには、「キーボード入力中です」といったテキスト情報が表示される。

【0037】

送信側の端末２において、キーボード入力部４ｂは、ソフトウェアのキーボード１５を用いた文字入力を受け付け、入力を受け付けた「ＡＢＣＤ」の文字列Ｍを表示制御部８に出力する。続いて、通知部５は、通信部６を介して、キーボード入力の完了を受信側の端末２に通知する。表示制御部８は、軌跡判別部２４から取得した曲線情報と、キーボード入力部４ｂから取得した文字列Ｍとを用いて、曲線情報が示す曲線Ｃに沿って文字列Ｍを配置した表示情報を生成する。表示制御部８によって生成された表示情報は、ディスプレイ１０に出力され、さらに通信部６を介して受信側の端末２に送信される。

【0038】

ディスプレイ１０は、図５に示すように、表示制御部８によって生成された表示情報に従って、画面１０Ａに文字列Ｍを表示する。受信側の端末２は、送信側の端末２からキーボード入力の完了が通知されると、画面１０Ｂから入力モードの表示（「キーボード入力中です」）を消去（非表示）する。この後、受信側の端末２は、送信側の端末２から受信した表示情報に従って、画面１０Ｂに文字列Ｍを表示する。

【0039】

図６は、キーボード入力を行う端末２の画面１０Ａと音声入力を行う端末２の画面１０Ｂとを示す説明図である。画面１０Ａを有する端末２において、入力モード選択部３は、キーボード入力モードの選択を受け付ける。通知部５は、通信部６を介して、選択が受け付けられたキーボード入力モードを示す情報を、画面１０Ｂを有する端末２に通知する。当該端末２は、通知された入力モード（キーボード入力モード）を示す情報を画面１０Ｂに表示する。

【0040】

画面１０Ｂを有する端末２において、入力モード選択部３は、音声入力モードの選択を受け付ける。通知部５は、通信部６を介して、選択が受け付けられた音声入力モードを、画面１０Ａを有する端末２に通知する。当該端末２は、通知された入力モード（音声入力モード）を示す情報を、画面１０Ａに表示する。これにより、各端末２のユーザは、通信相手側の入力モードから大まかな入力時間を推測できる。これにより、端末２間の通信によるコミュニケーションの臨場感を高められる。

【0041】

図７は、端末２の機能を実現するハードウェア構成を示すブロック図である。図７において、処理回路１０７は、入力インタフェース１００を介して入力モード選択部３および操作受付部１１へのデータを取得する。処理回路１０７は、出力インタフェース１０１を介してディスプレイ１０２に表示情報を出力する。ディスプレイ１０２は、図２に示したディスプレイ１０である。処理回路１０７は、通信装置１０４が通信相手側の端末２との間で送受信するデータを、通信インタフェース１０３を介して入出力する。通信装置１０４は、図２に示した通信部６である。処理回路１０７は、入出力インタフェース１０５を介して記憶装置１０６との間でデータを入出力する。記憶装置１０６は、図２に示した文字管理ＤＢ１２を記憶する。

【0042】

図８は、端末２の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図８において、プロセッサ１０８は、入力インタフェース１００を介して入力モード選択部３および操作受付部１１へのデータを取得する。プロセッサ１０８は、出力インタフェース１０１を介してディスプレイ１０２に表示情報を出力する。ディスプレイ１０２は、図２に示したディスプレイ１０である。プロセッサ１０８は、通信装置１０４が通信相手側の端末２との間で送受信するデータを、通信インタフェース１０３を介して入出力する。通信装置１０４は、図２に示した通信部６である。プロセッサ１０８は、入出力インタフェース１０５を介して記憶装置１０６との間でデータを入出力する。記憶装置１０６は、図２に示した文字管理ＤＢ１２を記憶する。

【0043】

入力モード選択部３、音声入力部４ａ、キーボード入力部４ｂ、通知部５、モード取得部７、表示制御部８、文字列一時保存部９、操作受付部１１、文字管理部１３および軌跡判別部１４の機能は、処理回路によって実現される。すなわち、端末２は、図３に示したステップＳＴ１からステップＳＴ１２までの各処理を実行する処理回路を備える。処理回路は、専用のハードウェアであってもよいし、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。

【0044】

処理回路が図７に示す専用のハードウェアの処理回路１０７である場合、処理回路１０７は、例えば、単一回路、複合回路、プログラム化されたプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
端末２が備える入力モード選択部３、音声入力部４ａ、キーボード入力部４ｂ、通知部５、モード取得部７、表示制御部８、文字列一時保存部９、操作受付部１１、文字管理部１３および軌跡判別部１４の機能は、別々の処理回路で実現されてもよいし、これらの機能がまとめて１つの処理回路で実現されてもよい。

【0045】

処理回路が図８に示すプロセッサ１０８である場合、端末２が備える入力モード選択部３、音声入力部４ａ、キーボード入力部４ｂ、通知部５、モード取得部７、表示制御部８、文字列一時保存部９、操作受付部１１、文字管理部１３および軌跡判別部１４の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアの組み合わせによって実現される。なお、ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ１０９に記憶される。

【0046】

プロセッサ１０８は、メモリ１０９に記憶されたプログラムを読み出して実行することにより、端末２が備える入力モード選択部３、音声入力部４ａ、キーボード入力部４ｂ、通知部５、モード取得部７、表示制御部８、文字列一時保存部９、操作受付部１１、文字管理部１３および軌跡判別部１４の機能を実現する。
例えば、端末２は、プロセッサ１０８によって実行されるとき、図３に示したフローチャートにおけるステップＳＴ１からステップＳＴ１２の処理が結果的に実行されるプログラムを記憶するためのメモリ１０９を備える。
これらのプログラムは、入力モード選択部３、音声入力部４ａ、キーボード入力部４ｂ、通知部５、モード取得部７、表示制御部８、文字列一時保存部９、操作受付部１１、文字管理部１３および軌跡判別部１４の手順または方法を、コンピュータに実行させる。
また、メモリ１０９は、コンピュータを、入力モード選択部３、音声入力部４ａ、キーボード入力部４ｂ、通知部５、モード取得部７、表示制御部８、文字列一時保存部９、操作受付部１１、文字管理部１３および軌跡判別部１４として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。

【0047】

メモリ１０９は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ−ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。

【0048】

端末２が備える入力モード選択部３、音声入力部４ａ、キーボード入力部４ｂ、通知部５、モード取得部７、表示制御部８、文字列一時保存部９、操作受付部１１、文字管理部１３および軌跡判別部１４の機能の一部は、専用ハードウェアによって実現され、残りの一部は、ソフトウェアまたはファームウェアによって実現されてもよい。
例えば、入力モード選択部３、音声入力部４ａ、キーボード入力部４ｂ、通知部５、モード取得部７および表示制御部８は、専用のハードウェアである処理回路１０７によって機能が実現され、文字列一時保存部９、操作受付部１１、文字管理部１３および軌跡判別部１４は、プロセッサ１０８がメモリ１０９に記憶されたプログラムを読み出し実行することにより機能が実現される。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって上記機能を実現することができる。

【0049】

以上のように、実施の形態１に係る端末２において、表示制御部８が、通信相手側の端末２から通知された入力モードを表示領域に表示するための表示情報を生成し、生成した表示情報に従って、通信相手側の端末２から通知された入力モードをディスプレイ１０に表示させる。ユーザは、複数の種類の入力モードのそれぞれについての大まかな入力時間を経験上把握している。このため、端末２が、通信相手側の端末２から通知された入力モードをディスプレイ１０に表示することにより、ユーザは、例えば、通信相手側の端末２における情報の入力時間を推測できる。これにより、端末２間の通信によるコミュニケーションの臨場感を高められる。

【0050】

実施の形態１に係る端末２において、表示制御部８は、ディスプレイ１０の表示領域に入力された曲線に沿って、入力が受け付けられた文字列を表示するための表示情報を生成する。ディスプレイ１０が、上記表示情報に従って、曲線に沿って配置された文字列を、画面上に表示する。これにより、ディスプレイ１０の画面上でなぞり画いた曲線に沿って配置された文字列を表示することができる。

【0051】

実施の形態２．
図９は、実施の形態２に係る端末２Ａの構成を示すブロック図である。図９において、図２と同一の構成要素には、同一の符号を付して説明を省略する。図１に示した入力表示システム１が備える端末２は、ともに図９に示す構成要素を有した端末２Ａであるものとする。端末２Ａは、入力モード選択部３、音声入力部４ａ、キーボード入力部４ｂ、通知部５、通信部６、モード取得部７、表示制御部８、文字列一時保存部９、ディスプレイ１０、操作受付部１１、文字管理ＤＢ１２、文字管理部１３、軌跡判別部１４、操作モード選択部１７、図形描画部１８ａ、画像選択部１８ｂ、撮影処理部１８ｃ、および各種処理部１８ｄを備える。

【0052】

操作モード選択部１７は、端末２Ａで実行可能な複数の種類の操作モードから操作モードの選択を受け付ける。例えば、操作モード選択部１７は、選択操作（３）に基づいて、図形描画モード、画像選択モード、撮影モードおよび各種処理モードのいずれかの選択を受け付ける。例えば、操作モード選択部１７は、ポインティングデバイスを用いた選択操作を受け付け、図形描画部１８ａ、画像選択部１８ｂ、撮影処理部１８ｃおよび各種処理部１８ｄのうち、選択を受け付けた操作モードに対応する機能実行部を起動する。

【0053】

機能実行部は、操作モード選択部１７によって選択が受け付けられた操作モードに対応する機能を実行する。端末２Ａが備える機能実行部としては、例えば、図形描画部１８ａ、画像選択部１８ｂ、撮影処理部１８ｃおよび各種処理部１８ｄがある。図形描画部１８ａは、図形描画モードに対応した機能実行部であり、タッチパネルを用いた線のなぞり描き操作を受け付ける。例えば、図形描画部１８ａは、端末２Ａが備えるプロセッサが、お絵描きアプリケーションプログラムを実行することにより実現される。

【0054】

画像選択部１８ｂは、画像選択モードに対応した機能実行部であり、メモリに記憶された複数の画像情報から、タッチパネルを用いた画像情報の選択を受け付ける。例えば、画像選択部１８ｂは、メモリに記憶された複数の画像情報からディスプレイ１０の画面上に選択候補を表示させ、選択候補の中からタッチパネルを用いた画像情報の選択を受け付ける。メモリは、端末２Ａが備えてもよいし、端末２Ａとの間で通信接続が可能な外部記憶装置であってもよい。

【0055】

撮影処理部１８ｃは、撮影モードに対応した機能実行部であり、端末２Ａが備えるカメラで撮影を行う。例えば、撮影処理部１８ｃは、タッチパネルを用いた操作入力を受け付けて、端末２Ａが備えるカメラを制御することにより被写体を撮影する。撮影画像は、ディスプレイ１０に表示させることができ、通信部６を用いて通信相手側の端末２Ａに送信することもできる。撮影処理部１８ｃは、静止画像の撮影と動画像の撮影が可能である。

【0056】

各種処理部１８ｄは、各種処理モードに対応した機能実行部であり、各種処理を行う。各種処理は、図形描画モード、画像選択モードおよび撮影モード以外の処理であり、例えば、音声入力またはキーボード入力された文字列を指定言語に翻訳する処理である。各種処理部１８ｄは、タッチパネルを用いた言語指定操作および翻訳開始操作を受け付けて、文字列の翻訳を実行する。翻訳結果は、ディスプレイ１０に表示させることができ、通信部６を用いて通信相手側の端末２Ａに送信することもできる。

【0057】

図１０は、実施の形態２に係る入力表示方法を示すフローチャートである。
操作モード選択部１７は、操作モードの選択を受け付ける（ステップＳＴ１ａ）。続いて、通知部５は、通信部６を介して通信接続している通信相手側の端末２Ａに対し、操作モード選択部１７によって選択が受け付けられた操作モードを通知する（ステップＳＴ２ａ）。例えば、図形描画モードの選択が受け付けられた場合、図形描画部１８ａが、図形描画を行う（ステップＳＴ３ａ）。画像選択モードの選択が受け付けられた場合、画像選択部１８ｂが画像選択を行う（ステップＳＴ３ａ）。撮影モードの選択が受け付けられた場合は、撮影処理部１８ｃがカメラ撮影を行う（ステップＳＴ３ａ）。各種処理モードの選択が受け付けられた場合、各種処理部１８ｄが各種処理を行う（ステップＳＴ３ａ）。

【0058】

図形描画部１８ａ、画像選択部１８ｂ、撮影処理部１８ｃおよび各種処理部１８ｄのうち、操作モードの選択が受け付けられた機能実行部は、機能の実行が完了していなければ（ステップＳＴ４ａ；ＮＯ）、機能の実行を継続する。機能の実行が完了した場合（ステップＳＴ４ａ；ＹＥＳ）、操作モードの選択が受け付けられた機能実行部は、機能の実行の完了を示す情報を操作モード選択部１７に出力する。操作モード選択部１７は、機能の実行の完了を示す情報を通知部５に出力する。通知部５は、通信部６を介して通信接続することにより、機能の実行の完了を示す情報を通信相手側の端末２Ａに通知する（ステップＳＴ５ａ）。

【0059】

モード取得部７は、通信相手側の端末２Ａで選択された操作モードを取得したか否かを確認する（ステップＳＴ６ａ）。例えば、モード取得部７は、通信部６を介して通信接続することにより、操作モードを示す情報を通信相手側の端末２Ａから受信する。モード取得部７によって取得された操作モードを示す情報は、表示制御部８に出力される。

【0060】

表示制御部８は、取得した操作モードをディスプレイ１０に表示するための表示情報を生成する（ステップＳＴ７ａ）。ディスプレイ１０は、表示制御部８によって生成された表示情報に従って、通信相手側の端末２Ａから通知された操作モードを示す情報を表示する（ステップＳＴ８ａ）。ユーザは、ディスプレイ１０に表示された操作モードを視認することによって、通信相手側の端末２Ａにおいてどの操作モードの機能が実行されているのかを認識できる。

【0061】

例えば、図形描画モードで描画された描画情報、画像選択モードで選択された画像情報および撮影モードで撮影された撮影画像情報は、通信相手へのメッセージに含めることにより、通信部６を用いて通信相手側の端末２Ａに送信することができる。図形描画モードでは、タッチパネルを用いて線を描くことにより描画情報が生成される。一方、画像選択モードでは、選択候補から選択するだけで画像情報が得られ、撮影モードは、カメラで撮影するだけで撮影画像情報が得られる。すなわち、画像選択モードおよび撮影モードは、図形描画モードと比較して短時間で送信情報が得られる。スマートフォン、タブレット端末またはＰＣを使用する習慣があるユーザは、前述したような操作モードごとの情報取得に必要な時間の違いを経験上把握している。そこで、端末２Ａは、通信相手側の端末２Ａから通知された操作モードをディスプレイ１０に表示させる。これにより、ユーザは、通信相手側の端末２Ａにおける操作の完了時間を大まかに推測できる。

【0062】

モード取得部７は、通信相手側の端末２Ａで機能の実行が完了したか否かを確認する（ステップＳＴ９ａ）。例えば、モード取得部７は、通信部６によって通信相手側の端末２Ａから機能の実行の完了を示す情報が受信されると（ステップＳＴ９ａ；ＹＥＳ）、通信相手側の端末２Ａで機能の実行が完了したことを表示制御部８に通知する。また、通信部６によって通信相手側の端末２Ａから機能の実行の完了を示す情報が受信されなければ（ステップＳＴ９ａ；ＮＯ）、モード取得部７は、上記確認処理を繰り返す。

【0063】

表示制御部８は、通信相手側の端末２Ａで機能の実行が完了した場合、通信相手側の端末２Ａから通知された操作モードを非表示にする表示情報を生成し、ディスプレイ１０に出力する。ディスプレイ１０は、表示制御部８によって生成された表示情報に従って、通信相手側の端末２Ａから通知された操作モードの表示を画面から消去（非表示）する（ステップＳＴ１０ａ）。

【0064】

なお、端末２Ａが備える入力モード選択部３、音声入力部４ａ、キーボード入力部４ｂ、通知部５、通信部６、モード取得部７、表示制御部８、操作受付部１１、文字管理部１３、軌跡判別部１４、操作モード選択部１７、図形描画部１８ａ、画像選択部１８ｂ、撮影処理部１８ｃ、および各種処理部１８ｄの機能は、処理回路により実現される。すなわち、端末２Ａは、図１０に示したステップＳＴ１ａからステップＳＴ１０ａまでの処理を実行するための処理回路を備えている。処理回路は、図７に示した専用のハードウェアの処理回路１０７であってもよいし、図８に示したメモリ１０９に記憶されたプログラムを実行するプロセッサ１０８であってもよい。

【0065】

図１１は、図形の描画を行う送信側の端末２Ａの画面１０Ａと受信側の端末２Ａの画面１０Ｂとを示す説明図である。操作モード選択部１７は、ディスプレイ１０とタッチパネルとを用いたユーザインタフェースとして実現される。例えば、表示制御部８が、操作モードごとに対応するボタン画像を表示させるための表示情報を生成する。ディスプレイ１０は、表示制御部８によって生成された表示情報に従ってボタン画像を表示する。タッチパネルが、ボタン画像を押下する操作を検出すると、検出した操作情報を操作モード選択部１７に出力する。操作モード選択部１７は、当該操作情報に基づいて操作モードの選択を受け付ける。

【0066】

操作モード選択部１７が図形描画モードの選択を受け付けると、通知部５は、通信部６を介して、選択が受け付けられた図形描画モードを受信側の端末２Ａに通知する。受信側の端末２Ａは、送信側の端末２Ａから通知された操作モード（図形描画モード）を画面１０Ｂに表示する。例えば、画面１０Ｂには「お絵描き入力中です」といったテキスト情報が表示される。送信側の端末２Ａで描画された描画情報を含むメッセージは、通信部６を用いて受信側の端末２Ａに送信される。受信側の端末２Ａのユーザは、画面１０Ｂに表示された操作モードを参照することによって、送信側の端末２Ａにおける操作の完了時間を大まかに推測することができる。

【0067】

図１２は、画像選択操作を行う送信側の端末２Ａの画面１０Ａと受信側の端末２Ａの画面１０Ｂとを示す説明図である。操作モード選択部１７が画像選択モードの選択を受け付けると、通知部５は、通信部６を介して、選択が受け付けられた画像選択モードを受信側の端末２Ａに通知する。受信側の端末２Ａは、送信側の端末２Ａから通知された操作モード（画像選択モード）を画面１０Ｂに表示する。例えば、画面１０Ｂには、「画像選択中です」といったテキスト情報が表示される。送信側の端末２Ａにおいて選択された画像情報を含むメッセージは、通信部６を用いて受信側の端末２Ａに送信される。受信側の端末２Ａのユーザは、画面１０Ｂに表示された操作モードを参照することによって、送信側の端末２Ａにおける操作の完了時間を大まかに推測することができる。

【0068】

図１３は、カメラ撮影を行う送信側の端末２Ａの画面１０Ａと受信側の端末２Ａの画面１０Ｂとを示す説明図である。操作モード選択部１７が撮影モードの選択を受け付けると、通知部５は、通信部６を介して、選択が受け付けられた撮影モードを受信側の端末２Ａに通知する。受信側の端末２Ａは、送信側の端末２Ａから通知された操作モード（撮影モード）を画面１０Ｂに表示する。例えば、画面１０Ｂには、「カメラ撮影中です」といったテキスト情報が表示される。送信側の端末２Ａで選択された撮影画像情報を含むメッセージは、通信部６を用いて受信側の端末２Ａに送信される。受信側の端末２Ａのユーザは、画面１０Ｂに表示された操作モードを参照することにより、送信側の端末２Ａにおける操作の完了時間を大まかに推測することができる。

【0069】

図１４は、ツール選択と選択したツールを用いた図形の描画を行う送信側の端末２Ａの画面１０Ａと受信側の端末２Ａの画面１０Ｂとを示す説明図である。図形描画操作には、描く線の太さ、線種および表示効果などの選択を受け付けるツール選択操作が含まれる。操作モード選択部１７が図形描画モードの選択を受け付け、さらにツール選択操作モードの選択が受け付けられると、通知部５は、通信部６を介して、選択が受け付けられた操作モードを受信側の端末２Ａに通知する。受信側の端末２Ａは、送信側の端末２Ａから通知された操作モード（ツール選択操作モード）を画面１０Ｂに表示する。例えば、図１４の上段に示すように、画面１０Ｂには、「ツール選択中です」といったテキスト情報が表示される。

【0070】

ツール選択操作は、例えば、画面１０Ａに表示されたツールボックス２０を、タッチパネルを用いて操作することにより実行される。ツールボックス２０は、描く線の太さ、線種および表示効果などが選択候補として表示される。ツール選択操作が完了して図形描画が開始されると、通知部５は、通信部６を介して、図形描画モードを受信側の端末２Ａに通知する。受信側の端末２Ａは、「ツール選択中です」といったテキスト情報を非表示とし、送信側の端末２Ａから通知された図形描画モードを画面１０Ｂに表示する。例えば、図１４の中段に示すように、画面１０Ｂには、「お絵描き入力中です」といったテキスト情報が表示される。

【0071】

図１４の下段に示すように、送信側の端末２Ａの画面１０Ａで図形描画が完了すると、通知部５は、通信部６を介して図形描画が完了したことを受信側の端末２Ａに通知する。受信側の端末２Ａは、送信側の端末２Ａで図形描画が完了したことが通知されると、画面１０Ｂから、「お絵描き入力中です」というテキスト情報を非表示とする。これにより、受信側の端末２Ａのユーザは、送信側の端末２Ａでのメッセージの編集または作成が完了したことを推測できる。

【0072】

また、表示制御部８は、通信相手側の端末２Ａにおける情報の入力の完了が通知される前に、通信相手側の端末２Ａから従前と異なる入力モードが通知された場合、または、通信相手側の端末２Ａにおける操作の完了が通知される前に、通信相手側の端末２Ａから入力モードが通知された場合に、新たに通知された入力モードを、ディスプレイ１０の表示領域に表示するための表示情報を生成し、生成した表示情報に従って、新たに通知された入力モードをディスプレイ１０に表示させる。これにより、端末２Ａにおける入力モードの変化が逐次通知されるので、ユーザは、ディスプレイ１０における入力モードの表示の変化によってメッセージ入力の待ち時間を推測することができる。

【0073】

さらに、表示制御部８は、通信相手側の端末２Ａにおける操作の完了が通知される前に、通信相手側の端末２Ａから従前と異なる操作モードが通知された場合、または、通信相手側の端末２Ａにおける情報の入力の完了が通知される前に、通信相手側の端末２Ａから操作モードが通知された場合に、新たに通知された操作モードをディスプレイ１０に表示するための表示情報を生成し、生成した表示情報に従って、新たに通知された操作モードをディスプレイ１０に表示させる。これにより、端末２Ａにおける操作モードの変化が逐次通知されるので、ユーザは、ディスプレイ１０における操作モードの表示の変化によって操作完了までの待ち時間を推測することができる。

【0074】

以上のように、実施の形態２に係る端末２Ａにおいて、表示制御部８が、通信相手側の端末２Ａから通知された操作モードを表示領域に表示するための表示情報を生成し、生成した表示情報に従って、ディスプレイ１０が通信相手側の端末２Ａから通知された操作モードを表示する。ユーザは、複数の種類の操作モードのそれぞれについての大まかな実行時間を経験上把握している。このため、端末２Ａが、通信相手側の端末２Ａから通知された操作モードをディスプレイ１０に表示することにより、ユーザは、通信相手側の端末２Ａにおける操作の完了時間を推測することができる。これにより、端末２間の通信によるコミュニケーションの臨場感を高められる。

【0075】

なお、各実施の形態の組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。

【産業上の利用可能性】

【0076】

本開示に係る端末は、例えば、端末間で通信によりコミュニケーションを行うシステムに利用可能である。

【符号の説明】

【0077】

１ 入力表示システム、２，２Ａ 端末、３ 入力モード選択部、３ａ，３ｂ ボタン画像、４ａ 音声入力部、４ｂ キーボード入力部、５ 通知部、６ 通信部、７ モード取得部、８ 表示制御部、９ 文字列一時保存部、１０ ディスプレイ、１０Ａ，１０Ｂ 画面、１１ 操作受付部、１２ 文字管理データベース（ＤＢ）、１３ 文字管理部、１４ 軌跡判別部、１５ キーボード、１７ 操作モード選択部、１８ａ 図形描画部、１８ｂ 画像選択部、１８ｃ 撮影処理部、１８ｄ 各種処理部、２０ ツールボックス、２４ 軌跡判別部、１００ 入力インタフェース、１０１ 出力インタフェース、１０２ ディスプレイ、１０３ 通信インタフェース、１０４ 通信装置、１０５ 入出力インタフェース、１０６ 記憶装置、１０７ 処理回路、１０８ プロセッサ、１０９ メモリ。

【要約】

端末（２）は、複数の種類の入力モードから入力モードの選択を受け付ける入力モード選択部（３）と、入力モードを通信相手側の端末（２）に通知する通知部（５）と、入力モード選択部（３）によって選択が受け付けられた入力モードによる情報の入力を受け付ける入力受付部（４ａ，４ｂ）と、通信相手側の端末（２）から通知された入力モードを取得するモード取得部（７）と、入力受付部（４ａ，４ｂ）によって入力が受け付けられた情報をディスプレイ（１０）の表示領域に表示するための表示情報を生成する表示制御部（８）とを備え、表示制御部（８）は、モード取得部（７）によって通信相手側の端末（２）から通知された入力モードが取得されると、取得した入力モードを表示領域に表示するための表示情報を生成し、生成した表示情報に従って通信相手側の端末（２）から通知された入力モードをディスプレイ（１０）に表示させる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】