特許 7604974 表示装置、表示方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-16

(45)【発行日】2024-12-24

(54)【発明の名称】表示装置、表示方法、プログラム

(51)【国際特許分類】

   G06F 3/0481 20220101AFI20241217BHJP

   G06F 3/0482 20130101ALI20241217BHJP

   G06F 3/03 20060101ALI20241217BHJP

【ＦＩ】

G06F3/0481

G06F3/0482

G06F3/03 400B

【請求項の数】 9

(21)【出願番号】P 2021048598

(22)【出願日】2021-03-23

(65)【公開番号】P2022147384

(43)【公開日】2022-10-06

【審査請求日】2024-01-19

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】辻 成和

【審査官】三田村 陽平

(56)【参考文献】

【文献】特開昭５９－１６５１７９（ＪＰ，Ａ）

【文献】特開２０２０－１７３７９４（ＪＰ，Ａ）

【文献】特開２００４－２１３６３０（ＪＰ，Ａ）

【文献】特開２００３－１６２５２７（ＪＰ，Ａ）

【文献】特開２００５－０３１８１９（ＪＰ，Ａ）

【文献】特開２０２１－０２６４９５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０４１０１７３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－ ３／０４８９５

(57)【特許請求の範囲】

【請求項1】

電子ペンによって手書きデータの入力を受け付ける受付手段と、
前記手書きデータを複数の文字列に変換する文字認識手段と、
前記文字認識手段が変換した前記複数の文字列を表示する表示制御手段と、
前記電子ペンの識別情報に対応づけて、変換先言語と表示言語を記憶する記憶手段と、を有し、
前記表示制御手段は、前記複数の文字列のうち前記電子ペンで選択された前記文字列を、該電子ペンの識別情報に対応付けられている前記変換先言語における複数の文字列に変換して表示させ、
前記文字認識手段は、前記手書きデータの入力に用いられた前記電子ペンの識別情報に対応付けられている前記表示言語に、前記手書きデータを変換することを特徴とする表示装置。

【請求項2】

前記表示制御手段は前記変換先言語に変換した変換先文字列の選択を前記電子ペンで受け付けた場合、
前記表示制御手段は、前記変換先文字列の選択に用いられた前記電子ペンに対応付けられている前記表示言語で、変換した前記複数の文字列を、再度、表示することを特徴とする請求項１に記載の表示装置。

【請求項3】

前記表示制御手段は、表示した前記複数の文字列のうち前記電子ペンで選択された前記文字列を、選択に用いられた前記電子ペンに対応付けられている変換先言語に、再度、変換して表示することを特徴とする請求項２に記載の表示装置。

【請求項4】

前記記憶手段には、第一の電子ペンと第二の電子ペンにそれぞれ異なる前記表示言語が対応付けられており、
前記表示制御手段は、前記変換先文字列が前記第一の電子ペンで選択された場合と、前記第二の電子ペンで選択された場合とで、異なる前記表示言語で、変換した前記複数の文字列を表示することを特徴とする請求項２に記載の表示装置。

【請求項5】

前記記憶手段には、第一の電子ペンと第三の電子ペンにそれぞれ異なる前記変換先言語が対応付けられており、
前記複数の文字列のうち前記第一の電子ペンで前記文字列が選択された場合と、前記複数の文字列のうち前記第三の電子ペンで前記文字列が選択された場合とで、前記表示制御手段は選択された文字列を異なる前記変換先言語に変換して表示することを特徴とする請求項１に記載の表示装置。

【請求項6】

前記記憶手段には、前記電子ペンの識別情報に表示方向が対応付けられており、
前記表示制御手段は、前記変換先文字列を、前記変換先言語を前記表示言語に有する前記電子ペンに対応付けられている表示方向に表示することを特徴とする請求項２～４のいずれか１項に記載の表示装置。

【請求項7】

前記表示方向に表示された前記変換先文字列の選択を、前記電子ペンで受け付けた場合、
前記表示制御手段は、前記変換先文字列の選択に用いられた前記電子ペンに対応付けられている前記表示言語で、かつ、前記変換先文字列の選択に用いられた前記電子ペンに対応付けられている前記表示方向に、変換した前記複数の文字列を表示することを特徴とする請求項６に記載の表示装置。

【請求項8】

受付手段が、電子ペンによって手書きデータの入力を受け付けるステップと、
文字認識手段が、前記手書きデータを複数の文字列に変換するステップと、
表示制御手段が、前記文字認識手段が変換した前記複数の文字列を表示するステップと、
前記表示制御手段が、前記複数の文字列のうち前記電子ペンで選択された前記文字列を、該電子ペンの識別情報に対応付けられている変換先言語における複数の文字列に変換して表示させるステップと、
前記文字認識手段が、前記手書きデータの入力に用いられた前記電子ペンの識別情報に対応付けられている表示言語に、前記手書きデータを変換するステップと、
を有する表示方法。

【請求項9】

表示装置を、
電子ペンによって手書きデータの入力を受け付ける受付手段と、
前記手書きデータを複数の文字列に変換する文字認識手段と、
前記文字認識手段が変換した前記複数の文字列を表示する表示制御手段、として機能させ、
前記表示制御手段は、前記複数の文字列のうち前記電子ペンで選択された前記文字列を、該前記電子ペンの識別情報に対応付けられている変換先言語における複数の文字列に変換して表示させ、
前記文字認識手段は、前記手書きデータの入力に用いられた前記電子ペンの識別情報に対応付けられている表示言語に、前記手書きデータを変換する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示装置、表示方法、及び、プログラムに関する。

【背景技術】

【0002】

手書き認識技術を利用し、手書きデータを文字に変換して、ディスプレーに表示する表示装置が知られている。比較的大型のタッチパネルを備えた表示装置は会議室や公共施設などに配置され、複数のユーザーにより電子黒板などとして利用される。表示装置は筆談によるコミュニケーションツールとして利用される場合もある。

【0003】

また、手書き認識技術を用いて手書きデータを翻訳する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、第１のペンデバイスの利用者及び第２のペンデバイスの利用者と、画像表示部との位置関係に基づいて、第２の言語情報を、第２のペンデバイスの利用者から見て正立するように、画像表示部に表示させる装置が開示されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

異なる言語話者とのコミュニケーションでは、表示装置の変換結果が相手に上手く伝わっているのか、話者が確認しながらコミュニケーションを進めていく必要が生じることがある。その場合に、従来、複数の文字列候補から文字列を選択して、選択した文字列を変換先の言語（異なる言語）に変換された複数の文字列候補に変換して表示するようなことは提案されていなかった。

【0005】

本発明は、上記課題に鑑み、変換先の言語に変換された複数の文字列候補を表示する表示装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題に鑑み、本発明は、電子ペンによって手書きデータの入力を受け付ける受付手段と、前記手書きデータを複数の文字列に変換する文字認識手段と、前記文字認識手段が変換した前記複数の文字列を表示する表示制御手段と、前記電子ペンの識別情報に対応づけて、変換先言語と表示言語を記憶する記憶手段と、を有し、前記表示制御手段は、前記複数の文字列のうち前記電子ペンで選択された前記文字列を、該電子ペンの識別情報に対応付けられている前記変換先言語における複数の文字列に変換して表示させ、前記文字認識手段は、前記手書きデータの入力に用いられた前記電子ペンの識別情報に対応付けられている前記表示言語に、前記手書きデータを変換する。

【発明の効果】

【0007】

変換先の言語に変換された複数の文字列候補を表示する表示装置を提供することができる。

【図面の簡単な説明】

【0008】

【図1】表示装置が表示する文字列の変換例を示す図である。

【図2】表示装置の一例の全体構成図である。

【図3】表示装置の一例のハードウェア構成図である。

【図4】表示装置が有する機能をブロック状に分けて説明する一例の機能ブロック図である。

【図5】操作ガイドと操作ガイドが表示する一例の選択可能候補を示す図である。

【図6】文字列の一例の表示方向を説明する図である。

【図7】ユーザーが手書きする方向と表示方向の対応を模式的に示す図である。

【図8】角度情報の一例の入力方法を説明する図である。

【図9】表示方向と変換先言語をユーザーが対応付ける一例の方法を説明する図である。

【図10】ユーザーが手書きした手書きデータの一例である。

【図11】文字認識部が「ほんじつのぎ」を文字認識することで表示した５つの文字列候補の一例を示す図である。

【図12】ユーザーが任意の文字列候補を選択した場合に表示される、変換先言語に変換された変換先文字列の一例を示す図である。

【図13】変換先文字列の再変換について説明する図の一例である。

【図14】変換先文字列「Today's proceedings」の選択に対して表示された５つの文字列候補の一例を示す図である。

【図15】「本日の議事録」をユーザーがペンで選択した場合に表示される変換先言語の変換先文字列を示す図の一例である。

【図16】ペンＩＤ＝２のペンで「Today's proceedings」が選択された場合に表示される文字列候補の一例を示す図である。

【図17】図１１において、ペンＩＤ＝３のペンのユーザーが文字列候補を選択した場合の変換例を示す図である。

【図18】表示装置がペンに対応付けられている変換先言語へ、選択された文字列候補を変換する処理を説明するフローチャート図の一例である。

【図19】変換先文字列の回転を説明する図の一例である。

【図20】変換先文字列とペンに対応した表示方向に表示された操作ガイドを示す図の一例である。

【図21】ペンＩＤに対応付けられている表示方向が９０°と２７０°の場合の操作ガイドを示す図である。

【図22】表示装置の他の構成例を示す図である。

【図23】表示装置の他の構成例を示す図である。

【図24】表示装置の他の構成例を示す図である。

【図25】表示装置の他の構成例を示す図である。

【発明を実施するための形態】

【0009】

以下、本発明を実施するための形態の一例として表示装置と、表示装置が行う表示方法について図面を参照しながら説明する。

【実施例1】

【0010】

異なる言語話者が混在する職場や現場にて表示装置が使われる場面がある。このような場面では、ある国の人が異国の人に手書きにより情報を伝えたい場合、ディスプレーに表示されている文字列を、異国の人が分かる言語に変換して表示すれば、意思伝達が容易になる。

【0011】

これらの人が表示装置でコミュニケーションする場合、表示装置が他の言語に変換される複数の文字列候補を表示すれば、ユーザーがコミュニケーションに適した文字列を選択しやすくなる。

【0012】

また、これらの人が表示装置でコミュニケーションする場合、一度、表示装置が他の言語に変換した手書きデータであっても、上手く伝わっていない場合には、変換が適切でない可能性があり、変換結果を再度、選び直したいということが生じうる。従来は、話者が再度、手書きデータを入力しないと変換結果を選び直すことが困難であった。

【0013】

＜表示装置の動作の概略＞
本実施形態の表示装置は他の言語に変換できる複数の文字列候補を表示することができる。また、表示装置は、一度、他の言語に変換された文字列を、再度、他の言語による別の文字列に変換できる。

【0014】

図１は、本実施形態の表示装置が表示する文字列の変換例を示す。二人のユーザーが表示装置を挟んで筆記や会話によるコミュニケーションを行っている。日本語話者のユーザーが使用するペン２５００には、日本語筆記用であること（後述する表示言語が日本語）、及び、日本語を英語に変換する情報（後述する変換先言語が英語）が設定されている。

【0015】

図１（ａ）に示すように、ユーザーがペン２５００で「ほんじつのぎ」と手書きした。手書きが終わると表示装置は、ペン２５００が日本語筆記用であるので手書きデータを日本語に文字認識する。また、表示装置は「ほんじつのぎ」をカナ漢字変換したり、予測変換したりして、操作ガイド５００内に文字列候補５３９を表示する。

【0016】

表示装置は他の言語に変換される複数の文字列候補を表示するので、ユーザーはコミュニケーションに適切と考える文字列候補を選択できる。

【0017】

図１（ｂ）では、ペン２５００が日本語筆記用であるため、「ほんじつのぎ」に対して５つの文字列候補５３９が日本語で表示されている。ユーザーが「本日の議事」をペン２５００で選択した。表示装置は、このペン２５００に設定されている変換先言語である英語に「本日の議事」を変換する。

【0018】

図１（ｃ）では「本日の議事」が「Today's proceedings」という変換先文字列１０１に変換されている。この時点で操作ガイド５００は自動的に消去される。そして、「Today's proceedings」では、ユーザーがうまく会話が噛み合わないと感じた場合、ユーザーが再度の変換を試みる。

【0019】

図１（ｄ）ではユーザーが「Today's proceedings」という変換先文字列１０１を囲む枠線１０２をペン２５００で手書きした。これにより、ユーザーは「Today's proceedings」を選択した。表示装置は、ペン２５００が日本語筆記用であるので、変換先文字列１０１が表示される前に操作ガイド５００が表示した文字列候補５３９を日本語で再度、表示する。

【0020】

図１（ｅ）は変換先文字列１０１の選択に応じて表示された操作ガイド５００を示す。このように、表示装置は他の言語に変換される複数の文字列候補を表示するので、ユーザーは手書きし直さなくても、コミュニケーションがうまくいきそうな別の文字列候補を選択できる。

【0021】

ユーザーが「本日の議事録」をペン２５００で選択した。表示装置は、このペン２５００に設定されている変換先言語である英語に「本日の議事録」を変換する。

【0022】

図１（ｆ）では「本日の議事録」が「Today's minutes」という変換先文字列１０１に変換されている。この変換先文字列１０１をユーザーが再度、選択して操作ガイド５００を表示することも可能である。

【0023】

このように、本実施形態の表示装置は、他の言語に変換される複数の文字列候補からユーザーが変換先言語に変換する文字列を選択できるので、円滑なコミュニケーションがしやすくなる。また、一度、文字列が変換先言語に変換されても、ユーザーが変換先文字列１０１を選択することで、再度、他の言語に変換される複数の文字列候補を表示できる。したがって、ユーザーが手書きデータを何度も手書きすることなく、別の文字列候補を選択して、変換先言語に変換できる。また、表示装置２は、ペンに設定されている変換先言語に選択された文字列候補を変換できる。

【0024】

＜用語について＞
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、ペン、人の指や手、棒状部材などがある。

【0025】

ユーザーがディスプレーに入力手段を押しつけてから連続的に移動させた後、ディスプレーから離すという一連の操作をストロークという。ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレーに表示される情報である。ストロークデータは適宜、補間されてよい。手書きデータとは、１つ以上のストロークデータを有するデータである。手書き入力とは、ユーザーによって、手書きデータが入力されることを示している。

【0026】

ストロークデータに基づいてディスプレーに表示される表示物をオブジェクトという。オブジェクトとは対象という意味であるが、本実施形態では表示対象などの意味である。
手書きデータが文字認識して変換された文字列には、テキストデータの他、「済」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等、ユーザーの操作に基づいて表示されたデータも含まれてよい。

【0027】

確定データは手書きデータの文字認識により文字コード（フォント）に変換されユーザーにより選択されたデータ、又は、文字コード（フォント）に変換しないことが確定している手書きデータである。

【0028】

操作コマンドとは手書き入力装置を操作するために用意されている、特定の処理の実行を指示する命令をいう。本実施形態では一例として、表示方向と変換先文字列１０１の対応をユーザーが表示装置２に指示する例を説明する。このほか、文字列の編集系、修飾系、又は、入出力系などでも操作コマンドが使用される。

【0029】

文字列とは、コンピュータで扱われる1つ以上の文字である。文字列の実態は文字コードである。文字には、数字、アルファベット、及び、記号等が含まれる。文字列はテキストデータとも言われる。

【0030】

変換とはかえること又はかわることをいう。文字列の言語を変換することを翻訳という場合がある。

【0031】

変換先言語とは、文字列候補が他の言語に変換される場合の他の言語である。表示言語とは文字認識された文字列候補が表示される言語である。

【0032】

＜装置の構成例＞
図２を用いて、本実施形態に係る表示装置２の全体構成を説明する。図２は、表示装置２の全体構成図を示した図である。図２（ａ）では、表示装置２の一例として、壁につり下げられた横長の電子黒板として使用される表示装置２を示している。

【0033】

図２（ａ）に示されているように、表示装置２の上部には表示装置２の一例としてのディスプレー２２０が設置されている。ユーザーＵは、ペン２５００を用いて、ディスプレー２２０に文字等を手書きする（入力、描画ともいう）ことができる。

【0034】

図２（ｂ）は壁につり下げられた縦長の電子黒板として使用される表示装置２を示している。

【0035】

図２（ｃ）は机２３０に平置きされた表示装置２を示す。表示装置２は厚みが１ｃｍ程度なので、一般の机に平置きしても机の高さを調整する必要がない。また、ユーザーは表示装置２を容易に移動できる。

【0036】

なお、ペン２５００の座標の入力方式には、電磁誘導方式、アクティブ静電結合方式などがある。また、ペン２５００は、筆圧検知、傾き検知、ホバー機能（ペンが触れる前にカーソルを表示）、などの機能を有していてよい。

【0037】

＜装置のハードウェア構成＞
続いて、図３を用いて、表示装置２のハードウェア構成を説明する。表示装置２は図示するように情報処理装置又はコンピュータの構成を有している。図３は、表示装置２のハードウェア構成図の一例である。図３に示されているように、表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、及び、ＳＳＤ(Solid State Drive)２０４を備えている。

【0038】

これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。

【0039】

ＳＳＤ２０４は、ＯＳや表示装置２用のプログラム等の各種データを記憶する。このプログラムは汎用的なＯＳ(Windows（登録商標）、Mac OS（登録商標）、Android（登録商標）、iOS（登録商標）等)を搭載した情報処理装置で動作するアプリケーションプログラムでもよい。

【0040】

また、表示装置２は、ディスプレーコントローラー２１３、タッチセンサーコントローラー２１５、タッチセンサー２１６、ディスプレー２２０、電源スイッチ２２７、チルトセンサー２１７、シリアルインタフェース２１８、スピーカー２１９、マイク２２１、無線通信装置２２２、赤外線Ｉ／Ｆ２２３、電源制御回路２２４、ＡＣアダプター２２５、及びバッテリー２２６を備えている。

【0041】

ディスプレーコントローラー２１３は、出力画像をディスプレー２２０等へ出力するために画面表示の制御及び管理を行う。タッチセンサー２１６は、ディスプレー２２０上にペン２５００やユーザーの手等（ペンやユーザーの手は入力手段となる）が接触したことを検知する。また、タッチセンサー２１６はペンＩＤを受信する。

【0042】

タッチセンサーコントローラー２１５は、タッチセンサー２１６の処理を制御する。タッチセンサー２１６は、座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、例えば、光学式の場合、ディスプレー２２０の上側両端部に設置された２つ受発光装置が、ディスプレー２２０に平行して複数の赤外線を放射し、ディスプレー２２０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。タッチセンサー２１６は、物体によって遮断された２つの受発光装置が放射した赤外線の位置情報をタッチセンサーコントローラー２１５に出力し、タッチセンサーコントローラー２１５が、物体の接触位置である座標位置を特定する。また、タッチセンサーコントローラー２１５は通信ユニット２１５ａを有しており、ペン２５００と無線で通信することができる。例えば、Bluetooth（登録商標）などの規格で通信している場合は、市販されているペンを使用することができる。通信ユニット２１５ａに予め１つ以上のペン２５００を登録しておくと、ユーザーはペン２５００を表示装置２と通信させる接続設定を行わなくても通信できる。

【0043】

電源スイッチ２２７は、表示装置２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。チルトセンサー２１７は、表示装置２の傾き角度を検出するセンサーである。主に、表示装置２が図２（ａ）、図２（ｂ）、又は、図２（ｃ）のいずれかの設置状態で使用されているかを検出するために使用され、設置状態に応じて文字等の太さを自動で変更することができる。

【0044】

シリアルインタフェース２１８はＵＳＢなどの外部との通信インタフェースである。シリアルインタフェース２１８は、外部からの情報の入力などに使用される。スピーカー２１９は音声の出力に使用され、マイク２２１は音声の入力に使用される。無線通信装置２２２は、ユーザーが携帯する端末と通信し、例えばインターネットへの接続を中継する。無線通信装置２２２はWi－FiやBluetooth（登録商標）などで通信するが、通信規格は問われない。無線通信装置２２２はアクセスポイントを形成しており、ユーザーが入手したＳＳＩＤ（Service Set Identifier）とパスワードをユーザーが携帯する端末に設定すると、アクセスポイントに接続できる。

【0045】

なお、無線通信装置２２２には２つのアクセスポイントが用意されているとよい。
a. アクセスポイント→インターネット
b. アクセスポイント→社内ネットワーク→インターネット
ａのアクセスポイントは社外のユーザー用で、ユーザーは社内ネットワークにはアクセスできないが、インターネットを利用できる。ｂのアクセスポイントは社内のユーザー用で、ユーザーは社内ネットワーク及びインターネットを利用できる。

【0046】

赤外線Ｉ／Ｆ２２３は隣に配置された表示装置２を検出する。赤外線Ｉ／Ｆ２２３は、赤外線の直進性を利用して、隣に配置された表示装置２のみを検出できる。赤外線Ｉ／Ｆ２２３は各辺に１つずつ設けられることが好ましく、表示装置２のどの方向に他の表示装置２が配置されたのかを検出できる。これにより画面が広がり、隣の表示装置２に過去に手書きされた手書き情報（１つのディスプレー２２０の広さを１ページとして別のページの手書き情報）等を表示できる。

【0047】

電源制御回路２２４は表示装置２の電源であるＡＣアダプター２２５とバッテリー２２６を制御する。ＡＣアダプター２２５は商用電源が共有する交流を直流に変換する。

【0048】

ディスプレー２２０がいわゆる電子ペーパーの場合、画像の表示を維持するためにほとんど又は一切電力を消費しないので、バッテリー２２６による駆動も可能である。これにより、屋外など電源を接続しにくい場所でもデジタルサイネージなどの用途で表示装置２を使用することが可能になる。

【0049】

更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、図３に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

【0050】

なお、タッチセンサー２１６は、光学式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなど種々の検出手段を用いてもよい。タッチセンサー２１６は、ペン先のタッチの有無を検知するのに電子ペンが必要ない方式であってよい。この場合はタッチ操作をするのに指先やペン型の棒を使用できる。なお、ペン２５００は、細長いペン型である必要はない。

【0051】

＜機能について＞
次に、図４を用いて表示装置２の機能について説明する。図４は、表示装置２が有する機能をブロック状に分けて説明する機能ブロック図の一例である。表示装置２は、接触位置検出部２１、描画データ生成部２２、文字認識部２３、表示制御部２４、データ記録部２５、ネットワーク通信部２６、操作受付部２７、操作コマンド処理部２８、回転処理部２９、言語変換部３０、ペン通信部３１、及び、入力方向検出部３２を有している。表示装置２が有する各機能は、図３に示されている各構成要素のいずれかが、ＳＳＤ２０４からＲＡＭ２０３上に展開されたプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。

【0052】

接触位置検出部２１はタッチセンサー２１６に対しペン２５００が接触した位置の座標を検出する。描画データ生成部２２はペン２５００のペン先が接触した座標を接触位置検出部２１から取得する。接触位置検出部２１は、この座標点列を補間することで接続してストロークデータを生成する。

【0053】

文字認識部２３はユーザーが手書きした１つ以上のストロークデータ（手書きデータ）に対し、ユーザーが使用するペン２５００に対応付けられている表示言語に応じて文字認識処理を行い、文字コードに変換する。文字認識部２３は、ユーザーのペン操作と並行して文字（日本語だけでなく英語などの多国語）、数字、記号（％、＄、＆など）、図形（線、丸、三角など）等を認識していく。認識方法については様々なアルゴリズムが考案されているが、本実施形態では公知の技術を利用できるとして詳細を割愛する。

【0054】

表示制御部２４は手書きデータ、手書きデータから変換された文字列、及び、ユーザーが操作するための操作メニューなどをディスプレーに表示する。データ記録部２５は、表示装置２に手書きされた手書きデータ、変換された文字列、及び、ＰＣの画面、ファイル等を記憶部４０に記憶する。ネットワーク通信部２６はＬＡＮ等のネットワークに接続して、他の機器とネットワークを介したデータの送受信を行う。

【0055】

操作コマンド処理部２８は、文字認識部２３が認識した文字列が操作コマンドに対応するかを検出し、ユーザーが操作コマンドを押下した場合、操作コマンドを実行する。

【0056】

回転処理部２９は、操作コマンド又はユーザー操作に応じて、画像全体又は文字列を回転させる。本実施形態では、文字列のみの回転、又は、文字列を含む画像全体の回転が可能である。

【0057】

言語変換部３０は、ユーザーが選択した文字列候補の言語を、ユーザーが使用するペン２５００に対応付けられている変換先言語に変換する。すなわち、言語変換部３０は翻訳する。

【0058】

ペン通信部３１は、通信ユニット２１５ａを制御してペンＩＤをペン２５００から受信する。ペン２５００は先端をディスプレーに押しつけられると少なくとも一度、ペンＩＤを送信する。表示装置２は手書きデータに用いられたペン２５００を識別できる。

【0059】

入力方向検出部３２は、手書きデータに基づいて、手書きデータを入力するユーザーに正対する表示方向を検出する。あるいは、入力方向検出部３２は、予め決まった方法で手書きされた手書きデータに応じて、入力手段を用いて手書きするユーザーに正対する表示方向を検出する。

【0060】

また、表示装置２は、図３に示されているＳＳＤ２０４やＲＡＭ２０３などに構築される記憶部４０を有し、記憶部４０には変換言語記憶部４１、操作コマンド定義データ記憶部４２、入力データ記憶部４３、及び、いくつかの変換辞書４４が構築されている。

【0061】

【表1】

表１は変換言語記憶部４１に設定されている表示方向、表示言語及び変換先言語の対応を示す。変換言語記憶部４１にはペンＩＤに対応付けて、表示方向、表示言語及び変換先言語が登録されている。例えば、ペンＩＤ＝１のペン２５００の表示方向は０°、表示言語は日本語、変換先言語は英語である。
・ペンＩＤは、ペン２５００の識別情報である。各ペン２５００は予めペンＩＤを保持している。
・表示方向は、基準となる表示方向を０°として、例えば、反時計回りに９０°、１８０°、２７０°と予め定められている。表示方向は、当該ペン２５００を操作するユーザーが存在する場所を示す。文字列が表示方向に表示されると、当該ペン２５００を使用するユーザーに正対して文字列が表示される。
・表示言語は、文字認識部２３が手書きデータを文字認識する際の言語である。また、表示言語は操作ガイド５００に表示される文字列候補５３９等の言語である。
・変換先言語は、言語変換部３０が表示言語を変換する変換先の言語である。

【0062】

表１の表示言語と変換先言語によれば、ペンＩＤ＝１のペン２５００（第一の電子ペンの一例）を使用するユーザーは日本語話者で、英語を話す話者とコミュニケーションできる。ペンＩＤ＝２のペン２５００（第二の電子ペンの一例）を使用するユーザーは英語話者で、日本語を話す話者とコミュニケーションできる。ペンＩＤ＝３のペン２５００（第三の電子ペンの一例）を使用するユーザーは日本語話者であり、中国語を話す話者とコミュニケーションできる。

【0063】

【表2】

表２は操作コマンド定義データ記憶部４２に記憶される操作コマンド定義データを模式的に示す。操作コマンド定義データは、文字認識で得られた認識文字列に対応付けて、ユーザーが表示装置２に指示するための操作コマンドを定義する。

【0064】

例えば、手書きデータから「回転」「９０」「１８０」「２７０」という文字列が認識された場合、対応する操作コマンドは「表示を９０°回転」「表示を１８０°回転」「表示を２７０°回転」である。表示装置２はこれら操作コマンドを表示し、ユーザーからの操作を受け付ける。操作コマンドが選択された場合、操作コマンド処理部２８は処理の項目に記載の内容を実行する。例えば、操作コマンド処理部２８は、回転処理部２９に文字や画像の回転を指示する。

【0065】

また、「日本語」という文字列が認識された場合、対応する操作コマンドは「日本語に設定（表示言語）」「日本語に設定（変換先言語）」である。操作コマンドが選択された場合、操作コマンド処理部２８は変換言語記憶部４１に、ペンＩＤと表示言語（又は変換先言語）を登録する。

【0066】

【表3】

表３は入力データ記憶部４３の内容を模式的に示す。入力データは、ユーザーにより入力されたデータの属性である。入力データは１つのオブジェクト（１つのストロークデータ、１つの文字列、１つの画像等）ごとに記録される。
・DataIdは入力データの識別情報である。
・Typeは入力データの種別であり、ストローク(Stroke)、テキスト(Text)、及び、イメージ(Image)がある。Typeによって入力データが保持する属性は異なってよいが、表３ではType＝"Text"の場合を説明する。テキストは文字列を表し、イメージは画像である。
・PenIDはこの文字列の入力に使用されたペン２５００のペンＩＤである。
・Angleはこの文字列の表示方向である。
・StartPointは文字列の外接矩形における左上頂点の座標である。
・StartTimeはユーザーが文字列を書き始めた時刻である。
・EndPointは文字列の外接矩形における右下頂点の座標である。
・EndTimeはユーザーが文字列を書き終えた時である。
・FontNameは文字列のフォント名である。
・FontSizeは文字サイズである。
・Textは入力されたテキストである（文字コード）。
・Languageは文字列の言語である。本実施形態では、表示言語又は変換先言語が設定される。

【0067】

＜選択可能候補の表示例＞
続いて、図５を参照して、手書きデータの変換時に表示される操作ガイド５００について説明する。図５は操作ガイド５００と操作ガイドが表示する選択可能候補５３０の一例である。ユーザーが手書きデータ５０４を手書きすることで、操作ガイド５００が表示される。操作ガイド５００は、操作コマンドの候補５１０、手書き認識文字列候補５０６、変換文字列候補５０７、及び、文字列/予測変換の候補５０８を表示する。なお、選択可能候補５３０は、操作コマンドの候補５１０、手書き認識文字列候補５０６、変換文字列候補５０７、文字列/予測変換の候補５０８である。また、操作コマンドの候補５１０を除く選択可能候補５３０を文字列候補５３９という。

【0068】

手書きデータ５０４はユーザーが手書きした「ぎ」という文字である。手書きデータ５０４を囲む手書きデータ矩形領域表示５０３が表示される。図５では一文字の入力で操作ガイド５００が表示されているが、操作ガイド５００が表示されるタイミングは、ユーザーが手書きを中断したタイミングである。したがって、手書きデータ５０４の文字数は任意である。

【0069】

手書き認識文字列候補５０６、変換文字列候補５０７、文字列/予測変換の候補５０８にはそれぞれの文字列候補が確率降順で並んでいる。手書き認識文字列候補５０６の「ぎ」は認識結果の候補である。文字認識部２３は、この例では正しく「ぎ」を認識している。

【0070】

変換文字列候補５０７は「ぎ」のカナ漢字変換の結果（例えば「技」）から変換された変換文字列候補（例えば技を含む熟語）である。この例の「技量試」とは「技術量産試作」の略名である。文字列/予測変換の候補５０８は変換文字列候補５０７から変換された予測文字列候補である。この例では「技量試を決裁」と「議事録の送付先」が表示されている。

【0071】

操作コマンドの候補５１０は認識された文字に応じて表示される、予め定義されている操作コマンド（ファイル操作、文字の編集などのコマンド）の候補である。図５の例では行頭文字の「》」５１１が操作コマンドの候補であることを示している。図５では「ぎ」の文字列候補である「議事録」が、定義データと部分一致したため、操作コマンドの候補５１０が表示されている。

【0072】

操作コマンドの候補５１０は、変換された文字列を含む操作コマンド定義データが見つかる場合に表示されるため、常に表示されるとは限らない。本実施形態では、変換に関する操作コマンドの候補５１０が表示される。

【0073】

操作ヘッダー５２０はボタン５０１、５０９、５０２、５０５を有する。ボタン５０１は予測変換とカナ変換の切り替え操作を受け付ける。ボタン５０２は候補表示のページ操作をする。図５の例では候補表示ページは３ページあり、現在は１ページ目を表示している。ボタン５０５は操作ガイド５００の消去を受け付ける。ユーザーがボタン５０５を押下すると操作受付部２７が受け付けて、表示制御部２４が手書きデータ以外の表示を消去する。ボタン５０９は一括表示消去を受け付ける。ユーザーがボタン５０９を押下すると操作受付部２７が受け付けて、表示制御部２４が手書きデータを含め、図５に示されているすべての表示を消去して、ユーザーが最初から手書きをしなおすことを可能にする。

【0074】

＜表示方向と変換先言語の登録＞
図６は、表示方向を説明する図である。本実施形態では、ディスプレーの中央から予め定まっている辺に対する垂線方向を０°とする。そして、各辺のユーザーに正対する表示方向を反時計回りに９０°、１８０°、２７０°とする。

【0075】

手書きしているユーザーが４辺のどの方向に存在するかを表示装置２が判断する方法がいくつかある。１つの方法として、ユーザーが手書きする方向により入力方向検出部３２はユーザーが４辺のどの方向に存在するかを判断できる。

【0076】

図７は、ユーザーが手書きする方向と表示方向の対応を模式的に示す図である。例えば、ストロークデータの座標が、左から右、かつ、上から下に移動する場合（左から右への横書き）、この上から下方向に存在する辺が表示方向である。図７では各文字の始点と終点を黒丸で示すが、全体的に左上から右下に移動することが分かる。

【0077】

同様に、ストロークデータの座標が、上から下、かつ、右から左に移動する場合（上から下への縦書き）、この上から下方向に存在する辺が表示方向である。入力方向検出部３２はこのように、手書きデータに基づいてユーザーが４辺のどの方向に存在するかを推定できる。

【0078】

また、手書きデータの座標と表示方向の対応を、表示装置２のメーカーが機会学習により生成してもよい。例えば、担当者がニューラルネットワークに時系列の手書きデータを入力し、表示方向を教師データとして与えることで、入力方向検出部３２が学習モデルとして得られる。

【0079】

なお、図６では、表示方向が０°、９０°、１８０°、２７０°の４つであるが、表示方向はより細かく設定されてもよい。表示方向は、例えば４５°間隔や３０°間隔で設定されてもよい。

【0080】

別の方法として、表示装置２がペン２５００を利用してユーザーが４辺のどの方向に存在するかを判断する方法がある。この方法では、まず、ペン２５００に表示方向が対応付けられる。

【0081】

図８は、角度情報の入力方法を説明する図の一例である。図８では表示装置２の９０°の方向に存在するユーザーが角度情報を入力する場合を説明する。９０°の方向から手書きされた文字等は時計回りに９０度回転されると正しく認識されるので、９０度という表示方向が入力されるとよい。

【0082】

図８（ａ）は、表示装置２の９０°の方向に存在するユーザーが「ぎ」を手書きしたため、操作ガイド５００が表示された状態を示す。表示装置２は９０°の方向から手書きした「ぎ」を、表示方向が初期値の０°のまま文字認識するため、期待とは違う選択可能候補５３０が表示されている。

【0083】

角度情報を入力する場合、ユーザーは操作ガイド５００内に、ユーザーから見て上から下方向に直線を手書きする。図８（ｂ）はこの直線５２１の一例を示す。０°の方向とこの直線５２１との反時計回りのなす角αが表示方向である。すなわち、始点Ｓから０°の方向に下ろした直線５２２と、ユーザーが入力した直線５２１の反時計回りのなす角αが表示方向である。したがって、図８（ｂ）でユーザーが入力した表示方向は９０°である。

【0084】

なお、直線の検出には、例えば、始点Ｓから終点Ｅまでの座標を最小二乗法で直線に変換し、得られた相関係数と閾値を比較して直線か否かを判断する方法がある。

【0085】

ユーザーが直線５２１を書き始めた直後（ペン２５００を直線５２１の始点Ｓに触れた直後）、表示装置２は操作ガイド５００を消去する。また、直線５２１を書き終わった直後（ペン２５００を直線５２１の終点Ｅから離した直後）、表示装置２は、９０度、１８０度、２７０度、０度から上記のなす角αが最も近い値を探してそれを表示方向に決定する。なす角αそのものが角度情報でもよい。この表示方向が使用されたペン２５００に対応付けられる。

【0086】

ペン２５００は、手書きなどのためにペン先が押圧されると、ペンＩＤを表示装置２に送信するので、表示装置２はペン２５００と表示方向を対応付けることができる。

【0087】

図８（ｃ）は、図８（ｂ)の操作直後の操作ガイド５００を示す。ペン２５００に表示方向として９０°が設定されたので、手書きデータが内部的に９０°だけ時計回りに回転して文字認識され、操作ガイド５００は９０°だけ反時計回りに回転して表示されている。なお、角度情報はメニューからユーザーが手動で入力してもよい。

【0088】

図９は、表示方向と変換先言語をユーザーが対応付ける方法を説明する図である。図９では０°の表示方向と１８０°の表示方向にユーザーが存在する。表示装置２は、図７又は図８にて説明したように、手書きデータに基づいてユーザーが４辺のどの方向に存在するかを判断できる。あるいは、各ユーザーが使用するペン２５００にすでに表示方向が対応付けられている。

【0089】

０°の表示方向のユーザーが言語設定の操作コマンドを呼び出す「日本語」を手書きする。これにより、操作ガイド５００には「日本語に設定（表示言語）」「日本語に設定（変換先言語）」という操作コマンド３１０が表示される。ユーザーが「日本語に設定（表示言語）」の操作コマンドを選択すると、操作コマンド処理部２８は、ペンＩＤに対応付けて、入力方向検出部３２が「日本語」の手書きデータで検出した０°という表示方向に表示言語「日本語」を設定する。ペンＩＤは手書き時にペン２５００から送信されている。あるいは、操作コマンド処理部２８は、ペンＩＤに対応付けて、０°の表示方向のユーザーが使用したペン２５００の０°という表示方向に表示言語「日本語」を設定する。「日本語に設定（変換先言語）」が選択された場合も同様である。

【0090】

また、１８０°の表示方向のユーザーが言語設定の操作コマンドを呼び出す「English」を手書きする。これにより、操作ガイド５００には「Set to English（Display language）」「Set to English（Destination language）」という操作コマンド３１１が表示される。ユーザーが「Set to English（Display language）」の操作コマンドを選択すると、操作コマンド処理部２８は、ペンＩＤに対応付けて、入力方向検出部３２が「English」の手書きデータで検出した１８０°という表示方向に表示言語「英語」を設定する。あるいは、操作コマンド処理部２８は、ペンＩＤに対応付けて、１８０°の表示方向のユーザーが使用したペン２５００の１８０°という表示方向に表示言語「English」を設定する。「Set to English（Destination language）」が選択された場合も同様である。以上で、表１のような変換言語記憶部４１が生成される。

【0091】

なお、変換言語記憶部４１に登録されたペンＩＤ、表示方向及び変換先言語の対応は、ユーザーが予め定まっている操作コマンドを実行することで解除できる。

【0092】

また、ペンＩＤ＝１のペン２５００を使用するユーザーが手書きした手書きデータはペンＩＤ＝１に対応付けられている表示言語で文字認識される。例えば、ユーザーが手書きした「こんにちは」は日本語の「こんにちは」に認識される。また、ユーザー操作に応じて「こんにちは」は変換先言語の英語に変換される。

【0093】

＜手書きデータの変換例＞
続いて、図１０～図１８を参照して、手書きデータの変換例を説明する。図１０は、ユーザーが手書きした手書きデータ５０４を示す。図１０では、ペンＩＤ＝１のペン２５００でディスプレー（タッチパネル）に「ほんじつのぎ」が手書きされた。表示装置２の通信ユニット２１５ａは、ペン２５００からペンＩＤ＝１を受信する。

【0094】

図１１は、文字認識部２３が「ほんじつのぎ」を文字認識することで、表示制御部２４が表示した５つの文字列候補５３９を示す。図１１では「本日の議事」「本日の議事録」「本日の議題」「本日の儀」「本日の技術」の５つの文字列候補５３９が操作ガイド５００に表示されている。これは、ペンＩＤ＝１のペン２５００に設定されている表示言語が日本語なので、文字認識部２３は日本語の文字列候補５３９に変換したからである。

【0095】

図１２は、ユーザーが任意の文字列候補５３９を選択した場合に表示される、変換先言語に変換された変換先文字列１０１を示す。図１１でユーザーがペン２５００で「本日の議事」を選択した。言語変換部３０は、ペン２５００が操作ガイド内を押下したため、ペン２５００の変換先言語に文字列候補を変換すると判断する。ペンＩＤ＝１のペン２５００に設定されている変換先言語は英語なので、言語変換部３０は選択された日本語の文字列候補「本日の議事録」を英語に変換する。したがって、図１２では「Today's proceedings」と表示制御部２４が表示した。文字列候補の選択により、操作ガイド５００は消去される。

【0096】

図１２でユーザーが表示した変換先文字列１０１では、ペンＩＤ＝２のペン２５００を使う英語話者とのコミュニケーションがうまくいかず（会話が噛み合わない）、相応しくない変換先文字列１０１が表示されたとペンＩＤ＝１のユーザーが判断したとする。ペンＩＤ＝１のユーザーは変換先文字列１０１の再変換を試みる。

【0097】

図１３は、変換先文字列１０１の再変換について説明する図である。ユーザーが変換先文字列１０１である「Today's proceedings」を選択する。

【0098】

図１３（ａ）は、ペンＩＤ＝１のペン２５００でユーザーが変換先文字列１０１を長押しすることで選択する方法を示す。ペン２５００のペン先の座標が変換先文字列１０１の外接矩形内で、一定時間以上、押下された場合、言語変換部３０は変換先文字列１０１が選択されたと判断する。

【0099】

図１３（ｂ）は、ペンＩＤ＝１のペン２５００でユーザーが変換先文字列１０１を枠線１０２で囲むことで選択する方法を示す。枠線１０２の最右座標、最左座標、最上座標、及び、最下座標が、変換先文字列１０１の外接矩形よりも外側である場合、言語変換部３０は変換先文字列１０１が選択されたと判断する。

【0100】

図１３（ｃ）は、ペンＩＤ＝１のペン２５００でユーザーが変換先文字列１０１に重畳線１０４を引くことで選択する方法を示す。変換先文字列１０１の幅方向をＸ軸、高さ方向をＹ軸とする。重畳線１０４の全体のＹ座標が、変換先文字列１０１の外接矩形の高さ方向に含まれる場合（外接矩形のＹ座標の最小値と最大値の間にある）、言語変換部３０は変換先文字列１０１が選択されたと判断する。

【0101】

図１４は、変換先文字列「Today's proceedings」の選択に対して表示された５つの文字列候補５３９を示す。文字認識部２３は図１１の文字列候補を保存しておいて、表示制御部２４が、再度、表示する。あるいは、「ほんじつのぎ」の手書きデータ５０４を文字認識部２３が保存しておいて、再度、文字認識することで、５つの文字列候補５３９を再度、表示制御部２４が表示してもよい。

【0102】

図１３で、変換先文字列１０１の選択に使用されたペン２５００のペンＩＤが１なので、文字認識部２３は日本語に認識し、表示制御部２４も日本語の文字列候補５３９を表示する。後述するように、変換先文字列１０１の選択に使用されたペン２５００のペンＩＤが２の場合、文字列候補５３９が英語で表示される。

【0103】

図１４に示すように文字列候補５３９を含む操作ガイド５００が再度、表示されるので、ペンＩＤ＝１のペン２５００を使用するユーザーは再度、文字列候補を選択できる。例えば図１４で「本日の議事録」をユーザーがペン２５００で選択した。

【0104】

図１５は、「本日の議事録」をユーザーがペン２５００で選択した場合に表示される変換先言語の変換先文字列１０１を示す。言語変換部３０は、図１４でペン２５００が操作ガイド内を押下したため、ペン２５００の変換先言語に文字列候補を変換すると判断する。ペンＩＤ＝１のペン２５００に設定されている変換先言語は英語なので、言語変換部３０は選択された日本語の文字列候補「本日の議事録」を英語に変換する。したがって、図１５では「Today's minutes」という変換先文字列１０１を表示制御部２４が表示した。文字列候補５３９の選択により、操作ガイド５００は消去される。

【0105】

このように、本実施形態の表示装置２は、他の言語に変換される複数の文字列候補からユーザーが変換先言語に変換する文字列を選択できるので、円滑なコミュニケーションがしやすくなる。また、一度、文字列が変換先言語に変換されても、ユーザーが変換先文字列１０１を選択することで、再度、他の言語に変換される複数の文字列候補を表示できる。したがって、ユーザーが手書きデータを何度も手書きすることなく、別の文字列候補を選択して、変換先言語に変換できる。

【0106】

＜ペンＩＤ＝２のペン２５００による再変換＞
図１３にて説明したようにコミュニケーションがうまくいかない状況が生じた場合、ペンＩＤ＝２のペン２５００のユーザーが、「Today's proceedings」を選択してもよい。変換先文字列１０１の選択に使用されたペン２５００のペンＩＤが２なので、言語変換部３０は英語の認識結果を表示する。

【0107】

図１６は、ペンＩＤ＝２のペン２５００で「Today's proceedings」が選択された場合に表示される文字列候補５３９を示す。言語変換部３０は、「本日の議事」「本日の議事録」「本日の議題」「本日の儀」「本日の技術」の５つの文字列候補を、ペンＩＤ＝２のペン２５００の表示言語である英語に変換する。

【0108】

ペンＩＤ＝２のペン２５００のユーザーは英語話者であることが想定されているので、このユーザーは文字列候補５３９から、ペンＩＤ＝１のペン２５００のユーザーが理解できる言語で表示したい文字列候補を選択できる。例えば、ペンＩＤ＝２のペン２５００のユーザーが「Today's minutes」をペン２５００で選択した場合、ペンＩＤ＝２のペン２５００の変換先言語は日本語なので、言語変換部３０は「Today's minutes」を「本日の議事録」に変換する。したがって、図１６では日本語が変換先文字列１０１となる。

【0109】

このように、英語話者が自分のペン２５００で直接、文字列候補を選択できるので、コミュニケーションが進みやすくなる。

【0110】

＜ペンＩＤ＝３のペン２５００による変換＞
表１によれば、ペンＩＤ＝３のペン２５００は、表示言語が日本語、変換先言語が中国語である。したがって、図１１において、ペンＩＤ＝３のペン２５００のユーザーが文字列候補を選択すると、言語変換部３０は選択された文字列候補を中国語に変換する。

【0111】

図１７は、図１１において、ペンＩＤ＝３のペン２５００のユーザーが文字列候補を選択した場合の変換例である。ユーザーがペンＩＤ＝３のペン２５００で「本日の議事」を選択したとする。言語変換部３０は、ペン２５００が操作ガイド内を押下したため、ペン２５００の変換先言語に文字列候補「本日の議事」を変換すると判断する。ペンＩＤ＝３のペン２５００に設定されている変換先言語は中国語なので、言語変換部３０は選択された日本語の文字列候補を中国語に変換する。

【0112】

図１７では中国語である「今天的程序」に変換された変換先文字列１０１を表示制御部２４が表示した。文字列候補５３９の選択により、操作ガイド５００は消去される。

【0113】

このように、表示装置２は、ユーザーが使用するペン２５００に対応付けられている変換先言語に応じて文字列候補を変換できる。

【0114】

＜ペンに対応付けられている変換先言語への変換処理＞
図１８は、表示装置２がペン２５００に対応付けられている変換先言語へ、選択された文字列候補を変換する処理を説明するフローチャート図の一例である。

【0115】

まず、接触位置検出部２１が検出するペン２５００の座標に応じて、手書きデータの入力を受け付ける（Ｓ１）。描画データ生成部２２は座標点を保間して、手書きデータを生成する。

【0116】

文字認識部２３は、ユーザーがペン２５００をディスプレーから離して一定時間が経過すると、手書きデータを文字認識する（Ｓ２）。文字認識部２３は、ペン通信部３１がペン２５００から受信したペンＩＤに基づいて表１の変換言語記憶部４１から表示言語を取得する。文字認識部２３はこの表示言語で手書きデータを文字認識する。

【0117】

表示制御部２４は操作ガイド５００を表示する（Ｓ３）。表示制御部２４は少なくとも文字列候補５３９を表示し、変換した文字列が操作コマンドに該当する場合は、操作コマンドの候補も表示する。

【0118】

ユーザーがペン２５００で文字列候補５３９を選択すると、接触位置検出部２１は文字列候補５３９の選択を受け付ける（Ｓ４）。接触位置検出部２１はペン２５００の選択の座標を検出する。言語変換部３０は、ペン２５００が操作ガイド内を押下したため、ペン２５００の変換先言語に文字列候補を変換すると判断する。言語変換部３０は、ペン２５００からペン通信部３１が受信したペンＩＤに対応付けられている変換先言語に、文字列候補を変換する（Ｓ５）。表示制御部２４は変換先文字列１０１を表示し、文字列候補の選択に応じて操作ガイド５００を消去する。

【0119】

次に、言語変換部３０は、変換先文字列１０１がペン２５００により選択されたか否かを判断する（Ｓ６）。選択されない場合、図１８の処理は終了する。

【0120】

変換先文字列１０１がペン２５００により選択された場合、表示制御部２４が操作ガイド５００を再度表示する（Ｓ７）。文字認識部２３は、ペン通信部３１がペン２５００から受信したペンＩＤに基づいて表１の変換言語記憶部４１から表示言語を取得する。文字認識部２３がこの表示言語で手書きデータを文字列候補５３９に変換済みの場合、表示制御部２４は保存してある文字列候補５３９を表示する。文字認識部２３がこの表示言語で手書きデータを文字列候補５３９に変換済みでない場合、文字認識部２３は表示言語で手書きデータ５０４を文字列候補５３９に変換して、表示制御部２４が文字列候補５３９を表示する。

【0121】

この後、処理は、ステップＳ４に戻り、ユーザーはコミュニケーションがうまくいく文字列候補５３９を繰り返し選択できる。

【0122】

＜変換先文字列の回転について＞
表１に示したように、変換言語記憶部４１ではペンＩＤに対応付けて表示方向が登録されている。この表示方向に表示言語で文字列が表示されると、ペン２５００のユーザーに正対するので読みやすい。そこで、変換先言語に変換された変換先文字列１０１を表示装置２が表示する場合、変換先言語を表示言語に有するペン２５００の表示方向に回転処理部２９が変換先文字列１０１を回転させるとよい。

【0123】

例えば、ペンＩＤ＝１のペン２５００の変換先言語は英語であるが、ペンＩＤ＝２のペン２５００の表示言語は英語である。したがって、回転処理部２９は英語に変換した変換先文字列１０１を、ペンＩＤ＝２の表示方向である１８０°に回転させて表示する。

【0124】

図１９は、変換先文字列１０１の回転を説明する図である。図示するように、表示方向が定められているものとする。図１９（ａ）は図１１と同じ状態である。ユーザーがペンＩＤ＝１のペン２５００で文字列候補５３９を選択すると、文字列候補５３９が英語に変換される。英語を表示言語に有するペン２５００が変換言語記憶部４１に設定されており、該ペンの表示方向は１８０°なので、回転処理部２９は英語の変換先文字列１０１を１８０°の表示方向に回転させる。

【0125】

図１９（ｂ）は１８０°の表示方向に回転された変換先文字列１０１を示す。したがって、１８０°の表示方向に存在するユーザーが変換先文字列１０１を読みやすい。

【0126】

次に、コミュニケーションがうまくいかず、図１９（ｂ）の状態で、ペンＩＤ＝１のペン２５００でユーザーが変換先文字列１０１を選択したとする。この場合、ペンＩＤ＝１に対応付けられている表示方向が０°なので、表示制御部２４は０°の表示方向に操作ガイド５００を表示する。

【0127】

図２０（ａ）は、変換先文字列１０１と０°の表示方向に表示された操作ガイド５００を示す。したがって、ペンＩＤ＝１のペン２５００でユーザーは文字列候補５３９を読みやすい。

【0128】

また、コミュニケーションがうまくいかず、図１９（ｂ）の状態で、ペンＩＤ＝２のペン２５００でユーザーが変換先文字列１０１を選択したとする。この場合、ペンＩＤ＝１に対応付けられている表示方向が１８０°なので、表示制御部２４は１８０°の表示方向に操作ガイド５００を表示する。

【0129】

図２０（ｂ）は、変換先文字列１０１と１８０°の表示方向に表示された操作ガイド５００を示す。したがって、ペンＩＤ＝２のペン２５００でユーザーは文字列候補を読みやすい。

【0130】

図２０では、ペンＩＤに対応付けられている表示方向が０°と１８０°の場合を示したが、図２１に示すように、ペンＩＤに対応付けられている表示方向が９０°と２７０°の場合も同様に表示装置２が操作ガイド５００を表示できる。

【0131】

図２１（ａ）は、変換先文字列１０１と９０°の表示方向に表示された操作ガイド５００を示す。図２１（ｂ）は、変換先文字列１０１と２７０°の表示方向に表示された操作ガイド５００を示す。図２１（ａ）（ｂ）は、いずれも図１９（ｂ）の状態から、９０°と２７０°の表示方向が対応付けられたペン２５００でユーザーが変換先文字列１０１を選択した場合を示す。図２１の文字列候補５３９は英語であるが、中国語やフランス語など、ペン２５００に対応付けられている言語で表示可能である。

【0132】

このように、表示装置２が文字列の変換と共に変換先文字列１０１や操作ガイド５００を回転させることで、コミュニケーションがしやすくなる。

【0133】

＜主な効果＞
以上説明したように、本実施形態の表示装置は、他の言語に変換される複数の文字列候補からユーザーが変換先言語に変換する文字列を選択できるので、円滑なコミュニケーションがしやすくなる。また、一度、文字列が変換先言語に変換されても、ユーザーが変換先文字列１０１を選択することで、再度、他の言語に変換される複数の文字列候補を表示できる。したがって、ユーザーが手書きデータを何度も手書きすることなく、別の文字列候補を選択して、変換先言語に変換できる。また、表示装置２は、ペンに設定されている変換先言語に選択された文字列候補を変換できる。

【実施例2】

【0134】

以下の実施例では表示装置２の別の構成例について説明する。

【0135】

＜＜表示装置の別の構成例１＞＞
本実施形態の表示装置２は大型のタッチパネルを有するものとして説明されているが、表示装置２はタッチパネルを有するものに限られない。

【0136】

図２２は、表示装置２の他の構成例を示す図である。図２２では、通常のホワイトボード４１３の上辺にプロジェクター４１１が設置されている。このプロジェクター４１１が表示装置２に相当する。通常のホワイトボード４１３とは、タッチパネルと一体のフラットパネルディスプレーではなく、ユーザーがマーカーで直接、手書きするホワイトボードである。なお、ホワイトボードは黒板でもよく、映像を投影するだけの広さの平面であればよい。

【0137】

プロジェクター４１１は超短焦点の光学系を有しており、１０ｃｍ程度から歪みの少ない映像をホワイトボード４１３に投影できる。この映像は、無線又は有線で接続されたＰＣから送信されてもよいし、プロジェクター４１１が記憶していてもよい。

【0138】

ユーザーは専用の電子ペン２５０１を使ってホワイトボード４１３に手書きする。電子ペン２５０１は、ユーザーが手書きのためにホワイトボード４１３に押しつけるとスイッチがＯＮになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザーの目には見えない。プロジェクター４１１はカメラを有しており、発光部を撮像して画像を解析し電子ペン２５０１の方向を特定する。また、電子ペン２５０１は発光と共に音波を発信しており、プロジェクター４１１は音波の到達時間により距離を算出する。プロジェクター４１１は方向と距離により電子ペン２５０１の位置を特定できる。電子ペン２５０１の位置には手書きされたデータが描画（投影）される。

【0139】

プロジェクター４１１はメニュー４３０を投影するので、ユーザーが電子ペン２５０１でボタンを押下すると、プロジェクター４１１が電子ペン２５０１の位置とスイッチのＯＮ信号により押下されたボタンを特定する。例えば、保存ボタン４３１が押下されると、ユーザーが手書きした手書きされたデータ（座標点列）がプロジェクター４１１で保存される。プロジェクター４１１は、予め定められたサーバー４１２又はＵＳＢメモリー２６００等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザーが再編集することができる。ただし、本実施形態では操作コマンドを手書きで呼び出せるのでメニュー４３０は表示されなくてもよい。

【実施例3】

【0140】

＜＜表示装置の別の構成例２＞＞
図２３は、表示装置２の他の構成例を示す図である。図２３の例では、表示装置２が、端末装置６００、画像投影装置７００Ａ、及び、ペン動作検出装置８１０を有する。

【0141】

端末装置６００は、画像投影装置７００Ａ及びペン動作検出装置８１０と有線で接続されている。画像投影装置７００Ａは、端末装置６００により入力された画像データをスクリーン８００に投影させる。

【0142】

ペン動作検出装置８１０は、電子ペン８２０と通信を行っており、スクリーン８００の近傍における電子ペン８２０の動作を検出する。具体的には、電子ペン８２０は、スクリーン８００上において、電子ペン８２０が示している点を示す座標情報を検出し（検出方法は図２２と同様でよい）、端末装置６００へ送信する。

【0143】

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０によって入力される手書きデータの画像データを生成し、画像投影装置７００Ａによって手書きデータの画像をスクリーン８００に描画させる。

【0144】

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。

【実施例4】

【0145】

＜＜表示装置の別の構成例３＞＞
図２４は、表示装置２の構成例を示す図である。図２４の例では、表示装置２が、端末装置６００と、ディスプレー８００Ａと、ペン動作検出装置８１０Ａとを有する。

【0146】

ペン動作検出装置８１０は、ディスプレー８００Ａの近傍に配置され、ディスプレー８００Ａ上に、電子ペン８２０Ａが示している点を示す座標情報を検出し（検出方法は図２２と同様でよい）、端末装置６００へ送信する。なお、図２４の例では、電子ペン８２０Ａは、端末装置６００によってＵＳＢコネクタを介して充電されても良い。

【0147】

端末装置６００は、ペン動作検出装置８１０Ａから受信した座標情報に基づき、電子ペン８２０Ａによって入力される手書データの画像データを生成し、ディスプレー８００Ａに表示させる。

【実施例5】

【0148】

＜＜表示装置の別の構成例４＞＞
図２５は、表示装置２の構成例を示す図である。図２５の例では、表示装置２が、端末装置６００と、画像投影装置７００Ａとを有する。

【0149】

端末装置６００は、電子ペン８２０Ｂと無線通信（Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を行って、スクリーン８００上において電子ペン８２０Ｂが示す点の座標情報を受信する。座標情報は、スクリーン８００に形成された微小な位置情報を電子ペン８２０Ｂが読み取ってもよいし、スクリーン８００から座標情報を受信してもよい。

【0150】

そして、端末装置６００は、受信した座標情報に基づき、電子ペン８２０Ｂにより入力される手書データの画像データを生成し、画像投影装置７００Ａに手書データの画像を投影させる。

【0151】

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０Ｂによって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。

【0152】

以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。

【0153】

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【0154】

文字列は文字コードとして、手書きデータは座標点データとして表示装置２に保存される。また、各種の記憶媒体に保存したり、ネットワーク上の記憶装置に保存したりしておいて、後で、表示装置２からダウンロードして再使用することができる。再使用する表示装置２はどの表示装置でもよく、一般的な情報処理装置でもよい。したがって、ユーザーは手書きした内容を異なる表示装置２で再現して会議などを継続することができる。

【0155】

例えば、本実施形態では電子黒板を一例として説明したが、電子黒板は、電子ホワイトボード、電子情報ボード、などと呼ばれてよい。また、本実施形態は、タッチパネルを有する情報処理装置であれば好適に適用できる。タッチパネルを搭載した情報処理装置としては、例えば、ＰＪ（Projector：プロジェクター）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。

【0156】

また、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、表示装置２はペン先の座標を超音波により検出してもよい。また、ペンは発光と共に超音波を発信しており、表示装置２は超音波の到達時間により距離を算出する。方向と距離によりペンの位置を特定できる。ペンの軌跡をストロークデータとしてプロジェクターが描画（投影）する。

【0157】

また、図４などの構成例は、表示装置２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

【0158】

また、表示装置２が行う処理の一部を、表示装置２とネットワークを介して接続されたサーバーが行ってもよい。

【0159】

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

【0160】

接触位置検出部２１は受付手段の一例である。記憶部４０は記憶手段の一例である。文字認識部２３は文字認識手段の一例である。表示制御部２４は表示制御手段の一例である。言語変換部３０は変換手段の一例である。

【符号の説明】

【0161】

２ 表示装置

【先行技術文献】

【特許文献】

【0162】

【文献】特許第３５９９９２７号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】