(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-02
(45)【発行日】2024-12-10
(54)【発明の名称】表示装置、表示方法およびプログラム
(51)【国際特許分類】
G06F 3/16 20060101AFI20241203BHJP
G06F 3/04883 20220101ALI20241203BHJP
G06F 3/04842 20220101ALI20241203BHJP
G10L 15/00 20130101ALI20241203BHJP
G10L 15/22 20060101ALI20241203BHJP
【FI】
G06F3/16 610
G06F3/16 620
G06F3/04883
G06F3/04842
G06F3/16 520
G10L15/00 200B
G10L15/22 460Z
(21)【出願番号】P 2021016604
(22)【出願日】2021-02-04
【審査請求日】2023-12-12
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】下平 佳彦
(72)【発明者】
【氏名】藤岡 進
【審査官】亀澤 智博
(56)【参考文献】
【文献】特開2019-149080(JP,A)
【文献】特開2014-149612(JP,A)
【文献】国際公開第2020/115909(WO,A1)
【文献】米国特許出願公開第2014/0163983(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/16
G06F 3/01
G06F 3/048 - 3/04895
G10L 15/00 -15/34
(57)【特許請求の範囲】
【請求項1】
画面への第一のタッチ操作が検出されると、音声の入力を受け付けて、入力された音声を音声認識によって文字に変換する音声処理部と、
前記画面における前記第一のタッチ操作を受けた位置に、変換された前記文字を表示する制御を行う表示制御部と、を備え、
前記音声処理部は、前記音声認識によって表示された文字への第二のタッチ操作が検出されると、前記第二のタッチ操作を前記文字の訂正操作として受け付け
、前記画面への第一のタッチ操作が検出されると、訂正機能についての動作モードを訂正ONモードに切り替え、前記訂正機能についての動作モードが前記訂正ONモードである場合に、前記音声認識によって表示された文字への前記第二のタッチ操作が検出されると、前記第二のタッチ操作を前記文字の訂正操作として受け付け、訂正ONモードの開始から一定時間が経過すると、訂正機能についての動作モードを訂正OFFモードに切り替える、
表示装置。
【請求項2】
前記表示制御部は、前記音声認識によって表示された文字への第二のタッチ操作が検出されると、前記文字の訂正候補を表示する、
請求項1に記載の表示装置。
【請求項3】
前記音声処理部は、前記音声認識によって表示された文字への第二のタッチ操作が検出されると、前記文字の訂正として手書き入力を受け付ける、
請求項1に記載の表示装置。
【請求項4】
前記音声処理部は、前記音声認識によって表示された文字への第二のタッチ操作が検出されると、前記文字の訂正として音声入力を受け付けて、音声認識によって訂正後の文字に変換する、
請求項1に記載の表示装置。
【請求項5】
コンピュータが実行する方法であって、
画面への第一のタッチ操作が検出されると、音声の入力を受け付けて、入力された音声を音声認識によって文字に変換するステップと、
前記画面における前記第一のタッチ操作を受けた位置に、変換された前記文字を表示する制御を行うステップと、
前記音声認識によって表示された文字への第二のタッチ操作が検出されると、前記第二のタッチ操作を前記文字の訂正操作として受け付け
、前記画面への第一のタッチ操作が検出されると、訂正機能についての動作モードを訂正ONモードに切り替え、前記訂正機能についての動作モードが前記訂正ONモードである場合に、前記音声認識によって表示された文字への前記第二のタッチ操作が検出されると、前記第二のタッチ操作を前記文字の訂正操作として受け付け、訂正ONモードの開始から一定時間が経過すると、訂正機能についての動作モードを訂正OFFモードに切り替えるステップと、を備える、
表示方法。
【請求項6】
コンピュータに、
画面への第一のタッチ操作が検出されると、音声の入力を受け付けて、入力された音声を音声認識によって文字に変換するステップと、
前記画面における前記第一のタッチ操作を受けた位置に、変換された前記文字を表示する制御を行うステップと、
前記音声認識によって表示された文字への第二のタッチ操作が検出されると、前記第二のタッチ操作を前記文字の訂正操作として受け付け
、前記画面への第一のタッチ操作が検出されると、訂正機能についての動作モードを訂正ONモードに切り替え、前記訂正機能についての動作モードが前記訂正ONモードである場合に、前記音声認識によって表示された文字への前記第二のタッチ操作が検出されると、前記第二のタッチ操作を前記文字の訂正操作として受け付け、訂正ONモードの開始から一定時間が経過すると、訂正機能についての動作モードを訂正OFFモードに切り替えるステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置、表示方法およびプログラムに関する。
【背景技術】
【0002】
音声の入力を受け付けて、入力された音声を音声認識によって文字に変換して表示する表示装置が開示されている。
【0003】
例えば、特許文献1には、音声受付手段が受け付けた音声のテキストデータに係る文字の表示部への表示属性を決定し、決定された表示属性に基づき文字を表示する入力表示装置が開示されている。表示属性とは、例えば、表示すべき文字又は文字列の表示開始及び表示終了位置、フォントサイズ、縦書きまたは横書き等である。
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の技術では、音声認識による文字表示において、音声認識を開始するタイミングの指定、文字を表示する位置の指定および表示された文字の訂正等の操作が煩雑であり、操作性が低いという問題がある。
【0005】
開示の技術は、音声認識による文字表示における操作性を向上させることを目的とする。
【課題を解決するための手段】
【0006】
開示の技術は、画面への第一のタッチ操作が検出されると、音声の入力を受け付けて、入力された音声を音声認識によって文字に変換する音声処理部と、前記画面における前記第一のタッチ操作を受けた位置に、変換された前記文字を表示する制御を行う表示制御部と、を備え、前記音声処理部は、前記音声認識によって表示された文字への第二のタッチ操作が検出されると、前記第二のタッチ操作を前記文字の訂正操作として受け付け、画面への第一のタッチ操作が検出されると、訂正機能についての動作モードを訂正ONモードに切り替え、前記訂正機能についての動作モードが前記訂正ONモードである場合に、前記音声認識によって表示された文字への前記第二のタッチ操作が検出されると、前記第二のタッチ操作を前記文字の訂正操作として受け付け、訂正ONモードの開始から一定時間が経過すると、訂正機能についての動作モードを訂正OFFモードに切り替える表示装置である。
【発明の効果】
【0007】
音声認識による文字表示における操作性を向上させることができる。
【図面の簡単な説明】
【0008】
【
図2】表示装置のハードウェア構成の一例を示す図である。
【
図5】音声処理の流れの一例を示すシーケンス図である。
【
図6】音声処理に係る表示画面の一例を示す第一の図である。
【
図7】音声処理に係る表示画面の一例を示す第二の図である。
【
図8】音声処理に係る表示画面の一例を示す第三の図である。
【
図9】表示装置の他の構成例を示す第一の図である。
【
図10】表示装置の他の構成例を示す第二の図である。
【
図11】表示装置の他の構成例を示す第三の図である。
【
図12】表示装置の他の構成例を示す第四の図である。
【発明を実施するための形態】
【0009】
以下に図面を参照して、本発明の実施の形態について説明する。
【0010】
まず、本実施形態に係る用語について説明する。手書きデータとは、ディスプレー上でユーザが入力手段を連続的に移動させた座標点列を軌跡として表示したデータである。また、ユーザがディスプレーに入力手段を押しつけてから連続的に移動させた後、ディスプレーから離すという一連の操作をストロークといい、ストロークにより手書きされたデータをストロークデータという。ストロークデータは、座標点列を示す座標群とも言える。
【0011】
手書きデータは1つ以上のストロークデータを有する。具体的には、手書きデータは、ストロークが終了してから次のストロークを開始するまでの時間、すなわち、入力手段をディスプレーから離してから接触させるまでの時間が、所定の時間よりも短い複数のストロークデータをまとめたデータである。したがって、手書きデータは、手書きデータが有するストロークデータが示す座標群を含む。
【0012】
入力手段は、ディスプレーの座標を指定して手書きデータを入力するための手段である。例えば、ペン、人の指や手、棒状部材などは、入力手段の一例である。
【0013】
次に、表示装置の構成について説明する。
【0014】
【0015】
(a)では、表示装置2の一例として、壁につり下げられた横長の電子黒板として使用される表示装置2を示している。
【0016】
(b)は壁につり下げられた縦長の電子黒板として使用される表示装置2を示している。
【0017】
(c)は机230に平置きされた表示装置2を示す。表示装置2は厚みが1cm程度なので、一般の机に平置きしても机の高さを調整する必要がない。また、容易に移動できる。
【0018】
表示装置2には表示部の一例としてのディスプレー220が設置されている。ユーザUは、ペン2500を用いて、ディスプレー220に文字等を手書きする(入力、描画ともいう)ことができる。
【0019】
図2は、表示装置のハードウェア構成の一例を示す図である。
【0020】
表示装置2は、情報処理装置又はコンピュータの構成を有している。表示装置2は、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203、及び、SSD(Solid State Drive)204を備えている。
【0021】
CPU201は、表示装置2全体の動作を制御する。ROM202は、CPU201およびIPL(Initial Program Loader)等のCPU201の駆動に用いられるプログラムを記憶する。RAM203は、CPU201のワークエリアとして使用される。SSD204は、表示装置2用のプログラム等の各種データを記憶する。
【0022】
また、表示装置2は、ディスプレーコントローラ213、タッチセンサコントローラ215、タッチセンサ216、ディスプレー220、電源スイッチ227、チルトセンサ217、シリアルインターフェイス218、スピーカ219、マイク221、無線通信装置222、赤外線I/F223、電源制御回路224、ACアダプター225、及びバッテリー226を備えている。
【0023】
ディスプレーコントローラ213は、出力画像をディスプレー220等へ出力するために画面表示の制御及び管理を行う。タッチセンサ216は、ディスプレー220上にペン2500やユーザの手等(ペンやユーザの手は入力手段となる)が接触したことを検知する。また、タッチセンサ216はペンIDを受信する。
【0024】
タッチセンサコントローラ215は、タッチセンサ216の処理を制御する。タッチセンサ216は、座標の入力及び座標の検出を行う。具体的には、例えば、光学式の場合、ディスプレー220の上側両端部に設置された2つ受発光装置が、ディスプレー220に平行して複数の赤外線を放射する。そして、当該2つの受発光装置が、ディスプレー220の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する。
【0025】
タッチセンサ216は、物体によって遮断された2つの受発光装置が放射した赤外線の位置情報をタッチセンサコントローラ215に出力する。タッチセンサコントローラ215は、物体の接触位置である座標位置を特定する。また、タッチセンサコントローラ215は、通信ユニット215aを有しており、ペン2500と無線で通信することができる。
【0026】
例えば、Bluetooth(登録商標)などの規格に従って通信している場合は、市販されているペンを使用することができる。通信ユニット215aに予め1つ以上のペン2500が登録されていると、ユーザはペン2500を表示装置2と通信させる接続設定を行わなくても通信できる。
【0027】
電源スイッチ227は、表示装置2の電源のON/OFFを切り換えるためのスイッチである。チルトセンサ217は、表示装置2の傾き角度を検出するセンサである。表示装置2は、チルトセンサ217によって測定される設置状態に応じて、文字等の太さを自動で変更することができる。
【0028】
シリアルインターフェイス218はUSBなどの外部との通信インターフェイスであって、外部から情報を入力する。スピーカ219は、音声を出力する。マイク221は、音声を入力する。無線通信装置222は、ユーザが携帯する端末と通信し、例えばインターネットへの接続を中継する。無線通信装置222はWi-Fi(登録商標)またはBluetooth(登録商標)などの規格に沿って通信するが、どのような規格に沿って通信しても良い。無線通信装置222はアクセスポイントを形成しており、ユーザが入手したSSID(Service Set Identifier)とパスワードをユーザが携帯する端末に設定すると、当該端末は、アクセスポイントを形成している無線通信装置222に接続できる。
【0029】
なお、無線通信装置222には例えば下記の2つのアクセスポイントを形成している。
a.アクセスポイント→インターネット
b.アクセスポイント→社内ネットワーク→インターネット
aのアクセスポイントは社外のユーザ用である。aのアクセスポイントに接続された端末は、社内ネットワークにはアクセスできないが、インターネットを利用できる。bのアクセスポイントは社内のユーザ用である。bのアクセスポイントに接続された端末は、ユーザは社内ネットワーク及びインターネットを利用できる。
【0030】
赤外線I/F223は隣に配置された表示装置2を検出する。赤外線の直進性を利用して、隣に配置された表示装置2のみを検出できる。赤外線I/F223は各辺に1つずつ設けられることが好ましく、表示装置2のどの方向に他の表示装置2が配置されたのかを検出できる。これにより画面が広がり、隣の表示装置2に過去に手書きされた手書き情報(1つのディスプレー220の広さを1ページとして別のページの手書き情報)等を表示できる。
【0031】
電源制御回路224は表示装置2の電源であるACアダプター225とバッテリー226を制御する。ACアダプター225は商用電源が共有する交流を直流に変換する。
【0032】
ディスプレー220がいわゆる電子ペーパーの場合、画像の表示を維持するためにほとんど又は一切電力を消費しないので、バッテリー226による駆動も可能である。これにより、屋外など電源を接続しにくい場所でもデジタルサイネージなどの用途で表示装置2を使用することが可能になる。
【0033】
更に、表示装置2は、バスライン210を備えている。バスライン210は、
図2に示されているCPU201等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0034】
なお、タッチセンサ216は、光学式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式の検出手段、対向する2つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式の検出手段、または接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式の検出手段など種々の検出手段を備えていてもよい。タッチセンサ216は、ペン先のタッチの有無を検知するのに電子ペンが不要な方式であっても良い。この場合はタッチ操作をするのに指先やペン型の棒を使用できる。なお、ペン2500は、細長いペン型の形状でなくても良い。
【0035】
【0036】
電源を内蔵して表示装置2に命令を送信できるペン2500をアクティブペンという(電源を内蔵しないペンをパッシブペンという)。
図3のペン2500は、物理的なスイッチをペン先に一つ、ペン尻に一つおよびペン側面に二つ備えている。ペン先のスイッチが筆記用であり、ペン尻が消去用であり、ペン側面のスイッチがユーザ機能割り当て用である。本実施形態のペン2500は不揮発性のメモリを有しており、他のペンと重複しないペンIDを記憶している。
【0037】
なお、スイッチ付きのペンであれば、ユーザの表示装置2の操作手順を減らすことも可能である。スイッチ付きのペンとは主にアクティブペンを言うが、電磁誘導方式では電源を内蔵しないパッシブペンでもLC回路だけで電力を発生できるため、アクティブペンだけでなく電磁誘導方式のパッシブペンを含む。電磁誘導方式以外の光学方式、赤外線方式、及び、静電容量方式のスイッチのあるペンはアクティブペンである。
【0038】
なお、ペン2500のハードウェア構成は、通信機能とマイコンを備えた一般的な制御方式と同様である。ペン2500の座標の入力方式には、電磁誘導方式またはアクティブ静電結合方式などがある。また、ペン2500は、筆圧検知、傾き検知またはホバー機能(ペンが触れる前にカーソルを表示)などの機能を有していても良い。
【0039】
【0040】
表示装置2は、接触位置検出部21と、描画データ生成部22と、文字認識部23と、接触処理部24と、音声処理部25と、表示制御部26と、データ記録部27と、ネットワーク通信部28と、操作受付部29と、記憶部30と、を備える。
【0041】
表示装置2が備える各部は、
図2に示されている各構成要素のいずれかが、SSD204からRAM203上に展開されたプログラムに従ったCPU201からの命令によって動作することで実現される。
【0042】
接触位置検出部21は、ペン2500のペン先がディスプレー220に接触した位置の座標を検出する。接触位置検出部21は、タッチセンサコントローラ215とタッチセンサ216により実現される。接触位置検出部21は、入力手段によって手書きデータの入力を受け付ける受付手段の一例である。
【0043】
描画データ生成部22は、ペン2500のペン先がディスプレー220に接触した座標を接触位置検出部21から短い時間間隔で複数回に亘って取得して、取得した複数の座標を補間することによって接続された画像を示す描画データを生成する。すなわち、描画データ生成部22は、手書きデータに基づく画像を示す描画データを生成する。
【0044】
文字認識部23はユーザが手書きした1つ以上のストロークデータ(手書きデータ)に対し文字認識処理を行い、文字コードに変換する。文字認識部23は、ユーザのペン操作と並行して文字(日本語だけでなく英語などの多国語)、数字、記号(%、$、&など)、図形(線、丸、三角など)等を認識していく。認識方法については様々なアルゴリズムが考案されているが、本実施形態では公知の技術を利用できるとして詳細を割愛する。
【0045】
接触処理部24は、接触位置検出部21によってペン2500のペン先がディスプレー220に接触した位置を検出した場合に、各機能の動作モードに応じて規定された処理を実行する。具体的には、音声認識機能についての動作モードとして、音声認識ONモードと音声認識OFFモードとを切り替える。また、音声認識による文字を訂正するための訂正機能について動作モードとして、訂正ONモードと訂正OFFモードとを切り替える。接触処理部24は、音声認識OFFモードかつ訂正OFFモードである場合に、ディスプレー220へのタッチ操作を検出すると、音声認識ONモードかつ訂正ONモードに切り替える。
【0046】
ここで、タッチ操作とは、ペン2500のペン先を、基準時間以下の短い時間だけディスプレー220に接触させる操作である。それに対して、ペン2500のペン先を、基準時間を超える長い時間、ディスプレー220に接触させる操作を長押し操作と呼ぶ。タッチ操作か長押し操作かの判別基準となる基準時間は、例えば1秒のようにあらかじめ設定されている。この基準時間は、変更可能であっても良い。
【0047】
接触処理部24は、訂正機能についての動作モードが訂正ONモードである場合に、音声認識による文字へのタッチ操作を検出すると、音声処理部25に文字の訂正の開始を依頼する。そして、接触処理部24は、音声処理部25による制御を受けて画面に表示される訂正候補へのタッチ操作を検出すると、訂正候補の選択完了を音声処理部25に通知する。
【0048】
また、接触処理部24は、訂正ONモードの開始から一定時間(以下、Tbとする)の経過により、訂正機能についての動作モードを訂正OFFモードに切り替える。
【0049】
なお、接触処理部24は、音声認識機能または訂正機能についての動作モードを、音声認識を行うごとに別々に管理していても良い。すなわち、音声認識OFFモードに切り替わった後も訂正ONモードが続く場合には、その後さらに別の位置に対するタッチ操作により音声認識ONモードに切り替わった場合には、2つの訂正機能についての動作モードが同時に訂正ONモードとなる。このように、接触処理部24は、音声認識を開始するためのタッチ操作が行われるたびに、個々の音声認識機能として管理し、対応する訂正機能についての動作モードについても、音声認識機能に関連付けて個々に管理する。
【0050】
音声処理部25は、音声の入力に関連する各種の処理を、各機能の動作モードに応じて実行する。具体的には、音声処理部25は、音声認識機能についての動作モードが音声認識ONモードである場合に、マイク221を介して音声の入力を受け付けて、音声認識処理を行って文字に変換し、変換された文字を表示制御部26に引き渡す。
【0051】
また、音声処理部25は、接触処理部24から文字の訂正の開始を依頼されると、訂正候補を表示制御部26に引き渡す。
【0052】
音声処理部25は、音声認識機能についての動作モードが音声認識ONモードである場合、音声認識ONモードの開始後一定時間(以下、Taとする)の経過により、音声認識機能についての動作モードを音声認識OFFモードに切り替える。音声処理部25は、音声認識機能についての動作モードが音声認識OFFモードである場合には、マイク221を介して音声の入力を受けても特に処理を行わない。
【0053】
表示制御部26は、手書きデータに基づく画像、ユーザが操作するための操作メニューまたは音声処理部25に引き渡される文字、訂正候補などをディスプレー220に表示する。
【0054】
データ記録部27は、表示装置2に手書きされた手書きデータ、文字認識または音声認識により変換された文字列並びに音声認識における文節の区切り位置を示す情報等を記憶部30に記録する。
【0055】
ネットワーク通信部28は、LAN(Local Area Network)等のネットワークに接続して、他の機器とネットワークを介したデータの送受信を行う。
【0056】
操作受付部29は、ディスプレー220に表示された操作用のボタン等に対するペン2500等の入力手段による操作を受け付ける。
【0057】
記憶部30は、SSD204やRAM203などに構築され、データ記録部27が記録する上記の情報を記憶する。
【0058】
図5は、音声処理の流れの一例を示すシーケンス図である。
【0059】
ユーザの操作によってペン2500のペン先が表示装置2のディスプレー220にタッチすると(ステップS101)、接触処理部24は、接触位置検出部21によって検出された接触位置におけるタッチ操作(第一のタッチ操作)を検知する。すると、接触処理部24は、音声認識機能についての動作モードを音声認識ONモードに切り替える。
【0060】
接触処理部24は、音声認識機能についての動作モードを音声認識ONモードに切り替えたこと(すなわち、音声認識の開始)を、接触位置を示す情報とともに音声処理部25に通知する(ステップS102)。音声処理部25は、音声認識開始の通知を受けると、データ記録部27を介して、接触位置を示す情報を文字の表示を開始する開始座標として記憶部30に保存する(ステップS103)。
【0061】
次に、接触処理部24は、訂正機能についての動作モードを訂正ONモードに切り替える(ステップS104)。そして、接触処理部24は、音声認識ONモードおよび訂正ONモードの開始から一定時間(TaおよびTb)の経過を検知するために、タイマーをスタートさせる(ステップS105)。
【0062】
次に、音声処理部25は、ユーザからの音声の入力を受けると(ステップS106)、音声認識処理を実行して、文字に変換する。ここで、音声処理部25は、音声認識によって文節または単語の区切り位置と、各文節または単語に変換する文字の候補とを、データ記録部27を介して記憶部30に記憶させる。記憶させる文字の候補は、第一候補だけでなく、第二候補、第三候補等も含むことが望ましい。
【0063】
そして、音声処理部25は、変換された文字を表示制御部26に引き渡して、描画を依頼する(ステップS107)。表示制御部26は、ディスプレー220において、記憶部30に保存された開始座標の位置に、引き渡された文字を表示する制御を行う(ステップS108)。
【0064】
音声処理部25および表示制御部26は、ユーザからの音声の入力を受けるたびに、ステップS106-S108と同様の処理を実行する(ステップS109-S111)。
【0065】
タイマーが一定時間(Ta)の経過を検知すると、音声処理部25は、音声認識機能についての動作モードを音声認識OFFモードに切り替える(ステップS112)。なお、TaおよびTbはあらかじめ設定され、Ta<Tbに設定されている。したがって、ここでは訂正機能についての動作モードは、訂正OFFモードには切り替えられていない。
【0066】
次に、ユーザの操作によってペン2500のペン先がディスプレー220の描画された文字にタッチすると(ステップS113)、接触処理部24は、接触位置検出部21によって検出された接触位置におけるタッチ操作(第二のタッチ操作)を検知する。そして、接触処理部24は、接触位置検出部21によって検出された接触位置に描画された文字の訂正処理の開始を音声処理部25に依頼する(ステップS114)。
【0067】
音声処理部25は、ペン2500のペン先がタッチした位置に表示されている文字を含む単語を訂正箇所とする。なお、音声処理部25は、他の方法によって訂正箇所を特定しても良い。例えば、ペン2500のペン先によって書き込まれた線(取り消し線)の位置に表示されている単語を訂正箇所としても良い。また、ペン2500のペン先によって書き込まれた線に囲まれた領域に表示されている単語を訂正箇所としても良い。
【0068】
なお、音声処理部25は、音声認識の際に記憶部30に記憶させた文節または単語の区切り位置に基づいて、単語または文節の切れ目を決定する。例えば、「じゅうようじこうのせつめい」という音声の入力に対して、音声認識の際に「じゅうよう」、「じこう」、「の」および「せつめい」という単語の区切り位置を記憶している場合、記憶されている区切り位置に基づいて、「じゅうよう」という単語を訂正箇所とする。
【0069】
なお、音声処理部25は、他の方法によって単語または文節の切れ目を決定しても良い。例えば、音声処理部25は、タッチされた文字を中心にして、例えば1文字から4文字程度の文字を含む文字列が単語として適切か否かを判定することによって、単語の切れ目を決定しても良い。例えば、「じゅうよう」の「よ」がタッチされた文字である場合、音声処理部25は、「よう」、「うよ」、「うよう」、「じゅうよう」等の切り目の候補の中から、単語として適切な単語「じゅうよう」を1単語とする切れ目に決定しても良い。
【0070】
次に、音声処理部25は、訂正候補を表示制御部26に引き渡して表示を依頼する(ステップS115)。なお、音声処理部25は、音声認識の際に記憶部30に記憶させた文字の候補のうち、現在表示中のもの(通常は第一候補)以外の候補(例えば第二候補、第三候補等)を訂正候補とする。例えば、音声認識の際に、「重量」を第一候補、「重要」を第二候補、「従量」を第三候補、「中量」を第四候補にそれぞれ決定されていたことを示す情報が、記憶部30によって記憶されている場合、音声処理部25は、これらのうち、訂正対象である第一候補の「重量」を除く、「重要」、「従量」および「中量」を訂正候補とする。また、音声処理部25は、他の方法によって訂正候補を決定しても良い。例えば、音声処理部25は、切れ目が決定された単語または文節に近い単語または文節を、音声認識エンジンを使用して出力しても良い。
【0071】
表示制御部26は、引き渡された訂正候補を表示する制御を行う(ステップS116)。
【0072】
次に、ユーザの操作によってペン2500のペン先がディスプレー220の描画された訂正候補にタッチすると(ステップS117)、接触処理部24は、接触位置検出部21によって検出された接触位置におけるタッチ操作(第三のタッチ操作)を検知する。接触処理部24は、接触位置検出部21によって検出された接触位置に描画された訂正候補への選択完了を音声処理部25に通知する(ステップS118)。
【0073】
音声処理部25は、訂正された文字列を表示制御部26に引き渡して描画を依頼する(ステップS119)。表示制御部26は、引き渡された文字列を描画する制御を行う(ステップS120)。
【0074】
タイマーが一定時間(Tb)の経過を検知すると、接触処理部24は、訂正機能についての動作モードを訂正OFFモードに切り替える(ステップS121)。
【0075】
図6は、音声処理に係る表示画面の一例を示す第一の図である。
【0076】
図6(a)は、ペン2500のペン先が音声入力開始位置をタッチした状態(
図5;ステップS101)のディスプレー220を示している。
図6(b)は、音声入力「重要事項の説明」という音声が入力された状態(
図5;ステップS106)のディスプレー220を示している。なお、ディスプレー220には、音声認識処理の結果、「重要」ではなく「重量」と表示されている。
【0077】
図6(c)は、ペン2500のペン先が訂正箇所をタッチした状態(
図5;ステップS113)のディスプレー220を示している。
図6(d)は、訂正候補が表示された状態(
図5;ステップS116)のディスプレー220を示している。
図6(e)は、訂正が完了した状態(
図5;ステップS120)のディスプレー220を示している。
【0078】
本実施形態に係る表示装置2によれば、音声処理部25は、画面への第一のタッチ操作が検出されると、音声の入力を受け付けて、入力された音声を音声認識によって文字に変換する。これによって、簡単な操作で音声認識を開始することができる。また、表示制御部26は、画面における第一のタッチ操作を受けた位置に、変換された文字を表示する制御を行う。これによって、簡単な操作によって、音声認識の結果を表示する箇所を指定することができる。
【0079】
さらに、本実施形態に係る表示装置2によれば、音声処理部25は、音声認識によって表示された文字への第二のタッチ操作が検出されると、第二のタッチ操作を文字の訂正操作として受け付ける。これによって、簡単な操作によって、音声認識の結果を訂正することができる。
【0080】
タッチ操作を長押し操作と区別する場合において、タッチ操作は、長押し操作よりも素早く反応が得られる操作であり、上述した各操作は、直感的な操作である。したがって、音声認識による文字表示における操作性を向上させることができる。
【0081】
なお、訂正ONモードは一定時間(Tb)の経過によって終了する。これによって、上述したタッチ操作を訂正として扱う時間を、当該操作を行う可能性が高い時間に限定させることができる。仮に、このような限定を行わない場合には、新たな文字入力を行いたい場合にも、訂正として扱われてしまう可能性が高くなる。これによって、操作性をさらに向上させることができる。
【0082】
なお、音声処理部25は、音声認識による文節の区切りの検知、または音声が途切れてから一定時間の経過等により、音声認識機能についての動作モードを音声認識OFFモードに切り替えるようにしても良い。
【0083】
また、接触処理部24は、音声認識ONモードから音声認識OFFモードに切り替わってから一定時間の経過または音声認識によって変換された文字の量に応じた時間の経過により、訂正機能についての動作モードを訂正OFFモードに切り替えるようにしても良い。
【0084】
また、表示装置2は、訂正OFFモードへの切り替えまたは音声認識OFFモードへの切り替えを示すメニュー等を表示して、ユーザの明示的な操作によって、切り替えるようにしても良い。
【0085】
図7は、音声処理に係る表示画面の一例を示す第二の図である。
【0086】
図7(d)に示すように、音声処理部25は、
図5のステップS115の処理において、訂正候補を表示する代わりに、手書き入力を受け付けるための枠線を表示する制御を表示制御部26に依頼しても良い。この場合、手書き入力を受け付けると、文字認識部23は、入力された手書きデータから文字を認識して、訂正後の文字として表示する制御を表示制御部26に依頼する。
【0087】
図8は、音声処理に係る表示画面の一例を示す第三の図である。
【0088】
図8(d)に示すように、音声処理部25は、
図5のステップS115の処理において、訂正候補を表示する代わりに、音声での入力を受け付ける。この場合、音声での入力を受け付けると、音声処理部25は、入力された音声に対する音声認識処理を実行して、訂正後の文字として表示する制御を表示制御部26に依頼するとともに、記憶部30に記憶させる。
【0089】
図9は、表示装置の他の構成例を示す第一の図である。
【0090】
図9では、通常のホワイトボード413の上辺にプロジェクタ411が設置されている。このプロジェクタ411が表示装置2に相当する。通常のホワイトボード413とは、タッチパネルと一体のフラットパネルディスプレーではなく、ユーザがマーカーで直接、手書きするホワイトボードである。なお、ホワイトボードは黒板でもよく、映像を投影するだけの広さの平面であればよい。
【0091】
プロジェクタ411は超短焦点の光学系を有しており、10cm程度から歪みの少ない映像をホワイトボード413に投影できる。この映像は、無線又は有線で接続されたPC400-1から送信されてもよいし、プロジェクタ411が記憶していてもよい。
【0092】
ユーザは専用の電子ペン2501を使ってホワイトボード413に手書きする。電子ペン2501は、ユーザが手書きのためにホワイトボード413に押しつけるとスイッチがONになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザの目には見えない。プロジェクタ411はカメラを有しており、発光部を撮像して画像を解析し電子ペン2501の方向を特定する。また、電子ペン2501は発光と共に音波を発信しており、プロジェクタ411は音波の到達時間により距離を算出する。方向と距離により電子ペン2501の位置を特定できる。電子ペン2501の位置には手書きされたデータが描画(投影)される。
【0093】
プロジェクタ411はメニュー430を投影するので、ユーザが電子ペン2501でボタンを押下すると、プロジェクタ411が電子ペン2501の位置とスイッチのON信号により押下されたボタンを特定する。例えば、保存ボタン431が押下されると、ユーザが手書きした手書きされたデータ(座標点列)がプロジェクタ411で保存される。プロジェクタ411は、予め定められたサーバ412又はUSBメモリ2600等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザが再編集することができる。ただし、本実施形態では操作コマンドを手書きで呼び出せるのでメニュー430は表示されなくてもよい。
【0094】
図10は、表示装置の他の構成例を示す第二の図である。
【0095】
表示装置2として、端末装置600、画像投影装置700A、及び、ペン動作検出装置810を有する。
【0096】
端末装置600は、画像投影装置700A及びペン動作検出装置810と有線で接続されている。画像投影装置700Aは、端末装置600により入力された画像データをスクリーン800に投影させる。
【0097】
ペン動作検出装置810は、電子ペン820と通信を行っており、スクリーン800の近傍における電子ペン820の動作を検出する。具体的には、電子ペン820は、スクリーン800上において、電子ペン820が示している点を示す座標情報を検出し(検出方法は
図9と同様でよい)、端末装置600へ送信する。
【0098】
端末装置600は、ペン動作検出装置810から受信した座標情報に基づき、電子ペン820によって入力される手書きデータの画像データを生成し、画像投影装置700Aによって手書きデータの画像をスクリーン800に描画させる。
【0099】
また、端末装置600は、画像投影装置700Aに投影させている背景画像と、電子ペン820によって入力された手書きデータの画像とを合成した重畳画像を示す重畳画像データを生成する。
【0100】
図11は、表示装置の他の構成例を示す第三の図である。
【0101】
図11の例では、表示装置2として、端末装置600と、ディスプレー800Aと、ペン動作検出装置810とを有する。
【0102】
ペン動作検出装置810は、ディスプレー800Aの近傍に配置され、ディスプレー800A上に、電子ペン820Aが示している点を示す座標情報を検出し(検出方法は
図26と同様でよい)、端末装置600へ送信する。なお、
図28の例では、電子ペン820Aは、端末装置600によってUSBコネクタを介して充電されても良い。
【0103】
端末装置600は、ペン動作検出装置810から受信した座標情報に基づき、電子ペン820Aによって入力される手書きデータの画像を示す画像データを生成し、ディスプレー800Aに表示させる。
【0104】
図12は、表示装置の他の構成例を示す第四の図である。
【0105】
図12の例では、表示装置2として、端末装置600と、画像投影装置700Aとを有する。
【0106】
端末装置600は、電子ペン820Bと無線通信(Bluetooth(登録商標)等)を行って、スクリーン800上において電子ペン820Bが示す点の座標情報を受信する。座標情報は、スクリーン800に形成された微小な位置情報を電子ペン820Bが読み取ってもよいし、スクリーン800から座標情報を受信してもよい。
【0107】
そして、端末装置600は、受信した座標情報に基づき、電子ペン820Bにより入力される手書きデータの画像の画像データを生成し、画像投影装置700Aに手書きデータの画像を投影させる。
【0108】
また、端末装置600は、画像投影装置700Aに投影させている背景画像と、電子ペン820によって入力された手書きデータの画像とを合成した重畳画像を示す重畳画像データを生成する。
【0109】
以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。
【0110】
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0111】
文字列は文字コードとして、手書きデータは座標点データとして表示装置2に保存される。また、各種の記憶媒体に保存したり、ネットワーク上の記憶装置に保存したりしておいて、後で、表示装置2からダウンロードして再使用することができる。再使用する表示装置2はどの表示装置でもよく、一般的な情報処理装置でもよい。したがって、ユーザは手書きした内容を異なる表示装置2で再現して会議などを継続することができる。
【0112】
また、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、ペン先の座標を超音波により検出してもよい。また、ペンは発光と共に超音波を発信しており、表示装置2は超音波の到達時間により距離を算出する。方向と距離によりペンの位置を特定できる。ペンの軌跡をストロークデータとしてプロジェクタが描画(投影)する。
【0113】
また、
図4などの構成例は、表示装置2による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置2の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。
【0114】
また、表示装置2が行う処理の一部を、表示装置2とネットワークを介して接続されたサーバが行ってもよい。
【0115】
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)や従来の回路モジュール等のデバイスを含むものとする。
【0116】
上記で説明した実施形態の各機能は、表示装置2の備えるCPU201の動作を規定するOS(Operating system)上で動作するアプリケーションプログラムによって実現され得る。
【0117】
尚、本実施形態が適用される装置は、タッチ操作によって、オブジェクトを操作する機能を備えた表示装置であれば良く、電子黒板に限定されにない。本実施形態が適用される表示装置は、例えば、PJ(Projector:プロジェクタ)、デジタルサイネージ等の出力装置、HUD(Head Up Display)装置、ネットワーク家電、自動車(Connected Car)、ノートPC(Personal Computer)、携帯電話、スマートフォン、タブレット端末、ゲーム機、PDA(Personal Digital Assistant)、ウェアラブルPC等であってもよい。
【0118】
以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。
【符号の説明】
【0119】
2 表示装置
21 接触位置検出部
22 描画データ生成部
23 文字認識部
24 接触処理部
25 音声処理部
26 表示制御部
27 データ記録部
28 ネットワーク通信部
29 操作受付部
30 記憶部
【先行技術文献】
【特許文献】
【0120】