(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2025-07-07
(45)【発行日】2025-07-15
(54)【発明の名称】入力表示装置、入力表示方法および入力表示プログラム
(51)【国際特許分類】
G06F 3/0487 20130101AFI20250708BHJP
G06F 3/0484 20220101ALI20250708BHJP
【FI】
G06F3/0487
G06F3/0484
(21)【出願番号】P 2025504203
(86)(22)【出願日】2024-10-16
(86)【国際出願番号】 JP2024036767
【審査請求日】2025-01-24
(31)【優先権主張番号】P 2024124190
(32)【優先日】2024-07-31
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】100109612
【氏名又は名称】倉谷 泰孝
(74)【代理人】
【識別番号】100116643
【氏名又は名称】伊達 研郎
(74)【代理人】
【識別番号】100184022
【氏名又は名称】前田 美保
(72)【発明者】
【氏名】平井 正人
(72)【発明者】
【氏名】樋口 博彦
(72)【発明者】
【氏名】武井 尭子
(72)【発明者】
【氏名】岡村 衣里子
(72)【発明者】
【氏名】水主 彩花
【審査官】桐山 愛世
(56)【参考文献】
【文献】特開平06-289983(JP,A)
【文献】特開2005-011118(JP,A)
【文献】特開平04-001861(JP,A)
【文献】特開2021-152861(JP,A)
【文献】特開2015-219628(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/0487
G06F 3/0484
(57)【特許請求の範囲】
【請求項1】
文字列の表示領域を文字列領域として設定する領域設定部と、
前記文字列領域の内部と、前記文字列領域の外部に位置
し、前記文字列が指し示す位置であ
り、前記文字列が対象とするものが存在する位置である指示位置と、を接続する軌跡の入力を受け付ける軌跡入力部と、
前記文字列領域の外部に位置し、前記文字列領域および前記軌跡の交点と前記指示位置とを接続する前記軌跡
の一部に基づいて前記指示位置を表現する指示図形を生成し、生成された前記指示図形を表示させる表示制御部と、
を備える入力表示装置。
【請求項2】
文字列の入力を受け付ける文字列入力部と、
入力された前記文字列の表示領域を文字列領域として設定する領域設定部と、
設定された前記文字列領域の内部と、
設定された前記文字列領域の外部に位置
し、前記文字列が指し示す位置であ
り、前記文字列が対象とするものが存在する位置である指示位置と、を接続する軌跡の入力を受け付ける軌跡入力部と、
前記文字列領域の外部に位置し、前記文字列領域および前記軌跡の交点と前記指示位置とを接続する前記軌跡に基づいて前記指示位置を表現する指示図形を生成し、生成された前記指示図形を表示させる表示制御部と、
を備える入力表示装置。
【請求項3】
選択された文字列の表示領域を文字列領域として設定する領域設定部と、
設定された前記文字列領域の内部と、
設定された前記文字列領域の外部に位置
し、前記文字列が指し示す位置であ
り、前記文字列が対象とするものが存在する位置である指示位置と、を接続する軌跡の入力を受け付ける軌跡入力部と、
前記文字列領域の外部に位置し、前記文字列領域および前記軌跡の交点と前記指示位置とを接続する前記軌跡に基づいて前記指示位置を表現する指示図形を生成し、生成された前記指示図形を表示させる表示制御部と、
を備える入力表示装置。
【請求項4】
表示させる前記指示図形の形状を設定する形状設定部をさらに備え、
前記表示制御部は、前記形状設定部が設定した前記指示図形の形状に基づいて前記指示図形を生成する、
請求項1
から請求項3のいずれか1項に記載の入力表示装置。
【請求項5】
前記形状設定部が設定した前記指示図形の形状は、線であり、
前記表示制御部は、前記文字列領域および前記軌跡の交点と前記指示位置とを接続する前記軌跡を前記指示図形として表示させる、
請求項
4に記載の入力表示装置。
【請求項6】
前記形状設定部が設定した前記指示図形の形状は、矢印であり、
前記表示制御部は、前記文字列領域および前記軌跡の交点と前記指示位置とを接続する前記軌跡に、矢尻記号を加えた図形を前記指示図形として表示させ、
前記矢尻記号は、前記文字列領域と前記軌跡との交点と、前記指示位置と、の少なくとも一方に表示される、
請求項
4に記載の入力表示装置。
【請求項7】
前記形状設定部が設定した前記指示図形の形状は、吹き出しであり、
前記表示制御部は、前記文字列領域および前記軌跡の交点と前記指示位置とを接続する前記軌跡と、前記文字列領域と、を囲う図形を前記指示図形として表示させる、
請求項
4に記載の入力表示装置。
【請求項8】
前記形状設定部が設定した前記指示図形の形状は、吹き出しであり、
前記表示制御部は、前記文字列領域および前記軌跡の交点と前記指示位置とを接続する前記軌跡に、前記文字列領域を囲う図形を組み合わせた図形を前記指示図形として表示させる、
請求項
4に記載の入力表示装置。
【請求項9】
前記文字列の位置または前記指示位置の移動を受け付ける移動部をさらに備え、
前記表示制御部は、前記移動部で受け付けた移動に対応して、前記軌跡が相似となるように前記軌跡の大きさと位置との少なくとも一方を変更し、変更された前記軌跡に基づいて前記指示図形を表示させる、
請求項1から請求項
3のいずれか1項に記載の入力表示装置。
【請求項10】
前記移動部は、前記文字列の位置の移動を受け付け、
前記表示制御部は、前記文字列領域の外部に位置する前記指示位置、および、前記文字列領域の内部に位置する前記軌跡の一端の前記文字列領域に対する相対位置が、前記軌跡の変更の前後で同一となるように前記軌跡の大きさと位置との少なくとも一方を変更し、変更された前記軌跡に基づいて前記指示図形を表示させる、
請求項
9に記載の入力表示装置。
【請求項11】
前記移動部は、前記指示位置の移動を受け付け、
前記表示制御部は、前記文字列領域の内部に位置する前記軌跡の一端の位置が、前記軌跡の変更の前後で同一となるように前記軌跡の大きさと位置との少なくとも一方を変更し、変更された前記軌跡に基づいて前記指示図形を表示させる、
請求項
9に記載の入力表示装置。
【請求項12】
前記指示図形の形状の編集を受け付ける形状編集部をさらに備え、
前記表示制御部は、前記指示図形が吹き出しである場合に、前記吹き出しの外部に表示された前記文字列を改行することによって前記吹き出しの内部に前記文字列を表示させる、
請求項1
から請求項3のいずれか1項に記載の入力表示装置。
【請求項13】
前記軌跡入力部は、前記文字列を重ねて表示させる軌跡画像を生成するための軌跡の入力をさらに受け付け、
前記文字列の入力を受け付ける文字列入力部と、
前記軌跡入力部が受け付けた前記
軌跡画像を生成するための軌跡を示す
前記軌跡画像を生成する軌跡画像生成部と、
をさらに備え、
前記表示制御部は、前記文字列入力部が受け付けた前記文字列を前記軌跡画像に重ねて表示させる、
請求項1
から請求項3のいずれか1項に記載の入力表示装置。
【請求項14】
文字列の表示領域を文字列領域として設定する領域設定ステップと、
前記文字列領域の内部と、前記文字列領域の外部に位置
し、前記文字列が指し示す位置であ
り、前記文字列が対象とするものが存在する位置である指示位置と、を接続する軌跡の入力を受け付ける軌跡入力ステップと、
前記文字列領域の外部に位置し、前記文字列領域および前記軌跡の交点と前記指示位置とを接続する前記軌跡
の一部に基づいて前記指示位置を表現する指示図形を生成し、生成された前記指示図形を表示させる表示制御ステップと、
を含む入力表示方法。
【請求項15】
コンピュータに、
文字列の表示領域を文字列領域として設定する領域設定機能と、
前記文字列領域の内部と、前記文字列領域の外部に位置
し、前記文字列が指し示す位置であ
り、前記文字列が対象とするものが存在する位置である指示位置と、を接続する軌跡の入力を受け付ける軌跡入力機能と、
前記文字列領域の外部に位置し、前記文字列領域および前記軌跡の交点と前記指示位置とを接続する前記軌跡
の一部に基づいて前記指示位置を表現する指示図形を生成し、生成された前記指示図形を表示させる表示制御機能と、
を実現させるための入力表示プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、入力表示装置、入力表示方法および入力表示プログラムに関する。
【背景技術】
【0002】
文字列が指し示す位置を表現するため、文字列の周囲に、線、矢印、吹き出し等の文字列が指し示す位置を表現する図形を表示させる入力表示装置がある。例えば、特許文献1では、予め定められた形状の図形(吹き出し)を文字列の周囲に自動で表示させる装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載の装置では、文字列が指し示す位置を表現する図形の描画の操作性がよくないという問題があった。例えば、特許文献1に記載の装置では、予め定められた形状の図形が表示されるため、文字列が指し示す位置を表現するために、一度表示された図形を編集する必要があった。
【0005】
本開示は、上記のような問題点を解決するためになされたもので、文字列が指し示す位置を表現する図形の描画の操作性を向上することができる入力表示装置、入力表示方法および入力表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る入力表示装置は、文字列の表示領域を文字列領域として設定する領域設定部と、文字列領域の内部と文字列領域の外部に位置し、文字列が指し示す位置であり、文字列が対象とするものが存在する位置である指示位置とを接続する軌跡の入力を受け付ける軌跡入力部と、文字列領域の外部に位置し、文字列領域および軌跡の交点と指示位置とを接続する軌跡の一部に基づいて指示位置を表現する指示図形を生成し、生成された指示図形を表示させる表示制御部と、を備える。
本開示に係る入力表示装置は、文字列の入力を受け付ける文字列入力部と、入力された文字列の表示領域を文字列領域として設定する領域設定部と、文字列領域の内部と文字列領域の外部に位置し、文字列が指し示す位置であり、文字列が対象とするものが存在する位置である指示位置とを接続する軌跡の入力を受け付ける軌跡入力部と、文字列領域の外部に位置し、文字列領域および軌跡の交点と指示位置とを接続する軌跡に基づいて指示位置を表現する指示図形を生成し、生成された指示図形を表示させる表示制御部と、を備える。
本開示に係る入力表示装置は、選択された文字列の表示領域を文字列領域として設定する領域設定部と、文字列領域の内部と文字列領域の外部に位置し、文字列が指し示す位置であり、文字列が対象とするものが存在する位置である指示位置とを接続する軌跡の入力を受け付ける軌跡入力部と、文字列領域の外部に位置し、文字列領域および軌跡の交点と指示位置とを接続する軌跡に基づいて指示位置を表現する指示図形を生成し、生成された指示図形を表示させる表示制御部と、を備える。
【0007】
本開示に係る入力表示方法は、文字列の表示領域を文字列領域として設定する領域設定ステップと、文字列領域の内部と文字列領域の外部に位置し、文字列が指し示す位置であり、文字列が対象とするものが存在する位置である指示位置とを接続する軌跡の入力を受け付ける軌跡入力ステップと、文字列領域の外部に位置し、文字列領域および軌跡の交点と指示位置とを接続する軌跡の一部に基づいて指示位置を表現する指示図形を生成し、生成された指示図形を表示させる表示制御ステップと、を含む。
【0008】
本開示に係る入力表示プログラムは、コンピュータに、文字列の表示領域を文字列領域として設定する領域設定機能と、文字列領域の内部と文字列領域の外部に位置し、文字列が指し示す位置であり、文字列が対象とするものが存在する位置である指示位置とを接続する軌跡の入力を受け付ける軌跡入力機能と、文字列領域の外部に位置し、文字列領域および軌跡の交点と指示位置とを接続する軌跡の一部に基づいて指示位置を表現する指示図形を生成し、生成された指示図形を表示させる表示制御機能と、を実現させる。
【発明の効果】
【0009】
本開示に係る入力表示装置、入力表示方法および入力表示プログラムによれば、文字列が指し示す位置を表現する図形の描画の操作性を向上することができる。
【図面の簡単な説明】
【0010】
【
図1】本開示の実施の形態1に係る入力表示装置を示すシステムブロック図である。
【
図2】本開示の実施の形態1に係る入力表示装置を示すハードウェア構成図である。
【
図3】本開示の実施の形態1に係る文字管理DBに記憶されている文字属性表を示す説明図である。
【
図4】本開示の実施の形態1に係る軌跡の入力の流れを示す説明図である。
【
図5】本開示の実施の形態1に係る指示図形形状DBに記憶されている指示図形の形状を示す説明図である。
【
図6】本開示の実施の形態1に係る指示図形の生成の流れを示す説明図である。
【
図7】本開示の実施の形態1に係る指示図形の生成の流れを示す説明図である。
【
図8】本開示の実施の形態1に係る形状変更に対応した指示図形の再生成の流れを示す説明図である。
【
図9】本開示の実施の形態1に係る形状変更に対応した指示図形の再生成の流れを示す説明図である。
【
図10】本開示の実施の形態1に係る文字列の位置の移動に対応した指示図形の再生成の流れを示す説明図である。
【
図11】本開示の実施の形態1に係る文字列の位置の移動に対応した指示図形の再生成の流れを示す説明図である。
【
図12】本開示の実施の形態1に係る文字列の位置の移動に対応した指示図形の再生成の流れを示す説明図である。
【
図13】本開示の実施の形態1に係る文字列の位置の移動に対応した指示図形の再生成の流れを示す説明図である。
【
図14】本開示の実施の形態1に係る文字列の位置の移動に対応した指示図形の再生成の流れを示す説明図である。
【
図15】本開示の実施の形態1に係る文字列の位置の移動に対応した指示図形の再生成の流れを示す説明図である。
【
図16】本開示の実施の形態1に係る指示位置の移動に対応した指示図形の再生成の流れを示す説明図である。
【
図17】本開示の実施の形態1に係る指示位置の移動に対応した指示図形の再生成の流れを示す説明図である。
【
図18】本開示の実施の形態1に係る指示位置の移動に対応した指示図形の再生成の流れを示す説明図である。
【
図19】本開示の実施の形態1に係る指示位置の移動に対応した指示図形の再生成の流れを示す説明図である。
【
図20】本開示の実施の形態1に係る指示位置の移動に対応した指示図形の再生成の流れを示す説明図である。
【
図21】本開示の実施の形態1に係る指示位置の移動に対応した指示図形の再生成の流れを示す説明図である。
【
図22】本開示の実施の形態1に係る吹き出しサイズの変更に対応した指示図形の再生成の流れを示す説明図である。
【
図23】入力表示装置がコンピュータで構成される場合のハードウェア構成図である。
【
図24】本開示の実施の形態1に係る入力表示方法を示すフローチャートである。
【
図25】本開示の実施の形態1に係る形状変更に対応した入力表示方法を示すフローチャートである。
【
図26】本開示の実施の形態1に係る文字列の位置または指示位置の移動に対応した入力表示方法を示すフローチャートである。
【
図27】本開示の実施の形態1に係る吹き出しサイズの変更に対応した入力表示方法を示すフローチャートである。
【
図28】本開示の実施の形態1の変形例に係る入力表示装置を示すシステムブロック図である。
【
図29】本開示の実施の形態1の変形例に係る入力表示装置を示すハードウェア構成図である。
【
図30】本開示の実施の形態1の変形例に係る入力表示方法を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下では、本開示に係る入力表示装置、入力表示方法および入力表示プログラムの一例について、図面を用いて説明する。図面において、同一または相当する部分には同一の参照番号を付し、その説明は繰り返さず省略する。
【0012】
実施の形態1.
まず、本開示の実施の形態1に係る入力表示装置100について、
図1および
図2を用いて説明する。
図1は、入力表示装置100のシステムブロック図であり、
図2は、入力表示装置100のハードウェア構成図である。
【0013】
入力表示装置100は、文字列、および、文字列が指し示す位置(以降、指示位置Pとする)を表現する図形(以降、指示図形Sとする)をディスプレイ201に表示させる装置である。
図1に示すように、入力表示装置100は、文字列入力部10、文字列取得部20、文字管理部30、文字管理DB(DataBase)81、領域設定部40、指示図形形状DB82、操作受付部50、操作切換部60、表示制御部70、および一時保存部83を備える。
【0014】
まず、入力表示装置100の構成のうち、文字列をディスプレイ201に表示させる構成について、説明する。文字列の表示は、文字列入力部10、文字列取得部20、文字管理部30、文字管理DB(DataBase)81、および表示制御部70の表示処理部74によって実現される。
【0015】
文字列入力部10は、例えば、
図2に示す文字列入力処理回路202で実現される。文字列入力部10は、ディスプレイ201に表示させる文字列の入力を受け付ける。
【0016】
文字列取得部20は、例えば、
図2に示す文字列取得処理回路203で実現される。文字列取得部20は、文字列入力部10が入力を受け付けた文字列の文字列情報を取得する。ここで、文字列情報は、文字数および文字配置等である。
【0017】
文字管理部30は、例えば、
図2に示す文字管理処理回路205で実現される。文字管理部30は、ディスプレイ201に表示させる文字列の文字種および文字サイズを設定する。具体的には、文字管理部30は、文字管理DB81に記憶されている文字属性表を参照して、設定された文字種および文字サイズに対応する文字高および文字幅を含む文字属性情報を取得する。
【0018】
文字管理DB81は、例えば、
図2に示す記憶処理回路204で実現される。文字管理DB81は、文字種と文字サイズと文字高と文字幅との対応関係を示す文字属性表を記憶している。文字管理DB81が記憶する文字属性表の一例を
図3に示す。
図3に示すように、文字属性表では、各々の文字種(例えば、明朝体、ゴシック体等)毎に、文字サイズに対応する文字高および文字幅が記述されている。
【0019】
文字管理部30は、例えば、文字管理部30により予め定められた文字種が“A”で、文字サイズが“10”であれば、文字高および文字幅が“5mm”であることを示す文字属性情報を取得する。また、文字管理部30により予め定められた文字種が“B”で、文字サイズが“5”であれば、文字高が“2mm”で、文字幅が“1.25mm”であることを示す文字属性情報を取得する。
【0020】
表示制御部70の表示処理部74は、例えば、
図2に示す表示処理回路212で実現される。表示処理部74は、文字列取得部20が取得した文字列情報と、文字管理部30が取得した文字属性情報と、に基づいて、文字列をディスプレイ201に表示させる。
【0021】
次に、入力表示装置100の構成のうち、指示図形Sをディスプレイ201に表示させる構成について、説明する。指示図形Sの表示は、文字列取得部20、文字管理部30、文字管理DB(DataBase)81、領域設定部40、指示図形形状DB82、操作受付部50、操作切換部60、表示制御部70、および一時保存部83によって実現される。
【0022】
文字列取得部20は、前述したように、文字列の表示のため、文字列入力部10から文字列情報を取得する。また、文字列取得部20は、指示図形Sの表示のため、ディスプレイ201に表示された文字列情報を、表示制御部70の表示処理部74から取得する。具体的には、文字列取得部20は、表示制御部70の表示処理部74から文字数および文字列配置等を含む文字列情報を取得する。
なお、文字列取得部20は、複数行の文字列の文字列情報を取得しても良い。複数行の文字列の文字列情報には、文字数および文字列配置に加えて、文字列の行数、行ごとの文字数、および、行間の長さ等が含まれる。
【0023】
文字管理部30は、前述したように、ディスプレイ201に表示させる文字列の文字種および文字サイズを設定し、文字管理DB81に記憶されている文字属性表を参照して、設定された文字種および文字サイズに対応する文字高および文字幅を含む文字属性情報を取得する。
【0024】
領域設定部40は、例えば、
図2に示す領域設定処理回路206によって実現される。領域設定部40は、ディスプレイ201における文字列の表示領域(以降、文字列領域Aとする)を設定する。具体的には、領域設定部40は、文字列取得部20が取得した文字列情報、および、文字管理部30が取得した文字属性情報に基づいて文字列領域Aを設定する。より詳細には、領域設定部40は、文字数、文字配置、文字高、および文字幅に基づいて、ディスプレイ201の表示領域における文字列領域Aの絶対座標情報である領域情報を生成する。ここで、文字列領域Aは、文字列の表示領域を含む領域であり、文字列の周囲の余白を含めた領域であっても良い。
【0025】
領域設定部40が、文字列の周囲の余白を含めた領域を文字列領域Aとして設定する例について説明する。例えば、文字属性情報が示す文字高が“5mm”、予め設定された文字列の周囲の余白、すなわち、文字の上下の余白が“0.5mm”である場合、領域設定部40は、文字列領域Aの高さを“6mm”に設定する。文字列情報が示す文字数が“10”、文字属性情報が示す文字幅が“5mm”、予め設定された文字列の周囲の余白、すなわち、文字列の左右の余白が“0.5mm”である場合、領域設定部40は、文字列領域Aの長さを“51mm”に設定する。
なお、文字の周囲に余白を設ける例を説明したが、余白を設けなくてもよい。また、文字列は直線状でなくてもよく、曲線状であってもよい。文字列が曲線状である場合、文字列領域Aは、文字列に沿って等幅に設定される 。
【0026】
なお、領域設定部40は、複数行の文字列の表示領域を文字列領域Aとして設定しても良い。複数行の文字列の文字列領域Aを設定する場合、文字列領域Aの高さは、文字列情報が示す行数および行間の長さと、文字属性情報が示す文字高と、予め設定された文字列の上下の余白に基づいて設定される。例えば、文字列情報が示す行数が“2”、文字列情報が示す行間の長さが“10mm”、文字属性情報が示す文字高が“5mm”、予め設定された文字列の周囲の余白、すなわち、文字の上下の余白が“0.5mm”である場合、領域設定部40は、文字列領域Aの高さを“21mm”に設定する。また文字列領域Aの長さは、文字列情報が示す行ごとの文字数の最大値と、文字属性情報が示す文字幅と、予め設定された文字列の周囲の余白とに基づいて設定される。例えば、文字列情報が示す行ごとの文字数の最大値が“10”、文字属性情報が示す文字幅が“5mm”、予め設定された文字列の周囲の余白、すなわち、文字列の左右の余白が“0.5mm”である場合、領域設定部40は、文字列領域Aの長さを“51mm”に設定する。
上記では、文字列領域Aの長さを行ごとの文字数の最大値に基づいて設定する例を説明した。文字列領域Aの長さは行ごとの文字数に基づいて設定されても良い。すなわち、複数行の文字列の文字列領域Aは、各行等しい長さとなるように設定されても良いし、行ごとの文字数に基づいて異なる長さとなるように設定されても良い。また、文字の周囲に余白を設けなくてもよい。文字列は直線状でなくてもよく、曲線状であってもよい。
【0027】
操作受付部50は、例えば、
図2に示すポインティングデバイス207で実現される。操作受付部50は、ユーザの操作を受け付け、受け付けた操作の内容を表示制御部70に出力する。操作受付部50が受け付けるユーザの操作は、軌跡(以降、軌跡Lとする)の入力操作、指示図形Sの形状の設定操作、文字列の位置または指示位置Pの移動操作、および指示図形Sの形状の編集操作があり、それぞれ軌跡入力部51、形状設定部52、後述する移動部53および形状編集部54によって実現される。
【0028】
軌跡入力部51は、ユーザの操作として、軌跡Lの入力の操作を受け付ける。具体的には、軌跡入力部51は、指示図形Sをディスプレイ201に表示させるために、文字列領域Aの内部と、文字列領域Aの外部に位置する指示位置Pと、を接続する軌跡Lの入力を受け付け、軌跡Lのディスプレイ201の表示領域における軌跡Lの絶対座標情報である軌跡情報を取得する。ここで、文字列領域Aの内部とは、文字列領域Aの外部との境界線である領域線を含む。
【0029】
また、軌跡入力部51は、軌跡Lの入力を受け付ける前に、指示図形Sを表示させる文字列を選択する操作を受け付けても良い。指示図形Sを表示させる文字列を選択する操作を受け付けた場合、軌跡入力部51は、選択された文字列の文字列領域Aの内部と、選択された文字列の文字列領域Aの外部に位置する指示位置Pと、を接続する軌跡Lの入力を受け付ける。
【0030】
ここで、軌跡入力部51による軌跡Lの入力操作の流れについて、
図4を用いて説明する。
図4は、軌跡入力部51の動作の説明図である。
図4では、文字列領域Aを点線、軌跡Lを破線で示している。
図4(a)は、ユーザが指示図形Sを表示させる文字列を選択する操作を行う直前の様子を示している。文字列を選択する操作とは、例えば、文字列領域Aの内部に触れる操作である。ユーザが文字列を選択すると、
図4(b)に示すように、軌跡受付記号Mがディスプレイ201に表示される。詳細には、軌跡入力部51が文字列を選択する操作を受け付けると、軌跡受付記号Mをディスプレイ201に表示させるための信号を表示制御部70の表示処理部74に出力し、表示処理部74が軌跡受付記号Mを表示させる。ここで、軌跡受付記号Mは、文字列領域Aの内部から外部の指示位置までを接続する軌跡Lの入力を補助するために表示される記号であり、文字列領域Aの内部に表示される。軌跡受付記号Mが表示された後、
図4(c)に示すように、ユーザが軌跡受付記号Mをドラッグすることで、軌跡Lが入力される。詳細には、軌跡入力部51が、軌跡受付記号Mの位置の連続的な変化を示す時系列データを、軌跡情報として取得する。
【0031】
なお、
図4(b)では、軌跡受付記号Mを文字列領域Aの中央に表示させた例を示しているが、軌跡受付記号Mは、領域線を含む文字列領域Aの内部であれば、表示位置は文字列領域Aの中央に限られない。また、軌跡受付記号Mは表示されなくてもよい。軌跡入力部51が軌跡受付記号Mを表示しない場合、軌跡入力部51は、軌跡受付記号Mのドラッグ操作ではなく、文字列領域Aの内部の任意の位置からのドラッグ操作を軌跡Lの入力操作として受け付ける。
【0032】
形状設定部52は、ユーザの操作として、指示図形Sの形状の設定の操作を受け付ける。具体的には、形状設定部52は、指示図形形状DB82に記憶されている複数の指示図形Sの形状の中から、表示制御部70でディスプレイ201に表示させる指示図形Sの形状を設定する。例えば、ユーザは、ディスプレイ201に表示された複数の指示図形Sの中から設定したい指示図形Sに触れる操作することで、指示図形Sの形状を設定する。形状設定部52は指示図形Sの形状の設定操作を受け付けることで、指示図形Sのサイズ、幅、高さ等を示す相対座標情報である設定形状情報を取得する。
【0033】
指示図形形状DB82は、例えば、
図2に示す記憶処理回路204で実現される。指示図形形状DB82は、複数の指示図形Sの形状の情報を記憶している。指示図形形状DB82が記憶する指示図形Sの形状の一例を
図5に示す。
図5に示すように、指示図形形状DB82は、指示図形Sの形状として、線(
図5(a))、矢印(
図5(b))、吹き出し(
図5(c)(d)(e)(f))等を記憶している。ここで、指示図形の形状の一例である吹き出しとは、文字列を囲う部分である吹き出し本体部と、指示位置Pを示す部分である吹き出し指示部と、から構成される図形である。
図5(c)(d)は、吹き出し指示部が、吹き出し本体部から突出したツノ形状である例を示しており、
図5(e)(f)は、吹き出し指示部が線形状である例を示している。吹き出し指示部は、
図5(e)に示すように、吹き出し本体部の外部にのみ表示されていても良く、
図5(f)に示すように、吹き出し本体部の内部から外部に突出するように表示しても良い。
【0034】
なお、
図5(b)では、指示図形Sの形状が矢印である場合の例として、線において文字列から離れた端部に矢尻記号が表示された例を示しているが、矢尻記号の位置はこれに限らない。矢尻記号は、線において文字列に近い端部に表示されても良い。また、矢尻記号は、線の両端に表示されても良い。また、
図5(c)(d)では、指示図形Sの形状が吹き出しである場合の例として、吹き出し本体部の形状が楕円形状および長方形形状である例を示しているが、吹き出し本体部の形状はこれに限られない。さらに、
図5(e)(f)では、指示図形Sの形状が吹き出しである場合の例として、吹き出し指示部が線である例を示しているが、これに限らない。例えば、吹き出し指示部は矢印であっても良い。
【0035】
操作切換部60は、
図2に示す操作切換処理回路208で実現される。操作切換部60は、操作受付部50が受け付ける操作を切り換えるためのユーザの操作を受け付け、操作受付部50が受け付ける操作を切り換える。具体的には、操作切換部60は、操作受付部50を、軌跡入力部51、形状設定部52、後述する移動部53および形状編集部54のうち、いずれかに切り換える。操作受付部50が受け付ける操作を切り換えるためのユーザの操作とは、操作受付部50の操作ごとに予め定められたポインティングデバイス207の接触時間、または、ポインティングデバイス207の接触位置に対応した操作である。
【0036】
表示制御部70は、文字列および指示図形Sをディスプレイ201に表示させる。表示制御部70は、指示図形生成部71、後述する軌跡変更部72、後述する文字列改行部73、および、表示処理部74を備える。
【0037】
指示図形生成部71は、例えば、
図2に示す画像生成処理回路209で実現される。指示図形生成部71は、領域設定部40で設定された文字列領域Aを示す領域情報、軌跡入力部51で入力された軌跡Lを示す軌跡情報、および形状設定部52で設定された指示図形Sの形状を示す設定形状情報に基づいて指示図形Sを生成する。具体的には、指示図形生成部71は、形状設定部52で設定された指示図形Sの形状、および、文字列領域Aの外部に位置する軌跡Lに基づいて指示図形Sを生成する。より詳細には、領域情報、軌跡情報および設定形状情報に基づいて、ディスプレイ201の表示領域における指示図形Sの絶対座標情報である図形情報を生成する。
ここで、文字列領域Aの外部に位置する軌跡Lとは、軌跡Lのうち、文字列領域Aおよび軌跡Lの交点と指示位置Pとを接続する部分である。軌跡入力部51が受け付けた軌跡Lが、文字列領域Aの内部に含まれる領域線と、文字列領域Aの外部に位置する指示位置Pと、を接続する軌跡Lである場合、文字列領域Aの外部に位置する軌跡Lは、軌跡入力部51が受け付けた軌跡Lの全体となる。軌跡入力部51が受け付けた軌跡Lが、領域線を除く文字列領域Aの内部と、文字列領域Aの外部に位置する指示位置Pと、を接続する軌跡Lである場合、文字列領域Aの外部に位置する軌跡Lは、軌跡入力部51が受け付けた軌跡Lの一部となる。
【0038】
指示図形生成部71による指示図形Sの生成の流れについて、
図6を用いて説明する。
図6では、文字列領域Aを点線、軌跡Lを破線で、指示図形Sを実線で示している。ここで、文字列領域Aおよび軌跡Lはディスプレイ201には表示されないが、
図6ではわかりやすさのため表示している。なお、
図6(a)は形状設定部52で設定された指示図形Sの形状が線である場合、
図6(b)は形状設定部52で設定された指示図形Sの形状が矢印である場合、
図6(c)は形状設定部52で設定された指示図形Sの形状がツノ形状の吹き出し指示部を有する吹き出しである場合、
図6(d)は形状設定部52で設定された指示図形Sの形状が線形状の吹き出し指示部を有する吹き出しである場合である。
形状設定部52によって設定された指示図形Sの形状が線である場合(
図5(a))、
図6(a)に示すように、指示図形生成部71は、文字列領域Aおよび軌跡Lの交点と指示位置Pとを接続する軌跡Lを指示図形Sとして生成する。形状設定部52によって設定された指示図形Sの形状が矢印である場合(
図5(b))、
図6(b)に示すように、指示図形生成部71は、文字列領域Aおよび軌跡Lの交点と指示位置Pとを接続する軌跡Lに、矢尻記号を加えた図形を指示図形Sとして生成する。ここで、矢尻記号は、文字列領域Aおよび軌跡Lの交点と指示位置Pとのうち少なくとも一方に合成される。形状設定部52によって設定された指示図形Sの形状がツノ形状の吹き出し指示部を有する吹き出しである場合(
図5(c)(d))、
図6(c)に示すように、指示図形生成部71は、文字列領域Aおよび軌跡Lの交点と指示位置Pとを接続する軌跡Lと、文字列領域Aと、を囲う図形を指示図形Sとして生成する。また、形状設定部52によって設定された指示図形Sの形状が線形状の吹き出し指示部を有する吹き出しである場合(
図5(e)(f))、
図6(d)に示すように、指示図形生成部71は、文字列領域Aおよび軌跡Lの交点と指示位置Pとを接続する軌跡に、文字列領域Aを囲う図形を組み合わせた図形を指示図形Sとして生成する。
【0039】
なお、複数行の文字列に対して指示図形Sを生成する場合は、
図7に示すように、領域設定部40が設定した複数行の文字列の文字列領域Aに基づいて指示図形Sを生成する。なお、
図7(a)は形状設定部52で設定された指示図形Sの形状が線である場合、
図7(b)は形状設定部52で設定された指示図形Sの形状が矢印である場合、
図7(c)は形状設定部52で設定された指示図形Sの形状がツノ形状の吹き出し指示部を有する吹き出しである場合を示している。複数行の文字列の文字列領域Aを用いる点を除く処理は、
図6で説明した指示図形Sの生成の流れと同一である。
【0040】
表示処理部74は、前述した文字列をディスプレイ201に表示させるための処理の他、指示図形Sをディスプレイ201に表示させるための処理を行う。具体的には、表示処理部74は、指示図形生成部71が生成した図形情報に基づいてディスプレイ201に指示図形Sを表示させる。
【0041】
一時保存部83は、例えば、
図2に示す記憶処理回路204で実現される。一時保存部83は、表示制御部70が行う処理の内容を一時的に保存する。
【0042】
続いて、入力表示装置100の構成のうち、指示図形Sを表示させた後に、ユーザから受け付けた操作の内容に基づいて指示図形Sを再度生成して表示させる構成について説明する。指示図形Sの再表示は、操作切換部60によって操作受付部50が形状設定部52、移動部53、または、形状編集部54に切り換えられ、形状設定部52、移動部53、または、形状編集部54が指示図形Sの形状の設定操作、文字列の位置または指示位置Pの移動操作、または指示図形Sの形状の編集操作を受け付けると、指示図形生成部71が、操作受付部50が受け付けた操作の内容に基づいて指示図形Sを再度生成する。
【0043】
まず、指示図形Sを表示させた後に、ユーザから指示図形Sの形状の設定操作を受け付け、指示図形Sを再度表示させる構成について、
図1および
図8-
図9を用いて説明する。なお、
図8-
図9では、文字列領域Aを点線、軌跡Lを破線、指示図形Sを実線で示している。ここで、文字列領域Aおよび軌跡Lはディスプレイ201には表示されないが、
図8-
図9ではわかりやすさのため表示している。
【0044】
指示図形Sの形状の設定操作による指示図形Sの再表示は、形状設定部52、指示図形生成部71および表示処理部74によって実現される。
【0045】
形状設定部52は、ディスプレイ201に指示図形Sを表示した後においても、操作受付部50が指示図形Sの形状の設定操作を受け付ける。言い換えると、形状設定部52は、ディスプレイ201に表示された指示図形Sの変更操作を受け付ける。
図8(a)-
図9(a)に示すように、形状設定部52は、ユーザが指示位置Pに触れる操作を受け付けた場合に、指示図形Sの変更操作を受け付ける。ユーザが指示位置Pに触れると、指示図形Sの形状の選択肢が指示位置Pの近傍に表示される。ユーザは、指示位置Pの近傍に表示された指示図形Sの形状の選択肢の中から、変更を希望する指示図形Sの形状に触れることで、指示図形Sの形状を選択することができる。
【0046】
指示図形生成部71は、一度指示図形Sを生成した後においても、形状設定部52から受けた設定形状情報に基づいて指示図形Sを再度生成する。詳細には、指示図形生成部71は、文字列領域Aを示す領域情報、軌跡Lを示す軌跡情報、および再度受け付けた指示図形Sの設定形状情報に基づいて指示図形Sを生成する。
【0047】
表示処理部74は、指示図形生成部71が再度生成した指示図形Sの図形形状に基づいて、
図8(b)-
図9(b)に示すように、ディスプレイ201に指示図形Sの変更操作を反映した指示図形Sを表示させる。
【0048】
次に、指示図形Sを表示させた後に、ユーザから文字列の位置または指示位置Pの移動操作を受け付け、指示図形Sを再度表示させる構成について、
図1および
図10-
図21を用いて説明する。
図10(a1)-
図21(a1)は、文字列の位置または指示位置Pの移動操作を受け付ける前の状態を示す図である。
図10(a2)-
図21(a2)は、文字列の位置または指示位置Pの移動操作を受け付け、指示図形Sを再度表示するための軌跡Lの変更を説明する図である。
図10(a3)-
図21(a3)は、文字列の位置または指示位置Pの移動操作を受け付け、指示図形Sを再度表示した後の状態を示す図である。また、
図10(a1)(a2)(a3)-
図21(a1)(a2)(a3)は、指示図形Sの形状が矢印である場合を示しており、
図10(b)-
図21(b)は、指示図形Sの形状が吹き出しである場合を示している。
なお、
図10-
図21では、文字列領域Aを点線、軌跡Lを破線、指示図形Sを実線で示している。ここで、文字列領域Aおよび軌跡Lはディスプレイ201には表示されないが、
図10(a2)-
図21(a2)ではわかりやすさのため表示している。また、
【0049】
文字列の位置または指示位置Pの移動操作による指示図形Sの再表示は、移動部53、軌跡変更部72、指示図形生成部71および表示処理部74によって行われる。
【0050】
移動部53は、ディスプレイ201に指示図形Sを表示した後のユーザの操作として、文字列の位置または指示位置Pの移動操作を受け付け、ディスプレイ201の表示領域における文字列または指示位置Pの絶対座標情報である位置移動情報を出力する。
【0051】
軌跡変更部72は、例えば、
図2に示す軌跡変更処理回路210で実現される。軌跡変更部72は、移動部53で受け付けた移動に対応して、軌跡Lが相似になるように軌跡Lの大きさと位置との少なくとも一方を変更する。軌跡Lが相似になるような軌跡の変更とは、拡大、縮小、反転、および回転のうち少なくとも一つを実施することである。
具体的には、軌跡変更部72は、ディスプレイ201の表示領域における軌跡Lの絶対座標情報であり、軌跡入力部51により出力される絶対座標情報である軌跡情報に、移動部53から出力される絶対座標情報である位置移動情報を反映した変更軌跡情報を生成する。
【0052】
移動部53が文字列の位置の移動を受け付けた場合、軌跡変更部72は、
図10(a2)-
図15(a2)に示すように、指示位置P、および、文字列領域Aの内部に位置する軌跡Lの一端の文字列領域Aに対する相対位置が、軌跡Lの変更の前後で同一となるように軌跡Lの大きさと位置との少なくとも一方を変更する。例えば、
図10(a2)-
図11(a2)に示すように、軌跡変更部72は、変更前後で軌跡が相似となるように、変更前の軌跡Lを拡大かつ反転させてもよい。また
図12(a2)-
図15(a2)に示すように、軌跡変更部72は、変更前後で軌跡が相似となるように、変更前の軌跡Lを拡大かつ回転させてもよい。
【0053】
移動部53が指示位置Pの移動を受け付けた場合、軌跡変更部72は、
図16(a2)-
図21(a2)に示すように、文字列領域Aの内部に位置する軌跡Lの一端の位置が、軌跡Lの変更の前後で同一となるように軌跡Lの大きさと位置との少なくとも一方を変更する。例えば、
図16(a2)-
図18(a2)に示すように、軌跡変更部72は、変更前後で軌跡が相似となるように、変更前の軌跡Lを拡大かつ反転させてもよい。また、
図19(a2)-
図21(a2)に示すように、軌跡変更部72は、変更前後で軌跡が相似となるように、変更前の軌跡Lを拡大かつ回転させてもよい。ここで、指示位置Pは、文字列領域Aの外部に位置する軌跡Lの他端の位置である。
【0054】
指示図形生成部71は、移動部53が生成した位置移動情報、および、軌跡変更部72が生成した変更軌跡情報を受けると、位置移動情報を反映した領域情報、変更軌跡情報、および設定形状情報に基づいて、指示図形Sを再度生成する。ここで、位置移動情報を反映した領域情報とは、ディスプレイ201の表示領域における文字列領域Aの絶対座標情報である。移動部53が文字列の移動を受け付けた場合、文字列の移動に伴い文字列領域Aは移動するため、領域設定部40により出力される絶対座標情報である領域情報に、移動部53から出力される絶対座標情報である位置移動情報を反映した領域情報に基づいて指示図形Sを再度生成することで、移動部53が受け付けた操作に対応した指示図形Sを生成することができる。
【0055】
表示処理部74は、指示図形生成部71が再度生成した指示図形Sの図形形状に基づいて、
図10(a3)-
図21(a3)に示すように、ディスプレイ201に指示図形Sの変更操作を反映した指示図形Sを表示させる。
【0056】
なお、上記では、設定形状情報が示す指示図形Sの形状が矢印である場合を説明したが、設定形状情報が示す指示図形Sの形状が吹き出しである場合は、
図10(b)-
図21(b)に示すように、文字列の位置または指示位置Pの移動に対応して変形した吹き出しを再度表示する。
【0057】
続いて、指示図形Sを表示させた後に、ユーザから指示図形Sの形状の編集操作を受け付け、指示図形Sおよび文字列を再度表示させる構成について、
図1および
図22を用いて説明する。なお、
図22では、文字列領域A(A1、A2)を点線、指示図形S(S1、S2)を実線で示している。ここで、文字列領域Aはディスプレイ201には表示されないが、
図22ではわかりやすさのため表示している。
指示図形Sの形状の編集操作による指示図形Sの再表示は、形状編集部54、文字列改行部73、指示図形生成部71および表示処理部74によって行われる。
【0058】
形状編集部54は、ディスプレイ201に指示図形Sを表示した後のユーザの操作として、指示図形Sの形状の編集操作を受け付ける。ここで、指示図形Sの形状の編集とは、一度表示された指示図形Sのサイズの変更、縦横比の変更等を含む。指示図形Sの形状の編集操作は、例えば、編集する指示図形Sを長押しすることで選択し、選択された指示図形Sの既定形状をドラッグ操作することで実現される。
【0059】
形状編集部54は、編集を受け付けた指示図形Sの形状の情報である編集設定形状情報を、表示制御部70の指示図形生成部71および文字列改行部73に出力する。ここで、編集設定形状情報は、指示図形Sのサイズ、幅、高さ等を示す相対座標情報であり、指示図形形状DB82に記憶された設定形状情報に含まれる指示図形のサイズ、幅、高さの変更を反映したものである。
【0060】
指示図形生成部71は、形状編集部54が生成した編集設定形状情報に基づいて指示図形Sを再度生成する。具体的には、指示図形生成部71は、領域情報、軌跡情報、および、編集設定形状情報に基づいて、指示図形Sを再度生成する。例えば、
図22(a)に示すように指示図形Sとして吹き出しS1を表示させた後に、形状編集部54が指示図形Sの形状の編集操作として、吹き出しS1の縦横比を変更する操作を受け付けると、
図22(b)に示すように、指示図形生成部71は形状の編集操作に対応した吹き出しS2を再生成する。
【0061】
文字列改行部73は、例えば、
図2に示す文字列改行処理回路211で実現される。文字列改行部73は、形状編集部54で受け付けた指示図形Sの形状の編集操作に対応して、文字列を改行する。具体的には、文字列改行部73は、指示図形Sの形状が吹き出しであり、かつ、吹き出しの外部に文字列が表示された場合に、吹き出しの内部に文字列を表示するように、吹き出しの外部に表示された文字列を改行するための改行情報を生成する。言い換えると、吹き出しのうち文字列を囲う部分である吹き出し本体部に文字列が収まらない場合に、吹き出し本体部に文字列が収まるように文字列を改行するための改行情報を生成する。例えば、
図22(b)に示すように、吹き出しS2の再生成の結果として、再生成された吹き出しS2の吹き出し本体部の内部に文字列が収まらず、吹き出しS2の外部に文字列が表示される場合、文字列改行部73は、吹き出しの内部に文字列を表示するように文字列を改行する。すなわち、文字列改行部73は、文字列領域Aを改行のない1行分の高さを有する文字列領域A1から、改行後の2行分の高さを有する文字列領域A2に変更する。
【0062】
表示処理部74は、指示図形生成部71が再度生成した指示図形Sの図形形状に基づいて、
図22(c)に示すように、ディスプレイ201に指示図形Sの変更操作を反映した指示図形Sと、改行した文字列と、を表示させる。
【0063】
図1では、入力表示装置100の構成要素である文字列入力部10、文字列取得部20、文字管理DB81、文字管理部30、領域設定部40、指示図形形状DB82、操作受付部50、操作切換部60、指示図形生成部71、軌跡変更部72、文字列改行部73、表示処理部74、および一時保存部83のそれぞれが
図2に示す専用のハードウェアで実現される。すなわち、入力表示装置100は、ディスプレイ201、文字列入力処理回路202、文字列取得処理回路203、記憶処理回路204、文字管理処理回路205、領域設定処理回路206、ポインティングデバイス207、操作切換処理回路208、画像生成処理回路209、軌跡変更処理回路210、文字列改行処理回路211、および表示処理回路212で実現されることを想定している。
【0064】
ここで、記憶処理回路204は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)等の不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)等が該当する。
【0065】
ポインティングデバイス207とは、例えば、タッチパネルである。なお、ポインティングデバイス207は、タッチパネルに限られず、ジョイスティック、ポインティング・スティック(トラックポイント)、タッチパッド、スタイラス、データグローブ、トラックボール、ペンタブレット、マウス、ライトペン、ジョイパッド等であっても良い。
【0066】
文字管理処理回路205、領域設定処理回路206、操作切換処理回路208、画像生成処理回路209、軌跡変更処理回路210、文字列改行処理回路211、および表示処理回路212は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate array)、または、これらを組み合わせたものが該当する。
【0067】
また、入力表示装置100の構成要素が専用のハードウェアで実現されるものに限るものではなく、入力表示装置100がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
ソフトウェア又はファームウェアは、プログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、CPU(Central Processing Unit)、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、DSP(Digital Signal Processor)等が該当する。
【0068】
入力表示装置100がソフトウェア又はファームウェア等で実現される場合のハードウェア構成について、
図23を用いて説明する。
図23は、コンピュータのハードウェア構成図である。
図23に示すように、入力表示装置100が、ソフトウェア又はファームウェア等で実現される場合、文字管理DB81、指示図形形状DB82および一時保存部83をコンピュータのメモリ213上に構成する。また、文字列入力部10、文字列取得部20、文字管理部30、領域設定部40、操作受付部50、操作切換部60、指示図形生成部71、軌跡変更部72、文字列改行部73、および表示処理部74の処理手順をコンピュータに実行させるためのプログラムをメモリ213に格納する。そして、プロセッサ214が、メモリ213に格納されているプログラムを実行するようにすればよい。
【0069】
また、
図2では、入力表示システムの構成要素のそれぞれが専用のハードウェアで実現される例を示し、
図23では、入力表示システムがソフトウェア又はファームウェア等で実現される例を示している。しかし、これは一例に過ぎず、入力表示システムにおける一部の構成要素が専用のハードウェアで実現され、残りの構成要素がソフトウェア又はファームウェア等で実現されるものであってもよい。
例えば、文字列入力部10、操作受付部50および操作切換部60を専用のハードウェアで実現し、文字列取得部20、文字管理DB81、文字管理部30、領域設定部40、指示図形形状DB82、指示図形生成部71、軌跡変更部72、文字列改行部73、表示処理部74、および一時保存部83をソフトウェア又はファームウェア等で実現することが可能である。ただし、専用のハードウェアとソフトウェア等の組み合わせは任意である。
【0070】
続いて、本開示の実施の形態1に係る入力表示装置100を用いた入力表示方法について、
図24を用いて説明する。
図24は、実施の形態1に係る入力表示方法の手順を示すフローチャートである。
【0071】
図24に示すように、まず、表示処理部74が、文字列入力部10で入力を受け付けた文字列をディスプレイ201に表示させる(ステップST1)。具体的には、文字列入力部10が入力を受け付け文字列取得部20が取得した文字列情報と、文字管理部30から出力された文字属性情報と、に基づいて、表示処理部74が文字列をディスプレイ201に表示させる。
【0072】
続いて、文字列取得部20が、ディスプレイ201に表示された文字列の情報である文字列情報を取得する(ステップST2)。具体的には、文字列取得部20が、表示制御部70から文字数および文字列の配置を含む文字列情報を取得する。
【0073】
続いて、文字管理部30が、文字属性情報を取得する(ステップST3)。文字属性情報とは、文字高および文字幅であり、文字管理部30は、文字管理DB81に記憶されている文字属性表を参照して、ディスプレイ201に表示された文字列の文字種および文字サイズに対応する文字高および文字幅を含む文字属性情報を取得する。
【0074】
領域設定部40は、文字列取得部20が取得した文字列情報、および、文字管理部30が取得した文字属性情報に基づいて文字列領域Aを設定する(ステップST4)。具体的には、領域設定部40は、文字列情報が示す文字数および文字の配置と、文字属性情報が示す文字高および文字幅に対応した領域を文字列領域Aとして設定する。
【0075】
続いて、形状設定部52が、指示図形Sの形状の設定操作を受け付けたか否かを判定する(ステップST5)。形状設定部52が指示図形Sの形状の設定操作を受け付けた場合(ステップST5のYes)、形状設定部52は、設定操作を受け付けた指示図形Sの形状をディスプレイ201に表示するように設定する(ステップST6)。形状設定部52が指示図形Sの形状の設定操作を受け付けていない場合(ステップST5のNo)、形状設定部52は、指示図形Sの形状の設定変更を行わず、初期設定の指示図形Sの形状をディスプレイ201に表示するように設定する。例えば、初期設定の指示図形Sとして矢印が設定されていた場合、ユーザは矢印以外の指示図形Sをディスプレイ201に表示したい場合に形状の設定操作を行い、矢印をディスプレイ201に表示したい場合には特に操作を行わない。
【0076】
文字列領域Aの設定(ステップST2-ST4)および指示図形Sの形状の設定(ステップST5-ST6)を行った後、軌跡入力部51が軌跡Lの入力を受け付ける(ステップST7-ST9)。
【0077】
まず、軌跡入力部51は、指示図形Sを表示させる文字列を選択する操作を受け付けたか否かを判定する(ステップST7)。指示図形Sを表示させる文字列を選択する操作は、例えば、文字列領域Aの内部にタッチパネルで接触することで実行される。軌跡入力部51は、文字列を選択する操作を受け付けるまで待機する(ステップST7のNo)。軌跡入力部51が文字列の選択操作を受け付けた場合(ステップST7のYes)、軌跡入力部51はディスプレイ201に軌跡受付記号Mが表示させるための信号を表示処理部74に出力し、表示処理部74がディスプレイ201に軌跡受付記号Mを表示させる(ステップST8)。
【0078】
ディスプレイ201に軌跡受付記号Mが表示された後、軌跡入力部51は、軌跡Lの入力を受け付けたか否かを判定する(ステップST9)。ここで、軌跡入力部51が入力を受け付ける軌跡Lは、文字列領域Aの内部と、文字列領域Aの外部に位置する指示位置Pとを接続する軌跡Lである。軌跡入力部51は、軌跡Lの入力操作を受け付けるまで待機する(ステップST9のNo)。軌跡入力部51が軌跡Lの入力操作を受け付けた場合(ステップST9のYes)、文字列領域の外部に位置する軌跡Lに基づいて指示図形Sを生成する(ステップST10)。
【0079】
具体的には、指示図形生成部71は、領域設定部40によって設定された文字列領域A、軌跡入力部51によって受け付けられた軌跡L、および、形状設定部52によって設定された指示図形Sの形状に基づいて指示図形Sを生成する。例えば、形状設定部52によって設定された指示図形Sの形状が線である場合(
図5(a))、
図6(a)に示すように、指示図形生成部71は、文字列領域Aおよび軌跡Lの交点と指示位置Pとを接続する軌跡Lを指示図形Sとして生成する。形状設定部52によって設定された指示図形Sの形状が矢印である場合(
図5(b))、
図6(b)に示すように、指示図形生成部71は、文字列領域Aおよび軌跡Lの交点と指示位置Pとを接続する軌跡Lに、矢尻記号を加えた図形を指示図形Sとして生成する。ここで、矢尻記号は、文字列領域Aおよび軌跡Lの交点と指示位置Pとのうち少なくとも一方に合成される。形状設定部52によって設定された指示図形Sの形状がツノ形状の吹き出し指示部を有する吹き出しである場合(
図5(c)(d))、
図6(c)に示すように、指示図形生成部71は、文字列領域Aおよび軌跡Lの交点と指示位置Pとを接続する軌跡Lと、文字列領域Aと、を囲う図形を指示図形Sとして生成する。また、形状設定部52によって設定された指示図形Sの形状が線形状の吹き出し指示部を有する吹き出しである場合(
図5(e)(f))、
図6(d)に示すように、指示図形生成部71は、文字列領域Aおよび軌跡Lの交点と指示位置Pとを接続する軌跡に、文字列領域Aを囲う図形を組み合わせた図形を指示図形Sとして生成する。
【0080】
表示処理部74は、文字列取得部20によって取得された文字列、および、指示図形生成部71によって生成された指示図形Sをディスプレイ201に表示させる(ステップST11)。
【0081】
以上のように、実施の形態1に係る入力表示方法は、文字列の表示領域を文字列領域Aとして設定する領域設定ステップ(ステップST3-ST4)と、文字列領域Aの内部と文字列領域Aの外部に位置する指示位置Pとを接続する軌跡Lの入力を受け付ける軌跡入力ステップ(ステップST7-ST9)と、文字列領域Aの外部に位置する軌跡Lに基づいて指示位置Pを表現する指示図形Sを生成し、生成された指示図形Sを表示させる表示制御ステップ(ステップST10-ST11)と、を含む。
上記の入力表示方法によれば、ユーザが入力した軌跡Lに基づいて指示図形Sを生成することができる。したがって、予め設定された形状の指示図形Sを編集する操作を行うことなく、指示図形Sを生成することができ、指示図形S、すなわち、文字列が指し示す位置を表現する図形の描画の操作性を向上することができる。
また、上記の入力表示方法によれば、ユーザが入力した軌跡Lに基づいて指示図形Sを生成することができるため、例えば、
図9に示すような複雑な軌跡Lに基づいて指示図形Sを生成し表示させることができる。したがって、上記の入力表示方法によれば、複雑な形状の指示図形Sを簡易な操作で描画することができる。
【0082】
なお、上記では、領域設定部40が文字列領域Aを設定するために、文字数、文字の配置、文字高、および文字幅を用いる例を説明したが、これに限らない。領域設定部40は、文字列の表示領域を文字列領域Aとして設定することが出来れば良く、公知の技術を用いて文字列領域を設定しても良い。
また、上記では、文字列取得部20および文字管理部30が領域設定部40に文字数、文字の配置、文字高、および文字幅を出力する例を説明したが、文字列取得部20が文字数、文字の配置、文字高および文字幅を取得し、領域設定部40に出力してもよい。文字列取得部20が文字数、文字の配置、文字高および文字幅を取得する場合、入力表示装置100は、文字管理部30および文字管理DBを備えなくともよい。
さらに、上記では、文字管理部30が、文字管理部30により予め定められた文字種および文字数に対応した文字高および文字幅を取得する例を説明したが、文字管理部30は、文字列取得部20が取得した文字列情報に含まれる文字種および文字サイズに対応した文字高および文字幅を取得しても良い。
【0083】
なお、上記では、文字列取得部20が取得した文字列に対して領域設定部40が文字列領域Aを設定する例を示したが、領域設定部40は、選択された文字列のみに文字列領域Aを設定しても良い。また、領域設定部40が選択された文字列のみに文字列領域Aを設定する場合、軌跡入力部51は、文字列の選択を受け付けることなく、文字列領域Aが設定された文字列の内部に軌跡受付記号Mを表示してもよい。
【0084】
また、上記では、文字列領域Aの設定(ステップST2-ST4)、指示図形Sの形状の設定(ステップST5-ST6)、軌跡の入力の受付(ステップST7-ST9)の順に処理を行う例を示したが、これに限られない。指示図形生成部71が指示図形Sを生成する前に、指示図形生成部71に文字列領域A、軌跡Lおよび指示図形Sを出力することが出来れば良い。したがって、文字列領域Aの設定(ステップST2-ST4)、指示図形Sの形状の設定(ステップST5-ST6)、軌跡Lの入力の受付(ステップST7-ST9)は並列して実行しても良く、または、順序を変えて実行しても良い。
【0085】
次に、表示制御ステップ(ステップST10-ST11)を終えた後、すなわち、ディスプレイ201に指示図形Sを表示した後に、指示図形Sの形状を変更する場合の入力表示方法について、
図25を用いて説明する。
図25は、指示図形Sの表示後に指示図形Sの形状を変更する場合の入力表示方法を示すフローチャートである。
【0086】
図25に示すように、表示制御ステップ(ステップST10-ST11)を終えた後、形状設定部52は、指示図形Sの形状の設定の変更操作を受け付けたか否かを判定する(ステップST12)。指示位置の形状の設定の変更操作は、例えば、指示位置Pに触れると指示位置Pの近傍に表示される指示図形Sの形状の選択肢の中から、変更を希望する指示図形Sの形状に触れることで実行される。形状設定部52が指示位置Pの形状の設定の変更操作を受け付けなかった場合(ステップST12のNo)、ステップST11においてディスプレイ201に表示された文字列および指示図形Sを変更することなく表示させる。形状設定部52が指示図形Sの形状の設定の変更操作を受け付けた場合(ステップST12のYes)、指示図形生成部71は、形状設定部52で変更された指示位置Pの形状の設定に基づいて、指示図形Sを再度生成する(ステップST13)。表示処理部74は、文字列および再度生成された指示図形Sをディスプレイ201に表示させる(ステップST14)。なお、指示図形生成部71および表示処理部74の具体的な処理内容は、ステップST10およびステップST11と同様である。
【0087】
以上のように、形状設定部52、指示図形生成部71および表示制御部70によって実現される指示図形の形状を変更する場合の入力表示方法によれば、ディスプレイ201に指示図形Sが表示された後においても、ディスプレイ201に表示された指示図形Sを編集する操作を行うことなく、指示図形Sの形状を適宜変更して表示させることができる。したがって、上記の入力表示方法によれば、指示図形Sの描画の操作性をさらに向上することができる。
【0088】
続いて、表示制御ステップ(ステップST10-ST11)を終えた後、すなわち、ディスプレイ201に指示図形Sを表示した後に、文字列の位置または指示位置Pを移動する場合の入力表示方法について、
図26を用いて説明する。
図26は、指示図形Sの表示後に文字列の位置または指示位置Pを移動する場合の入力表示方法を示すフローチャートである。
【0089】
図26に示すように、表示制御ステップ(ステップST10-ST11)を終えた後、移動部53は、文字列の位置または指示位置Pの移動操作を受け付けたか否かを判定する(ステップST15)。文字列の位置または指示位置Pの移動操作は、例えば、移動させる文字列の位置または指示位置Pを長押しすることで実行される。移動部53が文字列の位置または指示位置Pの移動操作を受け付けなかった場合(ステップST15のNo)、ステップST11においてディスプレイ201に表示された文字列および指示図形Sを変更することなく表示させる。移動部53が文字列の位置または指示位置Pの移動を受け付けた場合(ステップST15のYes)、軌跡変更部72が、移動部53で受け付けた移動に対応して、軌跡Lが相似になるように軌跡Lの大きさと位置との少なくとも一方を変更する(ステップST16)。
【0090】
具体的には、軌跡変更部72は、移動部53が文字列の位置の移動を受け付けた場合、指示位置P、および、文字列領域Aの内部に位置する軌跡Lの一端の文字列領域Aに対する相対位置が、軌跡Lの変更の前後で同一となるように軌跡Lの大きさと位置との少なくとも一方を変更する。また、軌跡変更部72は、移動部53が指示位置Pの移動を受け付けた場合、文字列領域Aの内部に位置する軌跡Lの一端の位置が、軌跡Lの変更の前後で同一となるように軌跡Lの大きさと位置との少なくとも一方を変更する。
【0091】
軌跡変更部72によって軌跡Lの大きさと位置との少なくとも一方が変更されると、指示図形生成部71は、変更された軌跡Lに基づいて指示図形Sを再度生成する(ステップST17)。表示処理部74は、文字列および再度生成された指示図形Sをディスプレイ201に表示させる(ステップST18)。なお、指示図形生成部71および表示処理部74の具体的な処理内容は、ステップST10およびステップST11と同様である。
【0092】
以上のように、移動部53、軌跡変更部72および指示図形生成部71によって実現される文字列の位置または指示位置Pを移動する場合の入力表示方法によれば、ディスプレイ201に指示図形Sが表示された後に、文字列の位置または指示位置Pを変更した場合においても、ディスプレイ201に表示された指示図形Sを編集する操作を行うことなく、文字列の位置または指示位置Pの移動に対応した指示図形Sを自動で表示させることができる。したがって、上記の入力表示方法によれば、指示図形Sの描画の操作性をさらに向上することができる。
【0093】
続いて、表示制御ステップ(ステップST10-ST11)を終えた後、すなわち、ディスプレイ201に指示図形Sを表示した後に、指示図形Sの形状を編集する場合の入力表示方法について、
図29を用いて説明する。
図27は、指示図形Sの表示後に指示図形Sの形状を編集する場合の入力表示方法を示すフローチャートである。
【0094】
図27に示すように、表示制御ステップ(ステップST10-ST11)を終えた後、形状編集部54は、指示図形Sの形状の編集を受け付けたか否かを判定する(ステップST19)。指示図形Sの形状の編集は、例えば、編集する指示図形Sを長押しすることで実行される。形状編集部54が指示図形Sの形状の編集を受け付けなかった場合(ステップST19のNo)、ステップST11においてディスプレイ201に表示された文字列および指示図形Sを変更することなく表示させる。形状編集部54が指示図形Sの形状の編集を受け付けた場合(ステップST19のYes)、形状編集部54から出力された指示図形Sの形状の編集情報に基づいて、指示図形Sを再度生成する(ステップST20)。続いて、文字列改行部73は、形状設定部52から出力された指示図形Sの形状が吹き出しであるか否かを判定する(ステップST21)。指示図形Sの形状が吹き出しである場合(ステップST21のYes)、文字列改行部73は、吹き出しの外部に文字列が表示されているか否かを判定する(ステップST22)。文字列改行部73は、吹き出しの外部に文字列が表示されていると判定した場合(ステップST22のYes)、文字列改行部73は、吹き出しの内部に文字列が表示されるように文字列を改行するための情報を表示処理部74に出力する(ステップST23)。表示処理部74は、文字列改行部73から出力された文字列改行情報と、指示図形生成部71から出力された変更指示図形情報と、に基づいて、吹き出しの内部に表示されるように改行された文字列と、編集された指示図形Sと、を表示させる(ステップST24)。文字列改行部73が指示図形Sの形状が吹き出しではないと判定した場合(ステップST21のNo)、表示処理部74は、文字列取得部20から出力された文字列情報と、指示図形生成部71から出力された変更指示図形情報と、に基づいて、ステップST11と同様の文字列と、サイズが変更された指示図形と、を表示させる(ステップST25)。
【0095】
以上のように、形状編集部54、文字列改行部73および指示図形生成部71によって実現される入力表示方法によれば、ディスプレイ201に指示図形Sが表示された後に、指示図形Sの形状を編集した場合においても、指示図形Sと共に表示された文字列の配置を編集することなく、指示図形Sのサイズに対応した文字列を自動で表示させることができる。
【0096】
本開示の実施の形態1に係る入力表示装置100、入力表示方法および入力表示プログラムの作用と効果について説明する。
【0097】
本開示の実施の形態1に係る入力表示装置100は、文字列の表示領域を文字列領域Aとして設定する領域設定部40と、文字列領域Aの内部と、文字列領域Aの外部に位置する文字列が指し示す位置である指示位置Pと、を接続する軌跡Lの入力を受け付ける軌跡入力部51と、文字列領域Aの外部に位置する軌跡Lに基づいて指示位置Pを表現する指示図形Sを生成し、生成された指示図形Sを表示させる表示制御部70と、を備える。
【0098】
本開示の実施の形態1に係る入力表示方法は、文字列の表示領域を文字列領域Aとして設定する領域設定ステップと、文字列領域Aの内部と、文字列領域Aの外部に位置する文字列が指し示す位置である指示位置Pと、を接続する軌跡Lの入力を受け付ける軌跡入力ステップと、文字列領域Aの外部に位置する軌跡Lに基づいて指示位置Pを表現する指示図形Sを生成し、生成された指示図形Sを表示させる表示制御ステップと、を含む。
【0099】
本開示の実施の形態1に係る入力表示プログラムは、コンピュータに、文字列の表示領域を文字列領域Aとして設定する領域設定機能と、文字列領域Aの内部と、文字列領域Aの外部に位置する文字列が指し示す位置である指示位置Pと、を接続する軌跡Lの入力を受け付ける軌跡入力機能と、文字列領域Aの外部に位置する軌跡Lに基づいて指示位置Pを表現する指示図形Sを生成し、生成された指示図形Sを表示させる表示制御機能と、を実現させる。
【0100】
本開示の実施の形態1に係る入力表示装置100、入力表示方法および入力表示プログラムによれば、ユーザが入力した軌跡に基づいて指示図形Sを生成することができる。したがって、予め設定された形状の指示図形Sを編集する操作を行うことなく、指示図形Sを生成することができる。すなわち、本開示の実施の形態1に係る入力表示装置100、入力表示方法および入力表示プログラムによれば、少ない操作手数で文字列が指し示す位置を表現する図形を表示させることができ、文字列が指し示す位置を表現する図形の描画の操作性を向上することができる。
【0101】
さらに、本開示の実施の形態1に係る入力表示装置100、入力表示方法および入力表示プログラムによれば、ユーザが入力した軌跡に基づいて指示図形Sを生成することができるため、例えば、
図9に示すような複雑な形状の指示図形Sを、予め設定された形状の指示図形Sを編集する操作を行うことなく、生成することができる。
【0102】
また、本開示の実施の形態1に係る入力表示装置100は、予め定められた複数の指示図形Sの形状から表示制御部70で表示させる指示図形Sの形状を設定する形状設定部52をさらに備える。
上記の入力表示装置100によれば、一度指示図形Sを生成した後においても、一度ディスプレイ201に表示された指示図形Sを編集する操作を行うことなく、指示図形Sの形状を適宜変更して表示させることができる。
【0103】
さらに、本開示の実施の形態1に係る入力表示装置100は、文字列の位置または指示位置Pの移動を受け付ける移動部53をさらに備え、表示制御部70は、移動部53で受け付けた移動に対応して、軌跡Lが相似となるように軌跡Lの大きさと位置との少なくとも一方を変更し、変更された軌跡Lに基づいて指示図形Sを表示させる。
上記の入力表示装置100によれば、一度指示図形Sを生成した後に、文字列の位置または指示位置Pを変更した場合においても、表示された指示図形Sを編集する操作を行うことなく、指示図形Sを表示させることができる。
【0104】
本開示の実施の形態1に係る入力表示装置100は、指示図形Sの形状の編集を受け付ける形状編集部54をさらに備え、表示制御部70は、指示図形Sが吹き出しであり、吹き出しのうち文字列を囲う部分に文字列が収まらない場合に、吹き出しのうち文字列を囲う部分の大きさに対応して、改行された文字列を表示させる。
上記の入力表示装置100によれば、指示図形Sの形状を編集した場合においても、表示された文字列の配置をユーザが編集操作を行うことなく、指示図形Sのサイズに対応した文字列を表示させることができる。
【0105】
なお、上記では、文字列領域Aおよび軌跡Lをディスプレイ201に表示せず、文字列および指示図形Sのみをディスプレイ201に表示する例を示したが、文字列領域Aおよび軌跡Lをディスプレイ201に表示してもよい。また、表示処理部74は、一定時間のみ文字列領域Aおよび軌跡Lをディスプレイ201に表示しても良い。文字列領域Aおよび軌跡Lをディスプレイ201に表示することで、指示図形Sを表示するための過程を視認できる状態となるため、指示図形Sの描画の操作性をさらに向上することが出来る。
【0106】
変形例.
実施の形態1では、文字列および指示図形Sをディスプレイ201に表示させる入力表示装置100について説明した。実施の形態1の変形例では、文字列をユーザの自由なレイアウトで表示させることができ、当該文字列に対応した指示図形Sとともにディスプレイ201に表示させる入力表示装置101について説明する。
【0107】
実施の形態1の変形例に係る入力表示装置101は、軌跡入力部51が受け付けた軌跡Lを示す軌跡画像を生成し、文字列を生成された軌跡画像の上に重ねて表示させる表示制御部70aを備える点で、実施の形態1に係る入力表示装置100と異なる。実施の形態1の変形例に係る入力表示装置101の構成について、
図28および
図29を用いて説明する。
図28は、入力表示装置101のシステムブロック図であり、
図29は、入力表示装置101のハードウェア構成図である。
実施の形態1の変形例に係る入力表示装置101は、実施の形態1に係る入力表示装置100とは、文字列入力部10a、操作受付部50a、操作切換部60aおよび表示制御部70aの内部構成および動作が異なるが、その他の構成および動作は同様である。
【0108】
図28に示すように、入力表示装置101が備える文字列入力部10aは、音声の認識結果を示す文字列を表示対象の文字列として取得する。そして、実施の形態1に係る文字列入力部10と同様に、文字列入力部10aは、文字列入力部10aで受け付けた文字列を文字列取得部20に出力する。
【0109】
図28に示すように、入力表示装置101が備える文字列入力部10aは、音声検出部11、音声認識辞書DB84、および音声認識部12を備える。音声検出部11は、例えば、
図29に示すマイク215によって実現される。音声検出部11は、ユーザの音声を検出し、検出した音声を音声認識部12に出力する。音声認識辞書DB84は、例えば、
図29に示す記憶処理回路204によって実現される。音声認識辞書DB84は、例えば、人間の発声の小さな単位である音素の音響特徴が記述されている音響モデルと、音声認識する言葉が記述されている認識辞書とを備えている。音声認識部12は、例えば、
図29に示す音声認識処理回路216によって実現される。音声認識部12は、音声検出部11により検出された音声を認識する音声認識エンジンを搭載している。音声認識部12は、音声検出部11により検出された音声を分析して、音声の音響特徴を算出し、音声認識辞書DB84の認識辞書に記述されている言葉の中から、算出した音響特徴と最も近い音響特徴を有する言葉を探索する。音声認識部12は、探索した言葉を示す文字列を音声の認識結果を示す文字列として表示制御部70aの表示処理部74aに出力する。
【0110】
なお、
図28に示す文字列入力部10aは、音声認識辞書DB84および音声認識部12を実装しているが、文字列入力部10aは、音声認識辞書DB84および音声認識部12の代わりに、データ送受信部が実装されていてもよい。ここで、データ送受信部は、インターネット又はLAN(Local Area Network)等の通信経路を介して、図示せぬ音声認識サーバとデータの送受信を行うことが可能なネットワークカード等のネットワーク通信機器である。データ送受信部は、音声検出部11により検出された音声を示すデータを音声認識サーバに送信する。音声認識サーバは、音声を認識する音声認識エンジンを搭載しており、データ送受信部から送信された音声を示すデータを受信すると、受信したデータが示す音声を認識して、音声の認識結果を示す文字列を当該データ送受信部に送信する。データ送受信部は、音声認識サーバから送信された音声の認識結果を示す文字列を受信すると、文字列を表示制御部70aの表示処理部74aに出力する。
【0111】
操作受付部50aは、実施の形態1に係る操作受付部50が受け付けるユーザの操作に加えて、文字列を重ねて表示させる軌跡画像を生成するための軌跡Lを入力する操作を受け付ける。具体的には、操作受付部50aの軌跡入力部51aが、指示図形Sを生成するための軌跡に加えて、文字列を重ねて表示させる軌跡画像を生成するための軌跡Lの入力を受け付ける。
操作受付部50aは、受け付けた軌跡Lの情報を表示制御部70aに出力する。具体的には、軌跡入力部51aが、指示図形Sを生成するための軌跡、すなわち、文字列領域Aの内部と文字列領域Aの外部に位置する指示位置とを接続する軌跡Lを受け付けた場合には、操作受付部50aの指示図形生成部71に受け付けた軌跡Lの情報を出力する。また、軌跡入力部51aが、文字列を重ねて表示させる軌跡画像を生成するための軌跡Lを受け付けた場合には、表示制御部70aの軌跡画像生成部75に受け付けた軌跡Lの情報を出力する。
【0112】
操作切換部60aは、実施の形態1に係る操作切換部60が切り換える操作に加えて、軌跡入力部51aが受け付ける操作である、指示図形Sを生成するための軌跡Lの入力操作と、文字列を重ねて表示させる軌跡画像を生成するための軌跡Lの入力操作と、を切り替える。例えば、操作切換部60aは、ポインティングデバイス207の長押し操作を検出すると、軌跡入力部51aが受け付ける操作を切り換える処理を実施する。
【0113】
表示制御部70aは、実施の形態1に係る表示制御部70の構成に加えて、軌跡画像生成部75を備える。
軌跡画像生成部75は、例えば、
図2に示す画像生成処理回路209で実現される。軌跡画像生成部75は、軌跡入力部51aで受け付けられた文字列を重ねて表示させる軌跡画像を生成するための軌跡Lの入力操作から、軌跡Lを示す軌跡画像を生成する。軌跡画像生成部75は、領域設定部40と同様に、文字管理部30から出力された文字属性情報が示す文字高に対応する線幅の軌跡画像を生成する。
【0114】
表示処理部74aは、実施の形態1に係る表示処理部74が行う処理に加えて、軌跡画像生成部75により生成された軌跡画像をディスプレイ201に表示させるとともに、文字列入力部10aにより取得された文字列を軌跡画像の上に重ねて表示させる処理を実施する。また、表示制御部70aは文字列を軌跡画像の上に重ねて表示した後、その軌跡画像の表示を消す処理を実施してもよい。
【0115】
続いて、入力表示装置101による入力表示方法について
図27を用いて説明する。
図27は、実施の形態1の変形例に係る入力表示方法の手順を示すフローチャートである。
【0116】
入力表示装置101による入力表示方法では、
図6のST1に代替して、
図30のST26-ST31を実施する。
図30に示すように、まず、操作切換部60aが、軌跡入力部51aの受け付ける操作を、軌跡画像を生成するための軌跡Lの入力操作に切り換える(ステップST26)。具体的には、操作切換部60aがユーザの長押し操作を検出することで、軌跡画像を生成するための軌跡Lの入力操作に切り換える。次に、軌跡入力部51aは、軌跡画像を生成するための軌跡Lの入力操作を受け付けたか否かを判定する(ステップST27)。軌跡入力部51aは、軌跡画像を生成するための軌跡Lの入力操作を受け付けるまで待機する(ステップST27のNo)。軌跡入力部51aが軌跡画像を生成するための軌跡Lの入力操作を受け付けた場合(ステップST27のYes)、軌跡画像生成部75が軌跡画像を生成する(ステップST28)。具体的には、文字管理部30から出力された文字属性情報が示す文字高に対応する線幅の軌跡画像を生成する。続いて、文字列入力部10の音声検出部11がユーザの音声を検出したか否かを判定する(ステップST29)。音声検出部11がユーザの音声を検出すると(ステップST29のYes)、音声認識部12が、音声認識辞書DB84を利用して、音声の認識処理を実施することで、音声の認識結果を示す文字列を生成し、その文字列を表示制御部70aに出力する(ステップST30)。表示制御部70aの表示処理部74aは、軌跡画像生成部75から出力された軌跡画像と、文字列入力部10とから出力された文字列と、を重ねてディスプレイ201に表示させる(ステップST31)。
【0117】
操作切換部60aは、長押し操作が検出されるまで待機する(ステップST32のNo)。ディスプレイ201に文字列が表示された後に、操作切換部60aにより、長押し操作が検出されると(ステップST32のYes)、軌跡入力部51aで受け付ける操作を指示図形生成のための操作に切り換える(ステップST33)。切り換えた後は、実施の形態1に係る入力表示装置100による入力表示方法と同様に、軌跡入力部51aで受け付けた指示図形生成のための操作に基づいて、指示図形Sを生成する。すなわち、
図6のステップST2-ST11を実行する。
【0118】
本開示の実施の形態1の変形例に係る入力表示装置101の作用と効果について説明する。
【0119】
本開示の実施の形態1に係る入力表示装置101は、本開示の実施の形態1に係る入力表示装置100に加えてさらに、文字列の入力を受け付ける文字列取得部20aと、軌跡入力部51aが受け付けた軌跡を示す軌跡画像を生成する軌跡画像生成部75と、を備え、表示制御部70aは、文字列入力部が受け付けた文字列を軌跡画像に重ねて表示させる。
【0120】
実施の形態1の変形例に係る入力表示装置101によれば、文字列をユーザの自由なレイアウトで表示させることができ、自由なレイアウトで表示した文字列に対応した指示図形Sを自動で表示させることができる。また、文字列の入力操作および指示図形Sの生成操作が、ユーザの長押し操作で簡易に切り換え可能であるため、文字列入力操作と図形の生成操作とを少ない手数で実施できる。
【0121】
以上、各実施の形態に基づいて本開示について説明したが、本開示は各実施の形態に限定されるものではない。また、各実施の形態を、適宜、組み合わせたり、変形や省略したりすること等も、本開示の技術的思想の範囲に含まれる。
【符号の説明】
【0122】
10、10a 文字列入力部
20 文字列取得部
30、30a 文字管理部
40 領域設定部
50、50a 操作受付部
51、51a 軌跡入力部
52 形状設定部
53 移動部
54 形状編集部
60、60a 操作切換部
70、70a 表示制御部
71 指示図形生成部
72 軌跡変更部
73 文字列改行部
74、74a 表示処理部
75 軌跡画像生成部
81 文字管理DB
82 指示図形形状DB
83 一時保存部
84 音声認識辞書DB
100、101 入力表示装置
201 ディスプレイ
202 文字列入力処理回路
203 文字列取得処理回路
204 記憶処理回路
205 文字管理処理回路
206 領域設定処理回路
207 ポインティングデバイス
208 操作切換処理回路
209 画像生成処理回路
210 軌跡変更処理回路
211 文字列改行処理回路
212 表示処理回路
213 メモリ
214 プロセッサ
215 マイク
216 音声認識処理回路
【要約】
文字列が指し示す位置を表現する図形の描画の操作性を向上する入力表示装置、入力表示方法および入力表示プログラムを提供する。
本開示に係る入力表示装置(100)は、文字列の表示領域を文字列領域として設定する領域設定部(40)と、文字列領域の内部と文字列領域の外部に位置する文字列が指し示す位置である指示位置とを接続する軌跡の入力を受け付ける軌跡入力部(51)と、文字列領域の外部に位置する軌跡に基づいて指示位置を表現する指示図形を生成し、生成された指示図形を表示させる表示制御部(70)と、を備える。