(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-12
(45)【発行日】2023-10-20
(54)【発明の名称】表示装置
(51)【国際特許分類】
G06F 3/04842 20220101AFI20231013BHJP
G06F 3/04817 20220101ALI20231013BHJP
【FI】
G06F3/04842
G06F3/04817
(21)【出願番号】P 2020033487
(22)【出願日】2020-02-28
【審査請求日】2022-09-21
(73)【特許権者】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】100112335
【氏名又は名称】藤本 英介
(74)【代理人】
【識別番号】100101144
【氏名又は名称】神田 正義
(74)【代理人】
【識別番号】100101694
【氏名又は名称】宮尾 明茂
(74)【代理人】
【識別番号】100124774
【氏名又は名称】馬場 信幸
(72)【発明者】
【氏名】坂本 季穂
【審査官】▲高▼瀬 健太郎
(56)【参考文献】
【文献】特開2012-256259(JP,A)
【文献】特開2003-196283(JP,A)
【文献】特開2012-216097(JP,A)
【文献】特開2018-165880(JP,A)
【文献】特開2004-355255(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/04842
G06F 3/04817
(57)【特許請求の範囲】
【請求項1】
コンテンツを表示する表示部と、入力部と、記憶部と、制御部と、選択操作受付部と、を備えた表示装置において、
前記記憶部は、前記コンテンツに対応付けて文字又は画像をコメントとして記憶可能であり、
前記選択操作受付部は、第1の処理、または第2の処理の何れかを選択する選択操作を受け付け可能であり、
前記制御部は、前記表示部に表示された前記コンテンツに対して前記入力部による位置指定操作を受け付けた場合に、前記表示部における前記位置指定操作を受け付けた位置の周辺に、前記表示部に表示されたコンテンツに対して第2の画像を入力するための入力領域を前記表示部に表示し、
前記選択操作受付部は、前記入力領域に前記第2の画像が入力された後に、前記選択操作を受付け、
前記記憶部は、
前記選択操作受付部が前記第1の処理を選択する前記選択操作を受け付けた場合には、前記コンテンツと前記入力領域とが重畳する範囲を含むキャプチャ領域を特定し、前記コンテンツの前記キャプチャ領域をキャプチャした画像である第1の画像と、前記入力領域に入力された前記第2の画像と、を前記コメントとして記憶し、
前記選択操作受付部が前記第2の処理を選択する前記選択操作を受け付けた場合には、前記入力領域に入力された前記第2の画像を前記コメントとして記憶する、
ことを特徴とする表示装置。
【請求項2】
前記入力部はタッチパネルであって、
前記位置指定操作は前記入力部により受け付けられたタッチ操作である
ことを特徴とする請求項1に記載の表示装置。
【請求項3】
前記制御部は、
前記表示部に表示されたコンテンツに対して入力された手書き図形に基づく画像を、
前記第2の画像とする、
ことを特徴とする請求項1又は2に記載の表示装置。
【請求項4】
前記制御部は、
前記手書き図形の表示又は非表示を切り替える制御を行う
ことを特徴とする
請求項3に記載の表示装置。
【請求項5】
前記制御部は、
前記手書き図形の近傍に、当該手書き図形を入力したユーザを示す識別表示を行う
ことを特徴とする
請求項3に記載の表示装置。
【請求項6】
前記制御部は、
前記識別表示が選択されることにより、前記手書き図形の表示又は非表示を切り替え
る制御を行う
ことを特徴とする請求項5に記載の表示装置。
【請求項7】
前記制御部は、前記コメントに、ファイルを対応付けて記憶することを特徴とする請求項1から6の何れか一項に記載の表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は表示装置に関する。
【背景技術】
【0002】
近年、タッチやペン入力に対応するパソコンやタブレットが普及しており、手書き入力に関する技術も様々提案されている。
【0003】
例えば、複数の手書きストロークがテキスト入力である場合に1以上の手書き単語ブロックを生成し、第1の所定のレイアウト基準に従って位置付け、複数の手書きストロークがスケッチである場合に、スケッチコンテンツオブジェクトを生成し、第1の所定のレイアウト基準とは異なる第2の所定のレイアウト基準に従って位置づけることによって、複数の手書きストロークを入力エリアで受信することに応答する技術が提案されている(特許文献1参照)。
【0004】
また、直前に入力したイメージデータに対して、所定のコマンド(ジェスチャ)を入力することで、イメージデータを削除する技術が提案されている(特許文献2参照)。
【先行技術文献】
【特許文献】
【0005】
【文献】特表2018-530042号公報
【文献】特開平6-309093号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
文書ファイル等のコンテンツをブラッシュアップする上で、他者によるレビューは欠かせず、コンテンツに対してコメントが入力できるアプリケーション等の利用も進んでいる。しかしながら、特許文献1や特許文献2に開示された技術では、ユーザがコンテンツの中の所定の領域に対してコメントを付加させることを考えても、簡易な方法により、コメントを付加する対象となったコンテンツの領域を知り得ることはできなかった。
【0007】
上述した課題を解決するために、本発明の表示装置は、領域を特定し、当該領域のコンテンツをコメントとして記憶する表示装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
上述した課題を解決するための第1の実施態様は、コンテンツを表示する表示部(例えば、
図2の表示部110)と、入力部(例えば、
図2の入力部120)と、記憶部(例えば、
図2の記憶部150)と、制御部(例えば、
図2の制御部100)と、を備えた表示装置において、
前記記憶部は、前記コンテンツに対応付けて文字又は画像をコメントとして記憶可能であり、
前記制御部は、
前記表示部に表示されたコンテンツのうち、前記入力部により入力された領域を特定し、
前記特定された領域のコンテンツに基づく第1の画像をコメントとして記憶する、
ことを特徴とする表示装置である。
【0009】
第2の実施態様は、コンテンツを表示する表示部(例えば、
図2の表示部110)と、入力部(例えば、
図2の入力部120)と、記憶部(例えば、
図2の記憶部150)と、制御部(例えば、
図2の制御部100)と、を備えた表示装置において、
前記記憶部は、前記コンテンツに対応付けて文字又は画像をコメントとして記憶可能であり、
前記制御部は、
前記表示部に、第1の画像を入力するための入力領域を前記コンテンツに重畳させて表示し、
前記入力領域が重畳された範囲を含む領域を特定し、
前記入力領域に入力された第1の画像と、前記特定された領域のコンテンツに基づく第2の画像とをコメントとして記憶する、
ことを特徴とする表示装置である。
【発明の効果】
【0010】
本発明の表示装置によれば、領域を特定し、当該領域のコンテンツをコメントとして記憶することができる。
【図面の簡単な説明】
【0011】
【
図1】第1実施形態におけるシステムの概要を説明するための図である。
【
図2】第1実施形態における表示装置の機能構成を説明するための図である。
【
図3】第1実施形態におけるコンテンツ情報、手書き図形情報、コメント情報を説明するための図である。
【
図4】第1実施形態におけるコメント記憶処理を説明するための図である。
【
図5】第1実施形態における動作例を説明するための図である。
【
図6】第1実施形態における動作例を説明するための図である。
【
図7】第2実施形態におけるコメント記憶・追記処理を説明するための図である。
【
図8】第2実施形態における動作例を説明するための図である。
【
図9】第3実施形態におけるコメント記憶処理を説明するための図である。
【
図10】第3実施形態における動作例を説明するための図である。
【
図11】第4実施形態におけるコメント記憶処理を説明するための図である。
【
図12】第5実施形態におけるファイル添付処理を説明するための図である。
【
図13】第5実施形態における動作例を説明するための図である。
【
図14】第6実施形態における表示切り替え処理を説明するための図である。
【
図15】第6実施形態における動作例を説明するための図である。
【発明を実施するための形態】
【0012】
以下、本発明の表示装置を適用した場合の実施形態について説明する。なお、各実施形態は本発明を説明する都合上記載したものであり、本発明の技術的範囲が以下の実施形態に限定されるものではない。
【0013】
[1.第1実施形態]
[1.1 全体構成]
図1(a)は、表示装置10の外観を示した図である。表示装置10は、例えば、タブレット型の端末装置や、ノートパソコンといった情報処理装置であってもよいし、電子ホワイトボード、電子黒板(IWB:Interactive Whiteboard)で利用されるような大型の表示装置や、テーブル型の表示装置であってもよい。表示装置10に対するユーザの操作は、例えば、タッチパネルによるタッチを検出したり、入力装置15を用いた操作を検出したりすることで入力される。
【0014】
本システムでは、表示装置10にコンテンツやコメントが記憶されている。表示装置10は、記憶されたコンテンツやコメントを参照することで、コンテンツにコメントを付加して表示することができる。
【0015】
なお、本実施形態において、表示装置10は単一の装置として説明するが、複数の表示装置を含む構成や、表示装置とサーバとが連携するような構成であってもよい。
【0016】
例えば、
図1(b)のように、管理者であるユーザが利用する表示装置10Hと、他のユーザが使用する複数の表示装置を含むシステムの構成としてもよい。以下、システム全体の動作の概要について説明する。
【0017】
(1)管理者であるユーザHが利用する表示装置10Hにおいて、ユーザHは、コンテンツを選択する(F10)。このとき、ユーザHは、コンテンツに対して自らコメントを付加してもよい。コメントは、コンテンツとは別のファイル(データ)として記憶されてもよい。
【0018】
(2)ユーザAは、ユーザAが利用する表示装置10Aにおいて、表示装置10Hからコンテンツと、必要に応じてコメントを読み出す(F12)。
【0019】
(3)ユーザAは、読み出されたコンテンツにコメントを付加する処理を実行する(F14)。
【0020】
(4)ユーザAがコンテンツに付加したコメントは、表示装置10Hに送信される(F16)。表示装置10Hは、受信したコメントに基づいて、コンテンツに対応するコメントを更新することで、コンテンツに、ユーザAが付加したコメントが反映されることになる。
【0021】
(5)同様に、ユーザB、ユーザCでも、ユーザHが選択したコンテンツにコメントを付加する処理を実行する。
【0022】
このように、本システムを利用することで、各ユーザはコンテンツに対してそれぞれコメントを付加することが可能である。
【0023】
また、表示装置は、サーバ装置と接続可能なシステムであってもよい。例えば、
図1(c)に示すように、表示装置10が通信可能なサーバ装置20をシステムに接続する。サーバ装置20は、同一ネットワークであってもよいし、クラウドにあってもよい。
図1(c)に示すように、表示装置10は、それぞれサーバ装置20と通信可能に構成されている。すなわち、
図1(b)の構成において表示装置10Hに記憶されているコンテンツや、コメントに関するデータをサーバ装置20に記憶する。表示装置10H、表示装置10A、表示装置10Bは、それぞれサーバ装置20を参照することで、上述した構成と同じ動作が実現できる。
【0024】
なお、以下の説明は、1台の表示装置で実現する場合について説明するが、いわゆる当業者であれば第2の構成、第3の構成にも適用できる。
【0025】
[1.2 機能構成]
つづいて、
図2を参照して、表示装置10の機能構成について説明する。各構成は、動作に必要なものを備えれば十分であり、必須の構成ではない。
【0026】
制御部100は、表示装置10の全体を制御するための機能部である。制御部100は、記憶部150に記憶されている各種プログラムを読み出して実行することにより各種機能を実現しており、1又は複数の演算装置(例えば、CPU(Central Processing Unit))により構成される。
【0027】
また、制御部100は、プログラムを実行することにより、コメント処理部102、UI(User Interface)処理部104、ユーザ認証部106として動作する。
【0028】
コメント処理部102は、ユーザから入力された操作に応じてコメントの入力・変更・削除といった編集処理を実行する。コメント処理部102は、ユーザにより入力されたコメントに、必要な情報を付加して記憶部150のコメント情報156に記憶する。また、他の表示装置10や、サーバ装置20にコメント情報が記憶されている場合、コメント処理部102は、通信部160を介して他の装置とコメントを送受信してもよい。
【0029】
コメント処理部102は、ユーザから入力されたオブジェクトを、コンテンツに対して入力されたコメントとして処理する。ユーザによって入力されるオブジェクトには、例えば、図形、テキスト(文字)、記号が含まれる。
【0030】
本実施形態において、コンテンツとは、表示装置10の表示部110に表示される内容であり、例えば、画像や文書である。また、文書とは、ワープロソフトや、表計算ソフト、プレゼンテーションソフトを用いて作成されたデータや、PDF(Portable Document Format)形式のデータをいう。
【0031】
また、本実施形態において、コメントとは、コンテンツ対応付けるためにユーザによって入力される情報であって、当該内容を入力したユーザの情報や当該内容が入力されたときに表示されたコンテンツの情報に対応付けられるものをいう。ユーザによってコメントとして入力される情報は、コンテンツに対する注釈や指摘等、他のユーザに対して伝達する情報であってもよいし、備忘録等、私的な情報であってもよい。
【0032】
オブジェクトの入力については、例えば、コメント処理部102は、ユーザからソフトウェアキーボードや、ハードウェアキーボードから入力された場合はテキストのコメントの入力を受け付ける。また、コメント処理部102は、タッチパネルにより図形が描画された場合や、操作ペンで図形が描画された場合は、当該入力された図形のコメントの入力を受け付ける。以下の説明において、タッチパネルに対するタッチ操作や操作ペンによる操作によって入力された図形を、手書き図形という。手書き図形には、例えば、文字や記号を構成する図形や、点、線、矢印、矩形等の図形が含まれる。また、コメント処理部102は、タッチボタンや操作によって、テキストによるコメントと、図形によるコメントとを切り替えて入力を受け付けてもよい。
【0033】
さらに、コメント処理部102は、手書き図形を文字認識することでテキストに変換してもよいし、テキストを画像化してもよい。本実施形態では、ユーザは、テキスト入力と、手書き入力とを意識しないでコメントを付加することができる。
【0034】
さらに、コメント処理部102は、ユーザが付加するコメントとして、スタンプのような画像を処理してもよい。
【0035】
なお、コメント処理部102は、その他の一般的な編集処理、例えば、挿入、削除、変更、置換、移動といった操作や、文字種の変更、カーソルの移動、フォントの変更、線の色・太さの変更、線の変形といった公知の編集処理は実行可能である。
【0036】
UI処理部104は、ユーザインタフェースの画面を生成し、表示部110に表示する。本実施形態においては、UI処理部104は、表示部110に、コンテンツと、コメントに関する情報及びコメントの一覧とを表示する処理を行う。例えば、
図5(a)に示すように、表示画面W100の全体にコンテンツを表示し、領域R100にコメントを縦方向に並べて一覧で表示する。コメントは、時系列に並べてもよいし、ユーザ毎に表示してもよい。例えば、
図5(a)の領域R102に、ユーザアイコンが表示されている。ユーザによりユーザアイコンが選択されると、UI処理部104は選択されたユーザに対応するコメントを、コメント情報156から読み出して表示する。UI処理部104は、コメントの一覧を、コンテンツに重畳して表示してもよいし、表示部110の表示領域を分割し、コンテンツが表示される領域とは異なる領域にコメントの一覧を表示してもよい。また、UI処理部104は、コメントの一覧の表示と非表示とを切り替えられてもよい。
【0037】
ユーザ認証部106は、ユーザを認証する。具体的には、ユーザ認証部106は、ユーザ情報158を参照して、例えば、コメントを付けるユーザを認証したり、コンテンツの所有者(ユーザ)の認証をしたりする。なお、ユーザ認証部106は、外部の認証サーバを利用してもよい。認証サーバを利用した場合、ユーザ認証部106及びユーザ情報158は、認証サーバに記憶してもよい。
【0038】
表示部110は、コンテンツやコメントを表示したり、表示装置10の各種状態や、操作入力の状態を表示したりする。例えば、液晶ディスプレイ(LCD:liquid crystal display)や、有機ELパネル、電気泳動方式を利用した電子ペーパ等により構成されている。
【0039】
入力部120は、ユーザからの操作入力を受け付ける。例えば、静電容量式や、感圧式のタッチパネルにより構成される。入力部120は、タッチパネルと操作ペンを組み合わせてもよいし、キーボード、マウスといった入力装置であってもよい。その他にも、例えば、マイク等と組み合わせて音声入力を行う等、入力部120は、ユーザが情報を入力できればよい。
【0040】
また、入力部120は、ユーザから入力の操作があった位置を検出し、入力位置として制御部100に出力する。入力位置は、例えば、タッチパネルにおいて検出された位置として、表示部110に表示されている表示画面上の座標であることが好ましい。それ以外にも、カーソルの位置(文章中の行、列の位置)や、配置されているレイアウトの情報(例えば、ボタン上や、スクロールバー上)といった位置であってもよい。
【0041】
記憶部150は、表示装置10の動作に必要な各種プログラムや、各種データが記憶されている機能部である。記憶部150は、例えば、半導体メモリであるSSD(Solid State Drive)や、HDD(Hard Disk Drive)等により構成されている。また、記憶部150は、コンテンツ情報152と、手書き図形情報154と、コメント情報156と、ユーザ情報158とを記憶している。
【0042】
コンテンツ情報152は、コンテンツと、コンテンツに関する情報とを記憶している。コンテンツ情報152には、例えば、
図3(a)に示すように、以下の情報が含まれている。
【0043】
・コンテンツID:コンテンツを識別するための情報。
・コンテンツ:コンテンツに関する情報。コンテンツは、例えば、文章ファイル、画像ファイル、PDF(Portable Document Format)ファイル、オフィスファイル等である。これらのコンテンツとしては、実際のデータが記憶されてもよいし、記憶されている場所(例えば、フォルダの場所、URL(uniform resource locator))が記憶されてもよい。また、コンテンツは、1又は複数のページで構成されてもよい。
・コメントIDリスト:コメントIDのリスト。当該コンテンツに付加されたコメントに対応するコメントIDが含まれている。
【0044】
手書き図形情報154は、コンテンツに対して入力された手書き図形に関する情報を記憶している。コンテンツに対して入力された手書き図形とは、コンテンツが表示されている領域に対して、ユーザによるタッチ操作や操作ペン等の操作がされることにより、コンテンツ対して直接入力された手書き図形をいう。
【0045】
手書き図形情報154には、例えば、
図3(b)に示すように、以下の情報が含まれている。
・コンテンツID:コンテンツを識別するための情報。
・位置:手書き図形が入力された領域と対応付けられた位置。当該コンテンツ又はコンテンツのページ内での位置であり、例えば、座標(XY座標)で示される。
・作成者:手書き図形を入力したユーザに関する情報。
・手書き図形情報:手書き図形を示す情報。
【0046】
手書き図形情報154に記憶される位置は、手書き図形を含む領域の内部又はその周辺の位置が記憶される。また、手書き図形情報154に記憶される手書き図形情報は、ラスタ形式の画像で記憶されてもよいし、ベクタ形式の画像で記憶されてもよい。
【0047】
コメント情報156は、ユーザがコンテンツに付加したコメントと、当該コンテンツに関する情報を記憶している。コメント情報156には、例えば、
図3(c)に示すように、以下の情報が含まれている。
【0048】
・コメントID:コメントを識別するための情報。
・コンテンツID:コメントに対応するコンテンツを識別するための情報。
・位置:コンテンツの中でコメントが付加されている位置の情報。当該コンテンツ又はコンテンツのページ内での位置であり、例えば、座標(XY座標)で示される。また、コンテンツがテキストデータ等の文章データの場合、行・列で表されてもよい。
・作成者:コメントの作成者に関する情報。
・参照先ID:当該コメントが参照するコメント(親コメント)を識別するための情報。ユーザが、コメントを階層的に付加した場合に、親となるコメントを識別するため、親となるコメントIDを記憶する。なお、親と子のコメントとなるような、関連のあるコメントをコメント群と表現する。
・コメント:実際にユーザが入力した(付加した)コメントの内容を示す情報。内容には、例えば、テキストデータ、画像データ、添付ファイルに関するデータ等が記憶される。
【0049】
なお、コメントは、複数の内容が記憶されてもよい。例えば、コメントとして画像データとテキストデータとが記憶されてもよいし、複数の画像データが記憶されてもよい。また、コメントとして複数のデータが記憶される場合は、記憶された順番(入力された順番)が保持されてもよい。例えば、1番目に入力された画像(第1の画像)と、2番目に入力された画像(第2の画像)とが、順番を保持した上でコメントとして記憶されてもよい。この場合は、コメント処理部102は、第2の画像を、第1の画像に対する追記としてのコメント(第1の画像に対応付けられる情報)として扱ってもよい。
【0050】
ユーザ情報158は、ユーザに関する情報を記憶している。例えば、ユーザを識別するための情報として、ユーザ毎のログインID、パスワード、氏名、使用端末、ユーザの生体情報、使用する入力ペンのID等を記憶してもよい。また、ユーザ情報158は、ユーザ毎にアイコンを対応づけて記憶している。
【0051】
通信部160は、他の装置と通信を行う。例えば、LAN(Local Area Network)に接続して、他の装置とコメントに関する情報を送受信したり、ドキュメントを送受信したりする。通信方式は、一般的なイーサネット(登録商標)であるLANの他にも、LTE/4G/5Gといった通信を利用してもよい。
【0052】
なお、上述した各構成は、必要に応じた機能を表示装置10が備えていればよい。例えば、管理者でないユーザ(一般ユーザ)が使用する表示装置10や、サーバ装置20に各データを記憶する場合であればコンテンツ情報152、コメント情報156は記憶部150に記憶する必要はない。また、必要に応じて各種情報は、クラウド上のサーバに記憶してもよい。
【0053】
図2に記載された構成は、少なくとも制御部100及び記憶部150を備えていればよく、本実施形態における動作を実現できるものを備えていればよい。また、一部の機能は外部の装置で実現されてもよい。例えば、表示部110を、ディスプレイ等の外部装置として構成してもよい。すなわち、表示装置10は、表示装置と、端末装置とで構成されてもよく、制御部100、記憶部150は、端末装置に備えていればよい。
【0054】
[1.3 処理の流れ]
本実施形態のコメント記憶処理の流れについて、
図4を参照して説明する。制御部100が、
図4に示したコメント記憶処理を実行するのは、UI処理部104によってコンテンツとコメントを表示する処理を行うためのユーザインタフェースの画面が生成され、表示部110に表示された後である。
【0055】
はじめに、制御部100は、表示部110にメニューを表示する(ステップS102)。制御部100は、入力部120を介して、長押しやダブルタップ等のジェスチャや、メニューを表示するためのアイコンやボタンを選択する操作が入力された場合に、メニューを表示する。
【0056】
ステップS102において表示されるメニューには、制御部100が実行可能な処理を示す項目が1又は複数表示される。ユーザは、メニューから1の項目を選択することで、所定の処理を実行させることができる。なお、本実施形態では、ステップS102において表示されるメニューに含まれる項目の中には、コンテンツの一部を画像として取得し、当該取得した画像(対象画像)をコメントとして出力する処理である「画像切り出し」が含まれる。
【0057】
制御部100は、メニューから、「画像切り出し」が選択されたか否かを判定する(ステップS104)。ここで、メニューから、「画像切り出し」が選択されず、他の処理を示す項目が選択された場合は、制御部100は、選択された処理を実行する(ステップS104;No→ステップS106)。
【0058】
一方で、メニューから、「画像切り出し」が選択された場合は、制御部100は、入力部120を介して入力された操作に基づき、コンテンツの領域を特定する(ステップS104;Yes→ステップS108)。
【0059】
例えば、制御部100は、入力部120を介して、ユーザからの、タッチ操作、操作ペンの操作、マウスによる操作によるドラッグ操作の入力を受け付け、受け付けたドラッグ操作により領域を指定することが可能な画面を表示部110に表示する。そして、ユーザによってドラッグ操作がされた場合、制御部100は、当該ドラッグ操作に基づく領域を、表示部110に表示されたコンテンツから特定する。
【0060】
制御部100が特定する領域は、矩形領域や円形領域であってもよいし、ドラッグ操作がされた位置をそのまま領域の境界とする自由形状の領域であってもよい。
【0061】
つづいて、制御部100は、特定したコンテンツの領域を決定するか否かを判定する(ステップS110)。例えば、制御部100は、ドロップ操作など、ドラッグ操作が終了したことを検出した場合に、領域を決定するか否かを選択させるメニューを表示部110に表示する。ユーザによって領域を決定することが選択された場合は、制御部100は、特定したコンテンツの領域を決定することを判定する。
【0062】
なお、制御部100は、ドラッグ操作が終了したことを検出した時点で、メニューなどを表示することなく、そのまま特定したコンテンツの領域を決定してもよい。また、制御部100は、ドラッグ操作が終了したことを検出した後に、所定時間(例えば、3秒)経過するまでに、ユーザによって操作が入力されなかった場合に、特定したコンテンツの領域を決定してもよい。
【0063】
なお、コンテンツの領域を決定しなかった場合は、制御部100は、ステップS108に戻る(ステップS110;No→ステップS108)。
【0064】
つづいて、制御部100は、ステップS110においてコンテンツの領域を決定した場合、当該特定した領域のコンテンツに基づく画像を取得し、コメントとして記憶する(ステップS110;Yes→ステップS112)。
【0065】
コンテンツに基づく画像を取得するために、制御部100は、表示部110に表示されているコンテンツから、コメントとして記憶する画像を生成する。例えば、制御部100は、ステップS110において決定した領域をキャプチャする(切り出す)ことで、コンテンツに基づく画像を取得する。なお、制御部100は、キャプチャする領域内に、オブジェクト(例えば、コンテンツに対して直接入力された手書き図形)が含まれる場合は、コンテンツに基づく画像とオブジェクトとを重ねた画像を取得してもよい。
【0066】
また、制御部100は、取得した画像をコメントとして含み、表示部110に表示されているコンテンツのコンテンツIDと、コメントIDと、位置と、作成者とを含んだコメント情報を生成し、コメント情報156として記憶する。このようにすることで、ユーザによって選択された領域に基づくコンテンツに基づく画像は、コメントとして記憶される。
【0067】
なお、制御部100は、コメント情報156として記憶するコメントIDを、連番としてもよいし、所定の規則によって生成した文字列としてもよいし、ランダムな文字列としてもよい。
【0068】
また、制御部100は、コメント情報156として記憶する位置を、例えば、ステップS102においてメニューを表示する際に、長押しやダブルタップ等のジェスチャが入力された位置とする。なお、制御部100は、コメント情報156として記憶される位置を、ドラッグ操作が終了した位置としてもよいし、ユーザに選択させてもよいし、キャプチャする領域に基づいて決定してもよい。キャプチャする領域に基づいて決定される位置とは、例えば、キャプチャする領域の中心であってもよいし、キャプチャする領域が矩形領域であれば、矩形領域の四隅のいずれかの位置であってもよい。
【0069】
また、制御部100は、コメント情報156として記憶する作成者を、ステップS102においてメニューを表示する前に予めユーザに選択させてもよいし、ステップS108において、ユーザによってコンテンツの領域を入力する際に用いられた操作ペンに基づいて特定してもよい。
【0070】
つづいて、制御部100(UI処理部104)は、コメント情報156を読み出して、コメントが付加された位置に、当該コメントを付加したユーザ(作成者)を示す識別表示として、ユーザアイコンを表示部110に表示する(ステップS114)。ここで、ユーザアイコンとは、コメントを付加したユーザ(作成者)を識別する識別表示の1つであり、コメントを付加したユーザを識別するための図形、記号、文字、画像のことをいう。識別表示は、コメントを付加したユーザを識別できる表示であればよい。
【0071】
また、制御部100(UI処理部104)は、表示部110に、コメントを一覧で表示する処理を行う(ステップS116)。なお、制御部100(UI処理部104)は、コメントとして記憶されたコンテンツの一部分の画像の縦の長さ又は横の長さが大きい場合は、当該コンテンツの一部分の画像を縮小して表示してもよい。
【0072】
このように、コンテンツの一部分の画像がコメントとして記憶されることにより、ユーザは、コメントとして付加する対象となった領域のコンテンツに基づく画像を、表示部110に一覧で表示されたコメントを見ることで把握することができる。また、ユーザは、コメント処理部102に編集処理を実行させることにより、コメントの編集やコメントの削除を行うことができる。
【0073】
[1.4 動作例]
本実施形態の動作例について、
図5及び
図6を参照して説明する。はじめに、
図5(a)を参照して、UI処理部104によって生成されたユーザインタフェースである表示画面W100について説明する。表示画面W100には、表示部110の表示可能領域全体にコンテンツが表示されており、画面右端の領域R100に、コメントが一覧で表示されている。なお、領域R100は、画面端の上下左右の何れの位置であってもよい。また、領域R100は、画面端に位置しなくても、例えば、ウィンドウ形式でコンテンツに重畳表示されてもよい。
【0074】
領域R100には、コンテンツに付加されたコメントが一覧で表示されている。例えば、コメントC100としてユーザAのコメントが、コメントC102としてユーザBのコメントが、それぞれ表示されている。また、表示画面W100には、ユーザアイコンU100やユーザアイコンU102が示すように、コメントが付加された位置に、ユーザアイコンが表示されている。
【0075】
なお、コメントを一覧で表示する場合においては、親コメント/子コメントが確認できるように表示されるようにしてもよい。例えば、コメントC100の子コメントであるコメントC102は、親コメントであるコメントC100にぶら下がるように表示(入れ子となるように表示)してもよい。
【0076】
つづいて、制御部100によってコメント記憶処理が実行されるときに、表示部110に表示される表示画面について説明する。まず、コメント記憶処理のステップS102において、メニューを表示する処理が実行された場合、表示部110には、
図5(b)に示した表示画面W110が表示される。表示画面W110には、メニューM110が表示される。メニューM110には、項目として「画像切り出し」が含まれる。なお、メニューM110に表示される項目のうち、ユーザが選択できない項目はグレーアウトされてもよい。
【0077】
表示画面W110に表示されたメニューから「画像切り出し」が選択された場合、表示部110に表示される表示画面は、表示画面W110から
図5(c)に示した表示画面W120に遷移する。表示画面W120は、
図5(c)に示すように、コンテンツ全体に暗幕を掛けたような表示がされ、コンテンツが暗く表示される。
【0078】
このとき、ユーザによって操作がされた場合に表示される表示画面W130を、
図6(a)に示す。例えば、ユーザによって操作ペンP130を用いたドラッグ操作が入力された場合、ドラッグ操作に基づいて表示装置10によって特定された領域が、
図6(a)の領域R130に示すように、明るく表示されてもよい。このようにすることで、表示装置10は、ユーザに対して、コメントとして記憶されるコンテンツの領域を確認させることができる。
【0079】
表示画面W130において、表示装置10によって、ドラッグ操作が終了したことを検出された場合、表示部110に表示される表示画面は、表示画面W130から
図6(b)に示した表示画面W140に遷移する。表示画面W140には、メニューM140が表示される。メニューM140には、項目として、ユーザによって入力された操作に基づき特定された領域を決定するための「OK」と、領域を選択し直すための「キャンセル」とが含まれる。このとき、ユーザによって、メニューM140から「キャンセル」が選択された場合は、表示部110に表示される表示画面は、表示画面W140から
図5(c)に示した表示画面W120に遷移する。なお、
図6(a)に示した表示画面W130に遷移し、特定された領域(例えば、領域R130のように明るく表示された領域)を変形させる操作が受け付けられるようにしてもよい。
【0080】
一方で、ユーザによって、メニューM140から「OK」が選択された場合、表示部110に表示される表示画面は、表示画面W140から
図6(c)に示した表示画面W150に遷移する。表示画面W150は、ユーザの操作に基づき特定された領域(
図6(a)の領域R130)のコンテンツに基づく画像がコメントとして新たに記憶されたときの表示画面である。
【0081】
例えば、ユーザの操作に基づき特定された領域である
図6(a)の領域130に基づくコンテンツの画像として、
図6(b)の領域R140で示した矩形領域のコンテンツの画像がキャプチャされ、コメントとして記憶される。この結果、コンテンツの一部分の画像として、領域R140の範囲をキャプチャした画像がコメントとして新たに記憶される、例えば、コメントが一覧で表示される領域R150には、コメントC150に示すように、コメントの一覧の中に、新たに記憶されたコメント(領域R140のコンテンツの画像)が表示される。また、コメントC150が付加された位置には、ユーザアイコンU150が表示される。
【0082】
本実施形態によれば、表示装置は、ユーザからの入力に基づき、コンテンツの領域を特定し、特定した領域に基づき、コンテンツを取得し、コメントとして記憶する。したがって、ユーザは、コンテンツの領域を選択することで、選択した領域に基づくコンテンツをコメントとして記憶させることができる。
【0083】
[2.第2実施形態]
つづいて、第2実施形態について説明する。第2実施形態は、コメントとして記憶したコンテンツに基づく画像に対して、更にコメントを追記することが可能な実施形態である。
【0084】
[2.1 処理の流れ]
本実施形態では、制御部100は、
図7に示したコメント記憶・追記処理を実行する。制御部100が、
図7に示したコメント記憶・追記処理を実行するのは、UI処理部104によってコンテンツとコメントを表示する処理を行うためのユーザインタフェースの画面が生成され、表示部110に表示された後である。
【0085】
はじめに、制御部100は、第1実施形態において説明したコメント記憶処理を実行する(ステップS202)。これにより、制御部100は、ユーザの操作に基づき特定した領域に基づくコンテンツをコメントとして記憶する。また、制御部100(UI処理部104)は、コメント記憶処理よって記憶されたコメントに基づき、表示部110に、ユーザアイコンを表示させる。
【0086】
つづいて、制御部100は、表示部110にコメントボックスを表示する(ステップS204)。コメントボックスとは、表示部110に表示されたコンテンツに重畳して表示される領域であり、タッチ操作や操作ペンによる操作に基づき、コメント(オブジェクト)の入力を受け付ける領域(入力領域)である。なお、本実施形態では、ステップS204において表示されるコメントボックスは、ステップS202において記憶されたコメントに対するコメントを入力するために表示されることとして説明する。
【0087】
つづいて、制御部100は、コメントボックスが操作ペンによってタッチされたか否かを判定する(ステップS206)。コメントボックスが操作ペンによってタッチされた場合は、制御部100は、操作ペンによるコメント(手書き図形)の入力を受け付ける(ステップS206;Yes→ステップS208)。これにより、ユーザは、コメントボックスに、コメント(手書き図形)を入力することができる。
【0088】
つづいて、制御部100は、コメントボックスの外がタッチされたか否かを判定する(ステップS210)。コメントボックスの外がタッチされない場合は、引き続き、操作ペンによるコメントの入力を受け付ける(ステップS210;No→ステップS208)。
【0089】
コメントボックスの外がタッチされた場合は、制御部100は、コメントボックスに入力されたコメントを、ステップS202において記憶したコメント(コンテンツに基づく画像)に対する追記のコメントとして記憶する(ステップS210;Yes→ステップS216)。
【0090】
例えば、ステップS208において操作ペンによるコメントの入力を受け付けた場合、制御部100は、ステップS202において記憶したコメント(コンテンツの一部分の画像)を第1の画像とし、操作ペンの入力に基づくコメント(手書き図形)の画像を第2の画像としたコメント情報156を記憶する。これにより、制御部100は、操作ペンを用いてコメントボックスに入力されたコメントの画像を、コンテンツに基づく画像に対するコメントとして記憶させることができる。
【0091】
ステップS206において、コメントボックスが操作ペンによってタッチされたと判定しなかった場合は、制御部100は、テキストのコメントの入力を受け付ける(ステップS206;No→ステップS212)。例えば、ユーザは、キーボード等を用いて、コメントボックスに対してテキストを入力する。
【0092】
つづいて、制御部100は、コメントボックスの外がタッチされたか否かを判定する(ステップS214)。コメントボックスの外がタッチされない場合は、引き続き、テキストによるコメントの入力を受け付ける(ステップS214;No→ステップS212)。
【0093】
コメントボックスの外がタッチされた場合は、制御部100は、コメントボックスに入力されたコメントを、ステップS202において記憶したコメント(コンテンツに基づく画像)に対するコメントとして記憶する(ステップS214;Yes→ステップS216)。例えば、制御部100は、ステップS202において記憶したコメント情報156のコメントに、ステップS212において入力を受け付けたテキストを追加して記憶する。これにより、制御部100は、コメントボックスに入力されたテキストのコメントを、コンテンツに基づく画像に対する追記のコメントとして記憶させることができる。
【0094】
つづいて、制御部100(UI処理部104)は、表示部110に、コメントを一覧で表示する(ステップS218)。これにより、ステップS202において記憶されたコンテンツに基づく画像と、コメントボックスに入力されたコメントとが、グループとして表示部110に表示されることとなる。
【0095】
[2.2 動作例]
本実施形態の動作例について、
図8を参照して説明する。
図8(a)は、コメントボックスを表示する処理が実行された場合、表示部110に表示される表示画面W200を示した図である。表示画面W200には、ユーザアイコンU200とコメントボックスE200とが表示される。また、ユーザアイコンU200とコメントボックスE200とを接続する線等が表示されることにより、追記の対象となるコメントを示されてもよい。
【0096】
図8(b)は、コメントボックスE210に操作ペンP210を用いて、コメント(手書き図形)が入力された場合に、表示部110に表示される表示画面W210を示した図である。このようにすることで、ユーザは、例えば、タッチ操作や操作ペンによる操作によって選択した領域に基づくコンテンツに基づく画像に対するコメントを、コメントボックスE210を介して入力することができる。
【0097】
図8(c)は、コメントボックスの外がタッチされた場合に、表示部110に表示される表示画面W220を示した図である。コメントボックスの外がタッチされることにより、コメントボックスに入力されたコメントが確定される。また、表示画面W220に表示されたコメントC220には、コメントとして記憶されたコンテンツの一部分の画像C222と、コメントボックスに対して入力されたコメントの画像C224とが表示される。ユーザは、コメントC220を見ることで、ユーザによって入力されたコメントが、コンテンツのどの部分に対して入力されたコメントであるかを確認することができる。
【0098】
本実施形態によれば、表示装置は、コメントとして記憶したコンテンツの一部分の画像に対するコメントの入力を受け付け、入力されたコメントをコンテンツの一部分の画像に対するコメントとして記憶することができる。これにより、コンテンツの一部分の画像と、コンテンツの一部分の画像に対するコメントとが一覧として表示されるため、ユーザは、コンテンツに対するコメントの内容と、そのコメントが付加されたコンテンツの内容とを把握することができる。
【0099】
[3.第3実施形態]
つづいて、第3実施形態について説明する。第3実施形態は、第2実施形態とは異なり、先にオブジェクトの入力を受け付けてから、コメントとして記憶するコンテンツの領域を選択する実施形態である。本実施形態は、特に、先に受け付けるコメントが、コンテンツに対して直接入力された手書き図形である場合の実施形態である。本実施形態は、第1実施形態の
図4を
図9に置き換えたものである。なお、同一の機能部及び処理には同一の符号を付し、説明については省略する。
【0100】
[3.1 処理の流れ]
本実施形態では、制御部100は、
図9に示したコメント記憶処理を実行する。制御部100が、
図9に示したコメント記憶処理を実行するのは、UI処理部104によってコンテンツとコメントを表示する処理を行うためのユーザインタフェースの画面が生成され、表示部110に表示された後である。
【0101】
はじめに、制御部100は、コンテンツに対する手書き図形の入力を受け付ける(ステップS302)。例えば、制御部100は、入力部120(タッチパネル)に対するタッチダウンを検出した場合や、入力部120に対する操作ペンによる入力を検出した場合に、手書きコメント入力状態(モード)に遷移し、手書き図形の入力を受け付ける。手書きコメント入力状態(モード)とは、表示されているコンテンツに対して、直接手書き図形を入力することができる状態(モード)である。制御部100は、手書き図形入力処理を実行すると、タッチパネルに対する入力の軌跡に基づいて手書き図形として出力する。制御部100は、入力が終了するまで手書き図形を記憶部150に一時的に出力してもよいし、手書き図形情報154に出力してもよい。
【0102】
つづいて、制御部100は、手書き図形の入力が完了したか否かを判定する(ステップS304)。としては、例えば、以下の場合が挙げられる。
【0103】
(1)タッチアップしてから所定時間経過した場合
入力部120(例えば、タッチパネル)が、ユーザのタッチ入力について、タッチアップを検出してから所定時間経過した場合、制御部100は、手書き図形の入力が終了したと判定する。所定時間は、予め設定されていてもよいし、ユーザによって設定されてもよい。所定時間は、好ましくは100ミリ秒~3秒程度であり、より好ましくは1秒程度である。これにより、複数の手書き図形が連続して入力されることにより、タッチダウンとタッチアップとが複数回検出される場合であっても、制御部100は、所定時間が経過する前に再度のタッチダウンを検出した場合、手書き図形の入力を継続させることができる。
【0104】
(2)手書き図形入力における操作以外の操作を検出した場合
手書き図形の入力における操作は、例えば、タッチパネルをタッチしたままタッチした位置を動かしたり、操作ペンを接触させたまま動かしたりする操作(ドラッグ操作)である。ここで、通常の手書き図形の入力の操作以外の操作(例えば、ダブルタップや、長押し等)を検出したとき、制御部100は、手書き図形の入力が終了したと判定する。
【0105】
(3)手書き図形の入力が終了したことを示す操作がされた場合
ユーザから手書き図形の入力が終了した操作がなされた場合に、制御部100は手書き図形の入力が終了したと判定する。例えば、制御部100は、「入力終了」といったボタンを表示部110にさせ、当該ボタンがユーザによって選択されたとき、手書き図形の入力が終了したと判定する。
【0106】
なお、手書き図形の入力が完了していない場合は、制御部100は、ステップS302へ戻ることで、手書き図形の入力の受け付けを継続する(ステップS304;No→ステップS302)。
【0107】
手書き図形の入力が完了したと判定した場合は、制御部100は、入力された手書き図形を、表示部110に表示されているコンテンツのコンテンツID、作成者、位置の情報とともに、手書き図形情報154として記憶する(ステップS304;Yes→ステップS306)。
【0108】
ここで、制御部100は、手書き図形情報154に記憶する位置として、例えば、コンテンツに対して入力された手書き図形を含む領域の境界線上の所定の位置(矩形領域であれば四隅のうちの何れか)を記憶する。なお、制御部100は、手書き図形情報154に記憶する位置を、手書き図形を含む領域の中心としてもよいし、手書き図形の入力が開始された位置又はその周辺の位置としてもよい。
【0109】
また、制御部100は、作成者として記憶されるユーザを、ステップS302を実行する前に予めユーザに選択させてもよいし、手書き図形を入力する際に用いられた操作ペンに基づいて特定してもよい。
【0110】
手書き図形情報を記憶したら、制御部100は、表示部110にメニューを表示する(ステップS102)。メニューには、第1実施形態と同様に、項目に「画像切り出し」が含まれる。なお、「画像切り出し」以外の項目として、例えば、コンテンツに基づく画像を取得せずに手書き図形だけをコメントとして記憶する項目や、手書き図形をコメントとして記憶せず、単にコンテンツ上に手書き図形を残す項目が含まれてもよい。
【0111】
つづいて、制御部100は、ステップS104~ステップS110の処理を実行することにより、入力部120を介して入力された操作に基づき、コンテンツの領域を特定する。
【0112】
つづいて、制御部100は、ステップS302において入力を受け付けた手書き図形の画像と、ステップS110において決定した領域に基づいて取得したコンテンツに基づく画像とを、コメントとして記憶する(ステップS308)。
【0113】
例えば、制御部100は、ステップS110において決定した領域に基づいて取得したコンテンツに基づく画像を第1の画像とし、ステップS302において入力を受け付けた手書き図形の画像を第2の画像としたコメントを、コメント情報156として記憶する。なお、コメント情報156として記憶される位置及び作成者は、ステップS306で記憶された位置及び作成者と同一であってよい。なお、コメント情報156として記憶されるコメントIDは、所定の方法により生成されたものが記憶されればよい。
【0114】
[3.2 動作例]
本実施形態の動作例について、
図10を参照して説明する。
図10(a)は、コンテンツに対して、手書き図形が入力された場合、表示部110に表示される表示画面W300を示した図である。例えば、ユーザによって文字を構成する線L300が手書き図形として入力され、表示部110に表示される。
【0115】
コンテンツに対する手書き図形の入力が完了し、メニューから「画像切り出し」が選択された場合、表示部110に表示される表示画面は、表示画面W300から
図10(b)に示した表示画面W310に遷移する。
図10(b)は、第1実施形態の
図5(c)に示した表示画面W120と同様の画面であり、ユーザによって操作ペンP310を用いたドラッグ操作が入力された場合に、ドラッグ操作に基づいて特定された領域を明るく表示させた画面である。
【0116】
コンテンツの領域が決定した場合、表示部110に表示される表示画面は、表示画面W310から
図10(c)に示した表示画面W320に遷移する。表示画面W320に表示されたコメントC320には、コメントとして記憶されたコンテンツの一部分の画像C322と、コンテンツに対して入力された手書き図形の画像C324とが表示される。ユーザは、コメントC320を見ることで、ユーザによって入力された手書き図形のコメントが、コンテンツのどの部分に対して入力されたコメントであるかを確認することができる。
【0117】
また、手書き図形が含まれる矩形領域E320の右下の隅の位置に、ユーザアイコンU320が表示される。ユーザは、ユーザアイコンU320を見ることで、ユーザアイコンU320の周囲に入力された手書き図形(手書きのコメント)を入力したユーザ(
図10(c)の例では「C」)を識別することができる。
【0118】
本実施形態によれば、表示装置は、コンテンツに対する手書き図形の入力を受け付けたあとで、コンテンツの一部分の画像を取得し、手書き図形の画像とコンテンツの一部分の画像とをコメントとして記憶する。したがって、ユーザは、手書きによるコメントの入力と、コンテンツの領域の選択を、効率的に行うことが可能となる。
【0119】
[4.第4実施形態]
つづいて、第4実施形態について説明する。第4実施形態は、コメントボックスの背景となっているコンテンツに基づく画像を自動で取得し、コメントとして記憶する実施形態である。
【0120】
本実施形態では、制御部100は、
図11に示したコメント記憶処理を実行する。制御部100が、
図11に示したコメント記憶処理を実行するのは、UI処理部104によってコンテンツとコメントを表示する処理を行うためのユーザインタフェースの画面が生成され、表示部110に表示された後である。
【0121】
はじめに、制御部100は、入力部120を介して、表示部110に表示されたコンテンツ上にタッチ操作がされた場合、タッチ操作がされた位置に、ユーザアイコンを表示する(ステップS402→ステップS404)。なお、制御部100は、ステップS402において、シングルタッチを検出したときにタッチ操作がされたと判定してもよいし、長押しやダブルタップ等のジェスチャを検出したときにタッチ操作がされたと判定してもよい。これにより、ユーザは、コメントを付加する場所を指定することができる。
【0122】
つづいて、制御部100は、コメントボックスを表示する(ステップS406)。例えば、制御部100は、コメントボックスを表示する位置を、ステップS404で表示したユーザアイコンの周囲とする。
【0123】
つづいて、制御部100は、コメントボックスが操作ペンによってタッチされた場合は、操作ペンによるコメント(手書き図形)の入力を受け付ける(ステップS408;Yes→ステップS410)。
【0124】
つづいて、制御部100は、操作ペンによるコメント(手書き図形)の入力が完了したか否かを判定する(ステップS412)。なお、操作ペンによるコメント(手書き図形)の入力が完了したか否かの判定については、制御部100は、第3実施形態で説明したコメント記憶処理のステップS304と同様の処理を行えばよい。
【0125】
なお、操作ペンによるコメント(手書き図形)の入力が完了していない場合は、制御部100は、ステップS410へ戻ることで、操作ペンによるコメントの入力の受け付けを継続する(ステップS412;No→ステップS410)。
【0126】
一方で、ステップS408において、コメントボックスが操作ペンによってタッチされたと判定しなかった場合は、制御部100は、テキストのコメントの入力を受け付ける(ステップS408;No→ステップS414)。つづいて、制御部100は、ステップS402で表示したユーザアイコンがタッチされたか否かを判定する(ステップS416)。
【0127】
操作ペンによるコメント(手書き図形)の入力が完了した場合(ステップS412;Yes)、又は、ステップS402で表示したユーザアイコンがタッチされた場合(ステップS416;Yes)は、制御部100は、メニューを表示する(ステップS418)。本実施形態では、ステップS418において表示されるメニューの項目には、「コメント化」と「画像切り出し」とが含まれることとする。
【0128】
つづいて、制御部100は、ステップS418で表示したメニューから「コメント化」が選択されたか否かを判定する(ステップS420)。
【0129】
コメント化が選択された場合は、コメントボックスに入力された内容(オブジェクト)を、コンテンツID、コメントID、作成者、位置の情報とともに、コメントとして記憶する(ステップS420;Yes→ステップS422)。具体的には、制御部100は、コメントボックスに入力された内容(オブジェクト)をコメントとして、コンテンツID、コメントID、作成者、位置の情報とともに、コメント情報156として記憶する。コンテンツID、コメントID、作成者、位置の情報に関しては、第1実施形態のコメント記憶処理のステップS112において記憶される情報と同様の情報である。
【0130】
つづいて、制御部100(UI処理部104)は、コメントを一覧で表示する(ステップS424)。なお、メニューから「コメント化」が選択された場合は、コンテンツに基づく画像はコメントとして記憶されないため、ステップS424において表示されるコメントには、コメントボックスに入力された内容(オブジェクト)のみが含まれる。
【0131】
一方で、ステップS420において、「コメント化」が選択されなかった場合は、制御部100は、「画像切り出し」が選択されたか否かを判定する(ステップS420;No→ステップS426)。
【0132】
「画像切り出し」が選択された場合(ステップS426;Yes)、制御部100は、コメントボックスの背景となっている領域のコンテンツに基づく画像を取得する。そして、制御部100は、コメントボックスに対して入力された内容と、コンテンツに基づく画像とを、コメントとして記憶する(ステップS428)。
【0133】
ここで、コメントボックスの背景となっている領域のコンテンツに基づく画像の取得方法について説明する。コンテンツに基づく画像を取得するために、例えば、制御部100は、コメントボックスが重畳されている領域を特定し、特定した領域をコンテンツに基づく画像を取得する領域とみなして、当該領域のコンテンツに基づく画像を取得する。
【0134】
なお、制御部100は、コンテンツに基づく画像を取得する領域を、所定の方法により拡張させてもよい。例えば、制御部100は、コメントボックスが重畳されている領域に含まれる文字または画像に隣接する他の文字または画像との間隔を測り、間隔が所定値よりも広くなったところまで、領域を拡張させてもよい。なお、表示装置10が検索する文字は、オブジェクトのテキスト(文字)であってもよいし、手書き図形によって構成される文字であってもよいし、コンテンツに基づく画像に含まれるテキスト(文字)であってもよい。さらに、制御部100は、領域に含まれる画像に隣接する画像(かたまり)を含めたグループ画像を含むように、領域を拡張させてもよい。
【0135】
なお、制御部100は、コンテンツに基づく画像を取得する領域に含まれるオブジェクトと領域外のオブジェクトとの間の間隔を求め、それに基づきコンテンツに基づく画像を取得する領域を拡張するか否かを判定してもよい。また、制御部100は、オブジェクト間の間隔だけでは領域を拡張するか否かの判定ができない場合は、文字認識と意味認識、図形認識とを実行し、文章が通じる範囲まで、コンテンツに基づく画像を取得する領域を拡張させてもよい。
【0136】
制御部100は、上述した方法によってコンテンツに基づく画像を取得する領域を拡張させ、当該領域のコンテンツに基づく画像を取得することにより、意味として通じるコンテンツに基づく画像を取得することができ、コメントの意味をより明確にすることができる。
【0137】
なお、制御部100は、ステップS426において、コメントボックスに入力された内容と、取得したコンテンツに基づく画像とをコメントとして、コンテンツID、コメントID、作成者、位置の情報とともに、コメント情報156として記憶する。コンテンツID、コメントID、作成者、位置の情報に関しては、第1実施形態のコメント記憶処理のステップS112において記憶される情報と同様の情報である。
【0138】
ステップS428の処理が完了したら、制御部100(UI処理部104)は、コメントを一覧で表示する(ステップS424)。なお、メニューから「画像切り出し」が選択された場合は、ステップS428において取得されたコンテンツに基づく画像もコメントとして記憶される。したがって、ステップS424において表示されるコメントには、コンテンツの一部分の画像と、コメントボックスに入力された内容(オブジェクト)とが含まれる。
【0139】
ステップS416においてユーザアイコンがタッチされなかった場合(ステップS416;No)や、ステップS426においてメニューから「画像切り出し」が選択されなかった場合(ステップS426;No)は、制御部100は、コメントボックスの外をタッチする操作がされたか否かを判定する(ステップS430)。
【0140】
コメントボックスの外がタッチされた場合は、制御部100は、ステップS422の処理を実行することで、コメントボックスに入力された内容をコメントとして記憶する(ステップS430;Yes→ステップS422)。一方で、コメントボックスの外がタッチされなかった場合は、制御部100は、ステップS408へ戻る(ステップS430;No→ステップS408)。
【0141】
本実施形態によれば、表示装置は、コメントに対する背景となるコンテンツに基づく画像を自動的に取得する。したがって、ユーザは、コメントを付加したい場所を選択してコメントを入力するだけで、入力したコメントの内容とコンテンツの一部分の画像とを、コメントとすることができる。
【0142】
[5.第5実施形態]
つづいて、第5実施形態について説明する。第5実施形態は、コメントに対してファイルを添付することができる実施形態である。本実施形態は、第1実施形態~第4実施形態において実行される処理に加えて、制御部100は、
図12に示すファイル添付処理を実行する。
【0143】
[5.1 処理の流れ]
図12を参照して、ファイル添付処理について説明する。制御部100が、
図12に示したファイル添付処理を実行するのは、コメント記憶処理又はコメント記憶・追記処理が実行されているときである。例えば、制御部100は、コメント記憶処理又はコメント記憶・追記処理とファイル添付処理とを並列で実行する。
【0144】
なお、本実施形態では、制御部100(UI処理部104)は、コメント情報156を読み出し、表示部110に表示されたコンテンツ上に、コメント情報156に記憶された位置に基づき、識別表示(例えば、ユーザアイコン)を表示する。また、制御部100(UI処理部104)は、ユーザによってユーザアイコンが選択されたときにコメントボックスを表示する。制御部100(UI処理部104)は、コメントボックスに、ユーザによって選択されたユーザアイコンが表示された場所に付加されたコメントと、クリップボタンとを表示させる。
【0145】
はじめに、制御部100は、ファイルを添付する操作があったか否かを判定する(ステップS502)。ファイルを添付する操作とは、例えば、コメントボックスに表示されたクリップボタンをユーザによって選択される操作である。なお、ファイルを添付する操作は、添付するファイルをドラッグし、コメントボックスや、一覧で表示されたコメントに対してドロップする操作(ドラッグ&ドロップ)であってもよい。
【0146】
ファイルを添付する操作があった場合は、制御部100は、表示部110に、コメントに添付するファイルを選択するためのファイル選択画面を表示する制御を行う(ステップS502;Yes→ステップS504)。
【0147】
制御部100は、ユーザによってファイルが選択されるまで、ファイル選択画面を表示する(ステップS506;No→ステップS504)。他方、ユーザによってファイルが選択された場合は、制御部100は、コメントに、ユーザによって選択されたファイルを添付する(ステップS506;Yes→ステップS508)。
【0148】
具体的には、制御部100は、ファイルを添付する対象のコメントに対応するコメント情報156と、ステップS206においてユーザによって選択されたファイルの情報とを対応付ける。例えば、制御部100は、ファイルを添付する対象のコメントに対応するコメント情報156に、添付するファイルそのものやファイルの記憶場所(例えば、ファイルパスやURL)を記憶する。なお、コメントとファイルとを対応付けられれば、どのような方法を用いてもよく、制御部100は、ファイルを添付する対象のコメントのコメントIDと、ユーザによって選択されたファイルとを対応付けて記憶部150に記憶する方法を用いてもよい。
【0149】
なお、コメントに添付されたファイルを表示する操作がユーザによってされた場合は、制御部100は、ユーザの操作に基づき、コメントに添付されたファイルを表示部110に表示する。
【0150】
[5.2 動作例]
本実施形態の動作例について、
図13を参照して説明する。
図13(a)は、コンテンツが表示された表示画面W500の一例を示した図である。表示画面W500の右端には、コメントの一覧を表示する領域R500が確保されている。
【0151】
また、表示画面W500には、ユーザアイコンU500が表示されている。ユーザによってユーザアイコンU500が選択された場合、選択されたユーザアイコンU500が表示された位置に付加されたコメントが、コメントボックスE500に表示される。
【0152】
コメントボックスE500には、クリップボタンM500が含まれる。ユーザにより、クリップボタンM500を選択する操作がされた場合、
図10(b)に示すように、ファイル選択画面R210を含む表示画面W210が表示される。ユーザは、ファイル選択画面R210から、コメントに添付するファイルを選択する。これにより、コメントにファイルが添付される。
【0153】
図10(c)は、ユーザによって、コメントに添付するファイルが選択された場合の表示画面W520の一例を示した図である。表示画面W520の右端に確保されたコメントの一覧を表示する領域R520において、ファイルが添付されたコメントには、ファイルが添付されていることを示す表示がされる。例えば、ファイルが添付されたコメントC520のように、コメントにファイルが添付されていることを示す表示として、クリップ留めボタンM520が表示される。また、この場合、クリップ留めボタンM520をコメントに添付されたファイルを表示する操作を受け付けるボタンとしてもよい。
【0154】
ここで、ユーザによって、クリップ留めボタンM520が選択された場合は、
図10(d)に示すように、コメントに添付されたファイルが、既定のアプリケーションで開かれ、ファイルの内容が表示された表示画面W530が表示される。
【0155】
本実施形態によれば、ユーザは、コメントに対して、関連するファイルを添付することが可能となる。また、添付されたファイルは、一覧として表示されたコメントに対する操作により、ファイルの内容を表示することができる。このように、ユーザは、コメントの一覧を閲覧するだけで、コンテンツに付加されたコメントと、コメントに関連するファイルを把握することができる。
【0156】
[6.第6実施形態]
つづいて、第6実施形態について説明する。第6実施形態は、制御部100が、コンテンツに重畳して表示された手書き図形の表示又は非表示を切り替える制御を行う実施形態である。本実施形態は、第1実施形態~第5実施形態において実行される処理に加えて、制御部100は、
図14に示す表示切り替え処理を実行する。
【0157】
[6.1 処理の流れ]
図14を参照して、表示切り替え処理について説明する。制御部100が、
図14に示した表示切り替え処理を実行するのは、コメント記憶処理又はコメント記憶・追記処理が実行されているときである。例えば、制御部100は、コメント記憶処理又はコメント記憶・追記処理と表示切り替え処理とを並列で実行する。
【0158】
なお、本実施形態では、制御部100は、手書き図形情報154を読み出して、コンテンツに手書き図形を重畳して表示させる。また、制御部100は、表示部110に表示されたコンテンツ上に、手書き図形情報154に記憶された位置に基づき、手書き図形を入力したユーザを示す識別表示(例えば、ユーザアイコン)を表示する。
【0159】
はじめに、制御部100は、コンテンツ上に手書き図形が表示されているか否かを判定する(ステップS602)。ここで、手書き図形が表示されていない場合とは、手書き図形情報154が記憶部150に記憶されていない場合(コンテンツに対する手書き図形の入力がされていない場合)である。手書き図形が表示されていない場合は、表示切り替え処理を終了する(ステップS602;No)。
【0160】
つづいて、コンテンツ上に手書き図形が表示されている場合、つづいて、制御部100は、コンテンツ上のユーザアイコンに対するタッチ入力がされたか否かを判定する(ステップS604)。コンテンツ上のユーザアイコンに対するタッチ入力がされたと判定した場合は、制御部100は、選択されたユーザアイコンによって示された位置に入力された手書き図形を非表示にする(ステップS604;Yes→ステップS606)。
【0161】
具体的には、制御部100は、タッチ入力がされたユーザアイコンによって示された位置に入力された手書き図形情報を手書き図形情報154から読み出さないようにする。その上で、制御部100は、手書き図形を再表示することで、選択されたユーザアイコンによって示された位置に入力された手書き図形を、コンテンツに重畳して表示しないようにする。なお、制御部100は、コンテンツ上のユーザアイコンを表示させたままにする。
【0162】
つづいて、制御部100は、ステップS604においてユーザによって選択されたユーザアイコンに対するタッチ入力がされたか否かを判定する(ステップS608)。ユーザアイコンに対するタッチ入力がされたと判定した場合は、制御部100は、選択されたユーザアイコンによって示された位置に入力された手書き図形を表示する(ステップS608;Yes→ステップS610)。具体的には、制御部100は、タッチ入力されたユーザアイコンによって示された位置に入力された手書き図形情報154から読み出し、読み出した手書き図形を、表示部110に表示されたコンテンツに重畳して表示するようにする。
【0163】
なお、制御部100は、ステップS610の処理を実行した後、再び、手書き図形を非表示にする処理を実行するために、ステップS604へ処理を遷移してもよい。
【0164】
[6.2 動作例]
本実施形態の動作例について、
図15を参照して説明する。
図15(a)は、コンテンツに手書き図形が重畳して表示された表示画面W600の一例を示した図である。
図15(a)に示した領域R600は、ユーザCによって入力された手書き図形を含む領域である。また、
図15(a)に示すように、ユーザCによって入力された手書き図形の近傍に、識別表示として、当該ユーザCを示すユーザアイコンU600が表示される。
【0165】
ユーザアイコンU600を選択する操作であるタッチ入力が検出された場合、
図15(b)に示すように、ユーザアイコンU600によって示された位置に入力された手書き図形が非表示にされた表示画面W610が表示される。なお、ユーザCを示すユーザアイコンM610は表示される。
【0166】
また、表示画面W610において、ユーザアイコンU610を選択する操作であるタッチ入力が検出された場合、ユーザアイコンU610によって示された位置に入力された手書き図形が表示される。その結果、再度、
図15(a)の表示画面W600に示すような表示画面が表示される。このように、ユーザアイコンを選択されるたびに、ユーザアイコンによって示された位置に入力された手書き図形の表示・非表示を切り替えることができる。
【0167】
本実施形態によれば、ユーザは、一般的に非表示にできない又は非表示にするために煩雑な操作を必要とする手書き図形の表示・非表示の切り替えを、識別表示を選択するという簡易な操作で行うことができる。これにより、ユーザは、手書き図形の入力を行う領域を常に確保することが可能となる。
【0168】
なお、本実施形態では、手書き図形が入力された領域毎に手書き図形の表示・非表示の切り替えを行うこととして説明したが、ユーザ毎に手書き図形の表示・非表示の切り替えを行ってもよいし、また、手書き図形の表示・非表示の切り替えを全コメントに対して一斉にできてもよい。
【0169】
[7.変形例]
本発明は上述した各実施の形態に限定されるものではなく、種々の変更が可能である。すなわち、本発明の要旨を逸脱しない範囲内において適宜変更した技術的手段を組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。
【0170】
また、各機能はプログラムで構成されていてもよいし、ハードウェアで構成されてもよい。そして、プログラムで実現されている場合は、記録媒体に記録されており、当該記録媒体からプログラムを読み出して実行してもよいし、ネットワークに保存され、ダウンロードして実行してもよい。
【0171】
また、上述した実施形態は、説明の都合上、それぞれ別に説明している部分があるが、技術的に可能な範囲で組み合わせて実行してもよいことは勿論である。
【0172】
例えば、第1実施形態と第3実施形態とを組み合わせてもよい。例えば、表示装置10の制御部100は、長押しなど特定のジェスチャを検出した場合は、第1実施形態で説明したようにメニューを表示させ、特定のジェスチャ以外の入力を検出した場合は、コンテンツに対する手書き図形の入力を受け付ける。
【0173】
また、第6実施形態と第7実施形態とを組み合わせてもよい。例えば、表示装置10の制御部100は、コンテンツに対して入力された手書き入力について、コメントとして記憶されている場合はファイルの添付を受け付け、コメントとして記憶されていない場合は表示・非表示を切り替える。
【0174】
また、実施形態において各装置で動作するプログラムは、上述した実施形態の機能を実現するように、CPU等を制御するプログラム(コンピュータを機能させるプログラム)である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置(例えば、RAM)に蓄積され、その後、各種ROMやHDD、SSDの記憶装置に格納され、必要に応じてCPUによって読み出し、修正・書き込みが行なわれる。
【0175】
また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記憶装置も本発明に含まれるのは勿論である。
【0176】
また、各機能を備えたアプリケーションを、スマートフォンやタブレット、画像形成装置といった各種装置にインストールし、実行することで実現してもよい。
【符号の説明】
【0177】
10 表示装置
100 制御部
102 コメント処理部
104 UI処理部
106 ユーザ認証部
110 表示部
120 入力部
150 記憶部
152 コンテンツ情報
154 手書き図形情報
156 コメント情報
158 ユーザ情報
160 通信部