(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0016】
以下、図面を参照して本発明を実施するための最良の形態について説明する。なお、説明の都合上、実施形態を例に取って説明するが、表示操作が可能な装置であれば、何れの装置であっても適用可能なことは勿論である。
【0017】
[1.第1実施形態]
[1.1 全体構成]
図1は、本発明の表示操作装置を適用したタッチパネルにより操作可能な大型表示装置(テーブルディスプレイ10)の外観を示す図である。
【0018】
テーブルディスプレイ10は、テーブル状になっており、テーブル部が表示装置(例えば大型液晶表示装置)により構成されている。また、当該表示装置は、タッチパネルと一体に構成されており、操作者が操作可能となっている。
【0019】
ここで、テーブルディスプレイ10は、表示部の大きさ、形状から複数の操作者が操作できる。例えば、四方向からそれぞれ操作者が操作できることにより、例えば種々の打合せや商談等に利用可能である。
【0020】
[1.1 機能構成]
続いて
図2を用いてテーブルディスプレイ10の機能構成について説明する。
図2に示すように、テーブルディスプレイ10は、制御部110と、表示部120と、入力検知部130と、画像処理部140と、通信部150と、記憶部160とを備えて構成されている。
【0021】
制御部110は、テーブルディスプレイ10の全体を制御するための機能部である。制御部110は、記憶部160に記憶されている各種プログラムを読み出して実行することにより各種機能を実現しており、例えばCPU(Central Process Unit)等により構成されている。
【0022】
表示部120は、各種情報を表示するための機能部である。例えば、液晶ディスプレイ(LCD)や、有機ELディスプレイ等により構成されている。
【0023】
入力検知部130は、操作者からの入力を検知出来る機能部である。本実施形態においては、表示部120と一体となってタッチパネルとして形成されている。入力検知部130は、操作者からのタップ、ホールド、スライド、フリック、ホールドといった各種操作を検知することが可能である。また、操作者からの入力の検知を複数検知することが可能である。例えば、5点同時であったり、10点同時であったりする。
【0024】
また、検出範囲が所定の範囲内であり、かつ、検知点として複数検知された場合には、所定の範囲が選択されていると検知することも可能である。
【0025】
画像処理部140は、ファイル等から読み出された画像を展開し、表示する為の機能部である。また、既存のファイルや、ページからサムネイル画像を生成する。
【0026】
通信部150は、インターネットの外部ネットワークや、他の機器と接続するためのネットワークインタフェース部である。例えば、NIC等により構成されている。
【0027】
記憶部160は、テーブルディスプレイ10の動作に必要な各種プログラムや、各種データが記憶されている機能部である。記憶部160は、例えば、半導体メモリや、HDD(Hard Disk Drive)等により構成されている。
【0028】
また、記憶部160には、各種データが記憶されているファイル162と、ファイルから生成されるクリップファイル164と、画像処理部140において生成されるサムネイル画像166が保存されている。
【0029】
ここで、クリップファイルとは、ファイルに含まれるページを一又は複数まとめたページ群ファイルのことである。
図3は、本実施形態になる表示(操作)対象となるクリップファイルを説明するための図である。左側はそれぞれのファイル162を示すものである。
【0030】
例えば、プレゼンテーション形式のデータファイル、画像ファイル、表計算形式のデータファイルがそれぞれ記憶されている。各ファイルに含まれているスライドや、画像、シートといったデータをページ毎にまとめたのが右側のクリップファイルである。
【0031】
このように、クリップファイルは、各種データのページをまとめたページ群ファイルである。まとめるページとしては、文章ファイル、表計算ファイル、プレゼンテーションファイルや、画像ファイル、電子文章ファイル(PDFやXML)等種々の形式となっている。
【0032】
図3では、「スライド1」「画像.jpg」「シート2」・・・といったページがまとめられている。なお、クリップファイルとしては、直接ファイルからデータを抽出してまとめても良いし、各ファイルに対するリンク情報を管理しても良い。
【0033】
このクリップページは、操作者からの操作対象となるデータである。例えば、操作者からの切り替え動作により、ページ1、ページ2・・・と切り替え表示したり、一部ページを挿入・削除をしたりする操作を行える。
【0034】
図3では、複数のファイルからページをまとめているが、例えば単一のファイルの一部又は全部をクリップファイルとしても良い。
【0035】
このように、クリップページ毎に操作者が格納されているページの種類(利用するアプリケーションの種類や、電子文章形式、画像形式)に関わらず、操作できることとなる。
【0036】
[1.3 基本動作]
続いて、基本動作について説明する。まずは、クリップファイルを指定して読み出す処理について説明する。
【0037】
図4に示すように、まずクリップファイルを読み出す(ステップS100)。クリップファイルにページが複数含まれていない場合には(ステップS102;No)、当該ページのサムネイル画像を生成し(ステップS110)、サムネイル画像を表示する(ステップS112)。
【0038】
他方、読み出したファイルに複数ページがある場合(ステップS102;Yes)、1枚目のサムネイル画像を生成する(ステップS104)。そして、クリップページ画像を表示し(ステップS106)、クリップページであることを識別表示する為のクリップ表示を行う(ステップS108)。ここで、ページのサムネイルと、識別表示とは重畳して表示されることとなる。
【0039】
なお、読み出したファイルが複数で有り、それによりページが複数含まれることとなった場合でも、同様の処理を実行する。
【0040】
そして、クリップページ画像又はサムネイル画像を表示した後は、資料操作モードに移行する(S114)。
【0041】
「資料操作モード」は基本となる動作モードであり、例えば、ファイルから資料(本実施形態ではクリップファイル)にページを追加・挿入したり、削除したりすることができる。また、ページファイルを選択してドラッグすることによりクリップファイルを移動したり、ピンチイン・ピンチアウト等により表示を拡大・縮小したり、クリップファイルを回転したりすることが可能となる。
【0042】
図5は、資料操作モードのときの画面表示例(表示画面W100)である。クリップファイルM102が表示されており、クリップファイルM102の表示の左上にクリップ表示T102が行われている。これにより、操作者は、当該表示されているファイルがクリップファイルであることを視認することができる。
【0043】
さらに、元々クリップファイルM102は、M104の位置に表示されていた。操作者により、クリップファイルがタッチされ、P1方向にドラッグされたことにより、現在の位置に表示されている。
【0044】
このように、資料操作モードでは、クリップファイルの表示位置等を操作者の操作により移動させることが可能となる。
【0045】
[1.4 処理の流れ]
続いて、本実施形態における処理の流れについて
図6に基づいて説明する。第1実施形態では、クリップファイルから、ページサムネイルを一覧表示する実施形態について説明する。
【0046】
まず、クリップ位置のフリックを検出する(ステップS152;Yes)。本実施形態では、クリップの位置から、上方向(クリップファイルの外方向)へのフリックを検出する。
【0047】
続いて、クリップファイルからページを読み込み(ステップS154)、画像処理部140がページサムネイルを作成する(ステップS156)。ページサムネイルとは、クリップファイルに含まれているページ毎のサムネイル画像である。なお、クリップファイルに含まれているページのサムネイル画像を生成するタイミングとしては、総てのサムネイル画像を生成しても良いし、所定の範囲(例えば画面に表示する範囲)毎にサムネイル画像を生成することとしても良い。
【0048】
続いて、クリップをページ外に表示する(ステップS158)。例えば、クリップファイル(又はクリップファイルに含まれるページのサムネイル)に重畳しない用に、ページのサムネイルが表示される領域外に表示する。
【0049】
そして、ページサムネイルを一覧表示し(ステップS160)、資料一覧表示モードに遷移する(ステップS162)。
【0050】
ここで、資料一覧表示モードとは、クリップファイルに含まれているページのサムネイル(画像)を一覧するモードである。これにより、操作者はクリップファイル全体に何が含まれているかを確認することができる。
【0051】
このとき、ページ毎に画像処理を行うことができる。具体的には、サムネイルをタップ、ピンチ・イン(ピンチ・アウト)することによって拡大(縮小)表示したり、ドラッグすることでページ順序を入れ替えたり、スワイプ・ホールドすることによりページを削除したりと、種々の操作が可能である。
【0052】
この資料一覧表示モードのとき、クリップのタップが検出されると(ステップS164;Yes)、ページサムネイルの一覧表示からクリップファイル表示に遷移する(ステップS166)。そして、資料操作モードに遷移する(ステップS168)。
【0053】
[1.5 動作例]
続いて、本実施形態における動作例について、図を用いて説明する。
図7は、クリップ表示T152を操作者により選択した状態である。
【0054】
本動作例では、例えば、6ページのプレゼンテーションデータの画像データ(例えば、PowerPoint)が取り込まれた際に、プレゼンテーションデータに付加されたページ番号の情報を基に、1つの関連画像であることを認識し、6ページのプレゼンテーションデータが表示画像に変換された後、表示装置に表示される際、1つのグループとしてクリップ処理が行われる。
【0055】
また、プレゼンテーションデータ、表計算データ又は文章データ等の異なるファイル形式であっても、操作表示装置(テーブルディスプレイ10)に表示した状態で、異なるファイルから必要とされる表示画像のページを抜き取り、積み上げクリップ処理を実行(例えば、クリップ位置に2本指でダブルクリック)することで、異なるファイルから必要とされるページを抜き取り(又はコピー)、グループ化し1つの表示画像を作成することも可能である。
【0056】
この様に、1つのグループとしてクリップ処理が行われたクリップファイルは、表示画像の上部にクリップファイルであることを示すクリップの画像が表示される。
【0057】
また、クリップファイルは、利用者によって、ドラッグ・アンド・ドロップ操作が行われることでクリップファイルの移動、2本指でピンチ・イン、又はピンチ・アウト操作が行われることで、表示画像の拡大/縮小が行われる。
【0058】
最初、クリップ表示T152は、クリップファイルM152に重畳して表示されている。このとき、操作者によって、クリップファイル(クリップファイルM152)を操作することでクリップファイルを移動、回転、コピーが可能である。
【0059】
そして、操作者により、クリップファイルの表示画像(クリップ表示T152)を
図8に示すようにそのまま方向P2にスワイプされると、クリップ表示T154も追従して移動する。そして、クリップファイルM152の外で操作者のスワイプが終わる(タッチ状態が解除される)と、
図9に示すようにページサムネイルが領域R152に表示される。
【0060】
このとき、クリップ表示T156は、領域R152の外に表示されている。このように、利用者が移動させたクリップ画像は一覧表示された表示画像の近傍に表示させることで、グループ化された表示画像であることが認識可能に表示されている。また、操作者により、クリップ表示T156がタッチされると、再度
図7のように、クリップファイル表示に戻ることとなる。
【0061】
また、一覧表示された表示画像は、これまでのクリップ処理が行われていない表示画像と同様に移動、コピー、回転等の処理が可能であり、利用者がクリップ画像をフリック操作し、一覧表示された表示画像の何れかに重ねた場合や、クリップ画像をダブルクリックした際にはグループ化された一覧表示の表示画像が
図7の表示に移行する。
【0062】
なお、ページサムネイルを表示する方法としては例えば
図10(a)に示すようにページサムネイルを拡縮表示することにより、所定の領域内に含まれるように表示する。また、
図10(b)に示すように、スライドバーを設けたり、
図10(c)に示すようにページ切り替えを行ったりしてもよい。また、これらの表示については設定画面等により利用者によって任意に切り替えられるようにしても良い。
【0063】
[2.第2実施形態]
続いて第2実施形態について説明する。第2実施形態は、ページを切り替えて表示することが出来るページめくりモードについての実施形態である。
【0064】
[2.1 処理例]
第2実施形態の処理の流れについて
図11を用いて説明する。まず、クリップ位置のタップを検出すると(ステップS202;Yes)、クリップファイルからページを読み込む(ステップS204)。
【0065】
続いて、クリップファイルのページが表示出来ることになったことの識別表示を行う。具体的には、まずクリップをペーパウェイト表示に変更し(ステップS206)、ページめくり可能の識別表示を行う(ステップS208)。
【0066】
続いて、ページめくり操作を検出する(ステップS210)。例えば、表示されているページを、右から左(左方向)にスワイプさせることにより、ページをめくる操作と検出する。この場合、次ページのサムネイル画像を生成し(ステップS212)、次ページのサムネイル画像を表示する(ステップS214)。
【0067】
このステップS210〜ステップS214迄の動作を、ページめくり動作モードとしてペーパウェイトがタップされるまで繰り返し実行される(ステップS246;No)。なお、ページめくり操作としては、例えばページめくり可能の識別表示をタップするような操作であっても良い。また、表示されているページを、左から右(右方向)にスワイプさせることにより、逆方向にページをめくる操作として検出しても良い。この場合、前ページのサムネイル画像を生成し(キャッシュ画像として残っている場合は利用し)、表示する。
【0068】
そして、ペーパウェイト表示のタップが検出された場合には(ステップS216;Yes)、ペーパウェイト表示からクリップ表示に表示が変更される(ステップS218)。そして、ページめくり可能識別表示を中止し(ステップS220)、資料操作モードが再度実行される(ステップS222)。
【0069】
[2.2 動作例]
続いて、本実施形態における動作例について、
図12を用いて説明する。
図12(a)はクリップファイルM202に、クリップ表示T202が表示されている。このクリップ表示T202をタップすると、
図12(b)に示すように、クリップ表示からペーパウェイト表示C204に変化する。また、クリップファイルM202の右下は、ページめくり可能識別表示C206と状態が変化する。このような表示の変化により、操作者はページめくりが行えるということを認識することが出来る。
【0070】
この状態で、操作者が
図12(c)に示すようにP3方向(左方向)へのフリック操作を行うと、ページを切り替えることが可能となる。また、このときペーパウェイト表示C204をタップすることにより、資料操作モードに遷移する。
【0071】
[3.第3実施形態]
続いて、第3実施形態について
図13に基づいて説明する。
【0072】
[3.1 処理の流れ]
まず、表示されているクリップ位置のホールドを検出する(ステップS302;Yes)。クリップ位置のホールドが検出されたまま、クリップファイル上でフリックを検出すると(ステップS304;Yes)、次ページのサムネイル画像を生成する(ステップS306)。そして、生成された次ページのサムネイル画像を表示する(ステップS308)。
【0073】
ここで、クリップ位置のホールドが維持されていれば(ステップS304;No→ステップS310;No、ステップS308→ステップS310;No)、再度上述した処理を実行する(ステップS310;No→ステップS304)。
【0074】
他方、クリップ位置のホールドが解除された場合には(ステップS310;Yes)、クリップファイル表示状態に戻し(ステップS312)、資料操作モードに遷移する(ステップS314)。
【0075】
[3.2 動作例]
続いて、本実施形態における動作例について、
図14を用いて説明する。
図14(a)はクリップファイルM302に、クリップ表示T302が表示されている。このクリップ表示T302をホールドすると、
図14(b)に示すように、クリップ表示T304は、クリップファイルM302上に表示されることとなる。また、クリップファイルM302の右下がページめくり可能識別表示C302に変化する。これにより、操作者は、ページめくりを行える状態となっていることを認識することができる。
【0076】
この状態で、操作者が
図14(c)に示すようにP4方向(左方向)へのフリック操作を行うと、ページを切り替えることが可能となる。このとき、クリップ表示T302のホールド状態を解除すると、資料操作モードに遷移する。
【0077】
なお、本実施形態では、例えば
図14(b)では、操作者にモードが変わったことを放置するために表示形態を変化させているが、必ずしも表示の変化は必須ではない。すなわち、クリップ表示T304をホールドしている状態(選択している状態)でページめくりが行えれば良い。
【0078】
[4.第4実施形態]
続いて、第4実施形態について説明する。
【0079】
[4.1 処理の流れ]
第4実施形態の処理の流れについて、
図15を用いて説明する。まず、クリップファイル上の所定の範囲がホールドされたか否かを検出する(ステップS402)。ここで、所定の範囲がホールドされているか否かは、例えばマルチタッチの検出点が含まれている範囲を抽出することにより、ホールドされている領域を算出する。そして、この算出された領域が所定の大きさ以上であるか否かを判定する。
【0080】
この所定の範囲でホールドされている状態で、クリップファイル上でフリックが検出されると(ステップS404;Yes)、次ページのサムネイル画像を生成し、表示する(ステップS406→S408)。
【0081】
また、クリップファイル上の所定範囲のホールドが解除された場合には(ステップS410;Yes)、クリップファイル表示状態に戻り(ステップS412)、資料操作モードに動作が遷移する(ステップS412)。
【0082】
[4.2 動作例]
続いて、本実施形態における動作例について、
図16を用いて説明する。
図16(a)はクリップファイルM402上において、所定の範囲R402が操作者により選択(ホールド)されている。
【0083】
この所定の範囲R402が操作者により選択(ホールド)されている状態で、操作者が
図16(b)に示すようにP5方向(左方向)へのフリック操作を行うと、ページを切り替えることが可能となる。このとき、所定の範囲R402のホールド状態を解除すると、資料操作モードに遷移する。
【0084】
[5.効果]
上述した実施形態によれば、入力された画像データ及び文書データ(ページ)を表示用画像データ(サムネイル)に展開して表示する。そして、複数のページを含む場合には、紙資料と同様にクリップ処理を行い1つの表示画像として関連付けし、表示画像の移動、及びコピーなどの操作を容易にすることができ、操作者の操作性を向上させることができる。
【0085】
[6.変形例]
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。
【0086】
また、実施形態において各装置で動作するプログラムは、上述した実施形態の機能を実現するように、CPU等を制御するプログラム(コンピュータを機能させるプログラム)である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置(例えば、RAM)に蓄積され、その後、各種ROMやHDDの記憶装置に格納され、必要に応じてCPUによって読み出し、修正・書き込みが行なわれる。
【0087】
ここで、プログラムを格納する記録媒体としては、半導体媒体(例えば、ROMや、不揮発性のメモリカード等)、光記録媒体・光磁気記録媒体(例えば、DVD(Digital Versatile Disc)、MO(Magneto Optical Disc)、MD(Mini Disc)、CD(Compact Disc)、BD等)、磁気記録媒体(例えば、磁気テープ、フレキシブルディスク等)等の何れであってもよい。また、ロードしたプログラムを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することにより、本発明の機能が実現される場合もある。
【0088】
また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記憶装置も本発明に含まれるのは勿論である。
【0089】
また、上述した実施形態における各装置の一部又は全部を典型的には集積回路であるLSI(Large Scale Integration)として実現してもよい。各装置の各機能ブロックは個別にチップ化してもよいし、一部又は全部を集積してチップ化してもよい。また、集積回路化の手法はLSIに限らず専用回路又は汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能であることは勿論である。
【0090】
また、上述した実施形態の操作表示装置は、
複数のページが含まれるファイルから、一又は複数のページを含むページ群ファイルを生成するページ群ファイル生成手段と、
前記ページ群ファイルに含まれるページから、一のページのサムネイルと、ページ群ファイルであることを示す識別表示とを重畳して表示するページ群ファイル表示手段と、
前記識別表示について、前記サムネイルとの重畳表示とを解除する操作を検出する操作検出手段と、
前記操作検出手段により、前記サムネイルとの重畳表示とを解除する操作が検出された場合には、前記ページ群ファイルに表示されているファイルのサムネイルを一覧表示する一覧表示手段と、
を備えること特徴としてもよい。
【0091】
また、上述した実施形態の操作表示装置は、
複数のページが含まれるファイルから、一又は複数のページを含むページ群ファイルを生成するページ群ファイル生成手段と、
前記ページ群ファイルに含まれるページから、一のページのサムネイルと、ページ群ファイルであることを示す識別表示とを重畳して表示するページ群ファイル表示手段と、
前記識別表示を選択する操作を検出する操作検出手段と、
前記識別表示を選択する操作が検出された後に、前記ページ群ファイル表示手段により表示されているサムネイル上においてフリック操作が検出された場合には、前記サムネイルを異なるページのサムネイルに切り替えて表示する切替表示手段と、
を備えることを特徴とする。
【0092】
また、上述した実施形態のプログラムは、
コンピュータに、
複数のページが含まれるファイルから、一又は複数のページを含むページ群ファイルを生成するページ群ファイル生成機能と、
前記ページ群ファイルに含まれるページから、一のページのサムネイルと、ページ群ファイルであることを示す識別表示とを重畳して表示するページ群ファイル表示機能と、
前記識別表示について、前記サムネイルとの重畳表示とを解除する操作を検出する操作検出機能と、
前記操作検出機能により、前記サムネイルとの重畳表示とを解除する操作が検出された場合には、前記ページ群ファイルに表示されているファイルのサムネイルを一覧表示する一覧表示機能と、
を実現させることを特徴としてもよい。
【0093】
また、上述した実施形態のプログラムは、
コンピュータに、
複数のページが含まれるファイルから、一又は複数のページを含むページ群ファイルを生成するページ群ファイル生成機能と、
前記ページ群ファイルに含まれるページから、一のページのサムネイルと、ページ群ファイルであることを示す識別表示とを重畳して表示するページ群ファイル表示機能と、
前記識別表示を選択する操作を検出する操作検出機能と、
前記識別表示を選択する操作が検出された後に、前記ページ群ファイル表示機能により表示されているサムネイル上においてフリック操作が検出された場合には、前記サムネイルを異なるページのサムネイルに切り替えて表示する切替表示機能と、
を実現させることを特徴としてもよい。