(58)【調査した分野】(Int.Cl.,DB名)
前記画面制御手段は、前記指示操作が前記アノテーション位置でのマルチタッチ操作である場合には表示されている画像情報の中で指示操作された複数のアノテーションに一致するアノテーションが付加された画像情報を検索し、検索して得られた画像情報を前記複数の画像情報の一覧画面における表示位置を維持しつつ相対的に強調表示することを特徴とする請求項4,5に記載の画像情報処理装置。
【発明を実施するための形態】
【0028】
以下、図面に基づき本発明の実施形態について、画像情報(画像データ)として文書を例にとり説明する。但し、本発明は文書に限定されるものではなく、他の画像情報、例えば写真データや動画データ等にも当然に適用し得る。また、音楽データであってもアイコン等によりそのファイルが画像表示されていれば当然に適用し得る。
【0029】
図1に、本実施形態における画像情報処理装置1の構成ブロック図を示す。画像情報処理装置1は、CPU10、プログラムメモリ12、ワーキングメモリ14、タッチパネル16及び画像データ記憶部18を備える。
【0030】
CPU10は、プログラムメモリ12に記憶された処理プログラムを読み出し、これを順次実行することで各種機能を実行する。具体的には、CPU10は、ユーザのタッチパネル16に対する操作を検出し、この操作に応じて画像データ記憶部18にアクセスして文書をタッチパネル16に一覧表示する機能、ユーザのタッチパネル16に対する特定の操作、具体的には任意の位置を起点として方向を有する指示操作であるフリック操作を検出する機能、フリック操作の操作位置や操作方向に応じて一覧表示された文書画面をスクロールする機能と文書のファイル情報や属性情報等の関連情報(メタデータ)の一覧表示機能を切り替える機能、フリック操作に応じて検索を実行する機能を実行する。なお、「フリック」(flick)とは、一般には「素早く動かす、弾く」という意味であるが、この場合、指のスライド(弾き)のことを表している。本実施形態では、指のスライドをフリック操作と総称するが、任意の位置を起点として方向を有する操作であれば如何なる操作も含まれ得る。
【0031】
プログラムメモリ12は、ROM等で構成され、処理プログラムを記憶する。処理プログラムは予めプログラムメモリ12に記憶されていてもよく、あるいはネットワークを介してサーバからダウンロードされてもよい。処理プログラムは予めプログラムメモリ12に記憶され、そのバージョンアッププログラムが順次サーバからダウンロードされてもよい。
【0032】
ワーキングメモリ14は、RAM等で構成され、CPUが各種機能を実行する際に各種データを一時記憶する。
【0033】
タッチパネル16は、液晶パネル等の表示装置と、タッチパッド等の位置入力装置を組み合わせたものであり、ユーザが指や入力ペン等で操作する。タッチパネル16の動作原理には各種存在するが、本実施形態ではマトリクススイッチ方式、抵抗膜方式、電磁誘導方式、赤外線方式、静電容量方式のいずれでもよい。
【0034】
画像データ記憶部18は、ハードディスクや半導体メモリ等で構成され、画像データとしての文書データを複数記憶する。文書データには、文書本体を構成するテキストデータやイメージデータの他、ファイル情報や属性情報が含まれる。文書は、ユーザが画像データ処理装置1で作成して画像データ記憶部18に記憶してもよく、あるいはネットワークを介してサーバあるいは他の画像処理装置からダウンロードしてもよい。あるいは、画像データ記憶部18がネットワークのサーバ上に存在してもよい。
【0035】
画像データ処理装置1は、パーソナルコンピュータやタブレット端末、スマートフォン等の情報機器として機能し得る。画像データ処理装置1は、スタンドアロンで機能してもよく、あるいはネットワークを介したサーバクライアントシステムにおけるクライアントとしても機能し得る。
【0036】
本実施形態では、CPU10がユーザによるタッチパネル16のフリック操作を検出し、フリック操作の操作位置や操作方向に応じて、文書が一覧表示された状態から種々の画面を表示させることで、簡単な操作によって所望の画像を検索可能とする。以下、本実施形態の処理について、詳細に説明する。
【0037】
図2に、本実施形態の全体処理フローチャートを示す。タッチパネル16の画面上に文書のサムネイルが一覧表示されている状態からの処理である。
【0038】
まず、CPU10は、ユーザが画面全体をフリック操作したか否かを判定する(S101)。ここで、「フリック操作」は公知であるが、ユーザが画面にタッチしたまま指を動かす操作をいう。画面上には文書のサムネイルが一覧表示されており、文書のサムネイル以外においてフリック操作が行われた場合、CPU10は、画面全体のフリック操作であることを検出する。
【0039】
画面全体のフリック操作でない場合、つまり、サムネイル上におけるフリック操作の場合には、CPU10は、所定のサムネイル内フリック操作サブルーチンを実行する(S102)。
【0040】
画面全体のフリック操作である場合、CPU10は、次に、フリック操作の方向を判定する(S103)。フリック操作が画面の右方向、つまり、ユーザが画面にタッチしたまま指を画面の右方向に動かした場合、CPU10は、所定の表示情報切り替え処理サブルーチンを実行する(S104)。また、フリック操作が画面の左方向、つまり、ユーザが画面にタッチしたまま指を画面の左方向に動かした場合、CPU10は、所定の表示情報切り替え処理サブルーチンを実行する(S105)。さらに、フリック操作が画面の下方向、つまりユーザが画面にタッチしたまま指を画面の下方向に動かした場合、CPU10は、所定のワークスペーススクロール処理サブルーチンを実行する(S106)。
【0041】
なお、サムネイル内フリック操作サブルーチン(S102)、表示情報切り替え処理サブルーチン(S104,S105)、ワークスペーススクロール処理サブルーチン(S106)については後述する。
【0042】
図3に、サムネイル内フリック操作サブルーチンの詳細フローチャートを示す。
【0043】
まず、CPU10は、現在のタッチパネル16の画面が、サムネイル表示モードであるか否かを判定する(S1021)。
【0044】
サムネイル表示モード、つまり文書のサムネイルが一覧表示されているモードである場合、CPU10は、所定のサムネイル内フリック操作を実行する(S1022)。
【0045】
サムネイル表示モードでない場合、CPU10は、ファイル情報表示モードであるか否かを判定する(S1023)。ファイル情報表示モードは、文書のファイル情報を表示するモードであり、サムネイル表示モードからフリック操作により移行するモードである。ファイル情報は、文書のファイル名や更新日時、作成日、作者等の情報である。
【0046】
ファイル情報表示モードである場合、CPU10は、所定のファイル情報絞り込み処理を実行する(S1024)。
【0047】
ファイル情報表示モードでない場合、CPU10は、次に、属性情報表示モードであるか否かを判定する(S1025)。属性情報表示モードは、文書の属性情報を表示するモードであり、サムネイル表示モードからフリック操作により移行するモードである。属性情報は、文書のユーザ属性(所属グループ名や職位、閲覧やFAXの有無等)の情報である。
【0048】
属性情報表示モードである場合、CPU10は、所定の属性情報絞り込み処理を実行する(S1026)。
【0049】
属性情報表示モードでない場合、CPU10は、次に、アノテーション情報が表示されているか否かを判定する(S1027)。アノテーションとは、文書中に付与された位置情報・属性情報・テキスト情報等を持つ、本文文書とは別に付与された表示オブジェクトをいう。
【0050】
アノテーション情報が表示されている場合、CPU10は、所定のアノテーション絞り込み処理を実行する(S1028)。
【0051】
アノテーション情報が表示されていない場合、CPU10は、何らの処理も実行せず、画面をそのまま維持する(S1029)。
【0052】
図4に、サムネイル内フリック操作(S1022)の詳細フローチャートを示す。
【0053】
まず、CPU10は、現在表示されているページ情報を取得する(S10221)。すなわち、現在表示されているサムネイル表示モードでのページ情報を取得する。
【0054】
次に、CPU10は、フリック方向を判定する(S10222)。フリック方向が左の場合には、現在のページよりも1つ前のページのサムネイル情報を取得する(S10223)。フリック方向が右の場合には、現在のページよりも1つ次のページのサムネイル情報を取得する(S10224)。
【0055】
フリック方向に応じて前、あるいは次のサムネイル情報を取得した後、ワークスペース一括更新処理を実行する(S10225)。すなわち、フリック方向に応じて取得したサムネイル情報を画面に表示する。従って、サムネイルが画面に表示されている場合において、ユーザがサムネイル内を右方向にフリック操作すると、サムネイルで表現された各文書の次のページのサムネイルが画面に表示され、左方向にフリック操作すると、サムネイルで表現された各文書の前のページのサムネイルが画面に表示される。1つの文書のサムネイルのみが画面に表示されている場合において右方向にフリック操作するとその文書の次のページのサムネイルが表示されるが、複数の文書のサムネイルが画面に表示されている場合において右方向にフリック操作すると表示されている全ての文書の次のページのサムネイルが表示される。
【0056】
フリック操作によりページを変更する技術は電子書籍において公知であるが、本実施形態では、複数のサムネイルが全て連動してそのページが一括変更される点に留意されたい。
【0057】
図5に、ファイル情報絞り込み処理(S1024)の詳細フローチャートを示す。
【0058】
まず、CPU10は、選択項目を取得する(S10241)。すなわち、ファイル情報表示モードにおいてフリック操作がなされた場合、ファイル情報の中でフリック操作がなされた項目を選択項目としてその情報を取得する。
【0059】
次に、CPU10は、マルチタッチで他に項目が選択されているか否かを判定する(S10242)。マルチタッチでフリック操作されている場合には、再び選択項目を取得する。例えば、人差し指と中指でフリック操作された場合、人差し指でフリック操作された項目を選択し、かつ、中指でフリック操作された項目を選択する。
【0060】
選択項目を取得した後、ファイル情報絞り込み処理を行い(S10243)、ワークスペースを一括更新する(S10244)。すなわち、ファイル情報のうち、選択項目が一致するファイル情報のみを抽出して画面に表示する。
【0061】
図6に、属性情報絞り込み処理(S1026)の詳細フローチャートを示す。
【0062】
まず、CPU10は、選択項目を取得する(S10261)。すなわち、属性情報表示モードにおいてフリック操作がなされた場合、ファイル情報の中でフリック操作がなされた項目を選択項目としてその情報を取得する。
【0063】
次に、CPU10は、マルチタッチで他に項目が選択されているか否かを判定する(S10262)。マルチタッチでフリック操作されている場合には、再び選択項目を取得する。例えば、人差し指と中指でフリック操作された場合、人差し指でフリック操作された項目を選択し、かつ、中指でフリック操作された項目を選択する。
【0064】
選択項目を取得した後、属性情報絞り込み処理を行い(S10263)、ワークスペースを一括更新する(S10264)。すなわち、属性情報のうち、選択項目が一致する属性情報のみを抽出して画面に表示する。
【0065】
図7に、アノテーション絞り込み処理(S1028)の詳細フローチャートを示す。
【0066】
まず、CPU10は、選択項目を取得する(S10281)。すなわち、アノテーション情報表示モードにおいてフリック操作がなされた場合、フリック操作がなされたアノテーションを選択アノテーションとしてその情報を取得する。
【0067】
次に、CPU10は、マルチタッチで他に項目が選択されているか否かを判定する(S10282)。マルチタッチでフリック操作されている場合には、再び選択アノテーションを取得する。例えば、人差し指と中指でフリック操作された場合、人差し指でフリック操作されたアノテーションを選択し、かつ、中指でフリック操作されたアノテーションを選択する。
【0068】
選択アノテーションを取得した後、アノテーション絞り込み処理を行い(S10283)、ワークスペースを一括更新する(S10284)。すなわち、サムネイルのうち、選択アノテーションに一致するアノテーションを有するサムネイルのみを抽出して画面に表示する。
【0069】
図8に、表示情報切り替え処理(S104)の詳細フローチャートを示す。S105についても同様である。
【0070】
まず、CPU10は、予めプログラムとして設定されている設定情報を取得する(S1041)。設定情報は、具体的にはフリック方向と表示の関連付け情報である。例えば、
右方向にフリック操作:ファイル情報表示
左方向にフリック操作:属性情報表示
斜め方向にフリック操作:アノテーション表示
等である。
【0071】
次に、フリック方向を判定し(S1042)、左方向であれば属性情報の表示処理を実行し(S1043)、右方向であればファイル情報の表示処理を実行し(S1045)、斜め方向であればアノテーション表示処理を実行し(S1044)、ワークスペース更新処理を行う(S1046)。
【0072】
図9に、ワークスペーススクロール処理(S106)の詳細フローチャートを示す。
【0073】
まず、CPU10は、フリック方向を判定し(S1061)、上方向のフリック操作であればワークスペース上方移動処理を実行する(S1062)。次に、終端までスクロールしたか、あるいはスクロールが停止したか否かを判定し(S1063)、終端または停止であれば次のフリック操作を待つ(S1066)。
【0074】
下方向のフリック操作であれば、ワークスペース下方移動処理を実行する(S1064)。次に、終端までスクロールしたか、あるいはスクロールが停止したか否かを判定し(S1065)、終端または停止であれば次のフリック操作を待つ(S1066)。
【0075】
図10に、ワークスペーススクロール処理(S106)の他の詳細フローチャートを示す。
【0076】
S1061〜S1065までの処理は、
図9に示すフローチャートと同一であるが、終端までスクロールした場合において、次のフリック操作を待つのではなく、サムネイル情報の切り替え処理を実行する(S1067)。この処理は、
図8に示す表示情報切り替え処理に類似する処理であり、サムネイル表示モードからファイル情報表示モードあるいは属性表示モードに切り替えるものである。例えば、下方向に終端までスクロールした後にさらに下方向にフリック操作するとファイル情報を表示する等である。
【0077】
また、
図5にファイル情報絞り込み処理(S1024)の詳細フローチャートを示したが、他の処理フローチャートとしてもよい。
【0078】
図11に、ファイル情報絞り込み処理(S1024)の他の詳細フローチャートを示す。S10241〜S10242は
図5と同一であるが、選択項目を取得した後に、絞り込み条件を選択する処理を実行する(S10245)。例えば、2つの項目を選択した場合、これらをAND条件として絞り込むのか、あるいはOR条件として絞り込むのかを選択する処理である。ポップアップメニューを表示してユーザがいずれかをタップして選択する。以後は、
図5と同様であり、ファイル情報絞り込み処理を実行し(S10246)、ワークスペース一括更新処理を実行する(S10247)。
【0079】
次に、本実施形態の処理について、タッチパネル16の画面例を用いてより具体的に説明する。
【0080】
<左右方向のフリック操作>
図12に、文書のサムネイルが一覧表示されている画面例を示す。この画面は、例えばユーザがあるフォルダないしディレクトリを選択することで表示される。あるいは、あるキーワードで検索し、その検索結果として表示される。CPU10は、ユーザにより選択ないしキーワードに該当する文書を画像データ記憶部18から読み出し、そのサムネイルを作成してワーキングメモリ14に一時記憶し、タッチパネル16に表示する。CPU10は、例えば各文書の1ページ目の画像データを縮小してサムネイルを作成する。このような文書のサムネイルの一覧表示から、所望の文書を見つけ出すのは困難である。すなわち、文書のサムネイルの総数が画面内の範囲に限定されていればともかく、そうでない場合には画面を上下方向にフリック操作してスクロールし、新たな文書のサムネイルを表示させ、さらに見つからなければ同様の操作を繰り返さなければならない。
【0081】
そこで、
図12の画面において、上下方向にフリック操作が行われた場合には、従来と同様に画面をスクロールするものの、右方向に大きくフリック操作すると、CPU10は、サムネイル表示されている各文書のファイル情報をタッチパネル16に表示する。
【0082】
図13に、右方向フリック操作により、文書のファイル情報が表示された画面例を示す。CPU10は、ユーザのフリック操作の操作位置及びその方向を検出し、1つのサムネイルの表示領域を超える大きなフリック操作であって右方向のフリック操作であると判定すると、画像データ記憶部18に記憶されている文書のファイル情報を読み出し、サムネイル表示された文書毎に、読み出したファイル情報(ファイル名、更新日時、作成日、作者等)をタッチパネル16に表示する。CPU10は、サムネイル表示された文書のファイル情報を予め画像データ記憶部18から読み出してワーキングメモリ14に記憶しておき、必要なファイル情報をワーキングメモリ14から読み出してタッチパネル16に表示してもよい。ファイル情報の表示位置は、
図12における文書のサムネイルの表示位置と一致する。すなわち、文書のサムネイルの表示位置はそのまま維持されてファイル情報が一覧表示される。従って、ユーザは、文書のサムネイルと文書のファイル情報とを容易に比較照合することができる。例えば、
図12において、ある文書のサムネイルが画面右上に表示されており、その文書のファイル情報も同じ画面右上の対応する位置に表示される。ユーザは、単に右方向に大きくフリック操作するのみで、着目する文書のファイル情報を容易に確認できる。
【0083】
他方、
図13の画面において、左方向にフリック操作が行われた場合、CPU10は、ユーザのフリック操作の操作位置及びその方向を検出し、1つのサムネイルの表示領域を超える大きなフリック操作であって左方向のフリック操作であると判定すると、
図14に示すように、再び文書のサムネイルの一覧表示の画面をタッチパネル16に表示する。そして、
図14の画面(あるいは
図12の画面でも同様)において、さらに左方向にフリック操作が行われた場合、CPU10は、ユーザのフリック操作及びその方向を検出し、左方向のフリック操作であると判定すると、画像データ記憶部18に記憶されている文書の属性情報を読み出し、サムネイル表示された文書毎に、読み出した属性情報(ユーザ属性、日付、FAXの有無等)をタッチパネル16に表示する。
【0084】
図15に、左方向フリック操作により、その文書の属性情報が表示された画面例を示す。サムネイル表示された文書毎に、その文書の属性情報(ユーザ属性、日付、FAXの有無、数値等)が表示される。文書の属性情報の表示位置も、
図12における文書のサムネイルの表示位置と一致する。従って、ユーザは、文書のサムネイルと文書の属性情報とを容易に比較照合することができる。
【0085】
上下方向のフリック操作により画面をスクロールし、左右方向のフリック操作により画面を進め、あるいは戻すことはPCやタブレット端末、スマートフォン等の基本操作として公知であるが、本実施形態では、左右のフリック操作により、現在表示されているサムネイルあるいはアイコンの詳細な情報を表示する画面に切り替わる点に留意されたい。文書のファイル情報あるいは属性情報は文書のメタデータであり、左右方向のフリック操作により文書のメタデータが表示されるといえる。あるいは、文書のファイル情報あるいは属性情報はデータの階層構造における1つ下の階層のデータであり、左右方向のフリック操作により文書よりも下の階層のデータが表示されるといえる。
【0086】
図15の画面において、
図16に示すようにさらに左方向にフリック操作が行われた場合には、CPU10は、
図17に示すようにその文書のファイル情報を表示してもよい。この画面は、
図13の画面と同じである。そして、
図17の画面において、さらに左方向にフリック操作が行われると、CPU10は、再び文書のサムネイルの一覧表示の画面を表示する。
【0087】
すなわち、左方向にフリック操作を続けると、CPU10は、このフリック操作の方向に応じ、
文書サムネイル一覧画面→属性情報画面→ファイル情報画面→文書サムネイル一覧画面
→・・・
と巡回するように画面を遷移させる。
【0088】
同様に、右方向にフリック操作を続けると、CPU10は、このフリック操作の方向に応じ、
文書サムネイル一覧画面→ファイル情報画面→属性情報画面→文書サムネイル一覧画面
→・・・
と巡回するように画面を遷移させる。
【0089】
なお、本実施形態では画面を巡回させているが、左方向にフリック操作した場合に、
文書サムネイル一覧画面→属性情報画面→ファイル情報画面
と画面が遷移するものの巡回せず、同様に、右方向にフリック操作した場合に、
文書サムネイル一覧画面→ファイル情報画面→属性情報画面
と画面が遷移するものの巡回しなくてもよい。
【0090】
このように、CPU10は、フリック操作の方向に応じて文書サムネイル一覧画面、ファイル情報画面、及び属性情報画面を切り替えてタッチパネル16に表示するので、ユーザは単にフリック操作を行うのみで、文書のサムネイル情報、ファイル情報、及び属性情報を視認することができ、これらの情報に基づいて所望の文書を見つけることができる。フリック方向と表示される画面との対応関係は予め処理プログラムにより決定されるが、ユーザが適宜対応関係をカスタマイズしてもよい。例えば、右方向のフリック操作と属性情報とを対応付け、左方向のフリック操作とファイル情報とを対応付ける等である。ユーザによりカスタマイズされた対応関係は、プログラムメモリ12に記憶される。
【0091】
<上下方向のフリック操作>
図18に、文書のサムネイル一覧表示の画面において下方向にフリック操作が行われ、終端までスクロールした状態を示す。この画面において、さらに下方向にフリック操作が行われると、CPU10は、スクロール終端における下方向のフリック操作と判定し、画像データ記憶部18に記憶されているファイル情報を読み出し、タッチパネル16に表示する。
【0092】
図19に、下方向フリック操作により、文書のファイル情報が表示された画面例を示す。サムネイル表示された文書毎に、その文書のファイル情報が表示される。文書のファイル情報の表示位置は、
図18における文書のサムネイルの表示位置と一致する。従って、ユーザは、文書のサムネイルと文書のファイル情報とを容易に比較照合することができる。この画面において、さらに下方向にフリック操作が行われると、CPU10は、ファイル情報画面をスクロールして表示する。そして、終端までスクロールした後に、さらに下方向のフリック操作が行われると、CPU10はこのフリック操作を検出して、画像データ記憶部18から属性情報を読み出してタッチパネル16に表示する。
【0093】
図20に、下方向のフリック操作により、文書の属性情報が表示された画面例を示す。サムネイル表示された文書毎に、その文書の属性情報が表示される。文書の属性情報の表示位置は、文書のサムネイルの表示位置と一致する。従って、ユーザは、文書のサムネイルと文書のファイル情報とを容易に比較照合することができる。
【0094】
このように、下方向にフリック操作した場合に、CPU10は、
文書サムネイル一覧画面→スクロール→・・→スクロール(終端まで)→ファイル情報画面→スクロール→・・→スクロール(終端まで)→属性情報→スクロール・・→スクロール(終端まで)
と画面を遷移させることで、下方向のフリック操作のみで文書のサムネイル、ファイル情報、属性情報が表示されることになり、ユーザはフリック操作のみで所望の文書を見出し得る。なお、
図20の画面においてさらに下方向にフリック操作が行われた場合に、CPU10は、
図18の画面に遷移させることで画面を巡回させてもよい。
【0095】
<文書サムネイル内フリック操作>
上記の説明では、1つのサムネイルの表示領域を超えるフリック操作、例えば画面の全体にわたるようなフリック操作について説明したが、次に、特定の領域内におけるフリック操作が行われた場合の処理について説明する。フリック操作が特定の領域内であるか画面全体であるかは、CPU10が、フリック操作時のスライド範囲を検出して判別する。
【0096】
図21に、文書のサムネイル一覧表示の画面において、サムネイル内で右方向にフリック操作が行われた状態を示す。サムネイル内においてフリック操作が行われると、CPU10は、サムネイル内におけるフリック操作であると判定し、
図22に示すように、現在表示されているページを確認し、サムネイル表示されている文書の全てにおいて画像データ記憶部18から次のページの画像データを読み出し、縮小することでサムネイルを作成する。そして、ワーキングメモリ14に記憶し、タッチパネル16に表示する。
図22において、各文書のサムネイルに表示される「2」は、2ページ目のサムネイルであることを示す。ユーザは、1回のフリック操作のみで全ての文書の次のページの内容を概観し得る。
【0097】
図22の画面において、さらにサムネイル内で右方向にフリック操作が行われると、CPU10は、現在表示されているページを確認し、サムネイル表示されている文書の全てにおいて画像データ記憶部18から次のページ(3ページ)の画像データを読み出し、縮小してサムネイルを作成してタッチパネル16に表示する。なお、CPU10は、ワーキングメモリ14の容量の限度内において、文書の複数ページのサムネイルを予め作成してワーキングメモリ14に記憶しておき、サムネイル内のフリック操作と判定すると、ワーキングメモリ14から必要なページのサムネイルを読み出してタッチパネル16に表示してもよい。
【0098】
本実施系形態において、ユーザはある特定の文書のサムネイル内でフリック操作したにもかかわらず、画面に表示されている全ての文書のサムネイルが次のページのサムネイルに遷移する点に留意されたい。ユーザは、複数のサムネイル内において繰り返しフリック操作することなく、1回のフリック操作のみで全ての文書の次ページの内容を概観できる。
【0099】
<アノテーションフリック操作>
図23に、文書のサムネイルにアノテーションとして付箋が付加された画面例を示す。この画面において、アノテーション内(付箋内)で右方向にフリック操作が行われると、CPU10は、フリック操作がアノテーションで行われたと判定し、
図24に示すように、同様のアノテーション(付箋)が付加された文書のサムネイルのみを残存表示し、それ以外の文書のサムネイルを非表示とする。
【0100】
なお、同様のアノテーションとは、その形状や属性が一致するアノテーションをいい、例えばアノテーションの形状が複数種類存在する場合には同一形状のアノテーションであり、アノテーションの色が複数種類存在する場合には同一色のアノテーションである。さらに、アノテーションがテキストデータを含む場合には、同一のテキストデータを含むアノテーションである。従って、
図23において、複数色のアノテーションが存在し、ユーザが赤色のアノテーションをフリック操作した場合、CPU10は、赤色のアノテーションがフリック操作されたと判定し、画面内で同じ赤色のアノテーションが付加された文書のサムネイルのみを残存表示し、それ以外の文書のサムネイルを表示せず画面から消去する。ユーザは、
図24の画面において、所望のアノテーションが付加された文書のみを容易に確認することができる。
【0101】
また、
図24の画面において、画面全体にわたる右方向のフリック操作が行われると、CPU10は、1つのサムネイルの表示領域を超えるフリック操作と判定し、
図25に示すように、現在の画面が文書のサムネイル一覧表示画面であることに基づいて、表示されている文書のファイル情報を画像データ記憶部18から読み出して表示する。現在の画面のモードは、例えばワーキングメモリ14にモードパラメータとして記憶しておけばよい。CPU10は、画面を遷移させる毎に、画面遷移に連動させてモードパラメータを更新する。ユーザは、アノテーションのフリック操作により絞り込まれた文書のファイル情報を容易に確認することができる。
【0102】
図25の画面において、さらに画面全体にわたる右方向のフリック操作が行われると、CPU10は、再び1つのサムネイルの表示領域を超えるフリック操作と判定し、現在の画面がファイル情報画面であることに基づいて、画像データ記憶部18から属性情報を読み出して表示する。
【0103】
他方、
図25の画面において、画面全体にわたるフリック操作ではなく、サムネイル内のフリック操作が行われた場合、具体的には、ファイル情報の特定の項目内でフリック操作が行われた場合、CPU10は、サムネイル内のフリック操作と判定し、フリック操作された当該項目の値を取得し、その項目の値が一致する文書のファイル情報のみを残存表示し、それ以外のファイル情報を非表示とする。例えば、
図25に示すように、ファイル情報の中の「作者A」なる項目内でフリック操作が行われると、CPU10は、
図26に示すように、「作者A」なる項目を有するファイル情報のみを表示し、それ以外のファイル情報を非表示とする。従って、ユーザは、単に特定の項目を選択してフリック操作するのみで、容易に文書を絞り込むことができる。
図26では、例として3つのファイル情報から2つのファイル情報に絞り込んでいるが、ファイル情報が増大する程、絞り込みの効果は顕著となる。
【0104】
図26の画面において、さらに画面全体にわたる右方向のフリック操作が行われると、CPU10は、画面全体にわたるフリック操作と判定し、現在の画面がファイル情報画面であることに基づいて、
図27に示すように、表示されている文書の属性情報を読み出して表示する。ユーザは、表示されている属性情報を視認することで、所望の文書を容易に見出し得る。例えば、
図27の画面において、2つの文書の属性情報が表示されており、1つの属性情報がFAX送信済み無(FAX送信されていない)で、他の属性情報がFAX送信済み有(FAX送信された)の場合、ユーザは所望の文書として、FAX送信済み有りの文書を見出すことができる。ユーザが、所望の文書を見出してタップ操作すると、CPU10は、タップ操作と判定して、画像データ記憶部18から当該文書の詳細データを読み出し、
図28に示すようにその文書の詳細画面を表示する。
【0105】
本実施形態では、
図24において画面全体にわたる右方向のフリック操作が行われてファイル情報を表示し、このファイル情報のサムネイル内でさらにフリック操作が行われているが、
図24において画面全体にわたる左方向のフリック操作が行われると、CPU10は属性情報を表示し、この属性情報のサムネイル内でさらにフリック操作が行われると、フリック操作された項目の値に一致する属性情報のみが残存表示される。
【0106】
<マルチタッチのフリック操作>
図25の画面において、ファイル情報あるいは属性情報の中の1つの項目のみをフリック操作するのではなく、マルチタッチでフリック操作してもよい。
【0107】
図29に、
図25の画面において複数の指、例えば人差し指と中指の2本の指でファイル情報の中の2つの項目、例えばファイル名と作者をフリック操作した状態を示す。CPU10は、マルチタッチのフリック操作と判定し、フリック操作された複数の項目の値を取得し、これらの値を用いてファイル情報を検索する。すなわち、取得した複数の項目の値に一致するファイル情報をAND条件で検索する。
図29において、ファイル名が一致し、かつ、作者が一致するファイル情報を検索し、検索して得られたファイル情報のみを表示し、それ以外のファイル情報は非表示とする。ユーザは、マルチタッチでフリック操作するのみで、必要な項目を有するファイル情報のみを容易に見つけることができる。
【0108】
なお、人差し指と中指ではなく、他の2本の指でマルチタッチのフリック操作が行われた場合も同様に2つの条件で検索し得る。右手の指と左手の指でマルチタッチした場合も同様である。さらに、3本の指でマルチタッチのフリック操作が行われた場合、CPU10は、3つの条件で検索し得る。一般的に、n(nは自然数)本のマルチタッチでn個の検索条件を設定し得る。ユーザは、絞り込む条件の数だけのマルチタッチを行うことで、直感的に検索条件を設定できる。検索条件としてキーワードを入力する場合と比較すると、本実施形態の利便性は明らかである。
【0109】
マルチタッチでフリック操作が行われた場合において、AND条件ではなくOR条件で文書を絞り込んでもよく、いずれの条件で絞り込むかをユーザが設定可能としてもよい。あるいは、同時にマルチタッチでフリック操作が行われた場合にAND条件とし、時系列にマルチタッチでフリック操作が行われた場合にOR条件としてもよい。ここで、時系列のマルチタッチとは、ある指でタッチし、その直後に引き続き、別の指でタッチすることをいう。例えば、人差し指で「ファイル名」をフリック操作し、その直後に中指で「作者」をフリック操作する等である。
【0110】
図30に、人差し指と中指の2本の指でアノテーションを選択してフリック操作が行われた状態を示す。この場合も、CPU10は、アノテーション内のマルチタッチフリック操作と判定し、フリック操作されたアノテーションの属性を取得し、同一の属性を有するアノテーションが付加されたサムネイルのみを表示し、それ以外は非表示とする。
【0111】
同一アノテーションが付加された文書をAND条件で絞り込む他に、同一位置にあるアノテーションが付加された文書をAND条件で絞り込む、あるいはアノテーションの中の同一テキストがある文書をAND条件で絞り込んでもよい。AND条件ではなくOR条件で絞り込む、あるいは時系列のマルチタッチの場合にOR条件で絞り込んでもよいのはファイル情報の場合と同様である。
【0112】
<選択メニューの表示>
マルチタッチでフリック操作が行われた場合、予め設定された条件で絞り込むのではなく、選択メニューをポップアップ表示してユーザが選択可能にしてもよい。
【0113】
図31に、人差し指と中指でアノテーションをフリック操作した場合の画面例を示す。フリック操作が行われると、CPU10は、アノテーション内でのマルチタッチフリック操作と判定し、選択メニューを作成してタッチパネル16にポップアップ表示する。図では、選択メニューとして、「表示位置で絞る」、「同じアノテーションで絞る」が表示される。前者は、アノテーションの表示位置が一致する条件で検索することを意味し、後者はアノテーションの属性(形状や色)が一致する条件で検索することを意味する。ユーザは、いずれかの選択メニューをタップすることで、マルチタッチのフリック操作により実行される絞込み条件を詳細に設定することができる。
【0114】
図31では、フリック操作されたアノテーションに関連するように、アノテーションの近傍に選択メニューをポップアップ表示しているが、表示位置は任意であり、
図32に示すように、画面の空いている領域に選択メニューをポップアップ表示してもよい。また、選択メニューを表示する際に、絞り込み条件の内容とともに、その絞り込み条件を選択するためのフリック操作の方向を表示してもよい。
図32において、選択項目の左側に上向き矢印、下向き矢印、右向き矢印、左向き矢印が表示されているが、これらはそれぞれ絞り込み条件を選択するためのフリック方向を示す。例えば、マルチタッチで右方向にフリック操作した直後に上向き方向にフリック操作すると、CPU10は、上向き方向のフリック操作と判定して、アノテーションの表示位置で絞り込む条件を設定して検索を実行する。また、マルチタッチで右方向にフリック操作した直後に下向き方向にフリック操作すると、CPU10は、下向き方向のフリック操作と判定して、同一形状のアノテーションで絞り込む条件を設定して検索を実行する。また、マルチタッチで右方向にフリック操作した直後に右向きにフリック操作すると、CPU10は、右向きのフリック操作と判定して同じ色で絞り込む条件を設定して検索を実行する。さらに、マルチタッチで右方向にフリック操作した直後に左向きにフリック操作すると、CPU10は、左向きのフリック操作と判定して同じアノテーション属性、つまり同じテキストデータで絞り込む条件を設定して検索を実行する。なお、この例ではアノテーション属性はアノテーション内のテキストデータを意味するものとして形状や色と区別しているが、既述したようにアノテーション属性に形状や色を含めてもよい。
【0115】
このように、マルチタッチでのフリック操作時に、CPU10が選択メニューを表示することで、ユーザはフリック操作のみで多様な絞り込みを行うことができる。
【0116】
図31及び
図32では、マルチタッチでフリック操作が行われた場合に絞り込み条件を設定するための選択メニューを表示しているが、マルチタッチではなくシングルタッチでフリック操作が行われた場合にも、絞り込み条件を設定してもよい。
【0117】
図33に、ファイル情報表示画面において、ファイル情報の中の1つの項目が選択されてフリック操作が行われた場合の画面例を示す。CPU10は、「作者A」の項目がフリック操作されると、選択メニューをポップアップ表示する。選択メニューは、例えば「を含む」、「と完全一致」である。前者をタップすると、CPU10は、作者Aを含むファイル情報のみを検索して表示し、それ以外は非表示とする。後者をタップすると、CPU10は、作者Aと完全一致するファイル情報のみを検索して表示し、それ以外は非表示とする。もちろん、フリック操作の方向により絞り込み条件を設定できるようにしてもよい。
【0118】
このように、本実施形態では、簡易で直感的なフリック操作によって、多様な処理が可能となっている。本実施形態において、左右方向のフリック操作に着目してCPU10で実行される処理を要約すると、以下の通りである。
(1)文書のサムネイル一覧表示における左右方向のフリック操作
サムネイル領域を超えるフリック操作→メタデータの一覧表示への切り替え
サムネイル内のフリック操作→ページめくり
アノテーションのフリック操作→アノテーションを用いた検索
(2)メタデータ(ファイル情報・属性情報)一覧表示における左右方向のフリック操作
サムネイル領域を超えるフリック操作→他のメタデータの一覧表示への切り替え
サムネイル内のフリック操作→項目を用いた検索
同じ左右方向のフリック操作であっても、画面に表示されているモード、及びフリック操作の操作位置に応じて処理が変化する。特に、メタデータ一覧表示において、特定の(1つあるいは複数の)項目を対象としたフリック操作によって、自動的に当該項目を用いた検索が実行され、その検索結果が画面に強調表示される点に留意すべきである。なお、アノテーションは、文書のメタデータとして把握することも可能であり、この場合にはアノテーションのフリック操作はメタデータ一覧表示におけるサムネイル内のフリック操作と実質的に同じである。
【0119】
以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されるものではなく、種々の変形が可能である。
【0120】
例えば、
図33では「作者A」の項目がフリック操作された場合に選択メニューをポップアップ表示したが、「日付」の項目がフリック操作された場合に、フリック操作の方向ととともに選択メニューを表示してもよい。例えば、「上向き矢印 以前」、「下向き矢印 以後」等である。日付の項目を右方向にフリック操作した直後に上向きにフリック操作するとその日付以前のファイル情報のみが表示され、日付の項目を右方向にフリック操作した直後に下向きにフリック操作するとその日付以後のファイル情報のみが表示される。これにより、日付の絞り込み条件をフリック操作のみで、かつ、直感的な操作のみで簡易に設定し得る。
【0121】
また、本実施形態では、フリック操作により画面を遷移させているが、フリック操作を行う指の種類に応じて画面を遷移させてもよい。例えば、人差し指によるフリック操作では文書サムネイル一覧表示画面をスクロールし、中指によるフリック操作では文書サムネイル一覧表示画面をファイル情報画面あるいは属性情報表示画面に遷移させる等である。
【0122】
また、本実施形態において、絞り込みで得られた文書のサムネイルやファイル情報、属性情報のみを表示し、それ以外を非表示としているが、必ずしも「非表示」とする必要はなく、絞り込みで得られた文書のサムネイルやファイル情報、属性情報を相対的に強調表示すればよい。例えば、絞り込みで得られた文書のサムネイルやファイル情報、属性情報以外を半透明で表示することで、絞り込みで得られた文書のサムネイルやファイル情報、属性情報を強調する等である。
【0123】
また、本実施形態において、フリック操作に加えて、他の操作との組み合わせにより処理内容を変化させてもよい。例えば、フリック操作とともに、画面の特定の箇所を押す操作により画面を遷移させる等である。
【0124】
また、本実施形態では、フリック操作の位置と方向に応じて処理内容を変化させているが、これに加えて、フリック操作の速度に応じて処理内容を変化させてもよい。例えば、
図18の画面において、下方向のフリック操作の速度が閾速度以下の場合、CPU10はスクロールの終端であることを示す画面表示を行い、フリック操作の速度が閾速度を超える場合、CPU10は
図19の画面に遷移させる等である。同様に、
図19の画面において、下方向のフリック操作の速度が閾速度を超える場合においてのみ、
図20の画面に遷移してもよい。フリック操作を特定する要素として、操作位置あるいは操作範囲、操作方向、操作速度、操作指の本数、操作指の種類等があるが、これらの要素を適宜組み合わせることができる。要素の組み合わせを例示すると、以下の通りである。
(a)操作位置と操作方向
(b)操作位置と操作方向と操作速度
(c)操作位置と操作方向と操作指の本数
(d)操作位置と操作方向と操作指の種類
(e)操作位置と操作方向と操作速度と操作指の本数
【0125】
また、本実施形態では、ファイル情報あるいは属性情報において特定の項目をフリック操作することで当該項目の検索を実行しているが、フリック操作に変えてタップ操作あるいはダブルタップ操作によって検索を実行してもよい。この場合、マルチタップ操作によりAND条件で検索を実行する。
【0126】
また、本実施形態では、ファイル情報あるいは属性情報において特定の項目を右方向にフリック操作することで当該項目の検索を実行しているが、左方向にフリック操作することで検索条件を解除してもよい。例えば、
図25の画面において「作者A」を右方向にフリック操作することで
図26の画面に遷移するが、
図26の画面において同一の「作者A」を左方向にフリック操作すると検索が解除され
図25の画面に復帰する等である。
【0127】
さらに、本実施形態では、CPU10によりフリック操作での画面遷移を実行しているが、単一のCPU10である必要はなく、複数のCPU、プロセッサあるいはASICで分散処理してもよい。