特許 7468204 ドキュメント表示装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-08

(45)【発行日】2024-04-16

(54)【発明の名称】ドキュメント表示装置及びプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20240409BHJP

   G06F 16/54 20190101ALI20240409BHJP

【ＦＩ】

G06T1/00 200C

G06F16/54

【請求項の数】 14

(21)【出願番号】P 2020117581

(22)【出願日】2020-07-08

(65)【公開番号】P2022015007

(43)【公開日】2022-01-21

【審査請求日】2023-05-17

(73)【特許権者】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】100099885

【弁理士】

【氏名又は名称】高田 健市

(72)【発明者】

【氏名】三輪 国大

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０１０－２１８４１９（ＪＰ，Ａ）

【文献】特開２００８－２１７０８５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｇ０６Ｆ １６／５０－１６／５８７

(57)【特許請求の範囲】

【請求項1】

ドキュメントを表示する表示手段と、
前記ドキュメントからオブジェクトを抽出する抽出手段と、
前記抽出手段により抽出されたオブジェクトの位置情報を算出する算出手段と、
前記算出手段により算出されたオブジェクトの位置情報を含むメタデータを生成する生成手段と、
前記ドキュメントが前記表示手段に表示されたときのドキュメントの表示範囲から矩形領域を決定する矩形領域決定手段と、
を備え、
前記オブジェクトの位置情報は、前記矩形領域決定手段で決定された矩形領域の座標に基づく位置情報であることを特徴とするドキュメント表示装置。

【請求項2】

前記オブジェクトは図、写真、文章、表、グラフの少なくとも１つである請求項１に記載のドキュメント表示装置。

【請求項3】

前記ドキュメントの表示範囲を変更する操作を検知する操作検知手段を備え、
前記矩形領域決定手段は、前記操作検知手段により検知された操作により変更された表示範囲から前記矩形領域を決定する請求項１または２に記載のドキュメント表示装置。

【請求項4】

前記操作検知手段は、画面のスクロール、拡大、縮小の少なくとも１つ以上の操作を検知する請求項３に記載のドキュメント表示装置。

【請求項5】

前記オブジェクトの視認性が良好かどうかを判断する視認性判断手段を備え、
前記矩形領域決定手段は、前記視認性判断手段によりオブジェクトの視認性が良好であると判断された場合に、前記矩形領域を決定する請求項１～４のいずれかに記載のドキュメント表示装置。

【請求項6】

前記ドキュメントの表示範囲を変更する操作によって前記表示手段に表示されている前記オブジェクトが移動する場合の移動速度を算出する移動速度算出手段を備え、
前記視認性判断手段は、前記移動速度算出手段により算出されたオブジェクトの移動速度が閾値を下回っている場合、オブジェクトの視認性が良好であると判断する請求項５に記載のドキュメント表示装置。

【請求項7】

前記オブジェクトの種別を判定するオブジェクト種別判定手段と、
前記表示手段に表示されているオブジェクトのサイズをピクセルサイズとして算出するオブジェクトサイズ算出手段と、
前記オブジェクト種別判断手段により判断されたオブジェクトの種別に対応した閾値を取得するサイズ閾値取得手段と、
を備え、
前記視認性判断手段は、前記サイズ閾値取得手段により取得された閾値と、前記オブジェクトサイズ算出手段により算出されたオブジェクトのサイズを比較して、前記オブジェクトのサイズが閾値を上回った場合、オブジェクトの視認性が良好であると判断する請求項５に記載のドキュメント表示装置。

【請求項8】

ドキュメントを表示する表示手段を備えたドキュメント表示装置のコンピュータに、
前記ドキュメントからオブジェクトを抽出する抽出ステップと、
前記抽出ステップにより抽出されたオブジェクトの位置情報を算出する算出ステップと、
前記算出ステップにより算出されたオブジェクトの位置情報を含むメタデータを生成する生成ステップと、
前記ドキュメントが前記表示手段に表示されたときのドキュメントの表示範囲から矩形領域を決定する矩形領域決定ステップと、
を実行させるためのプログラムであって、
前記オブジェクトの位置情報は、前記矩形領域決定ステップで決定された矩形領域の座標に基づく位置情報であるプログラム。

【請求項9】

前記オブジェクトは図、写真、文章、表、グラフの少なくとも１つである請求項８に記載のプログラム。

【請求項10】

前記ドキュメントの表示範囲を変更する操作を検知する操作検知ステップを前記コンピュータにさらに実行させ、
前記矩形領域決定ステップでは、前記操作検知ステップにより検知された操作により変更された表示範囲から前記矩形領域を決定する処理を前記コンピュータに実行させる請求項８または９に記載のプログラム。

【請求項11】

前記操作検知ステップでは、画面のスクロール、拡大、縮小の少なくとも１つ以上の操作を検知する処理を前記コンピュータに実行させる請求項１０に記載のプログラム。

【請求項12】

前記オブジェクトの視認性が良好かどうかを判断する視認性判断ステップを前記コンピュータにさらに実行させ、
前記矩形領域決定ステップでは、前記視認性判断ステップによりオブジェクトの視認性が良好であると判断された場合に、前記矩形領域を決定する処理を前記コンピュータに実行させる請求項８～１１のいずれかに記載のプログラム。

【請求項13】

前記ドキュメントの表示範囲を変更する操作によって前記表示手段に表示されている前記オブジェクトが移動する場合の移動速度を算出する移動速度算出ステップを前記コンピュータにさらに実行させ、
前記視認性判断ステップでは、前記移動速度算出ステップにより算出されたオブジェクトの移動速度が閾値を下回っている場合、オブジェクトの視認性が良好であると判断する処理を前記コンピュータに実行させる請求項１２に記載のプログラム。

【請求項14】

前記オブジェクトの種別を判断するオブジェクト種別判断ステップと、
前記表示手段に表示されているオブジェクトのサイズをピクセルサイズとして算出するオブジェクトサイズ算出ステップと、
前記オブジェクト種別判断ステップにより判断されたオブジェクトの種別に対応した閾値を取得するサイズ閾値取得ステップと、
を前記コンピュータにさらに実行させ、
前記視認性判断ステップでは、前記サイズ閾値取得ステップにより取得された閾値と、前記オブジェクトサイズ算出ステップにより算出されたオブジェクトのサイズを比較して、前記オブジェクトのサイズが閾値を上回った場合、オブジェクトの視認性が良好であると判断する処理を前記コンピュータに実行させる請求項１２に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、複写機能、プリンタ機能、スキャン機能等を備えた複合機等の画像形成装置やパーソナルコンピュータ等の情報処理装置等に適用されるドキュメント表示装置及びプログラムに関する。

【背景技術】

【0002】

ドキュメント表示装置のディスプレイに表示されたドキュメントを印刷する場合、印刷用紙に対応したコンテンツ位置を決める技術が特許文献１に提供されている。

【0003】

また、特許文献２には、ドキュメントをオブジェクトに分割し検索用のメタデータを付与する画像処理装置において、同一オブジェクトに対する表現が複数あった場合でも識別子を用いて関連付けを行い検索できるようにする技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１０－１１７９５０号公報

【文献】特開２０１１－１９２１４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１に記載された技術を用いると、ドキュメント作成アプリケーションの１つであるエクセル（登録商標）の様に、用紙サイズとは関係なく編集できるアプリケーションでは、用紙サイズをはみ出る図、写真、文章、表、グラフ等のオブジェクトが存在してしまう可能性がある。

【0006】

この場合、ドキュメントを作成したユーザーは、はみ出たオブジェクトとはみ出ていないオブジェクトを一つの塊として、別ページの意識していない位置にオブジェクトが存在する様に判断してしまう。このため、オブジェクトを後でユーザーが検索する際、ディスプレイの画面表示によってユーザーが一つの塊として認識しているドキュメントと、Ａ４、Ａ３などの固定サイズの用紙に印刷されたドキュメントとでは、ユーザーの認識において、オブジェクトのドキュメント内での相対位置が異なる場合がある。

【0007】

また、エクセル（登録商標）などにある改ページプレビュー表示は用紙に印刷される領域が青色の線で表示されており、パーソナルコンピュータ等の画面上で認識しているオブジェクトの相対位置と、印刷されたオブジェクトの位置は一致しており、問題は発生しないが、標準の表示の場合、印刷時の用紙ごとに分割される領域が表示されておらず、画面表示を見たユーザーの記憶と印刷された用紙を見たユーザーの記憶ではオブジェクトの位置が異なる、という課題が発生する。

【0008】

このため、ユーザーがディスプレイの画面を見たときの記憶に基づいて画面上で意図するオブジェクトを見つけるといった作業に支障を来す。

【0009】

なお、特許文献２に記載の技術は、オブジェクトの位置を電子ファイル内の位置で特定しているため、ユーザーがディスプレイの画面を見たときの記憶に基づいて画面上で意図するオブジェクトを見つけるといった作業はやはり困難である。

【0010】

この発明は、このような技術的背景に鑑みてなされたものであって、メタデータに含まれるオブジェクトの位置情報を算出する場合に、ユーザーが表示手段の画面上で見たオブジェクトの位置に精度良く対応する位置情報を算出できるドキュメント表示装置及びプログラムの提供を目的とする。

【課題を解決するための手段】

【0011】

上記目的は以下の手段によって達成される。
（１）ドキュメントを表示する表示手段と、前記ドキュメントからオブジェクトを抽出する抽出手段と、前記抽出手段により抽出されたオブジェクトの位置情報を算出する算出手段と、前記算出手段により算出されたオブジェクトの位置情報を含むメタデータを生成する生成手段と、前記ドキュメントが前記表示手段に表示されたときのドキュメントの表示範囲から矩形領域を決定する矩形領域決定手段と、を備え、前記オブジェクトの位置情報は、前記矩形領域決定手段で決定された矩形領域の座標に基づく位置情報であることを特徴とするドキュメント表示装置。
（２）前記オブジェクトは図、写真、文章、表、グラフの少なくとも１つである前項１に記載のドキュメント表示装置。
（３）前記ドキュメントの表示範囲を変更する操作を検知する操作検知手段を備え、前記矩形領域決定手段は、前記操作検知手段により検知された操作により変更された表示範囲から前記矩形領域を決定する前項１または２に記載のドキュメント表示装置。
（４）前記操作検知手段は、画面のスクロール、拡大、縮小の少なくとも１つ以上の操作を検知する前項３に記載のドキュメント表示装置。
（５）前記オブジェクトの視認性が良好かどうかを判断する視認性判断手段を備え、前記矩形領域決定手段は、前記視認性判断手段によりオブジェクトの視認性が良好であると判断された場合に、前記矩形領域を決定する前項１～４のいずれかに記載のドキュメント表示装置。
（６）前記ドキュメントの表示範囲を変更する操作によって前記表示手段に表示されている前記オブジェクトが移動する場合の移動速度を算出する移動速度算出手段を備え、前記視認性判断手段は、前記移動速度算出手段により算出されたオブジェクトの移動速度が閾値を下回っている場合、オブジェクトの視認性が良好であると判断する前項５に記載のドキュメント表示装置。
（７）前記オブジェクトの種別を判定するオブジェクト種別判定手段と、前記表示手段に表示されているオブジェクトのサイズをピクセルサイズとして算出するオブジェクトサイズ算出手段と、前記オブジェクト種別判断手段により判断されたオブジェクトの種別に対応した閾値を取得するサイズ閾値取得手段と、を備え、前記視認性判断手段は、前記サイズ閾値取得手段により取得された閾値と、前記オブジェクトサイズ算出手段により算出されたオブジェクトのサイズを比較して、前記オブジェクトのサイズが閾値を上回った場合、オブジェクトの視認性が良好であると判断する前項５に記載のドキュメント表示装置。
（８）ドキュメントを表示する表示手段を備えたドキュメント表示装置のコンピュータに、前記ドキュメントからオブジェクトを抽出する抽出ステップと、前記抽出ステップにより抽出されたオブジェクトの位置情報を算出する算出ステップと、前記算出ステップにより算出されたオブジェクトの位置情報を含むメタデータを生成する生成ステップと、前記ドキュメントが前記表示手段に表示されたときのドキュメントの表示範囲から矩形領域を決定する矩形領域決定ステップと、を実行させるためのプログラムであって、前記オブジェクトの位置情報は、前記矩形領域決定ステップで決定された矩形領域の座標に基づく位置情報であるプログラム。
（９）前記オブジェクトは図、写真、文章、表、グラフの少なくとも１つである前項８に記載のプログラム。
（１０）前記ドキュメントの表示範囲を変更する操作を検知する操作検知ステップを前記コンピュータにさらに実行させ、前記矩形領域決定ステップでは、前記操作検知ステップにより検知された操作により変更された表示範囲から前記矩形領域を決定する処理を前記コンピュータに実行させる前項８または９に記載のプログラム。
（１１）前記操作検知ステップでは、画面のスクロール、拡大、縮小の少なくとも１つ以上の操作を検知する処理を前記コンピュータに実行させる前項１０に記載のプログラム。
（１２）前記オブジェクトの視認性が良好かどうかを判断する視認性判断ステップを前記コンピュータにさらに実行させ、前記矩形領域決定ステップでは、前記視認性判断ステップによりオブジェクトの視認性が良好であると判断された場合に、前記矩形領域を決定する処理を前記コンピュータに実行させる前項８～１１のいずれかに記載のプログラム。
（１３）前記ドキュメントの表示範囲を変更する操作によって前記表示手段に表示されている前記オブジェクトが移動する場合の移動速度を算出する移動速度算出ステップを前記コンピュータにさらに実行させ、前記視認性判断ステップでは、前記移動速度算出ステップにより算出されたオブジェクトの移動速度が閾値を下回っている場合、オブジェクトの視認性が良好であると判断する処理を前記コンピュータに実行させる前項１２に記載のプログラム。
（１４）前記オブジェクトの種別を判断するオブジェクト種別判断ステップと、前記表示手段に表示されているオブジェクトのサイズをピクセルサイズとして算出するオブジェクトサイズ算出ステップと、前記オブジェクト種別判断ステップにより判断されたオブジェクトの種別に対応した閾値を取得するサイズ閾値取得ステップと、を前記コンピュータにさらに実行させ、前記視認性判断ステップでは、前記サイズ閾値取得ステップにより取得された閾値と、前記オブジェクトサイズ算出ステップにより算出されたオブジェクトのサイズを比較して、前記オブジェクトのサイズが閾値を上回った場合、オブジェクトの視認性が良好であると判断する処理を前記コンピュータに実行させる前項１２に記載のプログラム。

【発明の効果】

【0012】

前項（１）及び（８）に記載の発明によれば、ドキュメントが表示手段に表示されたときのドキュメントの表示範囲から矩形領域が決定され、この矩形領域の座標に基づいてオブジェクトの位置情報が算出され、算出された位置情報を含むメタデータが生成されるから、算出された位置情報は、表示手段に表示されたオブジェクトをユーザーが見たときのオブジェクトの位置に精度良く対応するものとなる。このため、ユーザーが画面上の記憶を基にオブジェクトを検索する場合等に、メタデータに含まれるオブジェクトの位置情報を有効に利用することができる。

【0013】

前項（２）及び（９）に記載の発明によれば、図、写真、文章、表、グラフの少なくとも１つについて、矩形領域の座標に基づくオブジェクトの位置情報が算出される。

【0014】

前項（３）及び（１０）に記載の発明によれば、ドキュメントの表示範囲を変更する操作がなされると、この操作が検知され、検知された操作により変更された表示範囲から矩形領域が決定されるから、ドキュメントの表示範囲が変更されても、ユーザーが画面上で見たオブジェクトの位置に精度良く対応する位置情報を算出できる。

【0015】

前項（４）及び（１１）に記載の発明によれば、画面のスクロール、拡大、縮小の少なくとも１つ以上の操作によってドキュメントの表示範囲が変更されても、変更に対応したオブジェクトの位置情報を算出することができる。

【0016】

前項（５）及び（１２）に記載の発明によれば、オブジェクトの視認性が良好であると判断された場合は、画面上のオブジェクトの位置はユーザーの記憶に残ると考えられるから、矩形領域が決定されオブジェクトの位置情報が算出される。逆に言えば、画面上のオブジェクトの位置がユーザーの記憶に残らないような、オブジェクトの視認性が良好でない場合まで、矩形領域を決定してオブジェクトの位置情報を算出するという無駄な処理を防止できる。

【0017】

前項（６）及び（１３）に記載の発明によれば、ドキュメントの表示範囲を変更する操作によって、表示手段に表示されているオブジェクトが移動する場合の移動速度が閾値を下回っている場合は、画面上のオブジェクトの位置はユーザーの記憶に残ると考えられるから、オブジェクトの視認性が良好であると判断され、矩形領域が決定される。

【0018】

前項（７）及び（１４）に記載の発明によれば、オブジェクトの種別を判断し、判断されたオブジェクトの種別に対応した閾値と、算出されたオブジェクトのサイズを比較して、オブジェクトのサイズが閾値を上回った場合は、画面上のオブジェクトの位置はユーザーの記憶に残ると考えられるから、オブジェクトの視認性が良好であると判断し、矩形領域が決定される。

【図面の簡単な説明】

【0019】

【図1】ドキュメント表示装置の一例としての画像形成装置の全体構成を示す斜視図である。

【図2】図１の画像形成装置の構成を示すブロック図である。

【図3】第１の実施形態に係るもので、システムコントローラーの機能によって構成される制御部の構成を示すブロック図である。

【図4】オブジェクトの位置情報の具体的な算出方法を説明するための図である。

【図5】オブジェクトの位置情報の算出処理を示すフローチャートである。

【図6】図５のステップＳ０５の座標更新処理を示すフローチャートである。

【図7】（Ａ）～（Ｄ）は、この発明の他の実施形態に係る矩形領域の決定方法とオブジェクトの位置情報の算出処理を説明するための図である。

【図8】図７の実施形態に係る矩形領域の決定方法とオブジェクトの位置情報の算出処理を実施するための制御部の構成を示すブロック図である。

【図9】図７の実施形態に係るオブジェクトの位置情報の算出処理を示すフローチャートである。

【図10】（Ａ）～（Ｄ）は、この発明のさらに他の実施形態に係る矩形領域の決定方法とオブジェクトの位置情報の算出処理を説明するための図である。

【図11】図１０の実施形態に係る矩形領域の決定方法とオブジェクトの位置情報の算出処理を実施するための制御部の構成を示すブロック図である。

【図12】図１０の実施形態に係るオブジェクトの位置情報の算出処理を示すフローチャートである。

【図13】（Ａ）～（Ｃ）は、この発明のさらに他の実施形態に係る矩形領域の決定方法とオブジェクトの位置情報の算出処理を説明するための図である。

【図14】図１３の実施形態に係る矩形領域の決定方法とオブジェクトの位置情報の算出処理を実施するための制御部の構成を示すブロック図である。

【発明を実施するための形態】

【0020】

以下、この発明の実施形態を図面に基づいて説明する。

【0021】

図１は、本発明の実施の形態に従うドキュメント表示装置の一例としての画像形成装置１００の全体構成を示す斜視図である。ここでは、画像形成装置１００の典型例として、スキャナー機能、コピー機能、ファクシミリ機能、ネットワーク機能、ＢＯＸ機能といった複数の機能が搭載された複合機（ＭＦＰ：Multi Function Peripheral）について例示する。以下、画像形成装置をＭＦＰともいう。

【0022】

本実施の形態に従うＭＦＰ１００は、原稿を光学的に読取って画像データを得るスキャナー部２と、画像データに基づいて用紙上に画像を印刷するプリントエンジン６とを含む。ＭＦＰ１００の本体上面には、スキャナー部２に原稿を送るフィーダ４が配置され、下部には、プリントエンジン６に用紙を供給する複数の給紙部９が配置される。また、ＭＦＰ１００の中央部には、プリントエンジン６によって画像を形成された用紙が排紙されるトレー８を有する。

【0023】

ＭＦＰ１００の本体上面の前面側（ユーザが対向する側）には、操作パネル１が装着されている。操作パネル１は、ＭＦＰ１００を操作するための装置であり、ユーザーからの各種の指示、数字・文字・記号といった入力などの操作を受付けるための複数のキーと、表示手段としてのディスプレイ３０５とを含む。このディスプレイ３０５は、入力機能にはタッチパネルが使用され、ユーザー操作に応答した各種情報および／または各種操作を受付けるためのメニュー画面などをユーザーに対して表示するとともに、ユーザーによりタッチ操作された位置を取得し、当該取得した位置に応じた入力情報を取得する。また、ディスプレイ３０５にドキュメントを表示した状態で、パネルタッチにより画面のスクロール、拡大、縮小などの操作が可能となっている。

【0024】

図２は、ＭＦＰ１００の構成を示すブロック図である。

【0025】

図２を参照して、ＭＦＰ１００は、システムコントローラー１０１と、メモリ１０２と、ネットワークインターフェース（ネットワークＩＦ）１０３と、プリンターエンジン１０４と、出力画像処理部１０５と、記憶装置１０６と、撮像部１０７と、入力画像処理部１０８と、前述した操作パネル１などを含んでいる。システムコントローラー１０１には、メモリ１０２、ネットワークインターフェース１０３、プリンターエンジン１０４、出力画像処理部１０５、記憶装置１０６、撮像部１０７、および入力画像処理部１０８、操作パネル１の各々が接続されている。

【0026】

システムコントローラー１０１は、スキャンジョブ、コピージョブ、メール送信ジョブ、およびプリントジョブなどの各種ジョブ、操作パネル１のディスプレイ３０５の表示等について、ＭＦＰ１００全体の制御を行う。システムコントローラー１０１は、ＣＰＵ１２１（Central Processing Unit）と、ＲＯＭ１２２（Read Only Memory）などからなっている。ＣＰＵ１２１は、ＲＯＭ１２２等に記憶された制御プログラムを実行する。ＲＯＭ１２２は、ＭＦＰ１００の動作を行うための各種プログラムと、各種固定データとを格納している。システムコントローラー１０１は、所定の処理を行うことにより、メモリ１０２からのデータの読み込みや、メモリ１０２へのデータの書き込みを行う。

【0027】

メモリ１０２は、ＲＡＭ（Random Access Memory）であり、ＣＰＵ１２１が制御プログラムを実行するときに必要なデータや画像データを一時的に記憶するためなどに用いられる。

【0028】

ネットワークインターフェース１０３は、システムコントローラー１０１からの指示に従って、ネットワークを介して外部機器との通信を行う。プリンターエンジン１０４は、出力画像処理部１０５にて処理された印刷データに基づいて用紙などへのプリント処理を行う。特にＭＦＰ１００がプリンターとして動作する場合、プリンターエンジン１０４は画像を印刷し、ＭＦＰ１００が複写機として動作する場合、プリンターエンジン１０４は、撮像部１０７で読み取った画像を印刷する。

【0029】

出力画像処理部１０５は、画像の印刷を行う場合などに、その画像データの形式を印刷データに変換する変換処理を行う。

【0030】

記憶装置１０６は、たとえばＨＤＤ（Hard Disk Drive）であり、ＭＦＰ１００の動作に関わる各種データ、表計算アプリケーション等の文書等作成アプリケーション、その他のデータを記憶する。さらに記憶装置１０６は、ＭＦＰ１００の操作パネル１のディスプレイ３０５に表示する画面の画像データや、文書等作成アプリケーション等により作成されたドキュメントを記憶している。撮像部１０７は、原稿の画像を読み取る。入力画像処理部１０８は、撮像部で画像を読み取った場合などに、その画像データの形式を変換する変換処理を行う。
［第１の実施形態］
図３は、システムコントローラー１０１の機能によって構成される制御部３００の構成を示すブロック図であり、符号４０１は解析対象のドキュメントを示している。ドキュメント４０１は、文字、図、写真、グラフ、表などのオブジェクトで構成される電子ファイルであり、前述したように文書作成用アプリケーション、表計算用アプリケーション等により作成される。なお、以下の説明ではドキュメントを電子ファイルともいう。

【0031】

まず、ドキュメント４０１はドキュメント解析部３０２によって解析され、オブジェクト抽出部３０３で、ドキュメント４０１を、文字、図、写真、グラフ、表などドキュメントを構成しているオブジェクトに分割し、各オブジェクトを抽出する。その際、抽出したオブジェクト毎にその種別や色などの情報も取得する。なお、所定種別のオブジェクトのみに注目してこれらを抽出しても良い。

【0032】

その後、矩形領域決定部３０６によってドキュメン４０１が開かれ、操作パネル１のディスプレイ３０５の表示領域等の情報を表示制御部３０４より取得し、矩形領域が決定される。矩形領域及びその決定方法については後述する。

【0033】

オブジェクト抽出部３０３で抽出されたオブジェクトの位置について、決定された矩形領域の座標を基に、上下左右どの位置にあるかが、位置情報算出部３０７によって算出される。算出されたオブジェクトの位置情報や、オブジェクトの種別や色などその他の情報を含むメタデータをメタデータ生成部３０８が生成する。生成されたメタデータは、対応するオブジェクトと関連付けてメタデータ保存部３０９によりデータベース（ＤＢ）３１０に保存される。

【0034】

オブジェクトの位置情報の具体的な算出方法を、図４を参照して説明する。

【0035】

ドキュメント４０１のサイズが縦長である場合、ユーザーは、ディスプレイ３０５に表示されていないドキュメント４０１の下方領域を認知していないことがある。図４を例にとると、ドキュメント４０１の全体を基準とした場合、ドキュメント４０１に含まれる折れ線グラフのオブジェクト４０２の縦方向の位置はドキュメント４０１の中央である。しかし、ディスプレイ３０５の表示領域外にある領域はディスプレイ３０５に表示されていないためユーザーは認知できていない。

【0036】

そこで、ドキュメント４０１の全体を基準とするのではなくユーザーが認知している領域を基準として、オブジェクト４０２の位置情報を算出する。この場合、ユーザーが認知している領域として、太線で囲んだ矩形領域４０３を基準領域とする。この矩形領域４０３はドキュメント４０１がディスプレイ３０５に表示されたときのドキュメント４０１の表示範囲である。ドキュメント４０１の表示範囲は、図４の画面表示のままである限り、つまり表示範囲を移動、変更させる操作が行われない限り、ディスプレイ３０５の画面の矩形の表示領域に対応しており、左上の座標４０４と右下の座標４０５を対角線４０８とする矩形領域４０３である。

【0037】

その矩形領域４０３を基準として、折れ線グラフのオブジェクト４０２の矩形領域４０３内の位置を算出する。具体的には、オブジェクト４０２の横方向の位置を「中央」、縦方向の位置を「下」とし、それらの情報をメタデータ４０６に付与する。折れ線グラフのオブジェクト４０２以外の他のオブジェクトについても同様である。

【0038】

このようにこの実施形態では、ユーザーがドキュメント４０１をディスプレイ３０５に表示して見ている状態では、折れ線グラフのオブジェクト４０２はドキュメント４０１の表示範囲である矩形領域４０３の下部中央に位置している。従って、メタデータ４０６に付与されるオブジェクト４０２の位置情報で示される位置は、ディスプレイ３０５に表示されたオブジェクト４０２をユーザーが見たときの位置に精度良く対応する。このため、ユーザーがディスプレイ３０５の画面上の記憶を基にオブジェクト４０２を検索する場合等に、メタデータ４０６を有効に利用することができる。

【0039】

例えば、ユーザーがオブジェクト４０２を検索する際、ユーザーの記憶に従い、位置情報の検索ワードとして「中央」「下」を入力することによりオブジェクト４０２を検索する、といった利用方法が挙げられる。

【0040】

なお、オブジェクト４０２の位置情報を含むメタデータ４０６の生成、保存は、ドキュメント４０１が開かれてディスプレイ３０５に表示される毎に行われても良いし、複数回開かれた場合は、最新のメタデータ４０６のみが上書き保存されても良い。

【0041】

図５は、オブジェクト４０２の位置情報の算出処理を示すフローチャートである。この処理は、システムコントローラ１０１のＣＰＵ１２１がＲＯＭ１２２等の記録媒体に格納された動作プログラムに従って動作することにより実行される。以降のフローチャートで示される処理についても同様である。

【0042】

ステップＳ０１で電子ファイル（ドキュメント）４０１を読み込んだ後、ステップＳ０２で、読み込んだ電子ファイルを解析し、ステップＳ０３で、電子ファイルからオブジェクトを抽出する。

【0043】

次いでステップＳ０４で、ディスプレイ３０５の表示領域を取得した後、ステップＳ０５で座標更新処理を実施する。この座標更新処理については後述する。

【0044】

次にステップＳ０６で矩形領域４０３を決定した後、ステップＳ０７で、矩形領域４０３内のオブジェクト４０２の位置を算出する。そして、ステップＳ０８で、算出したオブジェクト４０２の位置情報を含むメタデータ４０６を生成し、データベース３１０に保存する。

【0045】

次に、ステップＳ０９で、他のオブジェクトについて、位置情報の算出、メタデータ４０６の生成が完了しているかどうかを判断する。完了していなければ（ステップＳ０９でＮＯ）、ステップＳ０２に戻る。完了していれば（ステップＳ０９でＹＥＳ）、処理を終了する。

【0046】

図６は、図５のステップＳ０５の座標更新処理を示すフローチャートである。

【0047】

ステップＳ０５１で、ディスプレイ３０５の表示領域の水平方向の座標を保存し、ステップＳ０５８で、ディスプレイ３０５の表示領域の垂直方向の座標を保存する。ステップＳ０５１からはステップＳ０５２とステップＳ０５５に分岐し、ステップＳ０５８からはステップＳ０５９とステップＳ０５１２に分岐する。

【0048】

ステップＳ０５２では、水平方向の最大座標である最大水平方向座標と、今回の水平方向の座標を比較し、ステップＳ０５３で、今回の水平方向の座標が大きいかどうかを判断する。つまり、ディスプレイ３０５の表示領域に表示されるドキュメント４０１の表示範囲が、スクロール操作などにより水平方向の最大座標側（通常は右側）に変更された場合に、変更後の水平方向の座標（今回の水平方向の座標）と、変更前の最大水平方向座標を比較し、変更後の水平方向の座標が大きいかどうかを判断する。

【0049】

今回の水平方向の座標の方が大きい場合（ステップＳ０５３でＹＥＳ）、ユーザーが見たドキュメントの表示範囲が、ディスプレイ３０５の表示領域を超えて水平方向の最大座標側に拡がったから、ステップＳ０５４で、最大水平方向座標を今回の水平方向の座標に更新する。ステップＳ０５３で、今回の水平方向の座標の方が大きくない場合（ステップＳ０５３でＮＯ）、ユーザーが見たドキュメントの表示範囲はディスプレイ３０５の表示領域を超えていないから、最大水平方向座標は更新せず、ディスプレイ３０５の表示領域の最大水平方向座標が維持される。

【0050】

ステップＳ０５５では、水平方向の最小座標である最小水平方向座標と、今回の水平方向の座標を比較し、ステップＳ０５６で、今回の水平方向の座標が小さいかどうかを判断する。つまり、ディスプレイ３０５の表示領域に表示されるドキュメント４０１の表示範囲が水平方向の最小座標側（通常は左側）に変更された場合に、変更後の水平方向の座標（今回の水平方向の座標）と、変更前の最小水平方向座標を比較し、変更後の水平方向の座標が小さいかどうかを判断する。

【0051】

今回の水平方向の座標の方が小さい場合（ステップＳ０５６でＹＥＳ）、ユーザーが見たドキュメントの表示範囲が、ディスプレイ３０５の表示領域を超えて水平方向の最小座標側に拡がったから、ステップＳ０５７で、最小水平方向座標を今回の水平方向の座標に更新する。ステップＳ０５６で、今回の水平方向の座標の方が小さくない場合（ステップＳ０５６でＮＯ）、ユーザーが見たドキュメントの表示範囲はディスプレイ３０５の表示領域を超えていないから、最小水平方向座標は更新せず、ディスプレイ３０５の表示領域の最小水平方向座標が維持される。

【0052】

ステップＳ０５９では、垂直方向の最大座標である最大垂直方向座標と、今回の垂直方向の座標を比較し、ステップＳ０５１０で、今回の垂直方向の座標が大きいかどうかを判断する。つまり、ディスプレイ３０５の表示領域に表示されるドキュメント４０１の表示範囲が垂直方向の最大座標側（通常は下側）に変更された場合に、変更後の垂直方向の座標（今回の垂直方向の座標）と、変更前の最大垂直方向座標を比較し、変更後の垂直方向の座標が大きいかどうかを判断する。

【0053】

今回の垂直方向の座標の方が大きい場合（ステップＳ０５１０でＹＥＳ）、ユーザーが見たドキュメントの表示範囲が、ディスプレイ３０５の表示領域を超えて垂直方向の最大座標側に拡がったから、ステップＳ０５１１で、最大垂直方向座標を今回の垂直方向の座標に更新する。ステップＳ０５１０で、今回の垂直方向の座標の方が大きくない場合（ステップＳ０５１０でＮＯ）、ユーザーが見たドキュメントの表示範囲はディスプレイ３０５の表示領域を超えていないから、最大垂直方向座標は更新せず、ディスプレイ３０５の表示領域の最大垂直方向座標が維持される。

【0054】

ステップＳ０５１２では、垂直方向の最小座標である最小垂直方向座標と、今回の垂直方向の座標を比較し、ステップＳ０５１３で、今回の垂直方向の座標が小さいかどうかを判断する。つまり、ディスプレイ３０５の表示領域に表示されるドキュメント４０１の表示範囲が垂直平方向の最小座標側（通常は上側）に変更された場合に、変更後の垂直方向の座標（今回の垂直方向の座標）と、変更前の最小垂直方向座標を比較し、変更後の垂直方向の座標が小さいかどうかを判断する。

【0055】

今回の垂直方向の座標の方が小さい場合（ステップＳ０５１３でＹＥＳ）、ユーザーが見たドキュメントの表示範囲が、ディスプレイ３０５の表示領域を超えて垂直方向の最小座標側に拡がったから、ステップＳ０５１４で、最小垂直方向座標を今回の垂直方向の座標に更新する。ステップＳ０５１３で、今回の垂直方向の座標の方が小さくない場合（ステップＳ０５１３でＮＯ）、ユーザーが見たドキュメントの表示範囲はディスプレイ３０５の表示領域を超えていないから、最小垂直方向座標は更新せず、ディスプレイ３０５の表示領域の最小垂直方向座標が維持される。

【0056】

こうして、ディスプレイ３０５の矩形の表示領域の４個の頂点の座標を、ドキュメント４０１の表示範囲の変更に応じて更新することで、矩形領域４０３の座標を決定したのち、図５のフローチャートにリターンしてステップＳ０６に進む。

【0057】

上記の説明から理解されるように、ユーザーがディスプレイ３０５の表示領域に表示されるドキュメント４０１の表示範囲を変更する操作を行わなければ、ディスプレイ３０５の表示領域が矩形領域４０３となり、この矩形領域４０３の座標を基に、オブジェクト４０２の位置が算出される。

【0058】

一方、ユーザーがディスプレイ３０５の表示領域に表示されるドキュメント４０１の表示範囲を変更する操作を行った場合は、その変更に応じて矩形領域が変更される。この場合の矩形領域の決定方法とオブジェクトの位置情報の算出処理について、図７（Ａ）～（Ｄ）を参照して説明する。
［第２の実施形態］
図７（Ａ）に示すように、表計算アプリケーションで作成された、ディスプレイ３０５の画面の表示領域に収まりきらないサイズの縦長のドキュメント６０１があり、初期状態としてドキュメント６０１の左上が解像度１９２０×１０８０のディスプレイ３０５の表示領域６０２に表示されている。この時、水平方向の最小座標（最小水平方向座標）である点６０９のＸ座標はピクセルで０ｐｘ、最大座標（最大水平方向座標）である点６１０のＸ座標は１９２０ｐｘ、垂直方向の最小座標（最小垂直方向座標）である点６０９のＹ座標は０ｐｘ、最大座標（最大垂直方向座標）である点６１１のＹ座標は１０８０ｐｘを、それぞれ初期状態として保持している。

【0059】

ユーザーがドキュメント６０１を確認するため、図７（Ｂ）の矢印６０３で示すように表示範囲を右にスクロールすると同時に、操作検知部７０１（図８に示す）はスクロールの開始を検知する。右に２００ｐｘスクロールしたところでドキュメント６０１の右端が画面に表示されると、水平方向の最大座標である点６１２のＸ座標が１９２０＋２００で２１２０ｐｘとして更新される。

【0060】

次に、図７（Ｃ）の矢印６０４で示すように表示範囲を下へスクロールし、下に１０００ｐｘスクロールしたところで、ディスプレイ３０５の表示領域の下端に、左上座標を原点としてＸ座標：１２００ｐｘ、Ｙ座標：１３００ｐｘの点６１４を左上頂点とする縦１０００ｐｘ×横７００ｐｘの折れ線グラフからなるオブジェクト６０６が表示されたとする。すると、垂直方向の最大座標である点６１３のＹ座標が１０８０＋１０００で２０８０ｐｘとして更新され、スクロールを停止すると操作検知部７０１は操作の停止を検知する。

【0061】

矩形領域決定部３０６によって更新された最小水平方向座標である点６０９のＸ座標０ｐｘ、最大水平方向座標である点６１２のＸ座標２１２０ｐｘ、最小垂直方向座標である点６０９のＹ座標０ｐｘ、最大垂直方向座標である点６１３のＹ座標２０８０ｐｘより、矩形領域決定部３０６は図７（Ｄ）に示すように、縦２１２０×横２０８０ｐｘの矩形領域６１６を決定する。

【0062】

オブジェクト６０６の中心点６１５の座標は、オブジェクト６０６の原点６１４の座標（Ｘ座標：１２００、Ｙ座標：１３００）に、オブジェクト６０６のサイズを２等分（１０００／２、７００／２）させた値を加算した座標 （Ｘ座標：１２００＋１０００／２、Ｙ座標：１３００＋７００／２）＝（Ｘ座標：１７００、Ｙ座標：１６５０）となる。

【0063】

その中心点６１５の座標が、矩形領域６１６のどの割合の位置にあるかによって、オブジェクト６０６のおおよその位置を算出特定することができる。図７の例では、 Ｘ方向の割合：１７００ｐｘ（点６１５）／２１２０ｐｘ（点６１２）, Ｙ方向の割合：１６５０ｐｘ（点６１５）／２０８０ｐｘ（点６１３）≒Ｘ方向の割合：８０％、Ｙ方向の割合：７９％となり、オブジェクト６０６の縦方向の位置関係を上中下３等分で、横方向の位置関係を左右２等分で表すと右下となり、図７（Ｄ）に示すメタデータ６１７の位置属性として、横方向位置：右、縦方向位置：下を付与する。

【0064】

図７のように、矩形領域６１６を垂直方向（Ｙ方向）へ３等分割（上中下）し、水平方向（Ｘ方向）へ２等分割（左右）する場合に、オブジェクト６０６の中心点６１５が、どこに位置するかをメタデータ６１８の位置情報へ記載する場合の計算式を一般化すると、以下のようになる。

【0065】

Ｘ方向：（（ｘ＋（Ｘ／２））／（Ｗ＋ΔＸ））／ｍ－１
Ｙ方向：（（ｙ＋（Ｙ／２））／（Ｈ＋ΔＹ））／ｎ－１
ただし、Ｗ：ディスプレイの表示領域の横サイズ
Ｈ：ディスプレイの表示領域の縦サイズ
ΔＸ：水平スクロール量
ΔＹ：垂直スクロール量
Ｘ：対象オブジェクト横サイズ
Ｙ：対象オブジェクト縦サイズ
ｘ：対象オブジェクト原点水平座標
ｙ：対象オブジェクト原点垂直座標
ｍ：位置特定用水平分割数
ｎ：位置特定用水平分割数
図８は、図７で説明した矩形領域６１６の決定方法とオブジェクト６０６の位置情報の算出処理を実施するための制御部３００の構成を示すブロック図である。図８のブロック図は、オブジェクト抽出部３０３と矩形領域決定部３０６の間に操作検知部７０１が介在されている点を除いて、図３に示したブロック図と同じであり、同一構成ブロックについては同一の符号を付し、説明は省略する。

【0066】

図８の例では、オブジェクト抽出部３０３で、ドキュメント６０１を、文字、図、写真、グラフ、表などドキュメントを構成しているオブジェクトに分割し、各オブジェクトを抽出する。その後、ユーザーがドキュメント６０１の表示範囲を変更する画面スクロール操作を行ったことを操作検知部７０１が検知し、矩形領域決定部３０６は、操作パネル１のディスプレイ３０５の表示領域等の情報と、操作検知部７０１が検知した操作を基に、矩形領域６１６を決定する。

【0067】

図９は、図７で説明したオブジェクト６０６の位置情報の算出処理を示すフローチャートである。

【0068】

図９のフローチャートは、図５のフローチャートのステップＳ０４のディスプレイ３０５の表示領域の取得処理と、ステップＳ０５の座標更新処理の間に、操作検知処理（ステップＳ１１）が介在している以外は図５のフローチャートと同じであるので、同一の処理については同じステップ番号を付し、詳細な説明は省略する。

【0069】

図９のフローチャートでは、ステップＳ０４で、ディスプレイ３０５の表示領域を取得した後、ステップＳ１１で、ドキュメント６０１の表示範囲を変更する操作が行われたことを検知し、ステップＳ０５では、ディスプレイ３０５の表示領域と操作の検知結果を基に、座標更新処理を実施する。

【0070】

以上説明した第２の実施形態では、ユーザーが画面スクロール操作を行って、ドキュメント６０１の表示範囲を変更した場合は、スクロール操作を検知することにより、変更した表示範囲から矩形領域６１６を決定する。決定された矩形領域６１６はユーザーが１ページの範囲と認識して記憶していると考えられるから、この矩形領域６１６の座標に基いてオブジェクト６０６の位置情報を算出することにより、ユーザーが画面上で見て記憶しているオブジェクト６０６の位置に精度良く対応する位置情報を算出でき、ユーザーが画面上の記憶を基にオブジェクト６０６を検索する場合等に、メタデータ６１７に含まれるオブジェクト６０６の位置情報を有効に利用することができる。
［第３の実施形態］
この実施形態では、画面上のオブジェクトの視認性が良好である場合にのみ、矩形領域を決定してオブジェクトの位置情報を算出するものである。オブジェクトの視認性が悪い場合は、そのオブジェクトはユーザーの記憶に残らないと考えられるためである。

【0071】

オブジェクトの視認性が良好である場合の一例としては、ディスプレイ３０５に表示されているオブジェクトのスクロール操作等による移動速度が、比較的遅い場合を挙げることができ、この例を図１０を参照して説明する。

【0072】

図１０（Ａ）に示すように、表計算アプリケーションで作成された、ディスプレイ３０５の画面の表示領域９０２に収まりきらないサイズの縦長のドキュメント９０１があり、初期状態としてドキュメント９０１の左上がディスプレイ３０５の表示領域９０２に表示されている。

【0073】

ユーザー操作により、ドキュメント９０１を矢印９０３に示すように下へさらに右へ画面スクロールすると、操作検知部７０１（図１１に示す）は、スクロールの開始を検知すると同時に移動速度算出部１００１（図１１に示す）は、単位時間あたりの画面移動量からオブジェクト９０７の移動速度を算出する。例えば１ｍｓ毎にスクロール量を算出し、１ｍｓあたり０．３ｐｘ移動したとすれば、３００ｐｘ／ｓと算出する。

【0074】

この移動速度が、予め設定された閾値である例えば５００ｐｘ／ｓを下回っていれば、視認性判断部１００２（図１１に示す）はオブジェクト９０７の視認性が良好と判断し、矩形領域決定部３０６は図１０（Ｂ）に示す矩形領域９０４を決定する。そして、決定した矩形領域９０４の座標情報を基に、オブジェクト９０７の位置情報を算出し、メタデータに付与する。矩形領域９０４の座標情報を基にオブジェクト９０７の位置情報を算出する方法は図７～図９の第２実施形態で説明したとおりである。

【0075】

また、ユーザーが操作を更に続け、図１０（Ｂ）の表示状態から、図１０（Ｃ）の矢印９０５に示すように、ユーザーが下方にスクロール操作を行うと、移動速度が再度算出され、算出された移動速度が閾値を下回っていなければ、図１０（Ｄ）に示すような表示範囲９０６の変更は無視され、図１０（Ｂ）の矩形領域９０４は維持され、オブジェクト９０７の位置情報も維持される。これは、移動速度が速すぎるためオブジェクト９０７の位置がユーザーの記憶に残らないと考えられるからである。

【0076】

図１１は、図１０で説明した第３の実施形態における矩形領域９０４の決定方法とオブジェクト９０７の位置情報の算出処理を実施するための制御部３００の構成を示すブロック図である。図１１のブロック図は、オブジェクト抽出部３０３と矩形領域決定部３０６の間に、操作検知部７０１と移動速度算出部１００１と視認性判断部１００２が介在されている点を除いて、図３に示したブロック図と同じであり、同一構成ブロックについては同一の符号を付し、説明は省略する。

【0077】

図１１の例では、オブジェクト抽出部３０３で、ドキュメント６０１を、文字、図、写真、グラフ、表などドキュメントを構成しているオブジェクトに分割し、各オブジェクトを抽出する。その後、ユーザーがドキュメント９０１の表示範囲を変更する操作を行ったことを操作検知部７０１が検知し、移動速度算出部１００１がオブジェクト９０７の移動速度を算出する。そして、視認性判断部１００２が算出された移動速度と閾値を比較し、オブジェクト９０７の視認性の良否を判断する。具体的には、移動速度が閾値を下回っていれば、オブジェクト９０７の視認性が良好と判断する。視認性が良好と判断された場合にのみ、矩形領域決定部３０６は、操作パネル１のディスプレイ３０５の表示領域等の情報と、操作検知部７０１が検知した操作を基に、矩形領域９０４を決定する。

【0078】

図１２は、図１０で説明したオブジェクト９０７の位置情報の算出処理を示すフローチャートである。

【0079】

図１２のフローチャートは、図５のフローチャートのステップＳ０４のディスプレイ３０５の表示領域の取得処理と、ステップＳ０５の座標更新処理の間に、操作検知処理（ステップＳ１１）と、移動速度算出処理（ステップＳ１２）と、移動速度と閾値との比較処理処理（ステップＳ１３）と、操作完了かどうかの判断処理（ステップＳ１４）が介在している以外は図５のフローチャートと同じであるので、同一の処理については同じステップ番号を付し、詳細な説明は省略する。

【0080】

図１２のフローチャートでは、ステップＳ０４で、ディスプレイ３０５の表示領域を取得した後、ステップＳ１１で、ドキュメント９０１の表示範囲を変更する操作が行われたことを検知し、ステップＳ１２で、オブジェクト９０７の移動速度を算出する。

【0081】

次いでステップＳ１３で、算出した移動速度が閾値を下回っているかどうかを判断し、下回っていなければ（ステップＳ１３でＮＯ）、オブジェクト９０７の視認性が悪いと判断し、矩形領域９０４の決定を行うことなくステップＳ０２に戻る。移動速度が閾値を下回っている場合（ステップＳ１３でＹＥＳ）、オブジェクト９０７の視認性が良好と判断し、ステップＳ０５では、ディスプレイ３０５の表示領域と操作の検知結果を基に、座標更新処理を実施する。

【0082】

以上説明した第３の実施形態では、ドキュメント９０１の表示範囲を変更する操作によって、ディスプレイ３０５に表示されているオブジェクト９０７が移動する場合の移動速度が閾値を下回っている場合は、画面上のオブジェクト９０７の位置はユーザーの記憶に残ると考えられるから、オブジェクト９０７の視認性が良好であると判断され、矩形領域９０４が決定され、オブジェクト９０７の位置情報が算出される。逆に言えば、画面上のオブジェクト９０７の位置がユーザーの記憶に残らないような、オブジェクト９０７の視認性が良好でない場合まで、矩形領域９０４を決定してオブジェクト９０７の位置情報を算出するという無駄な処理を防止できる。

【0083】

なお、上記の例では、ユーザーによる操作がスクロール操作である場合を説明したが、画面の拡大操作や縮小操作が行われた場合に、単位時間当たりの画面移動量からオブジェクト１２０４の移動速度を算出し、オブジェクト１２０４の移動速度が、移動速度の閾値を下回っている場合に、矩形領域９０４を決定してオブジェクト９０７の位置情報を算出する構成であっても良い。
［第４の実施形態］
第３の実施形態では、オブジェクト９０７の視認性の良否を判断するために、表示範囲の変更時のオブジェクト９０７の移動速度を算出し閾値と比較したが、この第４の実施形態では、オブジェクトのサイズを閾値と比較して、視認性の良否を判断する構成となっている。

【0084】

図１３（Ａ）に示すように、表計算アプリケーションで作成された、ディスプレイ３０５の画面の表示領域１２０２に収まりきらないサイズの縦長のドキュメント１２０１があり、初期状態としてドキュメント１２０１の左上がディスプレイ３０５の表示領域１２０２に表示されている。

【0085】

ユーザー操作により、図１３（Ｂ）の符号１２０３に示すように、ドキュメント１２０１が縮小されると、操作検知部７０１（図１４に示す）は縮小の開始を検知し、オブジェクトサイズ算出部１３０４（図１４に示す）は、縮小後のオブジェクト１２０４のピクセルサイズを算出する。

【0086】

サイズの算出と並行して、オブジェクト抽出部３０３によって抽出されたオブジェクト１２０４の種別を、オブジェクト種別判定部１３０１（図１４に示す）で判定する。この例では、オブジェクト１２０４は折れ線グラフとして判定される。そして、折れ線グラフのオブジェクト１２０４に対応するサイズ閾値を、サイズ閾値取得部１３０２（図１４に示す）がデータベース１３０３（図１４に示す）等から取得する。データベース１３０３には、オブジェクトの種別毎にサイズ閾値が保存されている。

【0087】

算出したオブジェクト１２０４のピクセルサイズが、取得したサイズ閾値を上回っていれば、視認性判断部１００２はオブジェクト１２０４の視認性が良好と判断し、矩形領域決定部３０６は図１３（Ｂ）に示す矩形領域１２０５を決定する。この例では、決定した矩形領域１２０５はディスプレイ３０５の表示領域１２０２と同じ大きさである。そして、決定した矩形領域１２０５の座標を基に、オブジェクト１２０４の位置情報を算出し、メタデータ１２０６に付与する。矩形領域１２０５の座標を基にオブジェクト１２０４の位置情報を算出する方法は図７～図９の第２実施形態で説明したとおりである。

【0088】

一方、図１３（Ｃ）に示すように、ドキュメント１２０１の縮小率が大きいために、算出したオブジェクト１２０４のピクセルサイズが、取得したサイズ閾値を上回っていなければ、視認性が良くないと判断される。これは、オブジェクト１２０４のピクセルサイズが小さすぎるため、オブジェクト１２０４がユーザーの記憶に残らないと考えられるからである。この場合は、図１３（Ｃ）に示すように、矩形領域１２０７は決定されず、従ってオブジェクト１２０４の位置情報も算出されず、メタデータ１２０８にはオブジェクト１２０４の位置情報は付与されない。

【0089】

なお、ドキュメント１２０１の縮小時に、単位時間当たりの画面移動量からオブジェクト１２０４の移動速度を算出し、オブジェクト１２０４の移動速度が、移動速度の閾値を下回っており、かつオブジェクト１２０４のピクセルサイズがサイズ閾値を上回っている場合に、矩形領域１２０７を決定しオブジェクト１２０４の位置情報を算出しても良い。

【0090】

図１４は、図１３で説明した第４の実施形態における矩形領域１２０５の決定方法とオブジェクト１２０４の位置情報の算出処理を実施するための制御部３００の構成を示すブロック図である。図１４のブロック図は、オブジェクト抽出部３０３と矩形領域決定部３０６の間に、操作検知部７０１とオブジェクトサイズ算出部１３０４と、オブジェクト種別判定部１３０１と、サイズ閾値取得部１３０２と、視認性判断部１００２が介在され、さらにデータベース１３０３を有している点を除いて、図３に示したブロック図と同じであり、同一構成ブロックについては同一の符号を付し、説明は省略する。

【0091】

図１４の例では、オブジェクト抽出部３０３で、ドキュメント６０１を、文字、図、写真、グラフ、表などドキュメントを構成しているオブジェクトに分割し、各オブジェクトを抽出する。その後、ユーザーがドキュメント１２０１の表示範囲を縮小する操作を行ったことを操作検知部７０１が検知し、オブジェクトサイズ算出部１３０４がオブジェクト１４０２の縮小後のピクセルサイズを算出する。一方、オブジェクト種別判定部１３０１がオブジェクト１２０４の種別を判定し、サイズ閾値取得部１３０２が判定された種別に対応するサイズ閾値をデータベース１３０３から取得する。

【0092】

視認性判断部１００２は、算出されたオブジェクト１４０２のピクセルサイズと取得されたサイズ閾値を比較し、オブジェクト９０７の視認性の良否を判断する。具体的には、オブジェクト１４０２のピクセルサイズが閾値を上回っていれば、オブジェクト１２０４の視認性が良好と判断する。視認性が良好と判断された場合にのみ、矩形領域決定部３０６は矩形領域９０４を決定する。

【0093】

以上説明した第４の実施形態では、ドキュメント１２０１の表示範囲を縮小する操作によって、ディスプレイ３０５に表示されているオブジェクト１２０４のピクセルサイズが、オブジェクト１２０４の種別に対応するサイズ閾値を上回っている場合は、縮小後のオブジェクト１２０４の位置はユーザーの記憶に残ると考えられるから、オブジェクト１２０４の視認性が良好であると判断され、矩形領域１２０５が決定され、オブジェクト１２０４の位置情報が算出される。逆に言えば、画面上のオブジェクト１２０４の位置がユーザーの記憶に残らないような、オブジェクト１２０４のサイズが小さすぎて視認性が良好でない場合まで、矩形領域１２０５を決定してオブジェクト１２０４の位置情報を算出するという無駄な処理を防止できる。

【0094】

以上、本発明の一実施形態を説明したが、本発明は上記実施形態に限定されることはない。例えば、ドキュメント表示装置がＭＦＰ１００である場合を説明したが、他の画像形成装置であっても良いし、パーソナルコンピュータ等の情報処理装置であっても良く、ドキュメントを表示部に表示できる装置であれば良い。

【符号の説明】

【0095】

１ 操作パネル
１００ ＭＦＰ（ドキュメント表示装置）
１０１ システムコントローラ
１２１ ＣＰＵ
１２２ ＲＯＭ
３００ 制御部
３０２ ドキュメント解析部
３０３ オブジェクト抽出部
３０４ 表示制御部
３０５ ディスプレイ（表示手段）
３０６ 矩形領域決定部
３０７ 位置情報算出部
３０８ メタデータ生成部
７０１ 操作検知部
１００１ 移動速度算出部
１００２ 視認性判断部
１３０１ オブジェクト種別判定部
１３０２ サイズ閾値取得部
１３０４ オブジェクトサイズ算出部
４０１、６０１、９０１、１２０１ ドキュメント
４０２、６０６、９０７、１２０４ オブジェクト
４０３、６１６、９０４、１２０５ 矩形領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】