特許 6797610 装置、方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6797610

(24)【登録日】2020年11月20日

(45)【発行日】2020年12月9日

(54)【発明の名称】装置、方法、及びプログラム

(51)【国際特許分類】

   G06T 11/60 20060101AFI20201130BHJP

   H04N 1/387 20060101ALI20201130BHJP

   G06F 16/53 20190101ALI20201130BHJP

   G06F 16/58 20190101ALI20201130BHJP

   G06F 16/903 20190101ALI20201130BHJP

【ＦＩ】

   G06T11/60 100A

   H04N1/387

   G06F16/53

   G06F16/58

   G06F16/903

【請求項の数】11

【全頁数】24

(21)【出願番号】特願2016-169353(P2016-169353)

(22)【出願日】2016年8月31日

(65)【公開番号】特開2018-36843(P2018-36843A)

(43)【公開日】2018年3月8日

【審査請求日】2019年8月8日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】特許業務法人 谷・阿部特許事務所

(72)【発明者】

【氏名】山道 雅樹

【審査官】 山▲崎▼ 雄介

(56)【参考文献】

【文献】 米国特許出願公開第２００８／０２０４７８８（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１５／０３７８９７３（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００７／０１７４７６６（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００９／０１６４８８１（ＵＳ，Ａ１）

【文献】 特開２００９−１９４５６２（ＪＰ，Ａ）

【文献】 特開２０１１−０１８２０１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １１／００−１１／８０

Ｇ０６Ｆ １６／００−１６／９５８

Ｈ０４Ｎ １／３８７

(57)【特許請求の範囲】

【請求項1】

ページ内にテキストオブジェクトと画像オブジェクトとを含む文書データに基づいて、ページ全体が１つの画像オブジェクトで構成される画像化文書データを作成する作成手段と、
前記テキストオブジェクトの各々が、前記画像化文書データに埋め込まれるべきテキストオブジェクトであるか判定する判定手段と、
前記画像化文書データに埋め込まれるべきと判定されたテキストオブジェクトに対応する文字列のデータを、前記画像化文書データに埋め込む埋め込み手段と、
を有し、
前記判定手段は、前記テキストオブジェクトの各々に対し、
テキストオブジェクトが透明であるか判定し、
透明であると判定されたテキストオブジェクトの領域に重なっている画像オブジェクトがある場合、該画像オブジェクトにＯＣＲ処理を行って、該画像オブジェクトに対応する文字列を取得し、
前記透明であると判定されたテキストオブジェクトの文字列が、前記画像オブジェクトに対応する前記取得された文字列と同じである場合、該テキストオブジェクトは前記画像化文書データに埋め込まれるべきテキストオブジェクトである、と判定し、
前記透明であると判定されたテキストオブジェクトの文字列が、前記画像オブジェクトに対応する前記取得された文字列と同じでない場合、該テキストオブジェクトは前記画像化文書データに埋め込まれるべきでないテキストオブジェクトである、と判定する、
ことを特徴とする装置。

【請求項2】

前記埋め込み手段は、
前記画像化文書データに埋め込まれるべきと判定されたテキストオブジェクトを複製し、
前記複製したテキストオブジェクトに対応する文字列のデータを、非表示の状態で前記画像化文書データに埋め込む、
ことを特徴とする請求項１に記載の装置。

【請求項3】

前記判定手段は、前記テキストオブジェクトの存在領域内にあり、かつ、当該テキストオブジェクトに重なって配置される上位オブジェクトがあるか判定し、
前記上位オブジェクトがある場合、当該上位オブジェクトが透明か判定する、
ことを特徴とする請求項１または２に記載の装置。

【請求項4】

前記判定手段は、前記上位オブジェクトがない場合、または、前記上位オブジェクトが透明の場合、前記テキストオブジェクトの背景色と、前記テキストオブジェクトの文字の色とが同一か判定し、
前記テキストオブジェクトの背景色と、当該テキストオブジェクトの文字の色とが同一の場合、当該テキストオブジェクトは、前記画像化文書データに埋め込まれるべきでないテキストオブジェクトであると判定する、
ことを特徴とする請求項３に記載の装置。

【請求項5】

前記上位オブジェクトが透明ではない場合、前記テキストオブジェクトと前記上位オブジェクトが重なるために表示されない重なり文字を導出する導出手段をさらに有する、
ことを特徴とする請求項３に記載の装置。

【請求項6】

前記テキストオブジェクトと前記上位オブジェクトとが重ならないために表示される非重なり文字列、および、当該非重なり文字列の座標の情報、を生成する生成手段さらに有する、
ことを特徴とする請求項３乃至５の何れか１項に記載の装置。

【請求項7】

前記画像化文書データと対応付けされる検索用情報であって、当該画像化文書データに埋め込まれるべきと判定された前記テキストオブジェクトに対応する情報を含む前記検索用情報を作成する作成手段をさらに有する、
ことを特徴とする請求項１乃至６の何れか１項に記載の装置。

【請求項8】

前記検索用情報は、
画像化文書データについて、文字列を用いた検索が可能であるか示す情報と、
テキストオブジェクトのうち原稿オブジェクトが、画像化文書データに埋め込まれるか示す情報と、
テキストオブジェクトのうち注釈オブジェクトが、画像化文書データに埋め込まれるか示す情報と
をさらに含む、
ことを特徴とする請求項７に記載の装置。

【請求項9】

前記画像化文書データが更新された場合、前記画像化文書データと対応付けされた前記検索用情報も更新される、
ことを特徴とする請求項７または８に記載の装置。

【請求項10】

ページ内にテキストオブジェクトと画像オブジェクトとを含む文書データに基づいて、ページ全体が１つの画像オブジェクトで構成される画像化文書データを作成する作成ステップと、
前記テキストオブジェクトの各々が、前記画像化文書データに埋め込まれるべきテキストオブジェクトであるか判定する判定ステップと、
前記画像化文書データに埋め込まれるべきと判定されたテキストオブジェクトに対応する文字列のデータを、前記画像化文書データに埋め込む埋め込みステップと、
を有し、
前記判定ステップにおいて、前記テキストオブジェクトの各々に対し、
テキストオブジェクトが透明であるか判定し、
透明であると判定されたテキストオブジェクトの領域に重なっている画像オブジェクトがある場合、該画像オブジェクトにＯＣＲ処理を行って、該画像オブジェクトに対応する文字列を取得し、
前記透明であると判定されたテキストオブジェクトの文字列が、前記画像オブジェクトに対応する前記取得された文字列と同じである場合、該テキストオブジェクトは前記画像化文書データに埋め込まれるべきテキストオブジェクトである、と判定し、
前記透明であると判定されたテキストオブジェクトの文字列が、前記画像オブジェクトに対応する前記取得された文字列と同じでない場合、該テキストオブジェクトは前記画像化文書データに埋め込まれるべきでないテキストオブジェクトである、と判定する、
ことを特徴とする方法。

【請求項11】

コンピュータに、請求項１０に記載の方法を実行させるための、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、文書データの画像化処理において、文書画像の表示内容に応じた検索を可能にする技術に関する。

【背景技術】

【0002】

Ｍｉｃｒｏｓｏｆｔ社のＷｏｒｄ等の文書編集アプリケーションが扱う文書データは、描画オブジェクトとして、ビットマップなどの画像データ、文字列などのテキストデータ、四角形などのグラフィックデータなど様々なデータを含むことが可能である。ユーザーは、文書編集アプリケーションを用いて、文書の各ページに対し、画像、文字、図形を付加することができる。

【0003】

また、上記の文書データを文書編集アプリケーション独自のフォーマットから他のアプリケーションでも利用可能なフォーマットに変換する技術が知られている。このような技術として例えば、文書データに含まれる描画オブジェクトを画像データのみにする技術（文書データの画像化）が知られている。このような技術を用いて文書データを変換することで、文書データを容易に共有することが可能となり、また、文字や図形などの編集が容易に行えないようになる。

【0004】

一方、文書管理システムにおいて、複数の文書データそれぞれに対するテキスト情報を保存しておくことで、このテキスト情報を用いて文書データを検索可能にする技術が知られている。

【0005】

特許文献１は、文書データに基づき作成した文書画像をデータベースに保存する技術について開示している。具体的には、文書データの描画コードに基づきテキスト情報を作成するとともに、該描画コードに基づき文書画像を作成し、テキスト情報と文書画像とを関連付けてデータベースに保存する。特許文献１により、テキスト情報を検索し、所定の文字列を含むテキスト情報と関連付けられた文書画像をユーザーに提示することが可能となる。しかし、特許文献１には以下の課題がある。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開平８−２１２３３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

文書編集アプリケーションを用いて文書データを作成する際、テキストオブジェクトの上に図形オブジェクト等の他のオブジェクトを配置すると、当該テキストオブジェクトは隠れた状態となる。このような文書データの画像化により作成された文書画像において、このテキストオブジェクトの文字列は表示されず、ユーザーは該文字列を視認することができない。一方、この文書データの描画コードに基づきテキスト情報（検索用情報）を作成、すなわち、文字コードを抽出すると、他のオブジェクトで隠されているテキストオブジェクトの文字列に関する文字コードも抽出されてしまう。従って、文書画像に表示されない文字列まで、検索可能な対象に含まれてしまうという課題があった。特に、他のオブジェクトで隠されているテキストオブジェクトの文字列が共有するべきではない情報を示す場合、セキュリティ上の問題にもなり得る。

【0008】

そこで本発明は、文書データに対する画像化処理を実行して画像化文書データを作成する際、ユーザーにとって視認可能に表示されない文字列を検索可能な対象から除外することを目的とする。

【課題を解決するための手段】

【0009】

本発明は、ページ内にテキストオブジェクトと画像オブジェクトとを含む文書データに基づいて、ページ全体が１つの画像オブジェクトで構成される画像化文書データを作成する作成手段と、前記テキストオブジェクトの各々が、前記画像化文書データに埋め込まれるべきテキストオブジェクトであるか判定する判定手段と、前記画像化文書データに埋め込まれるべきと判定されたテキストオブジェクトに対応する文字列のデータを、前記画像化文書データに埋め込む埋め込み手段と、を有し、前記判定手段は、前記テキストオブジェクトの各々に対し、テキストオブジェクトが透明であるか判定し、透明であると判定されたテキストオブジェクトの領域に重なっている画像オブジェクトがある場合、該画像オブジェクトにＯＣＲ処理を行って、該画像オブジェクトに対応する文字列を取得し、前記透明であると判定されたテキストオブジェクトの文字列が、前記画像オブジェクトに対応する前記取得された文字列と同じである場合、該テキストオブジェクトは前記画像化文書データに埋め込まれるべきテキストオブジェクトである、と判定し、前記透明であると判定されたテキストオブジェクトの文字列が、前記画像オブジェクトに対応する前記取得された文字列と同じでない場合、該テキストオブジェクトは前記画像化文書データに埋め込まれるべきでないテキストオブジェクトである、と判定する、ことを特徴とする装置である。

【発明の効果】

【0010】

本発明により、文書データに対する画像化処理を実行して画像化文書データを作成する際、ユーザーにとって視認可能に表示されない文字列を検索可能な対象から除外することが可能となる。

【図面の簡単な説明】

【0011】

【図1】実施例１におけるＰＣのハードウェア構成を示すブロック図

【図2】実施例１におけるＰＣのソフトウェア構成を示すブロック図

【図3】実施例１における文書編集装置のＧＵＩ画面

【図4】実施例１における文書管理装置のＧＵＩ画面

【図5】文書データのデータ構造

【図6】原稿オブジェクトのデータ構造

【図7】注釈オブジェクトのデータ構造

【図8】文書データの層構造

【図9】文書検索用情報のデータ構造

【図10】原稿オブジェクトの解析処理の説明図

【図11】文書データの内部フォーマットからのデータの読み出し例

【図12】実施例１における文書データの画像化処理のフローチャート

【図13】実施例１におけるテキストオブジェクトリスト

【図14】実施例１の画像化処理における一部のプロセスの詳細なフローチャート

【図15】実施例１におけるテキストオブジェクトの各文字の解析処理の説明図

【図16】実施例２におけるＧＵＩのダイアログ

【図17】実施例２における文書検索用情報のデータ構造

【図18】実施例２における文書データの画像化処理のフローチャート

【図19】実施例３における文書検索用情報の更新処理のフローチャート

【発明を実施するための形態】

【0012】

以下、図面を参照して、本発明の好適な実施形態を例示的に説明する。但し、以下に記載されているコンポーネントの相対配置、ＧＵＩ画面、フロー等は、あくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。その趣旨を逸脱しない範囲で、当業者の通常の知識に基づいて、以下に記載する実施形態に対して適宜変更、改良が加えられたものについても本発明の範囲に入ることが理解されるべきである。

【0013】

［実施例１］
＜ＰＣのハードウェア構成について＞
図１は、本実施例における情報処理装置（以下、ＰＣ）１０のハードウェア構成を示すブロック図である。本実施例では、ＰＣ１０によって、文書を編集するための装置（以下、文書編集装置）、および、文書を管理するための装置（以下、文書管理装置）を実現する。

【0014】

ＣＰＵ１００は、ＲＡＭ１０１に記憶されているプログラムに従って、システムバス１１０に接続される各デバイスを総括的に制御する。ＲＡＭ１０１はデータを一時的に記憶する記憶媒体であり、ＣＰＵ１００のメインメモリ、ワークエリア等としても機能する。ＲＯＭ１０２は、各種プログラム及びデータを格納しており、ブートプログラムやＢＩＯＳ等を記憶するプログラムＲＯＭ１０２ａと、各種データを記憶するデータＲＯＭ１０２ｂとに区分けして構成される。なお本実施例では、ＲＯＭ１０２の領域を内部で区分けして用いるが、プログラムＲＯＭ１０２ａとデータＲＯＭ１０２ｂとを物理的に別個の記憶手段として構成しても良い。キーボードコントローラ１０３は、キーボード１０８や不図示のポインティングデバイス（例えばマウス）などを介するユーザーによる入力を制御する。ディスプレイコントローラ１０４は、ディスプレイ１０７への表示を制御する。ディスクコントローラ１０５は、各種データを記憶する外部メモリ１０９（例えばハードディスクやフロッピーディスク等）におけるデータアクセス、及び、外部メモリ１０９へのデータの書き込みおよび外部メモリ１０９からのデータの読み出しを制御する。ネットワークコントローラ（以下、ＮＣ）１０６はＬＡＮ等のネットワークに接続されており、ＰＣ１０とネットワークを介して接続されている他の機器との間のデータ通信を制御する。

【0015】

＜ＰＣ（文書編集装置）のソフトウェア構成について＞
図２は、本実施例におけるＰＣ１０のソフトウェア構成を示すブロック図である。図２に示す各コンポーネントは、プログラムＲＯＭ１０２ａや外部メモリ１０９に記憶されているプログラムがＲＡＭ１０１に展開され、ＣＰＵ１００が該展開されたプログラムを実行することで、実現される。

【0016】

ＰＣ１０は、文書データを読み込み、文書を編集する機能をユーザーに提供する文書編集装置として機能する。図２（ａ）は、ＰＣ１０が文書編集装置２００として機能する際のソフトウェア構成を示す。文書編集装置２００が取り扱う文書データとして、画像データ及びテキストデータを保持可能なものであれば、任意のフォーマットの文書データを用いてよい。この任意のフォーマットの文書データには、文書編集装置２００独自のフォーマットの文書データや、一般的なアプリケーションで用いられる文書データを文書編集装置２００で取り扱えるように変換したもの等が含まれる。図２（ａ）に示すように、文書編集装置２００は、入出力制御部２０１と、編集部２０２と、保存部２０３と、解析部２０４とを備える。入出力制御部２０１は、ディスプレイ１０７に表示されるＧＵＩ画面を介するユーザーからの入力およびユーザーへの出力を制御する。なお、文書編集装置２００のＧＵＩ画面については、図３（ａ）を用いて後述する。編集部２０２は、入出力制御部２０１から入力された編集指示に従い、文書データに対する各種編集処理を実行する。保存部２０３は、編集部２０２から入力された保存指示に従い、文書データを保存する。この保存指示は、文書編集装置２００のＧＵＩ画面を介するユーザー入力に基づくものであっても良いし、ユーザーが文書を編集する際に行われる自動保存によるものであっても良い。また、ここで保存する文書データには、文書編集装置２００により更新中の文書データや更新完了した文書データ等が含まれる。解析部２０４は、文書データを解析するとともに、該解析した文書データに基づく１または複数の描画オブジェクトを生成する。

【0017】

図３（ａ）に、文書編集装置２００のＧＵＩ画面を示す。文書編集装置２００のＧＵＩ画面は、メインウインドウ３００と、メニュー／ツールバー３１０と、プレビューペイン３２０とを有する。メニュー／ツールバー３１０には、文書編集装置２００が提供可能な機能をユーザーが選択するためのメニュー項目、および、ボタンが配置されている。このボタンには、図示するように、文書データに注釈を付与するための注釈ボタン３１１や、文書データを異なるフォーマットに変換して保存するためのＥｘｐｏｒｔボタン３１２などが含まれる。プレビューペイン３２０には、編集中の文書データの各ページの描画内容が表示される。表示する描画内容は、文書データを構成する原稿データ、および、注釈データに基づき決定される。なお、原稿データおよび注釈データについては、図６及び図７を用いて後述する。

【0018】

図３（ａ）は、３つのテキストオブジェクトに対応する文字列、即ち、文字列ａｂｃｄｅ、文字列αβγ、文字列１２３４５が表示されることを示す。一方、図３（ｂ）は、文字列αβγに対応するテキストオブジェクトの上に矩形の図形オブジェクトが置かれているため、文字列αβγが表示されないことを示す。

【0019】

＜ＰＣ（文書管理装置）のソフトウェア構成について＞
ＰＣ１０は、１または複数の文書データを管理し、管理する文書データに関する情報（名称など）をユーザーに提示する文書管理装置としても機能する。図２（ｂ）は、ＰＣ１０が文書管理装置２１０として機能する際のソフトウェア構成を示す。ユーザーは、文書管理装置２１０を介して、文書データを管理する（文書データ自体の複製や削除など）管理機能、および、文書データを検索する検索機能を利用可能である。図２（ｂ）に示すように、文書管理装置２１０は、入出力制御部２１１と、管理部２１２と、検索部２１３とを備える。入出力制御部２１１は、ディスプレイ１０７に表示されるＧＵＩ画面を介するユーザーからの入力およびユーザーへの出力（文書データの一覧表示など）を制御する。文書管理装置２１０のＧＵＩ画面については、図４を用いて後述する。管理部２１２は、入出力制御部２１１から入力された管理指示に従い、文書データに対する管理処理、すなわち、文書データの複製、削除などの各種処理を実行する。検索部２１３は、管理部２１２から入力された検索指示に従い、文書データを検索する。この検索指示は、文書管理装置２１０のＧＵＩ画面を介するユーザー入力に基づく。検索の結果は、入出力制御部２１１によって、ＧＵＩ画面に表示される。

【0020】

図４に、文書管理装置２１０のＧＵＩ画面を示す。文書管理装置２１０のＧＵＩ画面は、メインウインドウ４００と、メニュー／ツールバー４１０と、フォルダー表示ペイン４２０と、文書データ表示ペイン４３０と、検索ペイン４４０とを有する。メニュー／ツールバー４１０には、文書管理装置２１０が提供可能な機能をユーザーが選択するためのメニュー項目、および、ボタンが配置されている。フォルダー表示ペイン４２０には、文書管理装置２１０が管理しているフォルダー４２１が表示される。

【0021】

文書データ表示ペイン４３０には、文書データ４３１が、サムネイルとファイル名とによって表示されている。例えば、検索ペイン４４０を介しての検索が実行されない場合、文書データ表示ペイン４３０には、フォルダー表示ペイン４２０で選択されているフォルダーに存在する全ての文書データが表示される。或いは、検索ペイン４４０を介しての検索が実行された場合、文書データ表示ペイン４３０には、フォルダー表示ペイン４２０で選択されているフォルダーに存在し、かつ、検索条件を満たす文書データが表示される。

【0022】

検索ペイン４４０には、文書管理装置２１０が管理しているフォルダーに存在する文書データの中から検索条件を満たす文書データを検索する機能をユーザーに提供するための、検索ボックス４４１と、検索実行ボタン４４２とが配置されている。検索ボックス４４１では、検索条件を指定可能であり、例えば文書データのファイル名や文書データに含まれる注釈の文字列などを指定可能である。検索実行ボタン４４２がユーザーによって押下されると、検索ボックス４４１に入力された検索条件に基づく文書データの検索が実行され、検索結果が文書データ表示ペイン４３０に表示される。

【0023】

＜文書データのデータ構造について＞
本実施例で取り扱う文書データのデータ構造について、図５を用いて説明する。図５は、文書データのデータ構造の一例を模式的に示す図である。図示するように、文書データ５００は紙媒体の書物に類似した、複数ノードから成るツリー構造を有し、上位層である１つの文書５０１と、下位層であるページ５０２ａ、５０２ｂ、５０２ｃ、５０２ｄとから構成される。このように文書データは複数のページを含むことができるが、文書データが１つのページのみを含む構成であっても良い。文書５０１は、文書全般に係る属性（文書属性）が定義されており、定義された属性値、および、ページ５０２ａ、５０２ｂ、５０２ｃ、５０２ｄとのリンクを有する。ページ５０２ａ、５０２ｂ、５０２ｃ、５０２ｄは夫々、文書編集装置２００で定義される各ページに相当し、ページ毎に属性（ページ属性）が定義されており、各ページに対応する実体（すなわち、原稿データおよび注釈データ）を持つ。なお、ここで用いている用語「文書」および「ページ」について、これらは文書データのデータ構造（複数ノードから成るツリー構造）を説明するために便宜的に用いた用語であり、同等の構成を成していれば他の用語であっても構わない。検索のために文書管理装置２１０が用いるデータとして、文書データ５００に対応付けされた文書検索用情報５１０が存在する。なお、文書検索用情報５１０については、図９を用いて後述する。

【0024】

＜原稿オブジェクトのデータ構造について＞
図６は、文書データの各ページの原稿データとして用いられる原稿オブジェクトのデータ構造を説明するための図であり、各ページに配置される原稿オブジェクトに関する情報を管理するためのリスト（以下、原稿オブジェクトリスト）６００を示す。図示するように、各原稿オブジェクトは、符号６０１〜６０７に示す項目の情報を持つ。

【0025】

原稿オブジェクトＩＤ６０１は、原稿オブジェクトを識別するための識別子（以下、ＩＤ）である。原稿オブジェクト種類６０２は、原稿オブジェクトの種類を示す情報である。左上座標６０３は、原稿オブジェクトの矩形の左上の座標の情報（値）である。右下座標６０４は、原稿オブジェクトの矩形の右下の座標の情報（値）である。重なり順序６０５は、原稿オブジェクト同士が重なる場合に描画する順番（すなわち、原稿オブジェクトが、該原稿オブジェクトと重なる他の原稿オブジェクトの上または下の何れに描画されるか）を示す情報である。ページ番号６０６は、原稿オブジェクトが配置されるページ番号である。

【0026】

原稿オブジェクト固有情報６０７は、原稿オブジェクト毎の固有情報である。例えば、原稿オブジェクトが長方形のオブジェクトの場合、図示するように、原稿オブジェクト固有情報６０７には、符号６１１〜６１３に示す項目の情報が含まれる。線の種類６１１は、長方形の線の種類を示す情報である。線の色６１２は、長方形の線の色を示す情報（以下、色情報）である。色情報とは具体的に、色を指定するＲＧＢチャンネルと透明度を指定するアルファチャンネルとの画素値である。塗りつぶし色６１３は、長方形内の塗りつぶしの色情報である。また例えば、原稿オブジェクトがテキストオブジェクトの場合、図示するように、原稿オブジェクト固有情報６０７には、符号６２１〜６２３に示す項目の情報が含まれる。文字列６２１は、テキストオブジェクトの文字列である。フォント名６２２は、指定のフォントを示す情報である。文字色６２３は、文字の色情報である。

【0027】

このように、各原稿オブジェクトに対応するデータ群（以下、原稿オブジェクト情報）６１０が、原稿オブジェクトリスト６００に保持されている。

【0028】

＜注釈オブジェクトのデータ構造について＞
図７は、文書データの各ページの注釈データとして用いられる注釈オブジェクトのデータ構造を説明するための図であり、各ページに配置される注釈オブジェクトに関する情報を管理するためのリスト（以下、注釈オブジェクトリスト）７００を示す。図示するように、各注釈オブジェクトは、符号７０１〜７０７に示す項目の情報を持つ。

【0029】

注釈オブジェクトＩＤ７０１は、注釈オブジェクトを識別するためのＩＤである。注釈オブジェクト種類７０２は、注釈オブジェクトの種類を示す情報である。左上座標７０３は、注釈オブジェクトの矩形の左上の座標の情報（値）である。右下座標７０４は、注釈オブジェクトの矩形の右下の座標の情報（値）である。重なり順序７０５は、注釈オブジェクト同士が重なる場合に描画する順番（すなわち、注釈オブジェクトが、該注釈オブジェクトと重なる他の注釈オブジェクトの上または下の何れに描画されるか）を示す情報である。ページ番号７０６は、注釈オブジェクトが配置されるページ番号である。

【0030】

注釈オブジェクト固有情報７０７は、注釈オブジェクト毎の固有情報である。例えば、注釈オブジェクトが長方形のオブジェクトの場合、図示するように、注釈オブジェクト固有情報７０７には、符号７１１〜７１３に示す項目の情報が含まれる。線の種類７１１は、長方形の線の種類を示す情報である。線の色７１２は、長方形の線の色情報である。塗りつぶし色７１３は、長方形内の塗りつぶしの色情報である。また例えば、注釈オブジェクトがテキストオブジェクトの場合、図示するように、注釈オブジェクト固有情報７０７には、符号７２１〜７２３に示す項目の情報が含まれる。文字列７２１は、テキストオブジェクトの文字列である。フォント名７２２は、指定のフォントを示す情報である。文字色７２３は、文字の色情報である。

【0031】

このように、各注釈オブジェクトに対応するデータ群（以下、注釈オブジェクト情報）７１０が、注釈オブジェクトリスト７００に保持されている。なお、注釈オブジェクトリスト７００について、全ての注釈オブジェクトデータに対して１つのリストを持つように構成しても良いし、ページごとに１つのリストを持つように構成しても良い。

【0032】

＜文書データの層構造について＞
図８は、文書データの層構造について模式的に示す図である。図示するように、文書データは、描画キャンパスと、原稿オブジェクトを描画する原稿オブジェクト描画層と、注釈オブジェクトを描画する注釈オブジェクト描画層とから構成され、原稿オブジェクト描画層の上に注釈オブジェクト描画層が存在する。つまり、注釈オブジェクトが原稿オブジェクトより上位に描画されることとなる。従って、原稿オブジェクトと同一座標に注釈オブジェクトが存在する場合、原則的に、上位層に描画される注釈オブジェクトが優先的に表示され、原稿オブジェクトが表示されない。

【0033】

＜文書検索用情報のデータ構造について＞
図９は、文書データを検索するために用いられる文書検索用情報５１０（図５参照）の一例を示す図である。図示するように、文書検索用情報５１０は、符号９００，９０１、９１０〜９１３に示す項目の情報を持つ。

【0034】

文書データパス９００は、文書データ５００へのパスである。画像化情報９０１は、文書データ５００が画像化されているか否かを示す情報である。種類９１０は、テキストオブジェクトの種類を示す情報（即ち、テキストオブジェクトが原稿オブジェクトと注釈オブジェクトとの何れであるかを示す情報）である。文字列９１１は、テキストオブジェクトの文字列である。位置情報９１２は、テキストオブジェクトの位置を示す情報（具体的にはページ番号および座標値）である。実在情報９１３は、テキストオブジェクトが文書データ５００に存在しているか否かを示す情報である。例えば、文書データの画像化処理を行う際にテキストオブジェクトの文書データへの埋め込みを行わなかった場合、このテキストオブジェクトは、画像化された文書データに存在していない状態となる。従って、この場合、画像化された文書データに対応する文書検索用情報５１０において、このテキストオブジェクトの実在情報９１３は、テキストオブジェクトが文書データに存在しないことを示す値となる。このような各テキストオブジェクトに対応するデータ群（以下、テキストオブジェクト情報）９２０が、文書検索用情報５１０に含まれる。

【0035】

文書管理装置２１０は、文書検索用情報５１０を用いて検索処理を行う。具体的には、文書管理装置２１０は、ＧＵＩ画面の検索ボックス４４１（図４参照）を用いて入力された検索条件に従い、ユーザーによって指定された文字列と、文書検索用情報５１０に含まれる文字列９１１とが一致するかを判定する。この判定の結果、一致するテキストオブジェクト情報９２０が存在する場合、文書データパス９００が示す文書データ５００を、文書データ表示ペイン４３０に表示してユーザーに提示する。なお、文書データを検索する際、ユーザーは、検索ボックス４４１を用いてテキストオブジェクトの種類（原稿オブジェクトと注釈オブジェクトとの何れか）を指定することも可能である。この場合、文字列９１１の情報に加えて、種類９１０の情報も考慮された検索結果が、文書データ表示ペイン４３０に表示される。つまり、ユーザー指定の文字列と文字列９１１とが一致し、かつ、ユーザー指定のテキストオブジェクトの種類と種類９１０とが一致するテキストオブジェクト情報９２０が存在する場合、文書データパス９００が示す文書データ５００が表示される。なお、ここでは、文書検索用情報５１０を用いて検索を実行する場合について説明しているが、検索は、後述の画像化文書データに埋め込まれるテキストオブジェクトを用いて実行しても良い。

【0036】

＜原稿オブジェクトおよび注釈オブジェクトの解析について＞
原稿オブジェクトを解析し、該解析によって得た情報を原稿オブジェクトリストに保持する処理、および、注釈オブジェクトを解析し、該解析によって得た情報を注釈オブジェクトリストに保持する処理について説明する。これらの処理は、編集部２０２から入力された指示に従い、解析部２０４が外部メモリ１０９等のメモリに格納されている文書データにアクセスして実行する。

【0037】

図１０は、原稿オブジェクトの解析処理を説明するための図であり、図１０（ａ）は２つの原稿オブジェクトを示す。図示するように、長方形のオブジェクトである原稿オブジェクト１００１の上に、テキストオブジェクトである原稿オブジェクト１００２が存在する。

【0038】

図１０（ｂ）および図１０（ｃ）は、これらの原稿オブジェクトの解析によって得られる情報を示す図である。図１０（ｂ）は、原稿オブジェクトリストに保持される情報のうち原稿オブジェクト１００１に関する情報を示し、図１０（ｃ）は、原稿オブジェクト１００２に関する情報を示す。図１０（ａ）及び図１０（ｂ）に示すように、左上座標（２０，３４）と右下座標（８１，６５）とにより表現される矩形領域が、原稿オブジェクト１００１の存在する領域であり、このような矩形領域を「存在領域」と定義する。また、原稿オブジェクト１００１の上に原稿オブジェクト１００２が配されていることから、原稿オブジェクト１００１の重なり順序の値は、原稿オブジェクト１００１が原稿オブジェクト１００２の下に描画されることを示す値０となる。一方、原稿オブジェクト１００２の重なり順序の値は、図１０（ｃ）に示すように、原稿オブジェクト１００２が原稿オブジェクト１００１の上に描画されることを示す値１となる。なお仮に、原稿オブジェクト１００１の重なり順序の値が１、原稿オブジェクト１００２の重なり順序の値が０の場合、原稿オブジェクト１００１が原稿オブジェクト１００２の上に描画されることとなるので、文字列ＡＢＣＤＥは表示されないこととなる。

【0039】

図１１は、文書データの内部フォーマットから、図１０（ａ）の原稿オブジェクト１００１と同様の原稿オブジェクトが読み込まれ、情報が取り出される例を示す図である。この図では、内部フォーマットとしてバイナリーデータが示されているが、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）のようなテキスト形式のデータであっても良い。

【0040】

なお、上述の説明では、原稿オブジェクトの解析によって得た情報を原稿オブジェクトリストに保持する場合について説明しているが、注釈オブジェクトの解析によって得た情報を注釈オブジェクトリスト保持する場合についても同様である。すなわち、解析部２０４がメモリに格納されている文書データにアクセスし、注釈オブジェクトを解析し、該解析によって得た情報を注釈オブジェクトリストに保持する。これ以降、原稿オブジェクトと注釈オブジェクトとをまとめて表現する場合に、これらをまとめて「オブジェクト」と総称する。

【0041】

＜文書データの画像化処理について＞
図１２は、本実施例における文書データの画像化処理の流れを示すフローチャートである。ここで文書データの画像化処理とは、文書データのページ毎に各ページのオブジェクトに基づくページ画像オブジェクトを生成、及び、該生成したページ画像オブジェクトから成る文書データ（画像化文書データ）の作成を伴う処理を意味する。なお、以下に示す文書データの画像化処理は、文書編集装置２００のＧＵＩ画面（図３（ａ）参照）でユーザーがＥｘｐｏｒｔボタン３１２を押下することで、開始する。

【0042】

ステップＳ１２０１において、編集部２０２は、文書データのページ毎に、ページ内の１または複数の描画オブジェクトに基づき、ページ全体を表す１つのページ画像オブジェクトを生成する。ページ画像オブジェクトは、原稿オブジェクト描画層に配置される原稿オブジェクトである。

【0043】

ステップＳ１２０２において、編集部２０２は、ステップＳ１２０１で生成したページ画像オブジェクトのそれぞれを各ページのページデータとする、画像化文書データを作成する。

【0044】

ステップＳ１２０３において、解析部２０４は、画像化対象の文書データを解析し、該文書データの原稿オブジェクトリスト６００および注釈オブジェクトリスト７００を作成する。この原稿オブジェクトリスト６００および注釈オブジェクトリスト７００は編集部２０２に渡される。編集部２０２は、渡された原稿オブジェクトリスト６００から文字列の情報を有する原稿オブジェクト情報６１０を全て取得し、また、渡された注釈オブジェクトリスト７００から、文字列の情報を有する注釈オブジェクト情報７１０を全て取得する。そして、編集部２０２は、該取得した原稿オブジェクト情報６１０および注釈オブジェクト情報７１０に基づき、画像化対象の文書データに含まれるテキストオブジェクトのリスト（以下、テキストオブジェクトリスト）を作成する。図１３に、本ステップで作成するテキストオブジェクトリストの例を示す。図示するように、テキストオブジェクトリスト１３００は、各テキストオブジェクトに対応するデータ群（テキストオブジェクト情報）１３０１を保持する。

【0045】

ステップＳ１２０４において、編集部２０２は、ステップＳ１２０３で作成したテキストオブジェクトリスト１３００にある未処理のテキストオブジェクトの１つに注目し、該注目したテキストオブジェクトに対応するテキストオブジェクト情報１３０１を取得する。本ステップで注目するテキストオブジェクトを「注目テキストオブジェクト」と呼ぶ。

【0046】

ステップＳ１２０５において、編集部２０２は、注目テキストオブジェクトが、ユーザーにとって視認可能に表示されるオブジェクトであるかを判定する。ステップＳ１２０５の判定の結果が真の場合、ステップＳ１２０６に進む一方、該判定の結果が偽の場合、ステップＳ１２１０に進む。なお、ステップＳ１２０５の処理については、図１４を用いて後述する。

【0047】

ステップＳ１２０６において、編集部２０２は、ユーザーにとって視認可能に表示される注目テキストオブジェクトの文字列とその座標の情報とを生成する。なお、ステップＳ１２０６の処理については、図１４を用いて後述する。

【0048】

ステップＳ１２０７において、編集部２０２は、ステップＳ１２０４で取得したテキストオブジェクト情報１３０１を参照し、注目テキストオブジェクトが存在するページを示すページ番号を取得する。

【0049】

ステップＳ１２０８において、編集部２０２は、注目テキストオブジェクトのテキストオブジェクト情報１３０１に基づきテキストオブジェクトを複製する。そして、該複製したテキストオブジェクトを、ステップＳ１２０２で作成した画像化文書データにおける所定の位置、即ち、ステップＳ１２０７で取得したページ番号とステップＳ１２０６で取得した座標とが示す位置に、非表示の状態で挿入する（埋め込み処理）。非表示の状態とは例えば、テキストオブジェクトが透明な状態である。

【0050】

ステップＳ１２０９において、編集部２０２は、画像化文書データに対応する文書検索用情報５１０を更新する。具体的には、画像化情報９０１を、文書データが画像化されていることを示す値に設定し、注目テキストオブジェクトに対応するテキストオブジェクト情報９２０を追加する。このテキストオブジェクト情報９２０において、種類９１０は、注目テキストオブジェクトの種類（すなわち、原稿オブジェクトと注釈オブジェクトとの何れであるか）に応じて、原稿オブジェクトまたは注釈オブジェクトであることを示す値に設定される。また、文字列９１１は、ステップＳ１２０６で取得した文字列に設定される。さらに、位置情報９１２は、所定の位置を示す情報、即ち、ステップＳ１２０７で取得したページ番号、および、ステップＳ１２０６で取得した座標に設定される。また、実在情報９１３は、テキストオブジェクトが文書データに存在していることを示す値に設定される。なお、本ステップで取り扱っている注目テキストオブジェクトは、ユーザーにとって視認可能に表示されるオブジェクトであるため（ステップＳ１２０５でＹＥＳ）、テキストオブジェクトの複製および埋め込みは必ず実行される（ステップＳ１２０８）。従って、本ステップでは、実在情報９１３は常に、テキストオブジェクトが文書データに存在していることを示す値に設定されることとなる。このように注目テキストオブジェクト毎に、テキストオブジェクト情報９２０を作成し、文書検索用情報５１０に追加することで、文書検索用情報５１０を更新する。

【0051】

ステップＳ１２１０において、編集部２０２は、テキストオブジェクトリスト１３００にある全てのテキストオブジェクトに対する処理が完了したかを判定する。ステップＳ１２１０の判定の結果が真の場合、ステップＳ１２１１に進む一方、該判定の結果が偽の場合、ステップＳ１２０４に戻る。

【0052】

ステップＳ１２１１において、編集部２０２は、画像化文書データとこれに対応する文書検索用情報とを保存するよう保存部２０３に指示し、保存部２０３は、該画像化文書データおよび該文書検索用情報を保存する。

【0053】

図１４は、図１２のステップＳ１２０５およびステップＳ１２０６における処理の詳細なフローチャートである。

【0054】

ステップＳ１４０１において、編集部２０２は、注目テキストオブジェクトが透明であるかを判定する。この判定は、注目テキストオブジェクトが原稿オブジェクトの場合、注目テキストオブジェクトに対応するテキストオブジェクト情報１３０１の原稿オブジェクト固有情報に含まれる文字の色情報（文字色６２３）に基づいて行われる。一方、注目テキストオブジェクトが注釈オブジェクトの場合、文字色７２３に基づいて行われる。ステップＳ１４０１の判定の結果が真の場合、ステップＳ１４０２に進む一方、該判定の結果が偽の場合、ステップＳ１４０６に進む。

【0055】

ステップＳ１４０２において、編集部２０２は、画像化対象の文書データの原稿オブジェクトリスト６００および注釈オブジェクトリスト７００を参照し、注目テキストオブジェクトの存在領域内に他のオブジェクトが存在するかを判定する。ステップＳ１４０２の判定の結果が真の場合、ステップＳ１４０３に進む一方、該判定の結果が偽の場合、ステップＳ１２１０に進む。

【0056】

ステップＳ１４０３において、編集部２０２は、存在領域内の他のオブジェクトが画像オブジェクトであるかを判定する。この判定は、存在領域内の他のオブジェクトに関するオブジェクトの種類を示す情報（即ち、原稿オブジェクト種類６０２または注釈オブジェクト種類７０２）に基づいて行われる。ステップＳ１４０３の判定の結果が真の場合、ステップＳ１４０４に進む一方、該判定の結果が偽の場合、ステップＳ１２１０に進む。

【0057】

ステップＳ１４０４において、編集部２０２は、画像オブジェクトの存在領域に対し光学文字認識（以下、ＯＣＲ）処理を実行することで、この画像オブジェクトに対応する文字列を抽出し、取得する。

【0058】

ステップＳ１４０５において、編集部２０２は、注目テキストオブジェクトの文字列が、ステップＳ１４０４で取得した文字列と同一かを判定する。ステップＳ１４０５の判定の結果が真の場合、ステップＳ１４０６に進む一方、該判定の結果が偽の場合、ステップＳ１２１０に進む。

【0059】

ステップＳ１４０１〜Ｓ１４０５の処理は、文書データが予めＯＣＲ処理されていることにより透明なテキストオブジェクトを保持している可能性を考慮した処理である。一連の処理により、テキストオブジェクト自体が透明であるために該テキストオブジェクトの文字列が視認可能に表示されない場合であっても、同等の文字列が画像オブジェクトにより表示されるのであれば、この文字列を検索可能な対象に含めることが可能となる。

【0060】

ステップＳ１４０６において、編集部２０２は、画像化対象の文書データの原稿オブジェクトリスト６００および注釈オブジェクトリスト７００を参照することで、注目テキストオブジェクトの上位オブジェクトが存在するかを判定する。ここで上位オブジェクトとは、注目テキストオブジェクトの存在領域内にあるオブジェクトであって、注目テキストオブジェクトより上位に重なって配置されるオブジェクトである。ステップＳ１４０６の判定の結果が真の場合、ステップＳ１４０７に進む一方、該判定の結果が偽の場合、ステップＳ１４１１に進む。

【0061】

ステップＳ１４０７において、編集部２０２は、上位オブジェクトが透明であるかを判定する。この判定は、上位オブジェクトのオブジェクト情報に基づいて行う。例えば、上位オブジェクトが長方形の原稿オブジェクトである場合、対応する原稿オブジェクト情報６１０の塗りつぶしの色情報（塗りつぶし色６１３）に基づいてステップＳ１４０７の判定が行われる。ステップＳ１４０７の判定の結果が真の場合、ステップＳ１４１１に進む一方、該判定の結果が偽の場合、ステップＳ１４０８に進む。

【0062】

ステップＳ１４０８において、編集部２０２は、注目描画オブジェクトと上位オブジェクトとが重なるため、ユーザーにとって視認可能に表示されない注目テキストオブジェクトの文字（以下、重なり文字）を導出する。具体的には図１５に示すように、注目テキストオブジェクトの文字列について、１文字ごとに左上座標および右上座標を取得し、１文字ごとの矩形領域（存在領域）を導出する。そして、１文字ごとの存在領域と、上位オブジェクトの存在領域とを比較する。これにより、注目テキストオブジェクトの文字列の各文字について、上位オブジェクトと重なっているかを判定し、重なり文字を導出する。

【0063】

ステップＳ１４０９において、編集部２０２は、注目テキストオブジェクトの文字列のうち、注目オブジェクトの少なくとも一部が上位オブジェクトと重ならないため、ユーザーにとって視認可能に表示される文字列（以下、非重なり文字列）を生成する。非重なり文字列の生成は、注目テキストオブジェクトの文字列から重なり文字を除外することで行う。なお、注目オブジェクトの文字の全てが重なり文字の場合、本ステップは実行されない。本ステップで取得する非重なり文字列が、ステップ１２０９における文書検索用情報５１０の更新処理に用いられる。

【0064】

ステップＳ１４１０において、編集部２０２は、文字列の文字毎の座標に基づき、ステップＳ１４０９で生成した非重なり文字列の座標を示す情報を生成する。例として、図１５の文字列ＡＢＣについて、ＡＢが非重なり文字列、Ｃが重なり文字である場合について検討する。この場合、文字Ａの左上座標（３０，５０）および文字Ｂの右下座標（５７，７０）が、非重なり文字列の座標を示す情報となる。本ステップが終了すると、ステップＳ１２０７に進む。

【0065】

ステップＳ１４０６〜Ｓ１４１０の処理は、テキストオブジェクトの上位に配置された他のオブジェクトにより、該テキストオブジェクトの文字列が隠された状態になっている可能性を考慮した処理である。この一連の処理により、テキストオブジェクトの文字列の一部が隠される場合、隠されていない（ユーザーが視認可能な）文字列のみを検索可能な対象に含めることが可能となる。

【0066】

ステップＳ１４１１において、編集部２０２は、注目テキストオブジェクトの背景色の情報を取得する。ここで背景色とは、注目テキストオブジェクトの直下に配置される他のオブジェクト（以下、背景オブジェクト）が存在する場合は、背景オブジェクトの色であり、背景オブジェクトが存在しない場合は、白色である。

【0067】

ステップＳ１４１２において、編集部２０２は、注目テキストオブジェクトの文字の色情報を取得する。

【0068】

ステップＳ１４１３において、編集部２０２は、ステップＳ１４１１で取得した背景色の情報およびステップＳ１４１２で取得した文字の色情報に基づき、背景色と文字の色とが同一かを判定する。ステップＳ１４１３の判定の結果が真の場合、ステップＳ１２１０に進む一方、該判定の結果が偽の場合、ステップＳ１４０９に進む。

【0069】

ステップＳ１４１１〜Ｓ１４１３の処理は、テキストオブジェクトの文字の色と背景色とが同一である可能性を考慮した処理である。この一連の処理により、テキストオブジェクトの文字の色が背景色と同一である場合に、テキストオブジェクトの文字列はユーザーにとって視認可能に表示されないものとして、この文字列を検索可能な対象から除外することが可能となる。

【0070】

［実施例２］
実施例１では、文書データの画像化処理の際、ユーザーにとって視認可能に表示される文字列のオブジェクトは、原稿オブジェクト、注釈オブジェクトにかかわらず全て画像化文書データに埋め込まれる。しかし、文書画像において表示される文字列を用いた検索をできないようにすることや、画像化文書データに原稿オブジェクトと注釈オブジェクトとの何れか一方を埋め込むことを、ユーザーが望む場合も考えられる。そこで本実施例では、ユーザーにとって視認可能に表示される文字列を用いた検索を可能にするか否か、および、検索可能とした場合に、画像化文書データに何れのテキストオブジェクトを埋め込むかをユーザーが選択できるようにする。なお、以下では、実施例１と共通する内容については、説明を適宜省略する。

【0071】

＜ＧＵＩのダイアログについて＞
図１６に、本実施例におけるＧＵＩのダイアログを示す。ユーザーは、文書データの画像化処理を実行するにあたって、検索設定ダイアログ１６００を介し、検索用文字列の抽出に関する設定を行う。なお、検索設定ダイアログ１６００は、文書編集装置２００のＧＵＩ画面（図３（ａ）参照）の検索設定コントロールボタン（図示せず）が押下されると表示される。

【0072】

図示するように、検索設定ダイアログ１６００は、３つのチェックボックス１６０１〜１６０３を有する。チェックボックス１６０１は、文書データの画像化処理の際、ユーザーにとって視認可能に表示されている文字列を用いた検索を可能にするか否かを設定するためのチェックボックスである。チェックボックス１６０１にチェックが入った状態で、チェックボックス１６０２、１６０３にチェックを入れることができるようになる。チェックボックス１６０２は、テキストオブジェクトのうちの原稿オブジェクトを画像化文書データに埋め込むか否かを設定するためのチェックボックスである。チェックボックス１６０３は、テキストオブジェクトのうちの注釈オブジェクトを画像化文書データに埋め込むか否かを設定するためのチェックボックスである。なお、検索設定ダイアログ１６００のチェックボックス１６０１〜１６０３を用いてユーザーによって入力された情報は、画像化文書データに対応する文書検索用情報１７００（図１７参照）として保存される。

【0073】

＜文書検索用情報について＞
図１７は、本実施例における文書検索情報の一例を示す図である。図示するように、文書検索用情報１７００は、符号１７０１〜１７０３に示す項目の情報を含む。なお、図示していないが、文書検索用情報１７００は、実施例１と同様に、図９に示した符号９００，９０１、９１０〜９１３に示す項目の情報も含む。

【0074】

画像検索可否１７０１は、画像化文書データについて、文字列を用いた検索が可能であるか否かを示す情報である。検索設定ダイアログ１６００のチェックボックス１６０１にチェックが入った状態で画像化が実行された場合、画像検索可否１７０１は、画像化文書データについて、文字列を用いた検索が可能であることを示す値となる。一方、チェックボックス１６０１にチェックが入っていない状態で画像化が実行された場合、画像検索可否１７０１は、画像化文書データについて、文字列を用いた検索ができないことを示す値となる。

【0075】

原稿埋め込み１７０２は、テキストオブジェクトのうちの原稿オブジェクトが、画像化文書データに埋め込まれるか否かを示す情報である。チェックボックス１６０２にチェックが入った状態で文書データの画像化が実行された場合、原稿埋め込み１７０２は、テキストオブジェクトのうちの原稿オブジェクトが、画像化文書データに埋め込まれていることを示す値となる。一方、チェックボックス１６０２にチェックが入っていない状態で文書データの画像化が実行された場合、原稿埋め込み１７０２は、テキストオブジェクトのうちの原稿オブジェクトが、画像化文書データに埋め込まれていないことを示す値となる。

【0076】

注釈埋め込み１７０３は、テキストオブジェクトのうちの注釈オブジェクトが、画像化文書データに埋め込まれるか否かを示す情報である。チェックボックス１６０３にチェックが入った状態で文書データの画像化が実行された場合、注釈埋め込み１７０３は、テキストオブジェクトのうちの注釈オブジェクトが、画像化文書データに埋め込まれていることを示す値となる。一方、チェックボックス１６０３にチェックが入っていない状態で文書データの画像化が実行された場合、注釈埋め込み１７０３は、テキストオブジェクトのうちの注釈オブジェクトが、画像化文書データに埋め込まれていないことを示す値となる。

【0077】

＜画像化処理について＞
図１８は、本実施例における文書データの画像化処理の流れを示すフローチャートである。

【0078】

ステップＳ１２０１において、編集部２０２は、文書データのページ毎に、各ページの１または複数の描画オブジェクトに基づくページ画像オブジェクトを生成する。ステップＳ１２０２において、編集部２０２は、ステップＳ１２０１で生成したページ画像オブジェクトのそれぞれを各ページのページデータとする、画像化文書データを作成する。このように、ステップＳ１２０１及びステップＳ１２０２は、実施例１と同様である（図１２参照）。ただし本実施例では、ステップＳ１２０２の後、ステップＳ１８０１に進む。

【0079】

ステップＳ１８０１において、編集部２０２は、文書検索用情報１７００を取得する。

【0080】

ステップＳ１８０２において、編集部２０２は、ステップＳ１８０１で取得した文書検索用情報１７００に含まれる画像検索可否１７０１に基づき、検索用文字列を抽出するかを判定する。ステップＳ１８０２の判定の結果が真の場合、ステップＳ１２０３に進む一方、該判定の結果が偽の場合、ステップＳ１２１１に進む。

【0081】

ステップＳ１２０３において、編集部２０２は、画像化対象の文書データに対応するテキストオブジェクトリストを取得する。ステップＳ１２０４において、編集部２０２は、ステップＳ１２０３で取得したテキストオブジェクトリストにある未処理のテキストオブジェクトの１つに注目する。ステップＳ１２０５において、編集部２０２は、注目テキストオブジェクトがユーザーにとって視認可能に表示されるオブジェクトであるかを判定する。ステップＳ１２０６において、編集部２０２は、ユーザーにとって視認可能に表示される注目テキストオブジェクトの文字列と座標の情報とを生成する。ステップＳ１２０７において、編集部２０２は、注目テキストオブジェクトのテキストオブジェクト情報１３０１を参照し、注目テキストオブジェクトが存在するページを示すページ番号を取得する。このように、ステップＳ１２０３〜ステップＳ１２０７は、実施例１と同様である（図１２参照）。ただし本実施例では、ステップＳ１２０７の後、ステップＳ１８０３に進む。

【0082】

ステップＳ１８０３において、編集部２０２は、注目テキストオブジェクトのテキストオブジェクト情報１３０１を参照し、注目テキストオブジェクトの種類を示す情報を取得する。

【0083】

ステップＳ１８０４において、編集部２０２は、ステップＳ１８０３で取得した注目テキストオブジェクトの種類を示す情報に基づき、注目テキストオブジェクトが原稿オブジェクトであるかを判定する。ステップＳ１８０４の判定の結果が真の場合、ステップＳ１８０５に進む一方、該判定の結果が偽の場合（注目テキストオブジェクトが注釈オブジェクトの場合）、ステップＳ１８０８に進む。

【0084】

ステップＳ１８０５において、編集部２０２は、テキストオブジェクトのうちの原稿オブジェクトが画像化文書データに埋め込まれるか否かを示す情報（原稿埋め込み１７０２）に基づき、注目テキストオブジェクトを画像化文書データに埋め込むかを判定する。ステップＳ１８０５の判定の結果が真の場合、ステップＳ１８０６に進む一方、該判定の結果が偽の場合、ステップＳ１８０７に進む。

【0085】

ステップＳ１８０６において、編集部２０２は、ステップＳ１２０８と同様の処理、即ち、注目テキストオブジェクト（本ステップでは原稿テキストオブジェクト）を画像化文書データに挿入する埋め込み処理を実行する。

【0086】

ステップＳ１８０７において、編集部２０２は、ステップＳ１２０９と同様の処理、即ち、画像化文書データに対応する文書検索用情報１７００を更新する。このとき、種類９１０（注目テキストオブジェクトの種類を示す情報）は、原稿オブジェクトであることを示す値に設定される。また、実在情報９１３（テキストオブジェクトが文書データに存在するか否かを示す情報）は、ステップＳ１８０６で原稿テキストオブジェクトを画像化文書データに埋め込んだ否かに基づき設定される。即ち、原稿テキストオブジェクトを画像化文書データに埋め込んだ場合、実在情報９１３は、テキストオブジェクトが文書データに存在することを示す値となる。一方、原稿テキストオブジェクトを画像化文書データに埋め込まなかった場合、実在情報９１３は、テキストオブジェクトが文書データに存在しないことを示す値となる。

【0087】

ステップＳ１８０８において、編集部２０２は、テキストオブジェクトのうちの注釈オブジェクトが画像化文書データに埋め込まれるか否かを示す情報（注釈埋め込み１７０３）に基づき、注目テキストオブジェクトを画像化文書データに埋め込むかを判定する。ステップＳ１８０８の判定の結果が真の場合、ステップＳ１８０９に進む一方、該判定の結果が偽の場合、ステップＳ１８１０に進む。

【0088】

ステップＳ１８０９において、編集部２０２は、ステップＳ１２０８と同様の処理、即ち、注目テキストオブジェクト（本ステップでは注釈テキストオブジェクト）を画像化文書データに挿入する埋め込み処理を実行する。

【0089】

ステップＳ１８１０において、編集部２０２は、ステップＳ１２０９と同様の処理、即ち、画像化文書データに対応する文書検索用情報１７００を更新する。このとき、種類９１０（注目テキストオブジェクトの種類を示す情報）は、注釈オブジェクトであることを示す値に設定される。また、実在情報９１３は、ステップＳ１８０９で注釈テキストオブジェクトを画像化文書データに埋め込んだ否かに基づき設定される。即ち、注釈テキストオブジェクトを画像化文書データに埋め込んだ場合、実在情報９１３は、テキストオブジェクトが文書データに存在することを示す値となる。一方、注釈テキストオブジェクトを画像化文書データに埋め込まなかった場合、実在情報９１３は、テキストオブジェクトが文書データに存在しないことを示す値となる。

【0090】

本実施例により、文書データの画像化の際、文書画像において表示される文字列を用いた検索を可能にするか否か、および、検索可能とした場合に、画像化文書データに何れのテキストオブジェクトを埋め込むか、をユーザーが選択することが可能となる。

【0091】

［実施例３］
実施例１及び実施例２では、文書データの画像化処理により画像化文書データと、これに対応付けされた文書検索用情報とを作成した。本実施例では、この文書検索用情報を更新可能とする形態について説明する。

【0092】

＜文書検索用情報の更新処理について＞
図１９は、本実施例における、文書データに対する編集が行われた際の、文書検索用情報の更新処理のフローチャートである。なお、以下に示す文書検索用情報の更新処理は、例えば、文書編集装置２００のＧＵＩ画面（図３（ａ）参照）でユーザーが注釈ボタン３１１を押下し注釈を挿入することで、開始する。

【0093】

ステップＳ１９０１において、編集部２０２は、文書検索用情報５１０を取得する。

【0094】

ステップＳ１９０２において、編集部２０２は、ステップＳ１９０１で取得した文書検索用情報５１０の画像化情報９０１を取得する。

【0095】

ステップＳ１９０３において、編集部２０２は、ステップＳ１９０２で取得した画像化情報９０１に基づき、処理対象の文書データが画像化されているかを判定する。ステップＳ１９０３の判定の結果が真の場合、ステップＳ１９０４に進む一方、該判定の結果が偽の場合、一連の処理は終了する。

【0096】

ステップＳ１９０４において、編集部２０２は、編集対象ページのページ番号を取得する。

【0097】

ステップＳ１９０５において、編集部２０２は、編集情報を取得する。ここで編集情報とは、編集の内容がページの削除、或いは、ページの追加であるかを示す情報と、表示される文字列（以下、表示文字列）の変更に関する情報とを含む。表示文字列の変更に関する情報とは、編集により表示文字列が追加、或いは、削除されたかを示す情報と、変更された表示文字列そのものとを含む。

【0098】

ステップＳ１９０６において、編集部２０２は、ステップＳ１９０５で取得した編集情報に基づき、編集の内容がページの削除であるかを判定する。ステップＳ１９０６の判定の結果が真の場合、ステップＳ１９０７に進む一方、該判定の結果が偽の場合、ステップＳ１９０８に進む。

【0099】

以下、編集の内容がページの削除である場合（ステップＳ１９０６でＹＥＳの場合）について説明する。ステップＳ１９０７において、編集部２０２は、ステップＳ１９０４で取得した編集対象ページ（削除したページ）のページ番号と同じページ番号を位置情報９１２として持つテキストオブジェクト情報９２０を全て、文書検索用情報５１０から削除する。次いで、ステップＳ１９１６に進む。

【0100】

ステップＳ１９１６において、編集部２０２は、編集対象ページより後のページに存在するテキストオブジェクトに関するテキストオブジェクト情報９２０、具体的には位置情報９１２を更新する。例えば、あるテキストオブジェクトに関するテキストオブジェクト情報９２０の位置情報９１２であるページ番号が３であって、かつ、編集により２ページ目が削除されたような場合、該ページ番号を３から２に更新する。

【0101】

次に、編集の内容がページの削除ではない場合（ステップＳ１９０６でＮＯの場合）について説明する。ステップＳ１９０８において、編集部２０２は、ステップＳ１９０５で取得した編集情報に基づき、編集の内容がページの追加であるかを判定する。ステップＳ１９０８の判定の結果が真の場合、ステップＳ１９１３に進む一方、該判定の結果が偽の場合、ステップＳ１９０９に進む。

【0102】

以下、編集の内容がページの追加である場合（ステップＳ１９０８でＹＥＳの場合）について説明する。ステップＳ１９１３において、編集部２０２は、編集で追加されたページに存在するテキストオブジェクトのテキストオブジェクト情報を取得する。

【0103】

ステップＳ１９１４において、編集部２０２は、ステップＳ１９１３で取得したテキストオブジェクト情報を用いて、文書検索用情報５１０を更新する。具体的には、編集で追加されたページに存在する各テキストオブジェクトに対応するテキストオブジェクト情報９２０（文字列９１１等）を、文書検索用情報５１０に追加する。

【0104】

ステップＳ１９１５において、編集部２０２は、編集対象ページより後のページに存在するテキストオブジェクトに関するテキストオブジェクト情報９２０、具体的には位置情報９１２を更新する。例えば、あるテキストオブジェクトに関するテキストオブジェクト情報９２０の位置情報９１２であるページ番号が３であって、かつ、編集により２ページ目が追加されたような場合、該ページ番号を３から４に更新する。

【0105】

次に、編集の内容がページの追加ではない場合（ステップＳ１９０８でＮＯの場合）について説明する。ステップＳ１９０９において、編集部２０２は、ステップＳ１９０５で取得した編集情報に基づき、表示文字列が追加されたかを判定する。ステップＳ１９０９の判定の結果が真の場合、ステップＳ１９１２に進む一方、該判定の結果が偽の場合、ステップＳ１９１０に進む。

【0106】

ステップＳ１９１２において、編集部２０２は、追加された表示文字列を文字列９１１として持つテキストオブジェクト情報９２０を、文書検索用情報５１０に追加する。

【0107】

ステップＳ１９１０において、編集部２０２は、ステップＳ１９０５で取得した編集情報に基づき、表示文字列が削除されたかを判定する。ステップＳ１９１０の判定の結果が真の場合、ステップＳ１９１１に進む一方、該判定の結果が偽の場合、一連の処理は終了する。

【0108】

ステップＳ１９１１において、編集部２０２は、削除された表示文字列を文字列９１１として持つテキストオブジェクト情報９２０を、文書検索用情報５１０から削除する。

【0109】

本実施例により、文書の編集内容に応じて文書検索用情報５１０を更新することが可能となり、文書データの画像化処理により作成された画像化文書データが編集された場合に、該編集された画像化文書データについても、表示文字列を用いた検索が可能となる。なお、上述の説明では、本実施例を実施例１に適用する場合を説明しているが、本実施例は実施例２に適用することもできる。

【0110】

［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0111】

１０・・・ＰＣ
２０２・・・編集部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】