特許 6171807 文書データ処理システム、文書データ処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6171807

(24)【登録日】2017年7月14日

(45)【発行日】2017年8月2日

(54)【発明の名称】文書データ処理システム、文書データ処理プログラム

(51)【国際特許分類】

   G06F 17/30 20060101AFI20170724BHJP

【ＦＩ】

   G06F17/30 220B

   G06F17/30 170B

【請求項の数】10

【全頁数】14

(21)【出願番号】特願2013-207085(P2013-207085)

(22)【出願日】2013年10月2日

(65)【公開番号】特開2015-72545(P2015-72545A)

(43)【公開日】2015年4月16日

【審査請求日】2016年5月24日

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士ゼロックス株式会社

(74)【代理人】

【識別番号】110000154

【氏名又は名称】特許業務法人はるか国際特許事務所

(72)【発明者】

【氏名】林 栄作

【審査官】 樋口 龍弥

(56)【参考文献】

【文献】 特開平０５−１０１０３９（ＪＰ，Ａ）

【文献】 特開２００７−２２６７６９（ＪＰ，Ａ）

【文献】 特開２０１１−０２８５０３（ＪＰ，Ａ）

【文献】 特開２００５−２９３３５１（ＪＰ，Ａ）

【文献】 特開２０１３−０６９００８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １７／３０

(57)【特許請求の範囲】

【請求項1】

電子文書データを取得する電子文書データ取得手段と、
前記電子文書データに基づいて、前記電子文書データに含まれる画像を表す画像領域を特定する領域特定手段と、
前記電子文書データに基づいて、前記電子文書データが表す文書の文書構造を取得する文書構造取得手段と、
前記画像の前記文書構造における位置に関する構造位置情報を取得する構造位置情報取得手段と、
前記画像を識別する画像識別情報と、前記取得された構造位置情報とを関連付けたメタ情報を生成するメタ情報生成手段と、
を含むことを特徴とする文書データ処理システムであって、
前記文書データ処理システムは、更に、前記電子文書データに基づいて、前記文書の１ページにおける画像領域の位置を表す画像位置情報を取得する画像位置情報取得手段を含み、
前記メタ情報生成手段は、更に、前記画像位置情報を関連付けた前記メタ情報を生成することを特徴とする文書データ処理システム。

【請求項2】

電子文書データを取得する電子文書データ取得手段と、
前記電子文書データに基づいて、前記電子文書データに含まれる画像を表す画像領域を特定する領域特定手段と、
前記電子文書データに基づいて、前記電子文書データが表す文書の文書構造を取得する文書構造取得手段と、
前記画像の前記文書構造における位置に関する構造位置情報を取得する構造位置情報取得手段と、
前記画像を識別する画像識別情報と、前記取得された構造位置情報とを関連付けたメタ情報を生成するメタ情報生成手段と、
を含むことを特徴とする文書データ処理システムであって、
前記文書データ処理システムは、更に、前記画像領域に隣接する前記画像のキャプションを表す文字領域がある場合には、前記文字領域に含まれるテキスト情報に応じた情報を関連文書情報として取得する関連文書情報取得手段を含み、
前記メタ情報生成手段は、更に、前記関連文書情報を関連付けた前記メタ情報を生成することを特徴とする文書データ処理システム。

【請求項3】

電子文書データを取得する電子文書データ取得手段と、
前記電子文書データに基づいて、前記電子文書データに含まれる画像を表す画像領域を特定する領域特定手段と、
前記電子文書データに基づいて、前記電子文書データが表す文書の文書構造を取得する文書構造取得手段と、
前記画像の前記文書構造における位置に関する構造位置情報を取得する構造位置情報取得手段と、
前記画像を識別する画像識別情報と、前記取得された構造位置情報とを関連付けたメタ情報を生成するメタ情報生成手段と、
を含むことを特徴とする文書データ処理システムであって、
前記文書データ処理システムは、更に、前記画像領域における画像の特性を表す特性情報取得手段を含み、
前記メタ情報生成手段は、更に、前記特性情報を関連付けた前記メタ情報を生成することを特徴とする文書データ処理システム。

【請求項4】

電子文書データを取得する電子文書データ取得手段と、
前記電子文書データに基づいて、前記電子文書データに含まれる画像を表す画像領域を特定する領域特定手段と、
前記電子文書データに基づいて、前記電子文書データが表す文書の文書構造を取得する文書構造取得手段と、
前記画像の前記文書構造における位置に関する構造位置情報を取得する構造位置情報取得手段と、
前記画像を識別する画像識別情報と、前記取得された構造位置情報とを関連付けたメタ情報を生成するメタ情報生成手段と、
を含むことを特徴とする文書データ処理システムであって、
前記画像を検索するための検索情報を取得する検索情報取得手段と、
前記検索情報及び前記メタ情報に基づいて、前記画像を検索する検索手段と、
前記検索手段の検索結果を表す検索結果情報を生成する検索結果情報生成手段と、
をさらに含むことを特徴とする文書データ処理システム。

【請求項5】

前記メタ情報生成手段は、更に、前記画像を含む文書のページ番号を表すページ識別情報を関連付けた前記メタ情報を生成し、
前記検索手段は、前記検索情報及び前記メタ情報に基づいて、前記メタ情報の一部と類似する検索情報を含むメタ情報に含まれるページ識別情報を取得し、
前記検索結果情報生成手段は、前記ページ識別情報で識別されるページの前記電子文書データを表示する前記検索結果情報を生成する、
ことを特徴とする請求項４に記載の文書データ処理システム。

【請求項6】

前記画像を検索するための検索情報を取得する検索情報取得手段と、
前記検索情報及び前記メタ情報に基づいて、前記画像を検索する検索手段と、
前記検索手段の検索結果に基づいて前記画像位置情報に応じた情報を含む前記検索結果情報を生成する検索結果情報生成手段と、
を含むことを特徴とする請求項１に記載の文書データ処理システム。

【請求項7】

電子文書データを取得する電子文書データ取得手段、
前記電子文書データに基づいて、前記電子文書データに含まれる画像を表す画像領域を特定する領域特定手段、
前記電子文書データに基づいて、前記電子文書データが表す文書の文書構造を取得する文書構造取得手段、
前記画像の前記文書構造における位置に関する構造位置情報を取得する構造位置情報取得手段、
前記画像を識別する画像識別情報と、前記取得された構造位置情報とを関連付けたメタ情報を生成するメタ情報生成手段、及び、
前記電子文書データに基づいて、前記文書の１ページにおける画像領域の位置を表す画像位置情報を取得する画像位置情報取得手段、
としてコンピュータシステムを機能させるための文書データ処理プログラムであって、
前記メタ情報生成手段は、更に、前記画像位置情報を関連付けた前記メタ情報を生成することを特徴とする文書データ処理プログラム。

【請求項8】

電子文書データを取得する電子文書データ取得手段、
前記電子文書データに基づいて、前記電子文書データに含まれる画像を表す画像領域を特定する領域特定手段、
前記電子文書データに基づいて、前記電子文書データが表す文書の文書構造を取得する文書構造取得手段、
前記画像の前記文書構造における位置に関する構造位置情報を取得する構造位置情報取得手段、
前記画像を識別する画像識別情報と、前記取得された構造位置情報とを関連付けたメタ情報を生成するメタ情報生成手段、及び、
前記画像領域に隣接する前記画像のキャプションを表す文字領域がある場合には、前記文字領域に含まれるテキスト情報に応じた情報を関連文書情報として取得する関連文書情報取得手段、
としてコンピュータシステムを機能させるための文書データ処理プログラムであって、
前記メタ情報生成手段は、更に、前記関連文書情報を関連付けた前記メタ情報を生成することを特徴とする文書データ処理プログラム。

【請求項9】

電子文書データを取得する電子文書データ取得手段、
前記電子文書データに基づいて、前記電子文書データに含まれる画像を表す画像領域を特定する領域特定手段、
前記電子文書データに基づいて、前記電子文書データが表す文書の文書構造を取得する文書構造取得手段、
前記画像の前記文書構造における位置に関する構造位置情報を取得する構造位置情報取得手段、
前記画像を識別する画像識別情報と、前記取得された構造位置情報とを関連付けたメタ情報を生成するメタ情報生成手段、及び、
前記画像領域における画像の特性を表す特性情報取得手段、
としてコンピュータシステムを機能させるための文書データ処理プログラムであって、
前記メタ情報生成手段は、更に、前記特性情報を関連付けた前記メタ情報を生成することを特徴とする文書データ処理プログラム。

【請求項10】

電子文書データを取得する電子文書データ取得手段、
前記電子文書データに基づいて、前記電子文書データに含まれる画像を表す画像領域を特定する領域特定手段、
前記電子文書データに基づいて、前記電子文書データが表す文書の文書構造を取得する文書構造取得手段、
前記画像の前記文書構造における位置に関する構造位置情報を取得する構造位置情報取得手段、
前記画像を識別する画像識別情報と、前記取得された構造位置情報とを関連付けたメタ情報を生成するメタ情報生成手段、
前記画像を検索するための検索情報を取得する検索情報取得手段、
前記検索情報及び前記メタ情報に基づいて、前記画像を検索する検索手段、
前記検索手段の検索結果を表す検索結果情報を生成する検索結果情報生成手段、
としてコンピュータシステムを機能させるための文書データ処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、文書データ処理システム、文書データ処理プログラムに関する。

【背景技術】

【0002】

図、表、写真等の画像情報と文字情報が含まれる電子データから所望の画像を検索する検索装置が知られている。例えば、下記特許文献１には、画像領域と文字領域との距離に基づいて、文字領域におけるキャプション領域の文字列や、文字領域における画像が存在する方向や位置を示す指示語を、当該画像と関連付けてキーセンテンスとして抽出し、当該キーセンテンスに基づいて所望の画像を検索する検索装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平１１−２５１１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、電子文書データからより効率的に所望の画像を検索するための文書データ処理システム、文書データ処理プログラムを実現する。

【課題を解決するための手段】

【0005】

請求項１に記載の文書データ処理システムは、電子文書データを取得する電子文書データ取得手段と、前記電子文書データに基づいて、前記電子文書データに含まれる画像を表す画像領域を特定する領域特定手段と、前記電子文書データに基づいて、前記電子文書データが表す文書の文書構造を取得する文書構造取得手段と、前記画像の前記文書構造における位置に関する構造位置情報を取得する構造位置情報取得手段と、前記画像を識別する画像識別情報と、前記取得された構造位置情報とを関連付けたメタ情報を生成するメタ情報生成手段と、を含むことを特徴とする文書データ処理システムであって、前記文書データ処理システムは、更に、前記電子文書データに基づいて、前記文書の１ページにおける画像領域の位置を表す画像位置情報を取得する画像位置情報取得手段を含み、前記メタ情報生成手段は、更に、前記画像位置情報を関連付けた前記メタ情報を生成することを特徴とする。

【0007】

請求項２に記載の文書データ処理システムは、電子文書データを取得する電子文書データ取得手段と、前記電子文書データに基づいて、前記電子文書データに含まれる画像を表す画像領域を特定する領域特定手段と、前記電子文書データに基づいて、前記電子文書データが表す文書の文書構造を取得する文書構造取得手段と、前記画像の前記文書構造における位置に関する構造位置情報を取得する構造位置情報取得手段と、前記画像を識別する画像識別情報と、前記取得された構造位置情報とを関連付けたメタ情報を生成するメタ情報生成手段と、を含むことを特徴とする文書データ処理システムであって、前記文書データ処理システムは、更に、前記画像領域に隣接する前記画像のキャプションを表す文字領域がある場合には、前記文字領域に含まれるテキスト情報に応じた情報を関連文書情報として取得する関連文書情報取得手段を含み、前記メタ情報生成手段は、更に、前記関連文書情報を関連付けた前記メタ情報を生成することを特徴とする。

【0008】

請求項３に記載の文書データ処理システムは、電子文書データを取得する電子文書データ取得手段と、前記電子文書データに基づいて、前記電子文書データに含まれる画像を表す画像領域を特定する領域特定手段と、前記電子文書データに基づいて、前記電子文書データが表す文書の文書構造を取得する文書構造取得手段と、前記画像の前記文書構造における位置に関する構造位置情報を取得する構造位置情報取得手段と、前記画像を識別する画像識別情報と、前記取得された構造位置情報とを関連付けたメタ情報を生成するメタ情報生成手段と、を含むことを特徴とする文書データ処理システムであって、前記文書データ処理システムは、更に、前記画像領域における画像の特性を表す特性情報取得手段を含み、前記メタ情報生成手段は、更に、前記特性情報を関連付けた前記メタ情報を生成することを特徴とする。

【0009】

請求項４に記載の文書データ処理システムは、電子文書データを取得する電子文書データ取得手段と、前記電子文書データに基づいて、前記電子文書データに含まれる画像を表す画像領域を特定する領域特定手段と、前記電子文書データに基づいて、前記電子文書データが表す文書の文書構造を取得する文書構造取得手段と、前記画像の前記文書構造における位置に関する構造位置情報を取得する構造位置情報取得手段と、前記画像を識別する画像識別情報と、前記取得された構造位置情報とを関連付けたメタ情報を生成するメタ情報生成手段と、を含むことを特徴とする文書データ処理システムであって、前記画像を検索するための検索情報を取得する検索情報取得手段と、前記検索情報及び前記メタ情報に基づいて、前記画像を検索する検索手段と、前記検索手段の検索結果を表す検索結果情報を生成する検索結果情報生成手段と、をさらに含むことを特徴とする。

【0010】

請求項５に記載の文書データ処理システムは、請求項４に記載の文書データ処理システムにおいて、前記メタ情報生成手段は、更に、前記画像を含む文書のページ番号を表すページ識別情報を関連付けた前記メタ情報を生成し、前記検索手段は、前記検索情報及び前記メタ情報に基づいて、前記メタ情報の一部と類似する検索情報を含むメタ情報に含まれるページ識別情報を取得し、前記検索結果情報生成手段は、前記ページ識別情報で識別されるページの前記電子文書データを表示する前記検索結果情報を生成する、ことを特徴とする。

【0011】

請求項６に記載の文書データ処理システムは、請求項１に記載の文書データ処理システムにおいて、前記画像を検索するための検索情報を取得する検索情報取得手段と、前記検索情報及び前記メタ情報に基づいて、前記画像を検索する検索手段と、前記検索手段の検索結果に基づいて前記画像位置情報に応じた情報を含む前記検索結果情報を生成する検索結果情報生成手段と、を含むことを特徴とする。

【0012】

請求項７に記載の文書データ処理プログラムは、電子文書データを取得する電子文書データ取得手段、前記電子文書データに基づいて、前記電子文書データに含まれる画像を表す画像領域を特定する領域特定手段、前記電子文書データに基づいて、前記電子文書データが表す文書の文書構造を取得する文書構造取得手段、前記画像の前記文書構造における位置に関する構造位置情報を取得する構造位置情報取得手段、前記画像を識別する画像識別情報と、前記取得された構造位置情報とを関連付けたメタ情報を生成するメタ情報生成手段、及び、前記電子文書データに基づいて、前記文書の１ページにおける画像領域の位置を表す画像位置情報を取得する画像位置情報取得手段、としてコンピュータシステムを機能させるための文書データ処理プログラムであって、前記メタ情報生成手段は、更に、前記画像位置情報を関連付けた前記メタ情報を生成することを特徴とする。
請求項８に記載の文書データ処理プログラムは、電子文書データを取得する電子文書データ取得手段、前記電子文書データに基づいて、前記電子文書データに含まれる画像を表す画像領域を特定する領域特定手段、前記電子文書データに基づいて、前記電子文書データが表す文書の文書構造を取得する文書構造取得手段、前記画像の前記文書構造における位置に関する構造位置情報を取得する構造位置情報取得手段、前記画像を識別する画像識別情報と、前記取得された構造位置情報とを関連付けたメタ情報を生成するメタ情報生成手段、及び、前記画像領域に隣接する前記画像のキャプションを表す文字領域がある場合には、前記文字領域に含まれるテキスト情報に応じた情報を関連文書情報として取得する関連文書情報取得手段、としてコンピュータシステムを機能させるための文書データ処理プログラムであって、前記メタ情報生成手段は、更に、前記関連文書情報を関連付けた前記メタ情報を生成することを特徴とする。
請求項９に記載の文書データ処理プログラムは、電子文書データを取得する電子文書データ取得手段、前記電子文書データに基づいて、前記電子文書データに含まれる画像を表す画像領域を特定する領域特定手段、前記電子文書データに基づいて、前記電子文書データが表す文書の文書構造を取得する文書構造取得手段、前記画像の前記文書構造における位置に関する構造位置情報を取得する構造位置情報取得手段、前記画像を識別する画像識別情報と、前記取得された構造位置情報とを関連付けたメタ情報を生成するメタ情報生成手段、及び、前記画像領域における画像の特性を表す特性情報取得手段、としてコンピュータシステムを機能させるための文書データ処理プログラムであって、前記メタ情報生成手段は、更に、前記特性情報を関連付けた前記メタ情報を生成することを特徴とする。
請求項１０に記載の文書データ処理プログラムは、電子文書データを取得する電子文書データ取得手段、前記電子文書データに基づいて、前記電子文書データに含まれる画像を表す画像領域を特定する領域特定手段、前記電子文書データに基づいて、前記電子文書データが表す文書の文書構造を取得する文書構造取得手段、前記画像の前記文書構造における位置に関する構造位置情報を取得する構造位置情報取得手段、前記画像を識別する画像識別情報と、前記取得された構造位置情報とを関連付けたメタ情報を生成するメタ情報生成手段、前記画像を検索するための検索情報を取得する検索情報取得手段、前記検索情報及び前記メタ情報に基づいて、前記画像を検索する検索手段、前記検索手段の検索結果を表す検索結果情報を生成する検索結果情報生成手段、としてコンピュータシステムを機能させるための文書データ処理プログラムであることを特徴とする。

【発明の効果】

【0013】

請求項１、７の発明によれば、文書構造の位置に関する構造位置情報に基づく画像のメタ情報が生成され、更に、文書の１ページにおける画像の位置に基づく画像のメタ情報が生成される。

【0015】

請求項２、８の発明によれば、文書構造の位置に関する構造位置情報に基づく画像のメタ情報が生成され、更に、画像のキャプションに基づく画像のメタ情報が生成される。

【0016】

請求項３、９の発明によれば、文書構造の位置に関する構造位置情報に基づく画像のメタ情報が生成され、更に、画像の特性に基づく画像のメタ情報が生成される。

【0017】

請求項４、５、１０の発明によれば、文書構造の位置に関する構造位置情報に基づく画像のメタ情報が生成され、更に、上記画像のメタ情報に基づいて、当該画像が検索される。

【0018】

請求項６の発明によれば、画像のメタ情報に基づいて画像が検索されるとともに、検索された画像の文書の１ページにおける画像の位置を表す検索結果画像情報が生成される。

【図面の簡単な説明】

【0019】

【図1】文書データ処理システムのハードウェア構成の概要を示す図である。

【図2】図１に示したサーバの機能的構成の一例について説明するための図である。

【図3】電子文書データの一例を示す図である。

【図4】文書領域及び画像領域が特定された様子を示す図である。

【図5】文書構造取得部により取得された文書構造の概念図である。

【図6】メタ情報の一例を示す図である。

【図7】メタ情報生成処理についてのフローの一例を示す図である。

【図8】検索処理についてのフローの一例を示す図である。

【発明を実施するための形態】

【0020】

以下、本発明の実施形態について、図面を参照しつつ説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。

【0021】

図１は、本発明の文書データ処理システムのハードウェア構成の概要について説明するための図である。図１に示すように、文書データ処理システム１００は、ネットワーク１３０（例えば、インターネット）を介して接続されたサーバ１１０及び端末１２０を有する。なお、図１においては、文書データ処理システム１００は、１の端末１２０のみを有しているが、その他複数の端末１２０を有してもよいし、その他スキャナやコピー機能を有するいわゆる複合機（図示なし）を含むように構成してもよい。

【0022】

サーバ１１０は、制御部１１１、記憶部１１２、通信部１１３を含む。制御部１１１は、例えば、ＣＰＵ等であって、記憶部１１２に格納されたプログラムに従って動作する。記憶部１１２は、例えば、ハードディスクやＲＯＭやＲＡＭ等の情報記録媒体で構成され、制御部１１１によって実行されるプログラムを保持する情報記録媒体である。また、記憶部１１２は、制御部１１１のワークメモリとしても動作する。

【0023】

通信部１１３は、ネットワークインターフェースであって、制御部１１１からの指示に応じて、ネットワーク１３０を介して、情報を送受信する。なお、制御部１１１、記憶部１１２、通信部１１３は、それぞれ、バス１１４を介して接続される。

【0024】

端末１２０は、制御部１２１、通信部１２２、記憶部１２３、表示部１２４、操作部１２５を含む。同様に、各部１２０乃至１２５は、バス１２６を介して接続される。上述したサーバ１１０と同様に、制御部１２１は、例えば、ＣＰＵであって、記憶部１１２に格納されたプログラムに従って動作する。記憶部１２３は、例えば、ハードディスクやＲＯＭやＲＡＭ等の情報記録媒体で構成され、制御部１２１によって実行されるプログラムを保持する情報記録媒体である。また、記憶部１２３は、制御部１２１のワークメモリとしても動作する。

【0025】

操作部１２５は、例えば、キーボード、マウス、ボタン等のインターフェースで構成され、ユーザの指示操作に応じて、当該指示操作の内容を制御部１２１に出力する。表示部１２４は、例えば、液晶ディスプレイ、ＣＲＴディスプレイ、または有機ＥＬディスプレイ等であって、制御部１２１からの指示に従い、情報を表示する。

【0026】

なお、上記制御部１１１及び１２１で処理されるプログラムは、例えば、ネットワーク１３０を介して、ダウンロードされて提供されてもよいし、または、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータで読み取り可能な各種の情報記録媒体によって提供されてもよい。また、上記サーバ１１０や端末１２０の構成は一例であってこれに限定されるものではない。更に、上記においては、文書データ処理システム１００がいわゆるサーバ・クライアントシステムで構成される場合について説明したが、本実施の形態はこれに限定されるものではなく、いわゆるクラウド技術を用いて構成してもよいし、１のコンピュータで構成してもよい。

【0027】

次に本実施の形態における文書データ処理システム１００の機能的構成について説明する。図２は、図１に示したサーバの機能的構成の一例について説明するための図である。図２に示すように、サーバ１１０は、電子文書データ取得部２０１、電子文書データ記憶部２０２、領域特定部２０３、文字認識部２０４、文書構造取得部２０５、構造位置情報取得部２０６、関連文書情報取得部２０７、画像位置情報取得部２０８、特性情報取得部２０９、メタ情報生成部２１０、メタ情報記憶部２１１、検索情報取得部２１２、検索部２１３、検索結果情報生成部２１４を含む。

【0028】

なお、説明の簡略化のため、下記においては、電子文書データの表す特定の１ページが図３に示した場合を例として説明する。また、理解の容易化のため、下記においては、まず、画像に関連付けられるメタ情報の生成についての機能的構成について説明する。

【0029】

電子文書データ取得部２０１は、電子文書データを取得する。具体的には、例えば、スキャナ（図示なし）で取得された画像情報としての電子文書データをネットワーク１３０を介して取得してもよいし、端末１２０を用いて文書作成ソフト等により作成された当初から電子化された電子文書データを取得してもよい。なお、下記においては、電子文書データが前者の場合を例として説明する。また、電子文書データ記憶部２０２は、電子文書データ取得部２０１により取得された電子文書データを記憶する。

【0030】

領域特定部２０３は、電子文書データにおける画像を表す画像領域と文書を表す文書領域を特定する。具体的には、例えば、図４に示すように、領域特定部２０３は、図３に示した電子文書データに１ページを表す画像情報に含まれる画像領域及び文書領域を特定する。なお、図４においては、領域特定部２０３により特定された画像領域及び文書領域をそれぞれ実線及び点線の矩形領域で表す。

【0031】

文字認識部２０４は、領域特定部２０３が特定した文字領域中の文書の文字認識（テキスト認識）を行う。具体的には、例えば、図４に示した文字領域中の「タイトル」、「第１章はじめに」、「第１節かきくけこ」等を文字認識する。

【0032】

文書構造取得部２０５は、例えば、文字領域における文字のレイアウトや文書内容等に基づいて、文書の文書構造を取得する。具体的には、例えば、図４に示した、「第１章はじめに」「第１節かきくけこ」等、「章、節、小節」等により階層化された文書の文書構造を取得する。なお、取得された文書構造の概念図を図５に示す。

【0033】

構造位置情報取得部２０６は、文書構造における領域特定部２０３により特定された画像の位置に関する構造位置情報を取得する。具体的には、例えば、文書における画像の位置及び文書構造の見出し位置に基づいて、取得された文書構造における画像の位置情報を取得する。具体的には、例えば、図４に示した場合、グラフを表す画像については、「第１節あいうえお」と「第２節かきくけこ」との間に位置しているので、当該画像は、文書構造において「第１節あいうえお」に位置することを表す構造位置情報を取得する。なお、この場合の様子を図５に示す。なお、上記においては、文書構造のうち第１節、第２節等の階層を基準として構造位置情報を取得する場合について説明したが、その他の階層（例えば、第１章、第２−１節等）、または、複数の階層の組み合わせに基づく構造位置情報を取得するように構成してもよい。

【0034】

関連文書情報取得部２０７は、画像に隣接する領域にキャプションを表す文字領域がある場合に、当該文字領域に含まれるテキスト情報に応じた情報を関連文書情報として取得する。なお、キャプションを表す領域であるか否かは、例えば、画像との距離や、キャプションを表す文字領域の大きさ等に基づいて判定するが、周知であるので詳細な説明は省略する。例えば、図４に示した場合、関連文書情報取得部２０７は、グラフを表す画像にキャプションとして「図１」が存在するので、当該「図１」を関連文書情報として取得する。

【0035】

画像位置情報取得部２０８は、１ページにおける画像の位置を表す画像位置情報を取得する。具体的には、例えば、画像位置情報取得部２０８は、右、左、上、下など、文書の１ページの中心位置に対する画像の相対位置を表す画像位置情報を取得する。例えば、図４に示した場合、グラフを表す画像は当該中心位置より、「左」に位置しているので、当該「左」を画像位置情報として取得する。なお、上記画像位置情報は、例えば、文書の１ページに含まれる画像間の関係に基づいて取得されるように構成してもよい。例えば、図４に示した場合、グラフは図（図４においてそれぞれ点線で示す）に対して左に位置し、図はグラフに対して右に位置しているので、グラフの画像位置情報として左を取得する等である。また、更に、右上、左上等の更に詳細な画像位置情報を取得するように構成するなど、１ページ内の画像の位置に関する限り、種々の変形を行ってもよい。

【0036】

特性情報取得部２０９は、特定された各画像の特性を表す特性情報を取得する。ここで、画像の特性としては、例えば、グラフ、写真、または図が相当する。なお、画像の特性の判定については、パターンマッチング等の技術を用いればよいが、周知であるので、説明を省略する。

【0037】

メタ情報生成部２１０は、特定された画像領域（画像）を識別する画像ＩＤ（識別情報）毎に、上記のように取得された関連文書情報、画像位置情報、特性情報、及び、文書中のページを表すページＩＤを関連付けたメタ情報を生成する。例えば、図６は、図４に示したグラフの画像（画像ＩＤ：Ｐ１で識別されるものとする）について、関連文書情報：図１、構造位置情報：あいうえお、画像位置情報：左、特性情報：グラフが関連付けられたメタ情報等を示す。なお、上記各部の処理は、例えば、１ページ毎に繰り返し行われる。また、メタ情報記憶部２１１は、メタ情報記憶部２１１により生成されたメタ情報を記憶する。なお、ページＩＤ（識別情報）については、例えば、電子文書データに含まれるページ番号を利用してもよいし、文字認識で認識するように構成してもよいし、１ページ毎に上記処理を繰り返す過程において取得されるように構成してもよい。

【0038】

次に、文書データ処理システム１００の検索についての処理に関する機能的構成について説明する。

【0039】

検索情報取得部２１２は、画像の検索に関する検索情報を取得する。ここで、検索情報とは、例えば、上記関連文書情報、画像位置情報、特性情報、画像の名称に関する情報であって、文書の１ページ内における位置、画像の属する文書構造における構造位置等を表す文字情報に相当する。そして、当該検索情報は、例えば、ユーザが、使用する端末１２０を用いて、自己の記憶に基づいて入力する。具体的には、例えば、メタ情報に含まれる上記関連文書情報、画像位置情報、特性情報毎に検索情報をユーザが入力する。なお、下記においては、理解の容易化のため、主に、図６に示したメタ情報が記憶され、検索情報として、検索情報取得部２１２が、「グラフ」「左」を取得する場合を例として説明する。

【0040】

検索部２１３は、検索情報及びメタ情報に基づいて、前記画像を検索する。具体的には、例えば、検索部２１３は、上記検索情報の全部または一部と一致または類似する情報が含まれるメタ情報のページＩＤを特定する。上記例の場合、「グラフ」「左」に関連付けられているページＩＤ：１を特定する。

【0041】

検索結果情報生成部２１４は、前記検索部２１３の検索結果に応じた検索結果を表す検索結果情報を生成する。具体的には、例えば、電子文書データ記憶部２０２から電子文書データを取得し、当該ページに相当する電子文書データを表示する検索結果情報を生成する。これにより、検索情報に応じた画像を含む検索結果情報が生成される。なお、検索結果情報生成部２１４は、上記検索された画像のメタ情報の一部または全部に応じた情報を含む検索結果情報を生成するように構成してもよい。具体的には、例えば、画像位置情報に対応する検索情報として「左」が取得されている場合には、「１ページ目左にあった図」のような１ページ内における画像の位置を表す検索結果情報を生成するように構成してもよい。そして、生成された検索結果情報は端末１２０に送信され、端末１２０は当該検索結果情報を表示する。

【0042】

なお、上記文書データ処理システム１００の機能的構成は一例であって、本実施の形態はこれに限定されるものではない。例えば、上記においては、主に、階層化されていない画像情報としての電子文書データを取得する場合について説明したが、例えば、特定のソフトウェアなどにより作成され既に構造化された電子文書の電子文書データを取得した場合には、当該電子文書データに含まれる情報を用いて、上記文書構造の取得や文字認識等を行うように構成する方が望ましい。

【0043】

次に、本実施の形態における文書データ処理システム１００のフローについて説明する。まず、図７を用いて、文書データ処理システム１００の各画像に関連付けられるメタ情報の生成のフローについて説明する。なお、下記においては、一例として、電子文書データがスキャナで読み取られた画像情報としてのデータである場合について説明する。

【0044】

図７に示すように、まず、スキャナで文書を光学的に読み取り、電子文書データに変換する（Ｓ１０１）。電子文書データ取得部２０１は、電子文書データを取得する（Ｓ１０２）。電子文書データ記憶部２０２は、電子文書データ取得部２０１により取得された電子文書データを記憶する（Ｓ１０３）。

【0045】

領域特定部２０３は、電子文書データにおける画像を表す画像領域と文書を表す文書領域を特定する（Ｓ１０４）。文字認識部２０４は、領域特定部２０３が特定した文字領域中の文書の文字認識（テキスト認識）を行う（Ｓ１０５）。文書構造取得部２０５は、文字領域における文字のレイアウトや文書内容等に基づいて、当該文書の文書構造を取得する（Ｓ１０６）。構造位置情報取得部２０６は、文書構造における領域特定部２０３により特定された画像の位置を表す構造位置情報を取得する（Ｓ１０７）。関連文書情報取得部２０７は、画像に隣接する領域にキャプションを表す文字領域がある場合に、当該文字領域に含まれるテキスト情報を、関連文書情報として取得する（Ｓ１０８）。

【0046】

画像位置情報取得部２０８は、当該文書の１ページにおける画像の位置を表す画像位置情報を取得する（Ｓ１０９）。特性情報取得部２０９は、特定された各画像の特性を表す特性情報を取得する（Ｓ１１０）。

【0047】

メタ情報生成部２１０は、画像を識別する画像ＩＤ毎に、上記関連文書情報、画像位置情報、特性情報、及び、ページＩＤを関連付けたメタ情報を生成する（Ｓ１１１）。メタ情報記憶部２１１は、メタ情報記憶部２１１により生成されたメタ情報を記憶する（Ｓ１１２）。そして、処理を終了する。なお、上記処理は、Ｓ１０４乃至Ｓ１１２の処理は、電子文書データのページ毎に繰り返し行われる。

【0048】

次に、図８を用いて、文書データ処理システム１００の検索処理のフローについて説明する。図８は、検索処理の一例を示す図である。

【0049】

検索情報取得部２１２は、画像の検索に関する検索情報を取得する（Ｓ２０１）。検索部２１３は、検索情報及びメタ情報に基づいて、対象画像を含むページＩＤを取得する（Ｓ２０２）。検索結果情報生成部２１４は、電子文書データ記憶部２０２から電子文書データを取得し、当該ページに相当する電子文書データを表示する検索結果情報を生成する（Ｓ２０３）。生成された検索結果情報を端末１２０に送信される（Ｓ２０４）。端末１２０は当該検索結果情報を表示する（Ｓ２０５）。そして、処理を終了する。

【0050】

なお、上記情報処理システムのフローは一例であって、本実施の形態は上記に限定されるものではない。例えば、文書構造の取得、関連文書情報の取得、特性情報の取得の順序は上記に限定されるものではない。

【0051】

本発明は、上記実施の形態に限定されるものではなく、上記実施の形態で示した構成と実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えてもよい。

【0052】

例えば、上記実施形態においては、主に、関連文書情報、画像位置情報、特性情報、及び、文書中のページを表すページＩＤを関連付けたメタ情報を生成する場合について説明したが、その他画像領域中にテキスト情報を含む場合には、当該テキスト情報をメタ情報に含めてもよい。また、当該テキスト情報の画像領域における位置を表す位置情報（例えば、中央）、や当該テキスト情報の数などをメタ情報に更に含めるように構成してもよい。この場合、テキスト情報の文字の大きさがあらかじめ設定された大きさ以上の場合にのみ、メタ情報に含めるように構成してもよい。

【0053】

また、関連文書情報としては、画像のキャプションに含まれる接頭辞やコンテンツ特性に関するテキスト情報を含むように構成してもよい。ここで、接頭辞とは、例えば、「第１」などである。また、文書構造における同一階層内に複数の図がある場合には各図の番号を含むように構成してもよい。また、例えば「の図」、「の表」、「の写真」等画像の特性を表すテキスト情報がある場合には、当該テキスト情報を含むように構成してもよい。

【符号の説明】

【0054】

１００ 文書データ処理システム、１１０ サーバ、１１１ 制御部、１１２ 記憶部、１１３ 通信部、１２０ 端末、１２４ 表示部、１２５ 操作部２０１ 電子文書データ取得部、２０２ 電子文書データ記憶部、２０３ 領域特定部、２０４ 文字認識部、２０５ 文書構造取得部、２０６ 構造位置情報取得部、２０７ 関連文書情報取得部、２０８ 画像位置情報取得部、２０９特性情報取得部、２１０ メタ情報生成部、２１１ メタ情報記憶部、２１２ 検索情報取得部、２１３ 検索部、２１４ 検索結果情報生成部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】