知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-04
(45)【発行日】2023-09-12
(54)【発明の名称】画像処理装置及び画像処理プログラム
(51)【国際特許分類】
H04N 1/387 20060101AFI20230905BHJP
G06T 5/00 20060101ALI20230905BHJP
【ＦＩ】
H04N1/387 200
G06T5/00 720
【請求項の数】
2
(21)【出願番号】P 2019151203
(22)【出願日】2019-08-21
(65)【公開番号】P2021034813
(43)【公開日】2021-03-01
【審査請求日】2022-07-21
(73)【特許権者】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】100115129
【弁理士】
【氏名又は名称】清水 昇
(74)【代理人】
【識別番号】100102716
【弁理士】
【氏名又は名称】在原 元司
(74)【代理人】
【識別番号】100122275
【弁理士】
【氏名又は名称】竹居 信利
(72)【発明者】
【氏名】三須 長政
(72)【発明者】
【氏名】白木 聖二
(72)【発明者】
【氏名】宇根 清
(72)【発明者】
【氏名】辻 亮佑
(72)【発明者】
【氏名】田中 裕士郎
【審査官】花田 尚樹
(56)【参考文献】
【文献】特開２０１８－１５２７６０（ＪＰ，Ａ）
【文献】特開２０１１－０２４１１６（ＪＰ，Ａ）
【文献】特開２０１５－０６０５４０（ＪＰ，Ａ）
【文献】特開２００６－２８７６２５（ＪＰ，Ａ）
【文献】特開２０１３－１０６１１０（ＪＰ，Ａ）
【文献】特開２０１８－１３７５０９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １／３８ － １／３９３
Ｇ０６Ｔ １／００ － １／４０
３／００ － ５／５０
(57)【特許請求の範囲】
【請求項1】
プロセッサを備え、前記プロセッサは、
画像内のパンチ穴の周辺が文字である場合は、該画像内のパンチ穴に対してユーザーが文字を入力できるようにして、該文字によって該パンチ穴を修正し、
前記画像内のパンチ穴の周辺が文字以外である場合は、画像候補からユーザーが選択できるようにして、該選択された画像候補によって該パンチ穴を修正することを特徴とし、
前記パンチ穴の周辺の抽出は、該パンチ穴の画像を囲む矩形領域に予め定められた倍率を乗算した大きさの周辺画像を抽出することとし、
前記画像候補の抽出は、前記画像内から前記パンチ穴の前記抽出した周辺の画像を探索し、該パンチ穴と同じ大きさ及び形状の画像候補を抽出する、
画像処理装置。
【請求項2】
コンピュータを、画像内のパンチ穴の周辺が文字である場合は、該画像内のパンチ穴に対してユーザーが文字を入力できるようにして、該文字によって該パンチ穴を修正し、
前記画像内のパンチ穴の周辺が文字以外である場合は、画像候補からユーザーが選択できるようにして、該選択された画像候補によって該パンチ穴を修正する修正手段
として機能させ、
前記パンチ穴の周辺の抽出は、該パンチ穴の画像を囲む矩形領域に予め定められた倍率を乗算した大きさの周辺画像を抽出することとし、
前記画像候補の抽出は、前記画像内から前記パンチ穴の前記抽出した周辺の画像を探索し、該パンチ穴と同じ大きさ及び形状の画像候補を抽出する、
画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【0002】
特許文献１には、パンチ穴跡を有する画像において、パンチ穴跡を違和感なく修復する画像処理装置、画像処理方法、及びプログラムを提供することを課題とし、画像処理装置は、入力画像に含まれるパンチ穴跡を除去する画像処理装置であって、入力画像からパンチ穴領域を検出するパンチ穴領域検出手段と、パンチ穴領域に接する領域を含む周辺領域の画素パターンに基づいて、当該周辺領域の領域種別を判定する領域種別判定手段と、判定された領域種別に基づいて、パンチ穴跡を修復するパンチ穴修復手段とを有することが開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１０－１５４３１９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
パンチ穴を有した紙文書を読み取って電子化した際に、電子文書上ではパンチ穴が残ってしまう。そこで、紙文書の読取り時にパンチ穴を検知した場合は、パンチ穴を修正して、該紙文書を電子化する機能がある。パンチ穴の修正方法としては、パンチ穴の周辺の画素に基づいた色でパンチ穴を塗りつぶす方法がある。しかし、紙文書の文字上にパンチ穴が開いている場合は、パンチ穴の周辺の画素に基づいた色によってパンチ穴を塗りつぶしてしまうと、塗りつぶしたパンチ穴部分に違和感が生じてしまう。
そこで本発明は、画像内のパンチ穴を修正する場合に、パンチ穴周辺に文字があるか否かに関係なく一律に補間処理を行う場合に比べ、文字上にパンチ穴が開いている場合の修正結果の違和感を減少させることができる画像処理装置及び画像処理プログラムを提供することを目的としている。
そこで本発明は、画像内のパンチ穴を修正する場合に、パンチ穴周辺に文字があるか否かに関係なく一律に補間処理を行う場合に比べ、文字上にパンチ穴が開いている場合の修正結果の違和感を減少させることができる画像処理装置及び画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【0005】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。なお、以下の「請求項」とあるのは、出願当初の請求項である。
請求項１の発明は、プロセッサを備え、前記プロセッサは、画像内のパンチ穴の周辺が文字である場合と文字以外である場合によって、該パンチ穴の修正方法を異ならせて、該パンチ穴を修正することを特徴とする画像処理装置である。
請求項１の発明は、プロセッサを備え、前記プロセッサは、画像内のパンチ穴の周辺が文字である場合と文字以外である場合によって、該パンチ穴の修正方法を異ならせて、該パンチ穴を修正することを特徴とする画像処理装置である。
【0006】
請求項２の発明は、前記プロセッサは、前記パンチ穴の周辺が文字である場合は、該パンチ穴に記載されるべき文字をユーザーに問い合わせ、該ユーザーの操作によって入力された文字で該パンチ穴を修正する、請求項１に記載の画像処理装置である。
【0007】
請求項３の発明は、前記プロセッサは、前記ユーザーの操作によって入力された文字の色、大きさ、又は、書体を、前記パンチ穴の周辺にある文字の色、大きさ、又は、書体に基づいて決定する、請求項２に記載の画像処理装置である。
【0008】
請求項４の発明は、前記プロセッサは、前記パンチ穴の周辺にある文字の種類にしたがって、仮想キーボードを表示する、請求項２に記載の画像処理装置である。
【0009】
請求項５の発明は、前記プロセッサは、前記パンチ穴の周辺が文字でない場合は、該周辺にある画像の候補をユーザーに提示する、請求項１に記載の画像処理装置である。
【0010】
請求項６の発明は、前記プロセッサは、前記周辺にある画像の候補の大きさ又は形状は、前記パンチ穴と同じ大きさ又は形状を用いる、請求項５に記載の画像処理装置である。
【0011】
請求項７の発明は、コンピュータを、画像内のパンチ穴の周辺が文字である場合と文字以外である場合によって、該パンチ穴の修正方法を異ならせて、該パンチ穴を修正する修正手段として機能させるための画像処理プログラムである。
【発明の効果】
【0012】
請求項１の画像処理装置によれば、画像内のパンチ穴を修正する場合に、パンチ穴周辺に文字があるか否かに関係なく一律に補間処理を行う場合に比べ、文字上にパンチ穴が開いている場合の修正結果の違和感を減少させることができる。
【0013】
請求項２の画像処理装置によれば、パンチ穴の周辺が文字である場合は、そのパンチ穴に記載されるべき文字をユーザーが入力することができる。
【0014】
請求項３の画像処理装置によれば、ユーザーの操作によって入力された文字の色、大きさ、又は、書体を、パンチ穴の周辺にある文字の色、大きさ、又は、書体に合わせることができる。
【0015】
請求項４の画像処理装置によれば、ユーザーは、パンチ穴の周辺にある文字の種類に応じた仮想キーボードを用いることができる。
【0016】
請求項５の画像処理装置によれば、パンチ穴の周辺が文字でない場合は、その周辺にある画像の候補をユーザーに提示することができる。
【0017】
請求項６の画像処理装置によれば、ユーザーは、パンチ穴と同じ大きさ又は形状に指定する必要がなくなる。
【0018】
請求項７の画像処理プログラムによれば、画像内のパンチ穴を修正する場合に、パンチ穴周辺に文字があるか否かに関係なく一律に補間処理を行う場合に比べ、文字上にパンチ穴が開いている場合の修正結果の違和感を減少させることができる。
【図面の簡単な説明】
【0019】
【図1】本実施の形態の構成例についての概念的なモジュール構成図である。
【図2】本実施の形態を利用したシステム構成例を示す説明図である。
【図3】パンチ穴を修正する機能の例を示す説明図である。
【図4】本実施の形態による処理例を示すフローチャートである。
【図5】本実施の形態による処理例を示すフローチャートである。
【図6】本実施の形態による処理例を示す説明図である。
【図7】本実施の形態による処理例を示すフローチャートである。
【図8】本実施の形態による処理例を示す説明図である。
【図9】本実施の形態による処理例を示すフローチャートである。
【図10】本実施の形態による処理例を示す説明図である。
【図11】本実施の形態による処理例を示す説明図である。
【図12】本実施の形態による処理例を示すフローチャートである。
【図13】本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【0020】
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（「ソフトウェア」の解釈として、コンピュータ・プログラムを含む）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（例えば、コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（例えば、データの授受、指示、データ間の参照関係、ログイン等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（「２以上の値」には、もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。また、「Ａ、Ｂ、Ｃ」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その１つのみを選んでいる場合（例えば、Ａのみ）を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（「ネットワーク」には、一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（つまり、社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスクドライブ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略）内のレジスタ等を含んでいてもよい。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（「ソフトウェア」の解釈として、コンピュータ・プログラムを含む）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（例えば、コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（例えば、データの授受、指示、データ間の参照関係、ログイン等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（「２以上の値」には、もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。また、「Ａ、Ｂ、Ｃ」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その１つのみを選んでいる場合（例えば、Ａのみ）を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（「ネットワーク」には、一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（つまり、社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスクドライブ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略）内のレジスタ等を含んでいてもよい。
【0021】
本実施の形態である画像処理装置１００は、文書を読み込んだ画像から、パンチ穴を修正する画像処理機能を有しており、図１の例に示すように、画像データ取得モジュール１０５、パンチ穴検出モジュール１１０、周辺情報分類モジュール１１５、ユーザーインタフェースモジュール１２０、パンチ穴修正モジュール１２５、画像データ出力モジュール１３０を有している。
パンチ穴とは、書類等の紙を穿孔した（穴を開けた）ことによって生じる穴をいう。例えば、ファイル、クリップボード、綴り紐等を用いて書類を綴じるために穿孔された丸い穴をいう。なお、パンチ穴には、パンチ穴がある書類を複写したものを含む。
画像処理装置１００は、パンチ穴がある書類を読み込んだ画像から、パンチ穴の画像を検出し、そのパンチ穴の画像を修正する。なお、パンチ穴の部分画像において、文書の情報が欠落してしまっている場合、その近辺の情報からパンチ穴部分を補間して、画像を生成する。欠落する情報として、パンチ穴部分に記載されていた文字、写真画像等がある。
パンチ穴とは、書類等の紙を穿孔した（穴を開けた）ことによって生じる穴をいう。例えば、ファイル、クリップボード、綴り紐等を用いて書類を綴じるために穿孔された丸い穴をいう。なお、パンチ穴には、パンチ穴がある書類を複写したものを含む。
画像処理装置１００は、パンチ穴がある書類を読み込んだ画像から、パンチ穴の画像を検出し、そのパンチ穴の画像を修正する。なお、パンチ穴の部分画像において、文書の情報が欠落してしまっている場合、その近辺の情報からパンチ穴部分を補間して、画像を生成する。欠落する情報として、パンチ穴部分に記載されていた文字、写真画像等がある。
【0022】
画像データ取得モジュール１０５は、パンチ穴検出モジュール１１０と接続されている。画像データ取得モジュール１０５は、文書の画像を取得し、その画像をパンチ穴検出モジュール１１０に渡す。例えば、スキャナ、カメラ等で紙の文書を読み込むこと、ファックス等で通信回線を介して外部機器から画像を受信すること、記憶装置（コンピュータに内蔵されているハードディスク等の他に、ネットワークを介して接続されているサーバー等を含む）に記憶されている画像を読み出すこと等が含まれる。画像は、２値画像、多値画像（多値画像には、カラー画像を含む）であってもよい。受け付ける画像は、１枚の画像であってもよいし、複数ページからなる画像であってもよい。また、画像の内容として、ビジネスに用いられる文書、広告宣伝用のパンフレット等であってもよい。
【0023】
パンチ穴検出モジュール１１０は、画像データ取得モジュール１０５、周辺情報分類モジュール１１５と接続されている。パンチ穴検出モジュール１１０は、画像データ取得モジュール１０５によって取得された画像からパンチ穴の画像を検出する。パンチ穴の画像の検出方法として、既存の技術を用いればよい。例えば、テンプレートマッチングによって、パンチ穴の画像を検出するようにしてもよい。また、画像内のエッジを検出し、２値化し、ハフ変換等を用いて、画像内の円を探索し、その円が予め定められた大きさであれば、パンチ穴の画像を検出するようにしてもよい。予め定められた大きさとして、例えば、ＩＳＯ８３８に直径５．５ｍｍ～６．５ｍｍと規定されているため、この近辺の値とすればよい。
【0024】
周辺情報分類モジュール１１５は、パンチ穴検出モジュール１１０、パンチ穴修正モジュール１２５と接続されている。周辺情報分類モジュール１１５は、パンチ穴検出モジュール１１０によって検出されたパンチ穴の周辺の画像を分類する。
例えば、周辺情報分類モジュール１１５は、パンチ穴の周辺が文字であるか、文字以外であるかのように分類してもよい。ここでの判断は、従来の技術を用いればよい。
さらに、周辺情報分類モジュール１１５は、パンチ穴の周辺が文字以外である場合は、写真画像であるか、写真画像ではないかのように分類してもよい。ここでの判断は、従来の技術を用いればよい。
さらに、周辺情報分類モジュール１１５は、パンチ穴の周辺が文字以外であって、写真画像でもない場合は、白地画像であるか、白地以外のベタ画像であるかのように分類してもよい。ここでの判断は、従来の技術を用いればよい。
もちろんのことながら、階層的にせずに、周辺情報分類モジュール１１５は、パンチ穴の周辺が文字、写真画像、白地画像、白地以外のベタ画像のいずれであるかに分類してもよい。
例えば、周辺情報分類モジュール１１５は、パンチ穴の周辺が文字であるか、文字以外であるかのように分類してもよい。ここでの判断は、従来の技術を用いればよい。
さらに、周辺情報分類モジュール１１５は、パンチ穴の周辺が文字以外である場合は、写真画像であるか、写真画像ではないかのように分類してもよい。ここでの判断は、従来の技術を用いればよい。
さらに、周辺情報分類モジュール１１５は、パンチ穴の周辺が文字以外であって、写真画像でもない場合は、白地画像であるか、白地以外のベタ画像であるかのように分類してもよい。ここでの判断は、従来の技術を用いればよい。
もちろんのことながら、階層的にせずに、周辺情報分類モジュール１１５は、パンチ穴の周辺が文字、写真画像、白地画像、白地以外のベタ画像のいずれであるかに分類してもよい。
【0025】
さらに、周辺情報分類モジュール１１５は、パンチ穴の周辺が文字であると判断した場合は、その周辺の文字の色、大きさ、又は、書体のいずれか１つ以上を判断してもよい。ここでの判断は、従来の技術を用いればよい。
また、周辺情報分類モジュール１１５は、パンチ穴の周辺が文字であると判断した場合は、その文字の種類を判断してもよい。なお、「文字の種類」については後述する。ここでの判断は、従来の技術を用いればよい。例えば、文字認識技術を用いて、文字の種類を判断してもよい。具体的には、英字用の文字認識アプリケーション、日本語用の文字認識アプリケーション等のように、複数の文字認識アプリケーションを用いて、文字認識結果の確度が高いものを採用すればよい。例えば、英字用の文字認識アプリケーションにおける文字認識結果の確度が高い場合は、ユーザーインタフェースモジュール１２０は、英字用の仮想キーボードを表示する。
また、周辺情報分類モジュール１１５は、パンチ穴の周辺が文字であると判断した場合は、その文字の種類を判断してもよい。なお、「文字の種類」については後述する。ここでの判断は、従来の技術を用いればよい。例えば、文字認識技術を用いて、文字の種類を判断してもよい。具体的には、英字用の文字認識アプリケーション、日本語用の文字認識アプリケーション等のように、複数の文字認識アプリケーションを用いて、文字認識結果の確度が高いものを採用すればよい。例えば、英字用の文字認識アプリケーションにおける文字認識結果の確度が高い場合は、ユーザーインタフェースモジュール１２０は、英字用の仮想キーボードを表示する。
【0026】
ユーザーインタフェースモジュール１２０は、パンチ穴修正モジュール１２５と接続されている。ユーザーインタフェースモジュール１２０は、周辺情報分類モジュール１１５による分類結果に応じて、ユーザーに対してパンチ穴を修正するためのユーザーインターフェースを提供する。
例えば、ユーザーインタフェースモジュール１２０は、タッチパネルを兼ねる液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置を制御して、ユーザーの操作を受け付け、ユーザーに対してメッセージ等を提示する。この他、マウス、キーボード、カメラ、マイク等を用いたユーザーの操作（視線、ジェスチャ、音声等も含む）を受け付けるようにしてもよいし、スピーカーによる音声出力、触覚デバイスを用いた触感によって、ユーザーへのメッセージを提示するようにしてもよい。
具体的には、文字入力用の仮想キーボードの提示、周辺にある画像の候補をユーザーに選択可能に提示することを行う。
例えば、ユーザーインタフェースモジュール１２０は、タッチパネルを兼ねる液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置を制御して、ユーザーの操作を受け付け、ユーザーに対してメッセージ等を提示する。この他、マウス、キーボード、カメラ、マイク等を用いたユーザーの操作（視線、ジェスチャ、音声等も含む）を受け付けるようにしてもよいし、スピーカーによる音声出力、触覚デバイスを用いた触感によって、ユーザーへのメッセージを提示するようにしてもよい。
具体的には、文字入力用の仮想キーボードの提示、周辺にある画像の候補をユーザーに選択可能に提示することを行う。
【0027】
パンチ穴修正モジュール１２５は、周辺情報分類モジュール１１５、ユーザーインタフェースモジュール１２０、画像データ出力モジュール１３０と接続されている。パンチ穴修正モジュール１２５は、画像内のパンチ穴の周辺が文字である場合と文字以外である場合によって、そのパンチ穴の修正方法を異ならせて、そのパンチ穴を修正する。
ここで「文字」とは、画像における文字であって、文字コードに対応した画像を有している。なお、文字には、英数字、漢字、ひらがな、カタカナ、その他の言語に対応した文字、絵文字等を含む。
また、パンチ穴修正モジュール１２５は、パンチ穴の周辺が文字である場合は、そのパンチ穴に記載されるべき文字をユーザーに問い合わせ、そのユーザーの操作によって入力された文字で、そのパンチ穴を修正するようにしてもよい。
その場合、パンチ穴修正モジュール１２５は、ユーザーの操作によって入力された文字の色、大きさ、又は、書体を、パンチ穴の周辺にある文字の色、大きさ、又は、書体に基づいて決定するようにしてもよい。
その文書の文字列が横書きであるか縦書きであるかを判断し、横書きである場合は、「パンチ穴の周辺にある文字」として、パンチ穴の右側又は左側にある文字を参照し、縦書きである場合は、「パンチ穴の周辺にある文字」として、パンチ穴の上側又は下側にある文字を参照するようにしてもよい。
「パンチ穴の周辺にある文字の色、大きさ、又は、書体に基づいて」とは、その色、大きさ、又は、書体と同じになるように、パンチ穴に埋め込む文字の色、大きさ、又は、書体を決定することである。
また、パンチ穴修正モジュール１２５は、パンチ穴の周辺にある文字の種類にしたがって、仮想キーボードを表示するようにしてもよい。
「パンチ穴の周辺にある文字の種類」とは、その文字を用いる言語の種類、又は、数字である。「パンチ穴の周辺にある文字の種類」が、例えば、日本語である場合は日本語用の仮想キーボードを表示し、数字である場合は数字用の仮想キーボードを表示し、英字である場合は英字用の仮想キーボードを表示し、中国語である場合は中国語用の仮想キーボードを表示する。
表示する先は、もちろんのことながら、本画像処理装置１００に備え付けられている表示装置、又は、本画像処理装置１００を利用するためのユーザーインターフェース機能を備えている表示装置が該当する。後者の例として、ユーザーを所持している携帯端末であり、本画像処理装置１００とその携帯情報端末が通信（無線通信であってもよいし、有線通信であってもよい。）を行って、その携帯情報端末の表示装置に仮想キーボードを表示させるようにしてもよい。
ここで「文字」とは、画像における文字であって、文字コードに対応した画像を有している。なお、文字には、英数字、漢字、ひらがな、カタカナ、その他の言語に対応した文字、絵文字等を含む。
また、パンチ穴修正モジュール１２５は、パンチ穴の周辺が文字である場合は、そのパンチ穴に記載されるべき文字をユーザーに問い合わせ、そのユーザーの操作によって入力された文字で、そのパンチ穴を修正するようにしてもよい。
その場合、パンチ穴修正モジュール１２５は、ユーザーの操作によって入力された文字の色、大きさ、又は、書体を、パンチ穴の周辺にある文字の色、大きさ、又は、書体に基づいて決定するようにしてもよい。
その文書の文字列が横書きであるか縦書きであるかを判断し、横書きである場合は、「パンチ穴の周辺にある文字」として、パンチ穴の右側又は左側にある文字を参照し、縦書きである場合は、「パンチ穴の周辺にある文字」として、パンチ穴の上側又は下側にある文字を参照するようにしてもよい。
「パンチ穴の周辺にある文字の色、大きさ、又は、書体に基づいて」とは、その色、大きさ、又は、書体と同じになるように、パンチ穴に埋め込む文字の色、大きさ、又は、書体を決定することである。
また、パンチ穴修正モジュール１２５は、パンチ穴の周辺にある文字の種類にしたがって、仮想キーボードを表示するようにしてもよい。
「パンチ穴の周辺にある文字の種類」とは、その文字を用いる言語の種類、又は、数字である。「パンチ穴の周辺にある文字の種類」が、例えば、日本語である場合は日本語用の仮想キーボードを表示し、数字である場合は数字用の仮想キーボードを表示し、英字である場合は英字用の仮想キーボードを表示し、中国語である場合は中国語用の仮想キーボードを表示する。
表示する先は、もちろんのことながら、本画像処理装置１００に備え付けられている表示装置、又は、本画像処理装置１００を利用するためのユーザーインターフェース機能を備えている表示装置が該当する。後者の例として、ユーザーを所持している携帯端末であり、本画像処理装置１００とその携帯情報端末が通信（無線通信であってもよいし、有線通信であってもよい。）を行って、その携帯情報端末の表示装置に仮想キーボードを表示させるようにしてもよい。
【0028】
また、パンチ穴修正モジュール１２５は、パンチ穴の周辺が文字でない場合は、その周辺にある画像の候補をユーザーに提示するようにしてもよい。
ユーザーの操作によって選択された画像を用いて、パンチ穴を修正する。この場合の修正は、そのパンチ穴の部分に、その選択された画像を埋め込むことが該当する。
また、候補として、パンチ穴の周辺にある画像の色合いと同じ又は類似する画像を探索すればよい。なお、パンチ穴修正モジュール１２５は、候補として場所を示すのみで、その大きさ又は形状は、ユーザーによる指定に任せるようにしてもよい。
また、パンチ穴修正モジュール１２５は、周辺にある画像の候補の大きさ又は形状は、パンチ穴と同じ大きさ又は形状を用いるようにしてもよい。
ユーザーの操作によって選択された画像を用いて、パンチ穴を修正する。この場合の修正は、そのパンチ穴の部分に、その選択された画像を埋め込むことが該当する。
また、候補として、パンチ穴の周辺にある画像の色合いと同じ又は類似する画像を探索すればよい。なお、パンチ穴修正モジュール１２５は、候補として場所を示すのみで、その大きさ又は形状は、ユーザーによる指定に任せるようにしてもよい。
また、パンチ穴修正モジュール１２５は、周辺にある画像の候補の大きさ又は形状は、パンチ穴と同じ大きさ又は形状を用いるようにしてもよい。
【0029】
画像データ出力モジュール１３０は、パンチ穴修正モジュール１２５と接続されている。画像データ出力モジュール１３０は、パンチ穴修正モジュール１２５によってパンチ穴の画像が修正された画像を受け取り、その画像を出力する。画像を出力するとは、例えば、プリンタ等の印刷装置で印刷すること、ディスプレイ等の表示装置に表示すること、ＦＡＸ等の画像送信装置で画像を送信すること、画像データベース等の画像記憶装置へ画像を書き込むこと、メモリーカード等の記憶媒体に画像を記憶すること、他の情報処理装置へ画像を渡すこと等が含まれる。なお、画像を電子文書として出力する場合は、ＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔの略）、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐの略）等を用いればよい。
【0030】
図２は、本実施の形態を利用したシステム構成例を示す説明図である。
図２（ａ）に示す例は、スタンドアロン型のシステムであって、画像形成装置２００内に画像処理装置１００の機能を実現させたものである。例えば、複写の機能の一部として画像処理装置１００を用いる。
画像形成装置２００は、画像処理装置１００、スキャンモジュール２０５、印刷モジュール２２０を有している。
スキャンモジュール２０５は、画像処理装置１００と接続されている。スキャンモジュール２０５は、パンチ穴を有した紙文書を読み取り、読み取った画像を画像処理装置１００に渡す。
画像処理装置１００は、スキャンモジュール２０５、印刷モジュール２２０と接続されている。画像処理装置１００は、スキャンモジュール２０５から受け取った画像に対して、パンチ穴の画像を修正し、修正後の画像を印刷モジュール２２０に渡す。
印刷モジュール２２０は、画像処理装置１００と接続されている。印刷モジュール２２０は、画像処理装置１００によってパンチ穴の画像が修正された画像を受け取って、印刷を行う。
図２（ａ）に示す例は、スタンドアロン型のシステムであって、画像形成装置２００内に画像処理装置１００の機能を実現させたものである。例えば、複写の機能の一部として画像処理装置１００を用いる。
画像形成装置２００は、画像処理装置１００、スキャンモジュール２０５、印刷モジュール２２０を有している。
スキャンモジュール２０５は、画像処理装置１００と接続されている。スキャンモジュール２０５は、パンチ穴を有した紙文書を読み取り、読み取った画像を画像処理装置１００に渡す。
画像処理装置１００は、スキャンモジュール２０５、印刷モジュール２２０と接続されている。画像処理装置１００は、スキャンモジュール２０５から受け取った画像に対して、パンチ穴の画像を修正し、修正後の画像を印刷モジュール２２０に渡す。
印刷モジュール２２０は、画像処理装置１００と接続されている。印刷モジュール２２０は、画像処理装置１００によってパンチ穴の画像が修正された画像を受け取って、印刷を行う。
【0031】
図２（ｂ）に示す例は、パソコン等の情報処理装置２３０内に画像処理装置１００の機能を実現させたものである。例えば、スキャナとしての機能を有する画像形成装置２４０で紙文書を読み取り、その画像を加工等する場合に画像処理装置１００を用いる。
画像形成装置２４０は、情報処理装置２３０と接続されている。画像形成装置２４０は、パンチ穴を有した紙文書を読み取り、その画像を情報処理装置２３０に渡す。
情報処理装置２３０は、画像処理装置１００を有しており、画像形成装置２４０と接続されている。情報処理装置２３０の画像処理装置１００は、画像形成装置２４０から受け取った画像に対して、パンチ穴の画像を修正し、修正後の画像を情報処理装置２３０の記憶装置に記憶させる。
画像形成装置２４０は、情報処理装置２３０と接続されている。画像形成装置２４０は、パンチ穴を有した紙文書を読み取り、その画像を情報処理装置２３０に渡す。
情報処理装置２３０は、画像処理装置１００を有しており、画像形成装置２４０と接続されている。情報処理装置２３０の画像処理装置１００は、画像形成装置２４０から受け取った画像に対して、パンチ穴の画像を修正し、修正後の画像を情報処理装置２３０の記憶装置に記憶させる。
【0032】
図２（ｃ）に示す例は、ネットワーク型のシステムであって、例えば、画像処理装置１００による機能を、クラウドサービスとして実現させたものである。
画像処理装置１００、画像形成装置２４０ａ、画像形成装置２４０ｂ、情報処理装置２５０は、通信回線２９０を介してそれぞれ接続されている。通信回線２９０は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。
例えば、画像形成装置２４０のスキャン機能によって、パンチ穴を有した紙文書が読み取られ、その画像を、画像処理装置１００に送信し、返信としてパンチ穴の画像を修正した画像を受信し、画像形成装置２４０のプリント機能によって印刷してもよい。
また、情報処理装置２５０内に記憶されているパンチ穴のある画像を、画像処理装置１００に送信し、返信としてパンチ穴の画像を修正した画像を受信してもよい。
画像処理装置１００、画像形成装置２４０ａ、画像形成装置２４０ｂ、情報処理装置２５０は、通信回線２９０を介してそれぞれ接続されている。通信回線２９０は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。
例えば、画像形成装置２４０のスキャン機能によって、パンチ穴を有した紙文書が読み取られ、その画像を、画像処理装置１００に送信し、返信としてパンチ穴の画像を修正した画像を受信し、画像形成装置２４０のプリント機能によって印刷してもよい。
また、情報処理装置２５０内に記憶されているパンチ穴のある画像を、画像処理装置１００に送信し、返信としてパンチ穴の画像を修正した画像を受信してもよい。
【0033】
図３は、パンチ穴を修正する機能の例を示す説明図である。
図３（ａ）の例に示すように、パンチ穴３０２ａ、パンチ穴３０２ｂがある原稿３００を複写又はスキャンすると、パンチ穴３０２ａ、パンチ穴３０２ｂの箇所が紙押さえ部の色になって目立ってしまう。
例えば、原稿３００に対して、通常のコピー３１０を行うと、紙押さえ部が黒の場合、図３（ｂ）の例に示すように、画像データ３２０のパンチ穴画像３２２ａ、パンチ穴画像３２２ｂは黒色となる。また、紙押さえ部が白色であっても、図３（ｃ）の例に示すように、画像データ３３０のパンチ穴画像３３２ａ、パンチ穴画像３３２ｂのように、パンチ穴があった箇所の周辺に影が残ってしまう
パンチ穴の修正機能は、図３（ｂ）、図３（ｃ）の例に示したパンチ穴の跡を除去するための機能である。つまり、原稿３００に対して、パンチ穴修正機能３４０を用いた場合、画像データ３５０からパンチ穴画像３２２ａ、パンチ穴画像３２２ｂ又はパンチ穴画像３３２ａ、パンチ穴画像３３２ｂは残らないようにするものである。
この例では、パンチ穴３０２ａ、パンチ穴３０２ｂの周辺画像は白地画像であり、パンチ穴３０２ａ、パンチ穴３０２ｂの画像を白色で塗りつぶしている。
しかし、例えば、文字が記載されている部分に、パンチ穴３０２ａ、パンチ穴３０２ｂが形成されてしまった場合に、白色で塗りつぶしてしまうと、違和感が残ってしまう。そこで、本実施の形態である画像処理装置１００では、画像内のパンチ穴の周辺が文字である場合と文字以外である場合によって、そのパンチ穴の修正方法を異ならせている。具体的には、パンチ穴の周辺が文字である場合は、ユーザーが文字を入力できるようにしている。また、パンチ穴の周辺が写真画像である場合は、周辺にある画像の候補をユーザーが選択できるようにしている。
図３（ａ）の例に示すように、パンチ穴３０２ａ、パンチ穴３０２ｂがある原稿３００を複写又はスキャンすると、パンチ穴３０２ａ、パンチ穴３０２ｂの箇所が紙押さえ部の色になって目立ってしまう。
例えば、原稿３００に対して、通常のコピー３１０を行うと、紙押さえ部が黒の場合、図３（ｂ）の例に示すように、画像データ３２０のパンチ穴画像３２２ａ、パンチ穴画像３２２ｂは黒色となる。また、紙押さえ部が白色であっても、図３（ｃ）の例に示すように、画像データ３３０のパンチ穴画像３３２ａ、パンチ穴画像３３２ｂのように、パンチ穴があった箇所の周辺に影が残ってしまう
パンチ穴の修正機能は、図３（ｂ）、図３（ｃ）の例に示したパンチ穴の跡を除去するための機能である。つまり、原稿３００に対して、パンチ穴修正機能３４０を用いた場合、画像データ３５０からパンチ穴画像３２２ａ、パンチ穴画像３２２ｂ又はパンチ穴画像３３２ａ、パンチ穴画像３３２ｂは残らないようにするものである。
この例では、パンチ穴３０２ａ、パンチ穴３０２ｂの周辺画像は白地画像であり、パンチ穴３０２ａ、パンチ穴３０２ｂの画像を白色で塗りつぶしている。
しかし、例えば、文字が記載されている部分に、パンチ穴３０２ａ、パンチ穴３０２ｂが形成されてしまった場合に、白色で塗りつぶしてしまうと、違和感が残ってしまう。そこで、本実施の形態である画像処理装置１００では、画像内のパンチ穴の周辺が文字である場合と文字以外である場合によって、そのパンチ穴の修正方法を異ならせている。具体的には、パンチ穴の周辺が文字である場合は、ユーザーが文字を入力できるようにしている。また、パンチ穴の周辺が写真画像である場合は、周辺にある画像の候補をユーザーが選択できるようにしている。
【0034】
図４は、本実施の形態による処理例を示すフローチャートである。
ステップＳ４０２では、パンチ穴検出モジュール１１０は、画像データの中からパンチ穴を検出する。
ステップＳ４０４では、パンチ穴検出モジュール１１０は、パンチ穴があったか否かを判断し、あった場合はステップＳ４０６へ進み、それ以外の場合は処理を終了する（ステップＳ４９９）。
ステップＳ４０２では、パンチ穴検出モジュール１１０は、画像データの中からパンチ穴を検出する。
ステップＳ４０４では、パンチ穴検出モジュール１１０は、パンチ穴があったか否かを判断し、あった場合はステップＳ４０６へ進み、それ以外の場合は処理を終了する（ステップＳ４９９）。
【0035】
ステップＳ４０６では、周辺情報分類モジュール１１５は、パンチ穴周辺の分類を判断し、文字以外の場合はステップＳ４０８へ進み、文字の場合はステップＳ４１０へ進む。
ステップＳ４０８では、ユーザーインタフェースモジュール１２０、パンチ穴修正モジュール１２５は、文字以外用処理を行う。ステップＳ４０８の詳細な処理については、図９の例に示すフローチャートを用いて後述する。
ステップＳ４１０では、ユーザーインタフェースモジュール１２０、パンチ穴修正モジュール１２５は、文字用処理を行う。ステップＳ４１０の詳細な処理については、図５の例に示すフローチャートを用いて後述する。
ステップＳ４０８では、ユーザーインタフェースモジュール１２０、パンチ穴修正モジュール１２５は、文字以外用処理を行う。ステップＳ４０８の詳細な処理については、図９の例に示すフローチャートを用いて後述する。
ステップＳ４１０では、ユーザーインタフェースモジュール１２０、パンチ穴修正モジュール１２５は、文字用処理を行う。ステップＳ４１０の詳細な処理については、図５の例に示すフローチャートを用いて後述する。
【0036】
図５は、本実施の形態による処理例を示すフローチャートである。図４の例に示したフローチャートのステップＳ４１０の処理例を示すものである。
ステップＳ５０２では、周辺の文字サイズから、欠け、又は、消失している文字をカウントする。具体的には、パンチ穴の周辺の文字を抽出し、その文字のサイズを計測する。そして、パンチ穴のサイズをその文字のサイズで除算して算出する。さらに、除算した値に予め定められた数を加算するようにしてもよい。パンチ穴が、文字の一部を欠けさせる場合は、除算した値よりも多い数の文字が、そのパンチ穴によって欠けていることが予想されるからである。
ステップＳ５０２では、周辺の文字サイズから、欠け、又は、消失している文字をカウントする。具体的には、パンチ穴の周辺の文字を抽出し、その文字のサイズを計測する。そして、パンチ穴のサイズをその文字のサイズで除算して算出する。さらに、除算した値に予め定められた数を加算するようにしてもよい。パンチ穴が、文字の一部を欠けさせる場合は、除算した値よりも多い数の文字が、そのパンチ穴によって欠けていることが予想されるからである。
【0037】
ステップＳ５０４では、ユーザーが文字入力できるように、ユーザーインターフェースを表示する。
例えば、図６に示すユーザーインターフェースを表示する。図６は、本実施の形態による処理例を示す説明図である。画面６００には、画像表示領域６１０、コメント表示領域６３０、仮想キーボード表示領域６４０を表示する。画像表示領域６１０には、入力領域６２０を表示する。入力領域６２０は、少なくともパンチ穴を囲むように表示する。コメント表示領域６３０には、文字入力の説明を表示する。例えば「□にタッチして文字を入力してください」と表示する。ステップＳ５０８で、仮想キーボード表示領域６４０に、仮想キーボードを表示する。
例えば、図６に示すユーザーインターフェースを表示する。図６は、本実施の形態による処理例を示す説明図である。画面６００には、画像表示領域６１０、コメント表示領域６３０、仮想キーボード表示領域６４０を表示する。画像表示領域６１０には、入力領域６２０を表示する。入力領域６２０は、少なくともパンチ穴を囲むように表示する。コメント表示領域６３０には、文字入力の説明を表示する。例えば「□にタッチして文字を入力してください」と表示する。ステップＳ５０８で、仮想キーボード表示領域６４０に、仮想キーボードを表示する。
【0038】
ステップＳ５０６では、周辺文字処理を行う。ステップＳ５０６の詳細な処理については、図７の例に示すフローチャートを用いて後述する。
ステップＳ５０８では、文字入力箇所にユーザーがタッチしたら、ユーザーインターフェース上に仮想キーボードを表示し、ユーザーに入力させる。
ステップＳ５１０では、ユーザーが入力した内容をもとに、パンチ穴除去後の画像を生成する。
ステップＳ５０８では、文字入力箇所にユーザーがタッチしたら、ユーザーインターフェース上に仮想キーボードを表示し、ユーザーに入力させる。
ステップＳ５１０では、ユーザーが入力した内容をもとに、パンチ穴除去後の画像を生成する。
【0039】
図７は、本実施の形態による処理例を示すフローチャートである。図５の例に示したフローチャートのステップＳ５０６の処理例を示すものである。
ステップＳ７０２では、周辺画像を抽出する。例えば、パンチ穴の画像を囲む矩形領域を生成し、その矩形領域に予め定められた倍率を乗算した大きさの周辺画像を抽出してもよいし、パンチ穴の画像に近い距離にある文字を少なくとも１文字以上抽出するようにしてもよい。
ステップＳ７０４では、周辺画像から、文字の種類、文字の色、大きさ、又は、書体を抽出する。ステップＳ７０２で抽出した周辺画像内の文字を対象とし、従来の技術を用いて、その文字の種類、色、大きさ、又は、書体を抽出する。
ステップＳ７０２では、周辺画像を抽出する。例えば、パンチ穴の画像を囲む矩形領域を生成し、その矩形領域に予め定められた倍率を乗算した大きさの周辺画像を抽出してもよいし、パンチ穴の画像に近い距離にある文字を少なくとも１文字以上抽出するようにしてもよい。
ステップＳ７０４では、周辺画像から、文字の種類、文字の色、大きさ、又は、書体を抽出する。ステップＳ７０２で抽出した周辺画像内の文字を対象とし、従来の技術を用いて、その文字の種類、色、大きさ、又は、書体を抽出する。
【0040】
ステップＳ７０６では、文字のプロパティを設定する。このプロパティは、ステップＳ７０４で抽出した文字の種類、色、大きさ、又は、書体である。
この文字の種類によって、図６の例で示した仮想キーボード表示領域６４０に仮想キーボードを表示する。例えば、文字の種類が数字である場合は、数字専用の仮想キーボードを表示し、文字の種類が英字である場合は、アルファベット用の仮想キーボードを表示し、文字の種類が日本語である（例えば、漢字、ひらがな、カタカナが含まれている）場合は、日本語用の仮想キーボードを表示すればよい。
文字の色、大きさ、又は、書体に合わせて、ユーザーが入力した文字を設定する。つまり、パンチ穴の周囲にある文字と同じ属性の文字が、ユーザーによって入力されることになる。そのため、従来の文字とユーザーが入力した文字との違和感が少なくなる。
この文字の種類によって、図６の例で示した仮想キーボード表示領域６４０に仮想キーボードを表示する。例えば、文字の種類が数字である場合は、数字専用の仮想キーボードを表示し、文字の種類が英字である場合は、アルファベット用の仮想キーボードを表示し、文字の種類が日本語である（例えば、漢字、ひらがな、カタカナが含まれている）場合は、日本語用の仮想キーボードを表示すればよい。
文字の色、大きさ、又は、書体に合わせて、ユーザーが入力した文字を設定する。つまり、パンチ穴の周囲にある文字と同じ属性の文字が、ユーザーによって入力されることになる。そのため、従来の文字とユーザーが入力した文字との違和感が少なくなる。
【0041】
図８は、本実施の形態による処理例を示す説明図である。図６の例に示した画像表示領域６１０に表示する入力領域６２０を生成する処理例を示すものである。
周辺画像８００に、パンチ穴領域８１０、入力領域８２０を表示する。入力領域８２０を、次のように生成する。少なくともパンチ穴領域８１０を含み、さらにパンチ穴領域８１０に接触している黒画素を囲むように矩形を生成して、入力領域８２０とする。ユーザーは、入力領域８２０に対して、文字を入力する。図８の例では、入力領域８２０に「ＡＢ」と入力される。文字入力がされた入力領域８２０を用いて、パンチ穴を修正する。図８の例では、パンチ穴領域８１０が削除され、「ＡＢＣＤＥ」の文字列となる。
周辺画像８００に、パンチ穴領域８１０、入力領域８２０を表示する。入力領域８２０を、次のように生成する。少なくともパンチ穴領域８１０を含み、さらにパンチ穴領域８１０に接触している黒画素を囲むように矩形を生成して、入力領域８２０とする。ユーザーは、入力領域８２０に対して、文字を入力する。図８の例では、入力領域８２０に「ＡＢ」と入力される。文字入力がされた入力領域８２０を用いて、パンチ穴を修正する。図８の例では、パンチ穴領域８１０が削除され、「ＡＢＣＤＥ」の文字列となる。
【0042】
図９は、本実施の形態による処理例を示すフローチャートである。図４の例に示したフローチャートのステップＳ４０８の処理例を示すものである。
ステップＳ９０２では、埋めデータを複数作成する。例えば、対象としているページ画像内で、パンチ穴の周囲の画像と類似する画像を探索する。探索する領域は、パンチ穴と同じ大きさ、形状である。具体的には、図１０（ａ）の例に示すように、パンチ穴１０１０の周囲と類似する画像として、穴埋候補１０２０ａ、穴埋候補１０２０ｂ、穴埋候補１０２０ｃを抽出する。
ステップＳ９０２では、埋めデータを複数作成する。例えば、対象としているページ画像内で、パンチ穴の周囲の画像と類似する画像を探索する。探索する領域は、パンチ穴と同じ大きさ、形状である。具体的には、図１０（ａ）の例に示すように、パンチ穴１０１０の周囲と類似する画像として、穴埋候補１０２０ａ、穴埋候補１０２０ｂ、穴埋候補１０２０ｃを抽出する。
【0043】
ステップＳ９０４では、作成したデータでパンチ穴を埋めた画像を生成する。
ステップＳ９０６では、生成した画像全てをユーザーインターフェースに表示し、ユーザーに選択させる。具体的には、図１０（ｂ）の例に示すように、候補画像１０３０ａ、候補画像１０３０ｂ、候補画像１０３０ｃを生成する。候補画像１０３０ａの元パンチ穴領域１０４０ａは、パンチ穴１０１０に穴埋候補１０２０ａを当てはめたものである。候補画像１０３０ｂの元パンチ穴領域１０４０ｂは、パンチ穴１０１０に穴埋候補１０２０ｂを当てはめたものである。候補画像１０３０ｃの元パンチ穴領域１０４０ｃは、パンチ穴１０１０に穴埋候補１０２０ｃを当てはめたものである。
ステップＳ９０６では、生成した画像全てをユーザーインターフェースに表示し、ユーザーに選択させる。具体的には、図１０（ｂ）の例に示すように、候補画像１０３０ａ、候補画像１０３０ｂ、候補画像１０３０ｃを生成する。候補画像１０３０ａの元パンチ穴領域１０４０ａは、パンチ穴１０１０に穴埋候補１０２０ａを当てはめたものである。候補画像１０３０ｂの元パンチ穴領域１０４０ｂは、パンチ穴１０１０に穴埋候補１０２０ｂを当てはめたものである。候補画像１０３０ｃの元パンチ穴領域１０４０ｃは、パンチ穴１０１０に穴埋候補１０２０ｃを当てはめたものである。
【0044】
ステップＳ９０８では、ユーザーが画像の加工を希望する場合、加工させる。具体的には、図１１（ａ）の例に示すように、ユーザーは、候補画像１０３０ｂを選択したとする。そこで、ユーザーは、削除すべき領域として領域１１１０を指定する。領域１１１０が削除された後は、図１１（ｂ）の例に示す修正画像１１５０のようになる。
なお、さらなる修正方法として、ユーザーの負荷は増加するが、画素ごとに色値を入力させてもよい。
なお、さらなる修正方法として、ユーザーの負荷は増加するが、画素ごとに色値を入力させてもよい。
【0045】
図１２は、本実施の形態による処理例を示すフローチャートである。図４の例に示したフローチャートのステップＳ４０６は２種類に分類するものであったが、図１２の例に示したフローチャートのステップＳ１２０６では４種類にしたものである。
ステップＳ１２０２では、画像データの中からパンチ穴を検出する。
ステップＳ１２０４では、パンチ穴があったか否かを判断し、あった場合はステップＳ１２０６へ進み、それ以外の場合は処理を終了する（ステップＳ１２９９）。
ステップＳ１２０２では、画像データの中からパンチ穴を検出する。
ステップＳ１２０４では、パンチ穴があったか否かを判断し、あった場合はステップＳ１２０６へ進み、それ以外の場合は処理を終了する（ステップＳ１２９９）。
【0046】
ステップＳ１２０６では、パンチ穴周辺の分類を判断し、白地の場合はステップＳ１２０８へ進み、ベタの場合はステップＳ１２１０へ進み、写真の場合はステップＳ１２１２へ進み、文字の場合はステップＳ１２１４へ進む。
【0047】
ステップＳ１２０８では、パンチ穴を白画素で埋める。
ステップＳ１２１０では、パンチ穴を周辺画素の平均値で埋める。なお、平均値の他に、他の統計的値としてもよく、例えば、最頻値、中央値としてもよい。
ステップＳ１２１０では、パンチ穴を周辺画素の平均値で埋める。なお、平均値の他に、他の統計的値としてもよく、例えば、最頻値、中央値としてもよい。
【0048】
ステップＳ１２１２では、写真用処理を行う。ステップＳ１２１２の詳細な処理については、図９の例に示すフローチャートを用いて前述した。
ステップＳ１２１４では、文字用処理を行う。ステップＳ１２１４の詳細な処理については、図５の例に示すフローチャートを用いて前述した。
ステップＳ１２１４では、文字用処理を行う。ステップＳ１２１４の詳細な処理については、図５の例に示すフローチャートを用いて前述した。
【0049】
図１３を参照して、本実施の形態の画像処理装置１００のハードウェア構成例について説明する。図１３に示す構成は、例えばパーソナルコンピュータ等によって構成されるものであり、スキャナ等のデータ読み取り部１３１７と、プリンタ等のデータ出力部１３１８を備えたハードウェア構成例を示している。
【0050】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略）１３０１は、前述の実施の形態において説明した各種のモジュール、すなわち、画像データ取得モジュール１０５、パンチ穴検出モジュール１１０、周辺情報分類モジュール１１５、ユーザーインタフェースモジュール１２０、パンチ穴修正モジュール１２５、画像データ出力モジュール１３０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。
【0051】
ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略）１３０２は、ＣＰＵ１３０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略）１３０３は、ＣＰＵ１３０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバス等から構成されるホストバス１３０４により相互に接続されている。
【0052】
ホストバス１３０４は、ブリッジ１３０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅの略）バス等の外部バス１３０６に接続されている。
【0053】
キーボード１３０８、マウス等のポインティングデバイス１３０９は、操作者により操作されるデバイスである。ディスプレイ１３１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅの略）等があり、各種情報をテキストやイメージ情報として表示する。また、ポインティングデバイス１３０９とディスプレイ１３１０の両方の機能を備えているタッチスクリーン等であってもよい。その場合、キーボードの機能の実現について、キーボード１３０８のように物理的に接続しなくても、画面（例えば、タッチスクリーン）上にソフトウェアでキーボード（いわゆるソフトウェアキーボード、スクリーンキーボード等ともいわれる）を描画して、キーボードの機能を実現するようにしてもよい。
【0054】
ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略）１３１１は、ハードディスク（ハードディスク以外に、フラッシュ・メモリ等であってもよい）を内蔵し、ハードディスクを駆動し、ＣＰＵ１３０１によって実行するプログラムや情報を記録又は再生させる。ＨＤＤ１３１１は、取得した画像データ、パンチ穴検出モジュール１１０、周辺情報分類モジュール１１５、ユーザーインタフェースモジュール１２０、パンチ穴修正モジュール１２５等による処理の結果データ等を記憶する。さらに、その他の各種データ、各種コンピュータ・プログラム等が格納される。
【0055】
ドライブ１３１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体１３１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース１３０７、外部バス１３０６、ブリッジ１３０５、及びホストバス１３０４を介して接続されているＲＡＭ１３０３に供給する。なお、リムーバブル記録媒体１３１３も、データ記録領域として利用可能である。
【0056】
接続ポート１３１４は、外部接続機器１３１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート１３１４は、インタフェース１３０７、及び外部バス１３０６、ブリッジ１３０５、ホストバス１３０４等を介してＣＰＵ１３０１等に接続されている。通信部１３１６は、通信回線に接続され、外部とのデータ通信処理を実行する。データ読み取り部１３１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部１３１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。
【0057】
前述の実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図１３に示す画像処理装置１００のハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１３に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、プロセッサとして、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略、ＧＰＧＰＵ（Ｇｅｎｅｒａｌ－Ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇ ｏｎ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓの略）を含む）を用いてもよいし、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（具体例として、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略）等がある）や再構成可能な集積回路（具体例として、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略）等がある）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図１３に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器（携帯情報通信機器として、携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む）、情報家電、ロボット、複写機、ファックス、スキャナ、プリンタ、複合機（複合機とは、スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）等に組み込まれていてもよい。
なお、図１３に示す画像処理装置１００のハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１３に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、プロセッサとして、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略、ＧＰＧＰＵ（Ｇｅｎｅｒａｌ－Ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇ ｏｎ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓの略）を含む）を用いてもよいし、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（具体例として、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略）等がある）や再構成可能な集積回路（具体例として、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略）等がある）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図１３に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器（携帯情報通信機器として、携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む）、情報家電、ロボット、複写機、ファックス、スキャナ、プリンタ、複合機（複合機とは、スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）等に組み込まれていてもよい。
【0058】
なお、上記実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えば、ＣＰＵ等）や、専用のプロセッサ（例えばＧＰＵ、ＡＳＩＣ、ＦＰＧＡ、プログラマブル論理デバイス、等）を含むものである。
また、上記実施形態におけるプロセッサの動作は、１つのプロセッサによって行われてもよいし、また、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は、上記実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
また、上記実施形態におけるプロセッサの動作は、１つのプロセッサによって行われてもよいし、また、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は、上記実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
【0059】
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ－Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ－ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ－ＲＯＭ）、ＣＤレコーダブル（ＣＤ－Ｒ）、ＣＤリライタブル（ＣＤ－ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌの略）メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ－Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ－ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ－ＲＯＭ）、ＣＤレコーダブル（ＣＤ－Ｒ）、ＣＤリライタブル（ＣＤ－ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌの略）メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
【符号の説明】
【0060】
１００…画像処理装置
１０５…画像データ取得モジュール
１１０…パンチ穴検出モジュール
１１５…周辺情報分類モジュール
１２０…ユーザーインタフェースモジュール
１２５…パンチ穴修正モジュール
１３０…画像データ出力モジュール
２００…画像形成装置
２０５…スキャンモジュール
２２０…印刷モジュール
２３０…情報処理装置
２４０…画像形成装置
２５０…情報処理装置
２９０…通信回線
１０５…画像データ取得モジュール
１１０…パンチ穴検出モジュール
１１５…周辺情報分類モジュール
１２０…ユーザーインタフェースモジュール
１２５…パンチ穴修正モジュール
１３０…画像データ出力モジュール
２００…画像形成装置
２０５…スキャンモジュール
２２０…印刷モジュール
２３０…情報処理装置
２４０…画像形成装置
２５０…情報処理装置
２９０…通信回線
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】