特許 7468176 画像処理装置および画像読取方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-08

(45)【発行日】2024-04-16

(54)【発明の名称】画像処理装置および画像読取方法

(51)【国際特許分類】

   H04N 1/387 20060101AFI20240409BHJP

   H04N 1/04 20060101ALI20240409BHJP

   H04N 1/19 20060101ALI20240409BHJP

【ＦＩ】

H04N1/387 110

H04N1/04 D

H04N1/19

【請求項の数】 11

(21)【出願番号】P 2020104460

(22)【出願日】2020-06-17

(65)【公開番号】P2021197678

(43)【公開日】2021-12-27

【審査請求日】2023-04-12

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】小山 忠明

(72)【発明者】

【氏名】中澤 政元

(72)【発明者】

【氏名】宿谷 祐一郎

【審査官】豊田 好一

(56)【参考文献】

【文献】特開２０２０－０２８０２９（ＪＰ，Ａ）

【文献】特開平１１－２０５６１８（ＪＰ，Ａ）

【文献】特開２００９－０８９３８２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １／３８７

Ｈ０４Ｎ １／０４

Ｈ０４Ｎ １／１９

(57)【特許請求の範囲】

【請求項1】

被写体に不可視光を照射するための不可視光源と、
被写体に可視光を照射するための可視光源と、
前記不可視光の一部である前記被写体からの不可視反射光を読み取ることで不可視画像を取得する不可視画像読み取り部と、
前記可視光の一部である前記被写体からの可視反射光を読み取ることで可視画像を取得する可視画像読み取り部と、
前記不可視画像読み取り部で取得した前記不可視画像において消失した情報を復元する画像復元処理部と、
を備え、
前記画像復元処理部は、
前記不可視画像および前記可視画像に基づく消失されるべきではない情報を復元対象であると判断して、第二の判断結果として出力する第二の画像情報判断部と、
前記不可視画像において消失した情報について前記第二の判断結果を基に復元した第三の出力画像を生成する第三の画像復元部と、
を備えることを特徴とする画像処理装置。

【請求項2】

前記第二の画像情報判断部は、
前記消失されるべきではない情報について、色相と彩度との少なくともいずれか１つが第一の閾値以上であるかを判断する、
ことを特徴とする、請求項１に記載の画像処理装置。

【請求項3】

前記第二の画像情報判断部は、
前記消失されるべきではない情報について、黒とグレーとのいずれかであるかを判断する、
ことを特徴とする、請求項１に記載の画像処理装置。

【請求項4】

前記第二の画像情報判断部は、前記第一の閾値を任意に変更可能とする復元色指定部を備える、
ことを特徴とする、請求項２に記載の画像処理装置。

【請求項5】

前記第二の画像情報判断部は、黒またはグレーか否かを任意に変更可能とする復元色指定部を備える、
ことを特徴とする、請求項２に記載の画像処理装置。

【請求項6】

前記不可視光源から照射される前記不可視光は、赤外光である、
ことを特徴とする請求項１ないし５のいずれか一項に記載の画像処理装置。

【請求項7】

前記可視画像読み取り部は、
少なくともＲｅｄの可視波長域に感度を持つＲ画素列と、
少なくともＧｒｅｅｎの可視波長域に感度を持つＧ画素列と、
少なくともＢｌｕｅの可視波長域に感度を持つＢ画素列と、
の３つの読み取り画素列から構成され、
前記不可視画像読み取り部は、
前記Ｒ画素列、前記Ｇ画素列、前記Ｂ画素列の内の一部あるいは全部の不可視光波長感度領域を用いる、
ことを特徴とする請求項１ないし６の何れか一項に記載の画像処理装置。

【請求項8】

前記可視画像読み取り部は、
少なくともＲｅｄの可視波長域に感度を持つＲ画素列と、
少なくともＧｒｅｅｎの可視波長域に感度を持つＧ画素列と、
少なくともＢｌｕｅの可視波長域に感度を持つＢ画素列と、
の３つの読み取り画素列から構成され、
前記不可視画像読み取り部は、
不可視光波長域に感度を持つ不可視光波長画素列から構成されている、
ことを特徴とする請求項１ないし６の何れか一項に記載の画像処理装置。

【請求項9】

前記可視画像読み取り部と前記不可視画像読み取り部とは、一体の構成である、
ことを特徴とする請求項１ないし８の何れか一項に記載の画像処理装置。

【請求項10】

前記画像復元処理部は、前記可視画像を第四の出力画像として出力する、
ことを特徴とする請求項１ないし９の何れか一項に記載の画像処理装置。

【請求項11】

不可視光源から照射された不可視光の一部である被写体からの不可視反射光を不可視画像読み取り部で読み取ることで不可視画像を取得する不可視画像読み取りステップと、
可視光源から照射された可視光の一部である被写体からの可視反射光を可視画像読み取り部で読み取ることで可視画像を取得する可視画像読み取りステップと、
前記不可視画像読み取りステップで取得した前記不可視画像において消失した情報を復元する画像復元ステップと、
を含み、
前記画像復元ステップは、
前記不可視画像および前記可視画像に基づく消失されるべきではない情報を復元対象であると判断して、第二の判断結果として出力する第二の画像情報判断ステップと、
前記不可視画像において消失した情報について前記第二の判断結果を基に復元した第三の出力画像を生成する第三の画像復元ステップと、
を含むことを特徴とする画像読取方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像読取方法に関する。

【背景技術】

【0002】

従来、不可視光による画像読み取りによって、特定の色材・成分によって文書に埋め込まれた不可視情報の抽出の他、文書の可読性やＯＣＲ（Optical Character Recognition／Reader：光学的文字認識）の精度向上を可能とする技術が知られている。

【0003】

また、特許文献１には、カラー画像の原稿から画質劣化のない、ＯＣＲの認識率向上も可能な良好なモノクロ画像を得る目的で、各画像領域の輝度情報および色情報に基づいて所定の画像補正を行う画像処理技術が開示されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に開示の技術は、特定の色の画像を用いて別の色の画像を補正処理し、文字または画像の欠落を防ぐものであるが、例えば文字の上に押印された印鑑を除去処理した後には、重なっていた文字での部分欠損は避けられないという問題があった。

【0005】

本発明は、上記に鑑みてなされたものであって、特定の重要情報の消失あるいは文字の欠損を生じることなく、不要な情報のみを精度良く除去することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明は、被写体に不可視光を照射するための不可視光源と、被写体に可視光を照射するための可視光源と、前記不可視光の一部である前記被写体からの不可視反射光を読み取ることで不可視画像を取得する不可視画像読み取り部と、前記可視光の一部である前記被写体からの可視反射光を読み取ることで可視画像を取得する可視画像読み取り部と、前記不可視画像読み取り部で取得した前記不可視画像において消失した情報を復元する画像復元処理部と、を備え、前記画像復元処理部は、前記不可視画像および前記可視画像に基づく消失されるべきではない情報を復元対象であると判断して、第二の判断結果として出力する第二の画像情報判断部と、前記不可視画像において消失した情報について前記第二の判断結果を基に復元した第三の出力画像を生成する第三の画像復元部と、を備えることを特徴とする。

【発明の効果】

【0007】

本発明によれば、特定の重要情報の消失あるいは文字の欠損を生じることなく、不要な情報のみを精度良く除去することができる、という効果を奏する。

【図面の簡単な説明】

【0008】

【図1】図１は、第１の実施の形態にかかる画像形成装置の一例の構成を示す図である。

【図2】図２は、画像読取装置の構造を例示的に示す断面図である。

【図3】図３は、分光特性の一例を示す図である。

【図4】図４は、画像読取装置を構成する各部の電気的接続を示すブロック図である。

【図5】図５は、撮像部の分光感度特性例を示す図である。

【図6】図６は、画像処理部の機能構成を示すブロック図である。

【図7】図７は、画像復元処理の一例を示す図である。

【図8】図８は、第２の実施の形態にかかる画像読取装置の構成を示す図である。

【図9】図９は、図８で示したイメージセンサの分光感度特性の一例を示す図である。

【図10】図１０は、第３の実施の形態にかかる画像処理部の機能構成を示すブロック図である。

【図11】図１１は、画像復元処理の一例を示す図である。

【図12】図１２は、画像復元処理の別の一例を示す図である。

【図13】図１３は、第４の実施の形態にかかる画像処理部の機能構成を示すブロック図である。

【図14】図１４は、画像復元処理の一例を示す図である。

【図15】図１５は、第５の実施の形態にかかる画像処理部の機能構成を示すブロック図である。

【図16】図１６は、画像復元処理の一例を示す図である。

【図17】図１７は、画像処理部の機能構成の変形例を示すブロック図である。

【図18】図１８は、第６の実施の形態にかかる画像処理部の機能構成を示すブロック図である。

【図19】図１９は、画像処理部の機能構成の変形例を示すブロック図である。

【発明を実施するための形態】

【0009】

以下に添付図面を参照して、画像処理装置および画像読取方法の実施の形態を詳細に説明する。

【0010】

（第１の実施の形態）
図１は、第１の実施の形態にかかる画像形成装置１００の一例の構成を示す図である。図１において、画像処理装置である画像形成装置１００は、コピー機能、プリンタ機能、スキャナ機能およびファクシミリ機能のうち少なくとも２つの機能を有する一般に複合機と称されるものである。

【0011】

画像形成装置１００は、読取装置である画像読取装置１０１およびＡＤＦ（Automatic Document Feeder）１０２を有し、その下部に画像形成部１０３を有する。画像形成部１０３については、内部の構成を説明するために、外部カバーを外して内部の構成を示している。

【0012】

ＡＤＦ１０２は、画像を読み取らせる原稿を読取位置に位置づける原稿支持部である。ＡＤＦ１０２は、載置台に載置した原稿を読取位置に自動搬送する。画像読取装置１０１は、ＡＤＦ１０２により搬送された原稿を所定の読取位置で読み取る。また、画像読取装置１０１は、原稿を載置する原稿支持部であるコンタクトガラスを上面に有し、読取位置であるコンタクトガラス上の原稿を読み取る。具体的に画像読取装置１０１は、内部に光源や、光学系や、ＣＭＯＳイメージセンサなどの固体撮像素子を有するスキャナであり、光源で照明した原稿の反射光を光学系を通じて固体撮像素子で読み取る。

【0013】

画像形成部１０３は、記録紙を手差しする手差ローラ１０４や、記録紙を供給する記録紙供給ユニット１０７を有する。記録紙供給ユニット１０７は、多段の記録紙給紙カセット１０７ａから記録紙を繰り出す機構を有する。供給された記録紙は、レジストローラ１０８を介して二次転写ベルト１１２に送られる。

【0014】

二次転写ベルト１１２上を搬送する記録紙は、転写部１１４において中間転写ベルト１１３上のトナー画像が転写される。

【0015】

また、画像形成部１０３は、光書込装置１０９や、タンデム方式の作像ユニット（Ｙ、Ｍ、Ｃ、Ｋ）１０５や、中間転写ベルト１１３や、上記二次転写ベルト１１２などを有する。作像ユニット１０５による作像プロセスにより、光書込装置１０９が書き込んだ画像を中間転写ベルト１１３上にトナー画像として形成する。

【0016】

具体的に、作像ユニット（Ｙ、Ｍ、Ｃ、Ｋ）１０５は、４つの感光体ドラム（Ｙ、Ｍ、Ｃ、Ｋ）を回転可能に有し、各感光体ドラムの周囲に、帯電ローラ、現像器、一次転写ローラ、クリーナーユニット、及び除電器を含む作像要素１０６をそれぞれ備える。各感光体ドラムにおいて作像要素１０６が機能し、感光体ドラム上の画像が各一次転写ローラにより中間転写ベルト１１３上に転写される。

【0017】

中間転写ベルト１１３は、各感光体ドラムと各一次転写ローラとの間のニップに、駆動ローラと従動ローラとにより張架して配置されている。中間転写ベルト１１３に一次転写されたトナー画像は、中間転写ベルト１１３の走行により、二次転写装置で二次転写ベルト１１２上の記録紙に二次転写される。その記録紙は、二次転写ベルト１１２の走行により、定着装置１１０に搬送され、記録紙上にトナー画像がカラー画像として定着する。その後、記録紙は、機外の排紙トレイへと排出される。なお、両面印刷の場合は、反転機構１１１により記録紙の表裏が反転されて、反転された記録紙が二次転写ベルト１１２上へと送られる。

【0018】

なお、画像形成部１０３は、上述したような電子写真方式によって画像を形成するものに限るものではなく、インクジェット方式によって画像を形成するものであってもよい。

【0019】

次に、画像読取装置１０１について説明する。

【0020】

図２は、画像読取装置１０１の構造を例示的に示す断面図である。図２に示すように、画像読取装置１０１は、本体１１内に、固体撮像素子である撮像部２２を備えたセンサ基板１０、レンズユニット８、第１キャリッジ６及び第２キャリッジ７を有する。第１キャリッジ６は、ＬＥＤ（Light Emitting Diode）である光源２及びミラー３を有する。第２キャリッジ７は、ミラー４，５を有する。また、画像読取装置１０１は、上面にコンタクトガラス１を設けている。

【0021】

光源２は、可視光源２ａおよび不可視光源２ｂで構成される。可視光源２ａは、被写体や基準白板１３に対して可視光を照射する。不可視光源２ｂは、被写体に不可視光を照射する。不可視光源２ｂとして、赤外光を使用することが有効である。一般的に、可視光波長域は３８０－７８０ｎｍ、また７８０ｎｍ以降は赤外波長域とされ、不可視の波長域である。

【0022】

図３は、分光特性の一例を示す図である。図３に示すように、黒（Ｋ）トナーによる黒画像と、シアン（Ｃ）トナー、マゼンタ（Ｍ）トナー、イエロー（Ｙ）トナーの合成である黒（Ｃ＋Ｍ＋Ｙ）トナーによる黒画像では、可視光領域ではどちらも低反射率であり同じ「黒」として認識される。しかしながら、赤外光領域においては反射率に大きな違いが見られ、特に後者による黒の画像はほぼ「白」と認識され、画像情報として読み取った際に消失してしまうこととなる。

【0023】

可視光波長域ではいずれも黒であることから、画像として読み取る前に人間の目でこれらを判別することは困難であり、よって２つの画像情報が赤外光読み取りによって消失してしまうか否かを判別することはできず、意図しない情報の消失を生じてしまう。

【0024】

そこで、本実施形態においては、被写体読み取り用の不可視光源２ｂとして赤外光を使用することにより、不要情報の消去と消失画像情報の復元を可能にする画像処理装置を実現する。

【0025】

また、画像読取装置１０１は、上面に基準白板１３を設けている。より詳細には、基準白板１３は、撮像部２２の撮像範囲において、照明部である光源２とは被写体に対して反対側に設けられる。

【0026】

画像読取装置１０１は、読取動作において、第１キャリッジ６及び第２キャリッジ７を待機位置（ホームポジション）から副走査方向（Ａ方向）に移動させながら光源２から光を上方に向けて照射する。そして、第１キャリッジ６及び第２キャリッジ７は、被写体である原稿１２からの反射光を、レンズユニット８を介して撮像部２２上に結像させる。

【0027】

また、画像読取装置１０１は、電源ＯＮ時などには、基準白板１３からの反射光を読取って基準を設定する。即ち、画像読取装置１０１は、第１キャリッジ６を基準白板１３の直下に移動させ、光源２を点灯させて基準白板１３からの反射光を撮像部２２の上に結像させることによりゲイン調整を行う。

【0028】

撮像部２２は、可視、不可視の波長域を撮像可能である。撮像部２２には、入射光量を電気信号に変換する画素が配置されている。画素は行列状に配置される。各画素上には特定の波長の光のみを透過するカラーフィルタが配置されている。本実施の形態の撮像部２２では、同一のカラーフィルタが配置された画素群から得られる各信号をチャンネルと称する。なお、本実施形態では可視光を照射して撮像部２２によって撮像された画像を可視画像、近赤外光などの不可視光を照射して撮像部２２によって撮像された画像を不可視画像と呼ぶ。

【0029】

なお、本実施形態の画像読取装置１０１として縮小光学系の画像読取装置を適用したが、これに限るものではなく、等倍光学系（密着光学系：ＣＩＳ方式）であってもよい。

【0030】

図４は、画像読取装置１０１を構成する各部の電気的接続を示すブロック図である。図４に示すように、画像読取装置１０１は、上述した撮像部２２、光源２に加え、画像処理部２０、制御部２３、光源駆動部２４、を備えている。制御部２３は、撮像部２２、画像処理部２０、光源駆動部２４を制御する。光源駆動部２４は、制御部２３の制御に従い、光源２を駆動する。撮像部２２は、信号を後段に配置される画像処理部２０へと転送する。

【0031】

撮像部２２は、不可視画像読み取り部として機能する不可視光イメージセンサ２２ｂと、可視画像読み取り部として機能する可視光イメージセンサ２２ａと、を備える。不可視光イメージセンサ２２ｂは、不可視光の一部である被写体からの不可視反射光を読み取ることで不可視画像（不可視光波長領域の画像）を取得する。可視光イメージセンサ２２ａは、可視光の一部である被写体からの可視反射光を読み取ることで可視画像（可視光波長領域での画像）を取得する。不可視光イメージセンサ２２ｂおよび可視光イメージセンサ２２ａは、縮小光学系用センサであり、例えばＣＭＯＳイメージセンサなどである。

【0032】

図５は、撮像部２２の分光感度特性例を示す図である。図５に示すように、撮像部２２の可視光イメージセンサ２２ａは、Ｂｌｕｅ、Ｇｒｅｅｎ、Ｒｅｄの各可視波長域に分光感度を有している。撮像部２２の不可視光イメージセンサ２２ｂは、７８０ｎｍ以降の赤外光波長域にのみ感度を有している。このような構成によれば、撮像部２２は、光源２（可視光源２ａおよび不可視光源２ｂ）が不可視光と赤外光を同時に照射した場合に、一度の被写体読み取りで両方の画像を取得することが可能となる。すなわち、イメージセンサ毎に照射光を分ける必要がなく、簡易構成可能である。なお、可視光イメージセンサ２２ａのＲ、Ｇ、Ｂ各画素に混入する赤外光情報は、赤外光画素の画像データを用いてそれぞれの読み取りデータから適切に除去するなどすればよい。

【0033】

なお、可視光イメージセンサ２２ａと不可視光イメージセンサ２２ｂとは、一体型の構成であってもよい。これにより、より小型な構成で、かつ可視光と赤外光の読み取り位置がより近くなるため、高精度な消失情報の抽出及び復元が可能となる。すなわち、複数回読み取ることによる画像のずれが無く、位置精度よく補正可能である。

【0034】

画像処理部２０は、画像データの使用目的に合わせた各種の画像処理を実行する。なお、画像処理部２０は、ハードウェア、ソフトウェアのどちらで実現されても良い。

【0035】

ここで、図６は画像処理部２０の機能構成を示すブロック図である。図６に示すように、画像処理部２０は、画像復元処理部２１を備える。例えば、本実施形態においては、まず、不可視光源２ｂから照射された不可視光による画像読み取りを不可視光イメージセンサ２２ｂで行う。不可視光は特定の成分を含まない情報（例:カラー情報）を透過することから、必要な情報（例:黒（カーボン））のみを画像として読み取った不可視画像を基に、カラーにて構成される地紋や罫線などを除去し、可読性やＯＣＲ精度を向上することが可能となる。しかし一方で、本来残したい情報（例:カラー情報）であっても、意図せず除去されてしまうケースも存在する。

【0036】

そこで、本実施形態においては、可視光源２ａから照射された可視光による画像読み取りを可視光イメージセンサ２２ａで行うとともに、不可視光イメージセンサ２２ｂで取得した不可視画像において消失した情報を画像復元処理部２１が可視画像を基に復元する。

【0037】

より詳細には、図６に示すように、画像復元処理部２１は、第一の画像復元部２１ａを備える。第一の画像復元部２１ａは、不可視画像に対し、可視光イメージセンサ２２ａで読み取った可視画像を用いて画像情報の補正・復元を行う画像復元処理を実行することで第一の出力画像を生成する。

【0038】

以下において、画像復元処理部２１が実行する画像復元処理について詳述する。

【0039】

ここで、図７は画像復元処理の一例を示す図である。図７（ａ）に示す文書は、カラーの地紋（薄いブルーなど）が施された台紙に、日付や金額等はカーボンなど特定の成分を含む黒トナーで印字され、さらに朱肉によって受領印が押印された紙文書を想定した例である。

【0040】

図７（ｂ）は、図７（ａ）に示す文書のカラードロップアウト画像を示すものである。ＯＣＲによる文字情報抽出のため文書スキャンを行う場合、地紋や受領印は除去されていることが望ましいため、例えばこれらのカラー情報を従来のカラードロップアウト処理によって除去すると、図７（ｂ）に示すように地紋はきれいに除去されるものの、受領印が重畳していた金額部分に文字欠けが発生してしまう。

【0041】

図７（ｃ）は、図７（ａ）に示す文書の不可視画像を示すものである。可視光による画像読み取りに対し、不可視光源２ｂから照射された不可視光による画像読み取りであれば、地紋・受領印ともに特定の成分を含まない材質であるために不可視光は透過し、結果として図７（ｃ）に示すように黒の文字情報を精度よく読み取ることができるようになる。

【0042】

一方で、数字などの重要情報と同じように黒で記載された情報であっても、カーボンなどの「特定の成分を含まない材質」であるために不可視光が透過してしまい、本来残したい情報（例：カラー情報）が意図せず消去されてしまうケースも存在する。

【0043】

図７（ｄ）に示す文書は、黒トナーで記載された領収書に「重要」の文字が追記された紙文書を想定した例である。「重要」の文字は、黒トナーとは異なる特定の成分は含まない黒で手書きによって記載されたものである。この「重要」の文字は、文書の重要度や優先度などを示す情報であり、消失は望ましくない。

【0044】

図７（ｅ）は、図７（ｄ）に示す文書の不可視画像を示すものである。不可視光源２ｂから照射された不可視光による画像読み取りでは、図７（ｅ）に示すように本来残したい情報である「重要」の文字が消去されてしまい、望ましくない。

【0045】

図７（ｆ）は、図７（ｄ）に示す文書の可視画像を示すものである。可視光源２ａから照射された可視光による画像読み取りでは、図７（ｆ）に示すように「重要」の文字が消去されずに残ることになる。

【0046】

図７（ｇ）は、図７（ｄ）に示す文書の不可視画像＋復元画像を示すものである。本実施形態においては、図７（ｆ）に示す可視光読み取りにより可視光イメージセンサ２２ａで取得された可視画像を用い、第一の画像復元部２１ａが、不可視光イメージセンサ２２ｂで取得した不可視画像に対して「重要」の文字を復元する画像復元処理を実行することで、図７（ｇ）に示す第一の出力画像を生成する。これにより、本来残したい情報が意図せず消失されることを防止することが可能となる。

【0047】

このように本実施形態によれば、不可視光読み取りによって不要情報を除去し、さらに意図せず除去されてしまった画像情報を可視画像を基に補うことで、特定の重要情報の消失あるいは文字の欠損を生じることなく、不要な情報のみを精度良く除去することができる。すなわち、文書に対する地紋や印鑑といった不要情報を除去しつつ、かつ除去に望ましくない情報は復元することができる。また、可読性及びＯＣＲの文字認識精度を大きく向上させることができる。

【0048】

（第２の実施の形態）
次に、第２の実施の形態について説明する。

【0049】

第２の実施の形態は、不可視光イメージセンサ２２ｂとしてシリコン製の一般的なイメージセンサを使用する点が、第１の実施の形態と異なる。以下、第２の実施の形態の説明では、第１の実施の形態と同一部分の説明については省略し、第１の実施の形態と異なる箇所について説明する。

【0050】

第１の実施の形態においては、不可視光波長領域の画像を取得するための不可視光イメージセンサ２２ｂと、可視光波長領域での画像を取得するための可視光イメージセンサ２２ａと、をそれぞれ設けるようにしたが、これに限るものではない。上述したように、被写体読み取り用の不可視光源２ｂとして赤外光を使用することにより、赤外波長領域に感度を有するシリコン製のイメージセンサを使用することができるようになる。

【0051】

ここで、図８は第２の実施の形態にかかる画像読取装置１０１の構成を示す図である。図８に示すように、画像読取装置１０１は、可視光イメージセンサ２２ａおよび不可視光イメージセンサ２２ｂを、ＲＧＢ３ラインの一般的なシリコン製のイメージセンサで構成する。

【0052】

図９は、図８で示したイメージセンサの分光感度特性の一例を示す図である。図９に示すように、一般的なシリコン製のイメージセンサは、Ｂｌｕｅ、Ｇｒｅｅｎ、Ｒｅｄの各可視波長域に加え、赤外波長域にも分光感度を有している。例えば不可視光に赤外光、可視光に白色光を用いることで、可視光イメージセンサ２２ａおよび不可視光イメージセンサ２２ｂを一般的なイメージセンサによる簡易的な構成とし、被写体の不可視画像および可視画像を読み取ることが可能となる。

【0053】

なお、図９に示すイメージセンサでは、Ｒ、Ｇ、Ｂ各画素において可視光波長域と不可視光波長域の両方に感度を有している。そのため、本構成では、被写体を読み取る際には、可視光源２ａと不可視光源２ｂとの何れか一方を照射することにより、可視画像および不可視画像を取得することが可能となる。この時、イメージセンサは同一のものを使用することが可能であり、簡易的な構成が可能となる。

【0054】

（第３の実施の形態）
次に、第３の実施の形態について説明する。

【0055】

第３の実施の形態は、不可視画像に対する復元対象の判断要因として可視画像を用いる点が、第１の実施の形態または第２の実施の形態と異なる。以下、第３の実施の形態の説明では、第１の実施の形態または第２の実施の形態と同一部分の説明については省略し、第１の実施の形態または第２の実施の形態と異なる箇所について説明する。

【0056】

ここで、図１０は第３の実施の形態にかかる画像処理部２０の機能構成を示すブロック図である。図１０に示すように、本実施形態の画像復元処理部２１は、第１の実施の形態で説明した第一の画像復元部２１ａに代えて、第一の画像情報判断部２１ｂと、第二の画像復元部２１ｃと、を備える。

【0057】

第一の画像情報判断部２１ｂは、可視画像に基づく消失されるべきではない情報を復元対象であると判断して、第一の判断結果として生成する。

【0058】

第二の画像復元部２１ｃは、不可視画像において消失した情報について第一の判断結果を基に復元した第二の出力画像を生成する。

【0059】

このように、不可視画像に対する復元対象の判断要因として可視画像を用いることで、意図せず消失した画像を精度良く復元することが可能となる。

【0060】

以下において、画像復元処理部２１が実行する画像復元処理について詳述する。

【0061】

ここで、図１１は画像復元処理の一例を示す図である。図１１（ａ）に示す文書は、カラーの地紋（薄いブルーなど）が施された台紙に、日付や金額等はカーボンなど特定の成分を含む黒トナーで印字され、さらに朱肉によって受領印が押印された紙文書を想定した例である。

【0062】

なお、図１１（ａ）に示す文書の右上には手書きで「重要」の文字が追記されているが、黒トナーとは異なる特定の成分は含まない黒で記載されている。この「重要」の文字は、文書の重要度や優先度などを示す情報であり、消失は望ましくない。

【0063】

図１１（ｂ）は、図１１（ａ）に示す文書の不可視画像を示すものである。不可視光源２ｂから照射された不可視光による画像読み取りでは、図１１（ｂ）に示すように地紋、受領印、「重要」の文字が消去されてしまうことになる。

【0064】

図１１（ｃ）は、図１１（ａ）に示す文書の可視画像を示すものである。不可視光による画像読み取りに対し、可視光源２ａから照射された可視光による画像読み取りであれば、図１１（ｃ）に示すように地紋、受領印、「重要」の文字が消去されずに残ることになる。

【0065】

図１１（ｄ）は、判断情報を示すものである。第一の画像情報判断部２１ｂは、（ｃ）に示す可視画像より消失されるべきではない情報を判断して第一の判断結果を生成する。そして、第一の画像情報判断部２１ｂは、第一の判断結果として画像（ｄ）を出力する。図１１（ｄ）は、例えば画像中の黒の情報のみを抽出した例を示している。

【0066】

ここで、第一の画像情報判断部２１ｂによる復元対象とするか否かの判断について詳述する。第一の画像情報判断部２１ｂは、例えば、色相と彩度との少なくともいずれか１つが第一の閾値以上か否かを判断することで、不可視画像に対する画像の復元要否を判断する。

【0067】

図３に示したように、白紙面上に画像形成されたシアン（Ｃ）トナー、マゼンタ（Ｍ）トナー、イエロー（Ｙ）トナーの分光反射特性は、可視波長領域においてそれぞれ異なる特性を示しており、それぞれ異なる色となって視認される。また、Ｃトナー、Ｍトナー、Ｙトナーを合成して作られた黒（Ｃ＋Ｍ＋Ｙ）トナーは、可視波長領域（波長４００～７５０ｎｍ付近）においては低反射率＝黒、近赤外光領域（波長７５０ｎｍ以降）においては高反射率＝白、を示している。一方で、図３に示したように、黒（Ｋ）トナーは、全波長域に渡って低反射率＝黒を示している。すなわち、同じ“黒”と視認される色であっても、近赤外波長域では黒（Ｋ）は黒い文字や画像として読み取られるが、黒（Ｃ＋Ｍ＋Ｙ）は白として読み取られ、情報としては消失してしまうこととなる。

【0068】

そこで、本実施形態の第一の画像情報判断部２１ｂは、可視画像に含まれる色相と彩度との少なくともいずれか１つの情報から、“黒”と判断された情報を「意図せず消失してしまう情報」と判断する。

【0069】

このようにして判断された「意図せず消失してしまう情報」は、該当する可視画像を用いて不可視画像へ付加、補正、置き換え等を行うことにより、情報の復元に用いられる。仮に「意図せず消失してしまう情報」が黒（Ｋ）の情報であっても、消失していない情報への追加処理となるため、影響はない。

【0070】

これにより、意図せず消失し得る画像を精度良く検出することが可能となる。

【0071】

図１１（ｅ）は、図１１（ａ）に示す文書の不可視画像＋復元画像を示すものである。本実施形態においては、（ｂ）に示す不可視画像と（ｄ）に示す判断情報とを用いて、第二の画像復元部２１ｃが例えば画像毎にＯＲをとることで、図１１（ｅ）に示す第二の出力画像である復元画像を得ることができる。これにより、不要な情報を除去しつつ、意図せず消失し得る画像を復元することができる。

【0072】

このように本実施形態によれば、不可視画像における復元対象判断要因として可視画像における画像情報を用いることで、意図せず消失し得る画像を精度良く検出・復元することが可能となる。

【0073】

なお、本実施形態においては、第一の画像情報判断部２１ｂは、可視画像に基づく消失されるべきではない情報について、色相と彩度との少なくともいずれか１つが第一の閾値以上か否かを判断することで、不可視画像に対する画像の復元要否を判断するようにしたが、これに限るものではない。例えば、第一の画像情報判断部２１ｂは、低明度である黒と、低明度および低彩度であるグレーといずれかであるかどうかを判断基準としてもよい。

【0074】

ここで、図１２は画像復元処理の別の一例を示す図である。図１２（ａ）に示す文書は、カラーの地紋（薄いブルーなど）が施された台紙に、日付や金額等はカーボンなど特定の成分を含む黒トナーで印字された紙文書を想定した例である。

【0075】

なお、図１２（ａ）に示す文書の右上には手書きで「重要」の文字が追記されているが、カラーインク合成による黒で記載されている。この「重要」の文字は、文書の重要度や優先度などを示す情報であり、消失は望ましくない。

【0076】

カラーインク合成による黒の印字である「重要」の文字は、不可視光源２ｂから照射された不可視光による画像読み取りでは消去されてしまうが、本発明の復元処理によって復元され、また台紙のカラーの地紋（薄いブルーなど）は閾値以上の色相や彩度（色味）を持っていることから復元はされない。結果として、図１２（ｂ）に示すように、地紋のみが除去され、視認性が大きく向上した第二の出力画像である復元画像が得られる。

【0077】

これにより、意図せず消失し得る画像を精度良く検出ことが可能となる。

【0078】

（第４の実施の形態）
次に、第４の実施の形態について説明する。

【0079】

第４の実施の形態は、不可視画像に対する復元対象の判断要因として可視画像と不可視画像の両方を用いる点が、第１の実施の形態ないし第３の実施の形態と異なる。以下、第４の実施の形態の説明では、第１の実施の形態ないし第３の実施の形態と同一部分の説明については省略し、第１の実施の形態ないし第３の実施の形態と異なる箇所について説明する。

【0080】

ここで、図１３は第４の実施の形態にかかる画像処理部２０の機能構成を示すブロック図である。

【0081】

図１３に示すように、本実施形態の画像復元処理部２１は、第１の実施の形態で説明した第一の画像復元部２１ａに代えて、第二の画像情報判断部２１ｄと、第三の画像復元部２１ｅと、を備える。

【0082】

第二の画像情報判断部２１ｄは、可視画像および不可視画像に基づく消失されるべきではない情報を復元対象であると判断して、第二の判断結果を生成する。

【0083】

第三の画像復元部２１ｅは、不可視画像において消失した情報について第二の画像情報判断部２１ｄにおける第二の判断結果を基に復元した第三の出力画像を生成する。

【0084】

このように、不可視画像に対する復元対象の判断要因として可視画像と不可視画像の両方を用いることで、意図せず消失し得る画像を精度良く、かつより少ないデータ量で判断情報を構成することが可能となる。

【0085】

以下において、画像復元処理部２１が実行する画像復元処理について詳述する。

【0086】

ここで、図１４は画像復元処理の一例を示す図である。図１４（ａ）に示す文書は、カラーの地紋（薄いブルーなど）が施された台紙に、日付や金額等はカーボンなど特定の成分を含む黒トナーで印字された紙文書を想定した例である。

【0087】

なお、図１４（ａ）に示す文書の右上には手書きで「重要」の文字が追記されているが、黒トナーとは異なる特定の成分は含まない黒で記載されている。この「重要」の文字は、文書の重要度や優先度などを示す情報であり、消失は望ましくない。

【0088】

図１４（ｂ）は、図１４（ａ）に示す文書の不可視画像を示すものである。不可視光源２ｂから照射された不可視光による画像読み取りでは、図１４（ｂ）に示すように地紋、「重要」の文字が消去されてしまうことになる。

【0089】

図１４（ｃ）は、図１４（ａ）に示す文書の可視画像を示すものである。不可視光による画像読み取りに対し、可視光源２ａから照射された可視光による画像読み取りであれば、図１４（ｃ）に示すように地紋、「重要」の文字が消去されずに残ることになる。

【0090】

図１４（ｄ）は、判断情報を示すものである。第二の画像情報判断部２１ｄは、図１４（ｂ）に示す不可視画像と図１４（ｃ）に示す可視画像とを用い、例えば２つの画像における黒の情報かつ非共通の情報を抽出することで、その部分は消失されるべきではない情報と判断して第二の判断結果を生成する。そして、第二の画像情報判断部２１ｄは、第二の判断結果として図１４（ｄ）の画像を出力する。図１４（ｄ）は、例えば２つの画像における黒の情報かつ非共通の情報を抽出した例を示している。判断情報として出力される図１４（ｄ）の画像は、図１１（ｄ）の例と比べてより少ない情報量で構成されている。

【0091】

ここで、第二の画像情報判断部２１ｄによる復元対象とするか否かの判断について詳述する。第二の画像情報判断部２１ｄは、不可視画像および可視画像に基づく消失されるべきではない情報について、色相と彩度との少なくともいずれか１つが第一の閾値以上か否かを判断することで、不可視画像に対する画像の復元要否を判断する。具体的には、第二の画像情報判断部２１ｄは、可視画像に含まれる色相と彩度との少なくともいずれか１つの情報から、“黒”と判断された情報を「意図せず消失してしまう情報」と判断する。

【0092】

このようにして判断された「意図せず消失してしまう情報」は、該当する可視画像を用いて不可視画像へ付加、補正、置き換え等を行うことにより、情報の復元に用いられる。仮に「意図せず消失してしまう情報」が黒（Ｋ）の情報であっても、消失していない情報への追加処理となるため、影響はない。

【0093】

これにより、意図せず消失し得る画像を精度良く検出することが可能となる。

【0094】

図１４（ｅ）は、図１４（ａ）に示す文書の不可視画像＋復元画像を示すものである。本実施形態においては、（ｂ）に示す不可視画像と（ｄ）に示す判断情報とを用いて、第三の画像復元部２１ｅが例えば画像毎にＯＲをとることで、図１４（ｅ）に示す第三の出力画像である復元画像を得ることができる。これにより、不要な情報を除去しつつ、意図せず消失し得る画像を復元することができ、さらに判断情報はより少ない情報量で構成することができる。

【0095】

このように本実施形態によれば、不可視画像における復元対象判断要因として可視画像と不可視画像を用いることで、意図せず消失し得る画像をより精度良く検出・復元することが可能となる。

【0096】

なお、本実施形態においては、第二の画像情報判断部２１ｄは、色相と彩度との少なくともいずれか１つが第一の閾値以上か否かを判断することで、不可視画像に対する画像の復元要否を判断するようにしたが、これに限るものではない。例えば、第二の画像情報判断部２１ｄは、低明度である黒と低明度および低彩度であるグレーとのいずれかであるかどうかを判断基準としてもよい。

【0097】

（第５の実施の形態）
次に、第５の実施の形態について説明する。

【0098】

第５の実施の形態は、ユーザが指定した色を復元する点が、第１の実施の形態ないし第４の実施の形態と異なる。以下、第５の実施の形態の説明では、第１の実施の形態ないし第４の実施の形態と同一部分の説明については省略し、第１の実施の形態ないし第４の実施の形態と異なる箇所について説明する。

【0099】

図１５は、第５の実施の形態にかかる画像処理部２０の機能構成を示すブロック図である。

【0100】

図１５に示すように、本実施形態の画像復元処理部２１は、図１０に示した構成に加えて、さらに不可視画像に対する復元色指定部２１ｆを備える。

【0101】

復元色指定部２１ｆは、画像復元部における復元対象とする情報／画像を任意に変更可能とすることで、任意のカラーの重要情報（朱色の印影やカラーペンによる受領サインなど）の消失を防止することが可能となる。

【0102】

より詳細には、復元色指定部２１ｆは、第一の画像情報判断部２１ｂが色相と彩度との少なくともいずれか１つが第一の閾値以上か否かを判断する場合、第一の閾値を任意に変更可能とする。また、復元色指定部２１ｆは、第一の画像情報判断部２１ｂが低明度である黒や、低明度および低彩度であるグレーであるかどうかを判断する場合、黒もしくはグレーか否かを任意に変更可能とする。

【0103】

なお、復元色指定部２１ｆは、制御部２３による自動指定であってもよいし、あるいはユーザによる任意の色を指定可能な構成であってもよい。

【0104】

ここで、図１６は画像復元処理の一例を示す図である。図１６（ａ）に示す文書は、カラーの地紋が施された台紙に、日付や金額等はカーボンなど特定の成分を含む黒トナーで印字されている。さらに、図１６（ａ）に示す文書は、黒トナーとは異なる特定の成分は含まない黒で金額の取り消し線および修正文字が記載され、また赤色の訂正印が押印されている。この文書では、地紋以外の記載情報全てが必要情報であることから、これらの情報消失は望ましくない。

【0105】

図１６（ｂ）は、（ａ）に示す文書の不可視画像を示すものである。不可視光源２ｂから照射された不可視光による画像読み取りでは、図１６（ｂ）に示すように地紋、受領印のみならず、必要情報である取り消し線および修正文字まで消去されてしまうことになる。

【0106】

図１６（ｃ）は、（ａ）に示す文書の可視画像を示すものである。不可視光による画像読み取りに対し、可視光源２ａから照射された可視光による画像読み取りであれば、図１６（ｃ）に示すように地紋、受領印、必要情報である取り消し線および修正文字が消去されずに残ることになる。

【0107】

ここで、復元色指定部２１ｆは、例えば、黒と赤を復元色として指定したものとする。復元色指定部２１ｆにおいて黒と赤を復元色として指定した場合、復元色指定部２１ｆは、第一の画像情報判断部２１ｂに向けて黒と赤を残すあるいは復元するよう指示する。

【0108】

図１６（ｄ）は、判断情報１を示すものである。図１６（ｄ）に示すように、黒と赤を復元色として指定した指示を受けた第一の画像情報判断部２１ｂは、図１６（ｃ）に示す可視画像を用いて黒と赤の情報を抽出した判断情報１（ｄ）を第一の判断結果として出力する。

【0109】

図１６（ｅ）は、判断情報２を示すものである。黒と赤を復元色として指定した指示を受けた第一の画像情報判断部２１ｂは、図１６（ｄ）に示す判断情報１から図１６（ｂ）に示す不可視画像を除いた判断情報２である図１６（ｅ）の画像を第一の判断結果として出力する。

【0110】

図１６（ｆ）は、（ａ）に示す文書の不可視画像＋復元画像を示すものである。本実施形態においては、図１６（ｄ）に示す判断情報１、あるいは図１６（ｂ）に示す不可視画像と図１６（ｄ）に示す判断情報１、あるいは図１６（ｂ）に示す不可視画像と図１６（ｅ）に示す判断情報２を用いて、第二の画像復元部２１ｃが例えば画像毎にＯＲをとることで、図１６（ｆ）に示す復元画像を得ることができる。これにより、不要な情報を除去しつつ、意図せず消失し得る任意の色の画像を復元することが可能となる。

【0111】

このように本実施形態によれば、復元対象とする色を制御部２３もしくはユーザが任意に変更可能とすることで、カラーの重要情報（朱色の印影やカラーペンによる受領サインなど）の消失を防止することが可能である。

【0112】

なお、本実施形態においては、図１０に示した構成において、さらに不可視画像に対する復元色指定部２１ｆを備えた構成例について説明したが、これに限るものではない。ここで、図１７は画像処理部２０の機能構成の変形例を示すブロック図である。図１７に示すように、画像復元処理部２１は、図１３に示した構成に加えて、さらに不可視画像に対する復元色指定部２１ｆを備えるようにしてもよい。

【0113】

この場合においても、不要な情報を除去しつつ、意図せず消失し得る任意の色の画像を復元することが可能となる。

【0114】

（第６の実施の形態）
次に、第６の実施の形態について説明する。

【0115】

第６の実施の形態は、可視画像も外部出力する点が、第１の実施の形態ないし第５の実施の形態と異なる。以下、第６の実施の形態の説明では、第１の実施の形態ないし第５の実施の形態と同一部分の説明については省略し、第１の実施の形態ないし第５の実施の形態と異なる箇所について説明する。

【0116】

これまでに示した各実施形態では、不可視画像における消失情報や画像を適切に復元・補正し、第一の出力画像または第二の出力画像として出力する構成であった。

【0117】

本実施形態では、可視画像も外部出力することを可能にしたものである。これにより、例えば本発明による復元や補正が行われる前の状態、すなわち受け取った／処理した文書の視認画像を保存／確認／エビデンス用などに使用することが可能となる。

【0118】

図１８は、第６の実施の形態にかかる画像処理部２０の機能構成を示すブロック図である。図１８に示すように、本実施形態の画像復元処理部２１は、図１０に示した構成において、さらに第四の出力画像として可視画像を出力する。

【0119】

図１１で説明した適用例によれば、最終的には第二の出力画像として図１１（ｅ）に示す復元画像が出力されるが、厳密にはオリジナルの図１１（ａ）に示す文書から地紋が除去されているため、ＯＣＲや可読性改善には適しているものの、例えば文書の持つ証拠能力や法的な扱いに対しては、十分でない可能性がある。

【0120】

そのため、本実施形態の画像復元処理部２１は、図１１（ｃ）の文書の可視画像であるオリジナル画像も出力可能とすることで、これらの効果消失分を補い、解消することが可能となる。

【0121】

このように本実施形態によれば、不可視光補正画像に加え、可視画像を保存／確認／エビデンス用などに使用することが可能となる。

【0122】

なお、本実施形態においては、図１０に示した構成において、さらに第四の出力画像として可視画像を出力する構成例について説明したが、これに限るものではない。ここで、図１９は、画像処理部２０の機能構成の変形例を示すブロック図である。図１９に示すように、画像復元処理部２１は、図１３に示した構成において、さらに第四の出力画像として可視画像を出力するようにしてもよい。

【0123】

この場合においても、文書の可視画像であるオリジナル画像も出力可能とすることで、これらの効果消失分を補い、解消することが可能となる。

【0124】

なお、上記実施の形態では、本発明の画像処理装置を、コピー機能、プリンタ機能、スキャナ機能およびファクシミリ機能のうち少なくとも２つの機能を有する複合機に適用した例を挙げて説明するが、複写機、プリンタ、スキャナ装置、ファクシミリ装置等の画像処理装置であればいずれにも適用することができる。

【符号の説明】

【0125】

２ａ 可視光源
２ｂ 不可視光源
２１ 画像復元処理部
２１ａ 第一の画像復元部
２１ｂ 第一の画像情報判断部
２１ｃ 第二の画像復元部
２１ｄ 第二の画像情報判断部
２１ｅ 第三の画像復元部
２１ｆ 復元色指定部
２２ａ 可視画像読み取り部
２２ｂ 不可視画像読み取り部
１００ 画像処理装置

【先行技術文献】

【特許文献】

【0126】

【文献】特開２００６－１２１６７４号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】