(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-11
(45)【発行日】2022-10-19
(54)【発明の名称】画像処理装置、画像処理システム、プログラムおよび画像処理方法
(51)【国際特許分類】
H04N 1/409 20060101AFI20221012BHJP
H04N 1/387 20060101ALI20221012BHJP
G06T 5/00 20060101ALI20221012BHJP
G06T 1/00 20060101ALI20221012BHJP
【FI】
H04N1/409
H04N1/387 110
G06T5/00 710
G06T1/00 510
(21)【出願番号】P 2018152125
(22)【出願日】2018-08-10
【審査請求日】2021-06-16
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100089118
【氏名又は名称】酒井 宏明
(72)【発明者】
【氏名】橋本 歩
(72)【発明者】
【氏名】中澤 政元
(72)【発明者】
【氏名】渡辺 将史
(72)【発明者】
【氏名】伊藤 昌弘
【審査官】橋爪 正樹
(56)【参考文献】
【文献】国際公開第2016/171090(WO,A1)
【文献】国際公開第2016/113983(WO,A1)
【文献】特開2008-022420(JP,A)
【文献】特開2010-178056(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 1/04- 1/207
H04N 1/38- 1/409
G06T 1/00
G06T 5/00
(57)【特許請求の範囲】
【請求項1】
可視波長領域と不可視波長領域とを読み取る読取部と、
読み取った画像を可視画像と不可視画像とに分離する画像分離部と、
分離した前記可視画像と前記不可視画像とに対し、それぞれ異なる画像補正処理を実施する画像補正処理部と、
を有
し、
前記画像補正処理部は、前記可視画像と前記不可視画像との画像補正後の画像特性を揃える処理を行う、
ことを特徴とする画像処理装置。
【請求項2】
必要な画像を取得できるモードを選択するモード選択部を更に備え、
前記画像補正処理部は、分離した前記可視画像と前記不可視画像とに対し、前記モード選択部で選択されたモードによって画像補正処理を切り替える、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記画像分離部は、可視光源と不可視光源との切り替えを実施する、
ことを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
前記画像補正処理部は、前記可視画像と前記不可視画像との画像特性の差分を保持し、当該差分に応じたパラメータで処理を実施する、
ことを特徴とする請求項
1に記載の画像処理装置。
【請求項5】
前記画像補正処理部は、前記可視画像と前記不可視画像とのMTF強度差分に応じた復元強度を持つパラメータで空間フィルタ処理を実施する、
ことを特徴とする請求項
4に記載の画像処理装置。
【請求項6】
前記画像分離部は、可視外の画像をカットする波長領域カットフィルタを用いる、
ことを特徴とする請求項1ないし
5の何れか一項に記載の画像処理装置。
【請求項7】
前記画像分離部は、画像処理によって画像分離を行う、
ことを特徴とする請求項1ないし
5の何れか一項に記載の画像処理装置。
【請求項8】
前記画像補正処理部は、前記可視画像と前記不可視画像との裏写り強度差分に応じた復元強度を持つパラメータでガンマ処理を実施する、
ことを特徴とする請求項
6に記載の画像処理装置。
【請求項9】
前記画像補正処理部は、画像補正した前記不可視画像を、画像補正した前記可視画像に合成する画像合成部を備える、
ことを特徴とする請求項1ないし
8のいずれか一項に記載の画像処理装置。
【請求項10】
前記画像合成部は、前記可視画像の余白領域を検出し、当該余白領域に前記不可視画像を合成する、
ことを特徴とする請求項
9に記載の画像処理装置。
【請求項11】
前記画像合成部は、前記不可視画像を任意の色で前記可視画像に合成する、
ことを特徴とする請求項
9に記載の画像処理装置。
【請求項12】
前記画像合成部は、前記不可視画像を前記可視画像の任意の位置に合成する、
ことを特徴とする請求項
9に記載の画像処理装置。
【請求項13】
請求項1ないし
12の何れか一項に記載の画像処理装置と、
画像形成部と、
を備えることを特徴とする画像
処理システム。
【請求項14】
可視波長領域と不可視波長領域とを読み取る読取部と、読み取った画像を可視画像と不可視画像とに分離する画像分離部と、を備える画像処理装置を制御するコンピュータを、
分離した前記可視画像と前記不可視画像とに対し、それぞれ異なる画像補正処理を実施する画像補正処理手段として機能させ
、
前記画像補正処理手段は、前記可視画像と前記不可視画像との画像補正後の画像特性を揃える処理を行う、
プログラム。
【請求項15】
画像処理装置で実行される画像処理方法であって、
可視波長領域と不可視波長領域とを読み取る読取工程と、
読み取った画像を可視画像と不可視画像とに分離する画像分離工程と、
分離した前記可視画像と前記不可視画像とに対し、それぞれ異なる画像補正処理を実施する画像補正処理工程と、
を含
み、
前記画像補正処理工程は、前記可視画像と前記不可視画像との画像補正後の画像特性を揃える処理を行う、
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理システム、プログラムおよび画像処理方法に関する。
【背景技術】
【0002】
近年、文書セキュリティの目的で、原稿に埋め込まれた目に見えない不可視情報を不可視光で読み取ることで、原稿の真贋判定を行う技術が知られている。
【0003】
また、特許文献1には、センサ用途を想定したものであり、物体検出として可視光、物体や瞳の検知として不可視光(NIR光)に感度を持った撮影を行う技術が開示されている。
【0004】
特許文献2には、監視カメラ用途を想定したものであり、夜間は可視光から不可視光(NIR光)までの帯域に感度を持った撮影を行う技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、可視画像と不可視画像とでは、読取時の画像特性が異なるためにそれぞれの画像で異なる画像補正処理を実施する必要がある。
【0006】
しかしながら、従来の技術によれば、可視画像と不可視画像の混合画像を画像補正する点については考慮されているが、可視画像と不可視画像とを単独で使用するケースを想定してはおらず、不可視画像と可視画像とのそれぞれを適した画質でユーザに提供することができない、という問題があった。
【0007】
本発明は、上記に鑑みてなされたものであって、不可視画像を可視画像と同等の画質に復元し、ユーザに画像を提供することを目的とする。
【課題を解決するための手段】
【0008】
上述した課題を解決し、目的を達成するために、本発明は、可視波長領域と不可視波長領域とを読み取る読取部と、読み取った画像を可視画像と不可視画像とに分離する画像分離部と、分離した前記可視画像と前記不可視画像とに対し、それぞれ異なる画像補正処理を実施する画像補正処理部と、を有し、前記画像補正処理部は、前記可視画像と前記不可視画像との画像補正後の画像特性を揃える処理を行う、ことを特徴とする。
【発明の効果】
【0009】
本発明によれば、画像補正処理の前に、可視画像と不可視画像とに分離後、可視画像と不可視画像にそれぞれ異なる画像補正処理を行うことにより、不可視画像を可視画像と同等の画質に復元し、ユーザに画像を提供することができる、という効果を奏する。
【図面の簡単な説明】
【0010】
【
図1】
図1は、第1の実施の形態にかかる画像処理装置のシステム構成を示すブロック図である。
【
図2】
図2は、読取部のイメージセンサの分光感度特性を示す図である。
【
図3】
図3は、読取部の光源の分光スペクトルを示す図である。
【
図5】
図5は、読取部および画像補正処理部の構成を示すブロック図である。
【
図6】
図6は、画像分離の手法を例示的に示す図である。
【
図7】
図7は、光源の切り替えによる画像分離時の光源の条件を説明する図である。
【
図8】
図8は、画像補正制御部による画像特性を揃える画像補正処理について説明する図である。
【
図9】
図9は、MTF特性を用いたMTF復元強度の決定について説明する図である。
【
図10】
図10は、読取部および画像補正処理部の構成の変形例を示すブロック図である。
【
図11】
図11は、読取部および画像補正処理部の構成の変形例を示すブロック図である。
【
図12】
図12は、第2の実施の形態にかかる画像処理装置の読取部および画像補正処理部の構成を示すブロック図である。
【
図13】
図13は、フィルタの分光スペクトルを示す図である。
【
図14】
図14は、第3の実施の形態にかかる画像処理装置の読取部および画像補正処理部の構成を示すブロック図である。
【
図15】
図15は、第4の実施の形態にかかる画像処理装置の読取部および画像補正処理部の構成を示すブロック図である。
【
図16】
図16は、第4の実施の形態にかかる画像処理装置における裏写り強度特性を用いた裏写り除去強度の決定について説明する図である。
【
図17】
図17は、第6の実施の形態にかかる画像処理装置の画像補正処理部の構成を示すブロック図である。
【
図18】
図18は、画像合成部による余白領域への画像合成処理について説明する図である。
【
図19】
図19は、余白領域検出による画像合成手法の一例を示す図である。
【
図20】
図20は、第7の実施の形態にかかる画像処理装置の画像補正処理部の構成を示すブロック図である。
【
図21】
図21は、画像合成部による画像合成処理について説明する図である。
【
図22】
図22は、位置指定による画像合成手法の一例を示す図である。
【発明を実施するための形態】
【0011】
以下に添付図面を参照して、画像処理装置、画像処理システム、プログラムおよび画像処理方法の実施の形態を詳細に説明する。
【0012】
(第1の実施の形態)
図1は、第1の実施の形態にかかる画像処理装置100のシステム構成を示すブロック図である。本実施の形態の画像処理装置100は、コピー機能、プリンタ機能、スキャナ機能およびファクシミリ機能のうち少なくとも2つの機能を有する一般に複合機(MFP:Multifunction Peripheral/Printer/Product)と称される画像形成システムである。
【0013】
図1に示す画像処理装置100は、画像読取り装置である読取部1、画像補正処理部2、バス制御部3、HDD(Hard Disk Drive)4、CPU(Central Processing Unit)13、メモリ5、画像形成部であるプロッタ部7、インタフェース装置であるプロッタI/F6、操作表示部8、インタフェース装置である回線I/F9、インタフェース装置である外部I/F11などを備えている。
【0014】
読取部1は、光源とイメージセンサ(ラインセンサ)とA/Dコンバータとそれらの駆動回路を具備し、セットされた原稿をスキャンすることで得る原稿の濃淡情報から、RGB各8ビットの600dpiデジタル画像データを生成し出力する。読取部1は、光源としてキセノンランプやLEDなどを使用する。
【0015】
画像補正処理部2は、読取り装置1から出力されたデジタル画像データに対し、画像処理を施して出力する。その詳細については、後述する。
【0016】
バス制御部3は、画像処理装置100内で必要な画像データや制御コマンド等の各種データのやり取りを行うデータバスの制御装置であり、複数種のバス規格間のブリッジ機能も有している。本実施の形態においては、画像補正処理部2,CPU13とはPCI-Expressバスで接続し、HDD4とはATAバスで接続するものであって、ASIC化されている。
【0017】
HDD4は、パーソナルコンピュータなどにも使用されている電子データを保存するための大型の記憶装置で、画像処理装置100内では主にデジタル画像データおよびデジタル画像データの付帯情報(例えば、設定モードなど)を蓄積する。また、本実施の形態においては、IDEを拡張して規格化されているATAバス接続のハードディスクを使用する。
【0018】
CPU13は、画像処理装置100の制御全体を司るマイクロプロセッサである。また、本実施の形態においては、近年普及してきたCPUコア単体に+αの機能を追加したIntegrated CPUを使用した。本実施の形態においては、汎用規格I/Fとの接続機能や、クロスバースイッチを使ったこれらバス接続機能がインテグレートされたCPUを使用する。
【0019】
メモリ5は、複数種のバス規格間をブリッジする際の速度差や、接続された部品自体の処理速度差を吸収するために、一時的にやりとりするデータを記憶する揮発性メモリである。また、メモリ5は、CPU13が画像処理装置100の制御を行う際に、プログラムや中間処理データを一時的に記憶する揮発性メモリである。本実施の形態においては、規格化されたパーソナルコンピュータに使用されているDIMMを使用する。
【0020】
プロッタ部7は、CMYKからなるデジタル画像データを受け取ると、レーザビームを用いた電子写真プロセスやインクジェットなどを使って、転写紙に受け取った画像データを出力する。
【0021】
プロッタI/F6は、CPU13にインテグレートされた汎用規格I/F経由で送られてくるCMYKからなるデジタル画像データを受け取ると、プロッタ部7の専用I/Fに出力するバスブリッジ処理を行う。本実施の形態で使用している汎用規格I/FはPCI-Expressバスである。
【0022】
操作表示部8は、画像処理装置100とユーザのインタフェースを行う部分で、タッチパネルを設けたLCD(液晶表示装置)と各種処理モード設定キーや、置数キー、スタートキーなどを備えたキースイッチ群から構成される。操作表示部8は、装置の各種状態や操作方法をLCDに表示し、ユーザからのタッチパネルやキースイッチ群を介した入力を検知する。本実施の形態では、PCI-Expressバスを介してCPU6と接続されている。
【0023】
回線I/F9は、PCI-Expressバスと電話回線を接続する装置である。この回線I/F9により、画像処理装置100は、電話回線を介して画像出力装置(画像処理部)であるFAX10との各種データの授受を行うことが可能になる。FAX10は、通常のファクシミリで、電話回線を介して画像処理装置100と画像データの授受を行う。
【0024】
外部I/F11は、PCI-Expressバスとパーソナルコンピュータなどの画像出力装置(画像処理部)であるPC12を接続する装置である。この外部I/F11により、画像処理装置100は、PC12と各種データのやり取りを行うことが可能になる。本実施の形態では、その接続I/Fにネットワーク(Ethernet(登録商標))を使用する。すなわち、画像処理装置100は、外部I/F11を介してネットワークに接続されている。なお、PC12は、インストールされたアプリケーションソフトやドライバを介して、画像処理装置100に対して各種制御や画像データの入出力を行う。
【0025】
ここで、読取部1における可視画像の読取りについて説明する。
【0026】
図2は、読取部1のイメージセンサの分光感度特性を示す図である。
図2に示すように、読取部1のイメージセンサ(カラーフィルタ)は、RGBといった可視波長領域だけでなく、おおよそ750nm以上の不可視波長領域に対しても感度を持つことがわかる。
【0027】
図3は、読取部1の光源の分光スペクトルを示す図である。
図3に示す例は、キセノンランプの分光スペクトルを示すものである。
図3に示すように、キセノンランプは、微弱ながらNIR(Near-Infrared:近赤外)領域(不可視波長領域)にも分光強度を持つ。
【0028】
したがって、読取部1は、上述のような光源およびイメージセンサを含む構成で可視画像の読取りを行った場合、可視光にNIR光が混ざった画像となる。
【0029】
次に、上述したような可視画像の読取りにおける課題について説明する。
【0030】
図4は、従来技術の課題を示す図である。
図4は、
図4(a)に示すエッジ画像を読み取った場合の可視、不可視の各信号成分の強度イメージを示すものである。
【0031】
読取部1は、基本的に可視画像の画質が求められるためにレンズの設計も可視画像に最適に作られている。また、読取部1による読取の信号レベルは、光源の光量やイメージセンサの分光感度特性にも影響を受けるため波長毎に異なる。NIRの信号レベルは、可視信号の信号レベルと比較し、ボケが大きいだけではなく、信号レベルにも大きな差がある。
【0032】
つまり、
図4(b)に示すように、可視画像、NIR画像、可視画像+NIR画像は、信号の特性がそれぞれ異なることになる。なお、特許文献1(特許第6247425号公報)では、「可視画像+NIR画像」と「NIR画像」が取得されている。また、特許文献2(特開2007-329749号公報)では、「可視画像」と「可視画像+NIR画像」が取得されている。
【0033】
ここで、従来技術のように合成画像に最適処理を実施し、その後分離するケースを
図4(c)(d)で例示する。
図4(c)では「可視画像+NIR画像」に対し、画像補正(例えばMTF補正)を実施した信号特性を示す。
図4(c)に示すように、「可視画像+NIR画像」に最適なパラメータで画像補正をすることで、所定のMTF特性を持つ画像に補正することができる。しかしながら、
図4(d)に示すように、
図4(c)での画像補正後の画像から可視画像およびNIR画像に分離した場合、分離したNIR画像は信号レベルが小さいままで、狙ったMTF特性の信号にはなっていない。すなわち、従来技術のように合成画像に最適処理を実施した場合、分離後の単独の画像では最適な画像補正となっていない、という課題があった。
【0034】
本実施の形態の画像処理装置100は、主な用途としている読取部1による原稿の通常スキャンでは可視画像が必要となり、読取部1による真贋判定スキャンでは不可視画像が必要となる。可視画像と不可視画像は異なる情報を持つため、合成画像ではなく、単独の画像で使用したい場合がある。
【0035】
そこで、本実施の形態の画像処理装置100においては、可視画像とNIR画像とを分離し、分離した画像に対し画像補正処理を実施する構成とした。なお、以降の説明において、画像を単独の可視画像と単独の不可視画像に分離することを画像分離と定義する。
【0036】
なお、本実施の形態においては、不可視画像としてNIR画像で示しているが、紫外画像などでも良い。
【0037】
ここで、
図5は読取部1および画像補正処理部2の構成を示すブロック図である。
図5に示すように、読取部1は、イメージセンサ61と、画像分離部62と、光源63と、を備えている。イメージセンサ61は、CCD光電変換素子である。光源63は、キセノンランプやLEDである。
【0038】
画像補正処理部2は、ガンマ補正部64と、空間フィルタ処理部65と、色補正部66と、画像補正制御部67と、を備えている。
【0039】
ガンマ補正部64は、読取部1から受け取ったRGB画像データのγ特性を予め定められた特性(例えば、1/2.2乗)になるように変換する。
【0040】
空間フィルタ処理部65は、読取部1のMTF特性を補正したり、モアレを防止するために、読取画像の周波数特性を変換したりする。空間フィルタ処理部65は、このような補正や変換を行うことで、画像をくっきり、また滑らかにする。空間フィルタ処理部65は、RGB画像データの鮮鋭性を予め定めた特性に統一する。例えば、基準チャートをスキャンしたときに、線数毎に対して、設定された画質モード毎に予め定めたMTF特性値になるように変換する。
【0041】
色補正部66は、sRGBやopRGBのように、RGB画像データの色を予め定めた特性のRGB画像データ値に統一する。本実施の形態では、例えば色空間が標準色空間になるように変換する。なお、色変換の方式は、既知の3次元ルックアップ方式を採用する。
【0042】
画像補正制御部67は、ガンマ補正部64、空間フィルタ処理部65、色補正部66の処理パラメータを設定する。
【0043】
画像補正制御部67は、CPU(Central Processing Unit)などの制御装置と、ROM(Read Only Memory)やRAMなどの記憶装置とを備えており、通常のコンピュータを利用したハードウェア構成となっている。画像補正制御部67は、記憶装置に記憶されたプログラムに従ってCPUが動作することにより各種の処理を実行する。
【0044】
画像補正制御部67で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【0045】
また、画像補正制御部67で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、画像補正制御部67で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、制御装置500で実行されるプログラムを、ROM等に予め組み込んで提供するように構成してもよい。
【0046】
なお、画像補正制御部67は、IC回路などのハードウェアにより実現されるものであってもよい。
【0047】
基本的に読取部1のスキャナ特性を補正するガンマ補正部64と色補正部66とでの処理によって特性が統一された画像データは、画像処理装置100内部に蓄積される。画像処理装置100内部に蓄積された画像データは、その後再利用する場合に、出力先の特性に適する画像信号に変換される。
【0048】
ここで、画像補正処理前に実施する画像分離について説明する。
図5に示すように、読取部1は、光源63を用いて光を原稿に照射し、その反射光をイメージセンサ61で読み取る。読み取った信号は画像分離部62に入力され、可視画像とNIR画像に分離される。分離された画像データは、画像補正処理部2に入力される。
【0049】
図5に示すように、画像分離部62は、RGBの3チャンネルに加え、NIR専用のチャンネルを用意する。このように本実施の形態においては、可視とNIRとで別のチャンネルを使うことで同時に処理を実施できる。
【0050】
画像補正処理部2は、分離した画像信号を入力し、ガンマ補正部64、空間フィルタ処理部65、色補正部66でそれぞれの処理を実施する。画像補正処理部2は、例えばガンマ補正部64では地肌飛ばしの補正強度を切り替え、空間フィルタ処理部65ではMTF補正の補正強度を切り替え、色補正部66では色変換係数を切り替える。
【0051】
また、画像補正処理部2は、画像補正制御部67による処理パラメータの設定により、画像分離した画像に対し、画像の種類ごとにそれぞれに異なる強度の画像補正を実施する。そのため、可視画像には可視画像に適した画像補正、NIR画像にはNIR画像に適した画像補正を実施することができる。
【0052】
図6は、画像分離の手法を例示的に示す図である。
図6に示すように、画像分離部62は、光源63を含み、スキャン時に照射する光源63を制御することで、画像分離を実施する。すなわち、光源63は、可視光源と、不可視光源とを有している。
【0053】
図7は、光源の切り替えによる画像分離時の光源の条件を説明する図である。
図7に示すように、
図7(a)はイメージセンサ61の分光感度特性を示すものである。
図2においても説明したように、読取部1のイメージセンサ61は、RGBといった領域だけでなく、おおよそ750nm以上のNIR領域に対しても感度を持つことがわかる。
【0054】
図7(b)は可視光源の例を示し、
図7(c)は不可視光源の例を示している。光源63の可視光源は、おおよそ750nm以上のNIR領域に発光強度を持たない光源である。一方、光源63の不可視光源は、おおよそ750nm-1000nm付近に発光強度を持つ光源である。このような構成により、画像分離部62は、あるスキャン動作時は光源63の可視光源で照射し、あるスキャン動作時は光源63の不可視光源で照射する。これにより、出力として可視画像やNIR画像を出力することができる。
【0055】
なお、読取部1は、可視画像とNIR画像の両方が必要な場合は、可視光源と不可視光源とを切り換えて2回走査することで、可視画像とNIR画像との両方を取得することができる。また、可視光源と不可視光源とを順次切り換えて点灯させながらスキャンすれば、読取部1は、1スキャンで可視画像と不可視画像を同時に取得する方法も考えられる。
【0056】
画像補正処理部2は、上述した手法により取得した画像に対し、画像補正処理を実施する。画像補正処理部2は、可視画像か不可視画像であるか、あるいはユーザモードに従い、画像補正制御部67によって処理パラメータを切り替える制御を行う。これにより、各モード、画像種類に応じて最適な画像補正処理を実施できる。
【0057】
ここで、画像補正制御部67による制御について説明する。
【0058】
図8は、画像補正制御部67による画像特性を揃える画像補正処理について説明する図である。画像補正制御部67は、可視画像と不可視画像との画像補正後の画像特性を揃える処理を行う。すなわち、画像補正制御部67は、可視画像と不可視画像の画像補正後の画像特性を揃えるために、可視画像と不可視画像の画像特性に応じた処理パラメータの設定を行う。このようにして画質を揃えることで、ユーザは可視画像出力と不可視画像出力を同等に扱うことができる。
【0059】
図8に示すように、画像特性を揃えるために、画像補正制御部67は、画像特性差分を保持する画像特性差分保持部121と、ガンマ補正部64等に対してパラメータ設定を行うパラメータ設定部122と、を備えている。画像補正制御部67は、画像特性差分保持部121に保持された画像特性差分に応じたパラメータ設定を、ガンマ補正部64、空間フィルタ処理部65、色補正部66に実施する。画像補正制御部67は、可視画像と不可視画像の画像特性の差分を吸収するようにパラメータ設定を行うことで画像処理後の画質を不可視画像と可視画像で近づけることが可能となる。
【0060】
次に、画像特性差分に応じたパラメータ設定について説明する。本実施の形態においては、可視画像と不可視画像とのMTF強度差分を用いて、空間フィルタ処理部65でMTF復元を行うことで、可視画像と不可視画像のMTF強度を同等にする。
【0061】
ここで、
図9はMTF特性を用いたMTF復元強度の決定について説明する図である。まず、
図9(a)を参照して可視読取、不可視読取におけるMTF課題について説明する。
【0062】
図9(a)の(i)は、入力原稿のイメージを示すものである。
図9(a)の(i)に示されるような黒文字、緑文字、青文字で描かれた原稿に対し、可視読取をした場合のイメージ図を
図9(a)の(ii)に示す。また、不可視読取をした場合のイメージ図を
図9(a)の(iii)に示す。黒インクや黒トナーで印字された黒文字は一般的にNIR成分を吸収する特性を持つ。そのため、
図9(a)の(iii)に示すように、黒文字の印字の部分は画像に残る。また、通常のスキャナは可視波長域での読み取りがメインのため、可視波長域に最適化して光学設計されている。そのため、
図9(a)の(iii)に示すように、波長域がずれた不可視画像読取は、レンズの収差の影響で可視画像に比べてピントが合っていない画像となる。
【0063】
次に、
図9(b)を参照して空間フィルタ処置について説明する。空間フィルタ処理は、入力画像に対し、エッジ強調や網点平滑を実施し画質の補正を行う。ここでは、強調によるMTF補正について説明する。
【0064】
図9(b)の(iv)は、可視画像と不可視画像のMTF特性を示すものである。
図9(b)の(iv)に示すように、不可視画像は可視画像に比較し、レンズの収差が大きいためにMTFは悪くなる。また、MTFの劣化は、空間周波数が高いほど大きくなる。なお、MTFの計測は、一般的な方法で計測が可能である。
【0065】
図9(b)の(v)は、可視画像と不可視画像のMTF特性差分を示すものである。
図9(b)の(v)に示すように、空間周波数毎にMTF差分が発生する。
【0066】
図9(b)の(vi)は、MTF特性差分に応じた空間フィルタの周波数特性について示すものである。本実施の形態においては、空間フィルタ処理部65は、可視画像用に設定された空間フィルタの周波数特性に対し、不可視画像用の空間フィルタはMTF特性差分に応じた空間フィルタ周波数特性となるようなフィルタ処理を実施する。具体的には、空間フィルタ処理部65は、可視画像用の空間フィルタの特性に対し、MTF特性差分のデータを重畳して生成をすれば良い。また、フィルタサイズによっては生成できるフィルタの自由度が限定されるため、その場合は代表的な空間周波数のみ差分を吸収できるような空間フィルタにしても良い。
【0067】
これにより、可視画像よりも大きい不可視画像のボケを、ボケ強度の差分だけ補正することで不可視画像を可視画像同等にすることができる。
【0068】
このように本実施の形態によれば、画像補正処理の前に、可視画像と不可視画像とに分離後、可視画像と不可視画像にそれぞれ異なる画像補正処理を行うことにより、不可視画像を可視画像と同等の画質に復元し、ユーザに画像を提供することができる。
【0069】
また、本実施の形態によれば、適切な光源を選択するだけでよいので、簡易な構成で、コスト増加を抑えながら、画像分離が実施できる。
【0070】
また、本実施の形態によれば、不可視画像と可視画像の差分に応じて補正強度を切り替えることで、可視画像と不可視画像の画質を同等にすることができる。
【0071】
なお、本実施の形態においては、画像分離部62はRGBの3チャンネルに加えてNIR専用のチャンネルを用意するようにしたが、これに限るものではない。ここで、
図10は読取部1および画像補正処理部2の構成の変形例を示すブロック図である。
図10に示すように、画像分離部62は、RGBと共通のチャンネルを使ってNIR処理を実行するようにしてもよい。
図10に示す例は、Gチャンネルを使ってNIRデータも処理を実施するようにしたものである。なお、NIRデータを流すチャンネルは、RやBチャンネルでも良い。このように可視と同様のチャンネルを使うことで画像処理回路規模の増大を防ぐことができる。
【0072】
また、ユーザが選択したモードによる画像補正の制御切り替えを実施するようにしてもよい。ここで、
図11は読取部1および画像補正処理部2の構成の変形例を示すブロック図である。
図4においても説明したが、通常スキャンでは可視画像が必要となり、真贋判定スキャンでは不可視画像が必要となるように、ユースケースによって必要な画像が異なる。例えば、
図4(b)で説明したように、各信号をピークで規格化しダイナミックレンジを最大にした場合に、可視画像+NIR画像の分離後の信号レベルは、可視のみの画像やNIRのみの画像と異なるために切り替える必要がある。
【0073】
そこで、
図11に示すように、読取部1は、モード選択部71を備えている。モード選択部71は、ユーザが必要な画像を取得できるモードを選択するモード選択機能を有する。モード選択部71は、ユーザが選択したモードによってイメージセンサ61で取得される画像を切り替え、また、その画像を画像分離した後に実施する画像補正処理の処理パラメータを切り替える。
【0074】
例えば、ユーザが可視画像のみ必要な場合(可視スキャンモード)、光源63の可視光源のみの点灯とし、イメージセンサ61では可視画像を取得できる。その画像に対し画像分離を実施し、画像補正処理では可視画像にパラメータAで処理をかける。
【0075】
また、ユーザが可視画像とNIR画像を必要な場合(可視/NIRスキャンモード)、光源63の可視光源とNIR光源を点灯し、イメージセンサ61ではRGBとNIRが含まれた画像を取得できる。その画像に対し画像分離を実施し、画像補正処理では可視画像にパラメータBで処理をかけ、NIR画像にパラメータB´で処理をかける。
【0076】
また、ユーザがNIR画像を必要な場合(NIRスキャンモード)、光源63のNIR光源を点灯し、イメージセンサ61ではNIR画像を取得できる。その画像に対し、画像分離を実施し、画像補正処理ではNIR画像にパラメータC´で処理をかける。
【0077】
このように画像分離後は同じ可視画像やNIR画像でも、ユーザが選択した取得モードによって画像補正処理部2の画像補正制御部67による処理パラメータを変更することができる。
【0078】
(第2の実施の形態)
次に、第2の実施の形態について説明する。
【0079】
第2の実施の形態の画像処理装置100は、光学フィルタ(波長領域カットフィルタ)を用いて画像分離を行うようにした点が、第1の実施の形態と異なる。以下、第2の実施の形態の説明では、第1の実施の形態と同一部分の説明については省略し、第1の実施の形態と異なる箇所について説明する。
【0080】
図12は、第2の実施の形態にかかる画像処理装置100の読取部1および画像補正処理部2の構成を示すブロック図である。
図12に示すように、画像分離部62は、光学フィルタ(波長領域カットフィルタ)101を有し、画像分離を実施する。光学フィルタ(波長領域カットフィルタ)101は、赤外カットフィルタや可視域カットフィルタである。
【0081】
図13は、フィルタの分光スペクトルを示す図である。
図13(a)は赤外カットフィルタの分光スペクトルを示す。赤外カットフィルタは、おおよそ750nm以上の可視外の画像をカットする特性を示す。可視画像読取に対し、この赤外カットフィルタを用いることで可視領域のみ含む画像を取得することができる。
【0082】
図13(b)は可視域カットフィルタの分光スペクトルを示す。可視域カットフィルタは、おおよそ750nm未満の可視の画像をカットする特性を示す。NIR画像読取に対し、この可視域カットフィルタを用いることでNIR領域のみ含む画像を取得することができる。
【0083】
上述したように、光学フィルタ(領域カットフィルタ)101を使用する場合、光源63は可視光源、NIR光源を同時に点灯させれば良い。
【0084】
このように本実施の形態によれば、モードに応じた光源63の点灯制御を簡易化できる効果や、1スキャンで画像取得が可能となり、ユーザの拘束時間の減少の効果がある。
【0085】
(第3の実施の形態)
次に、第3の実施の形態について説明する。
【0086】
第3の実施の形態の画像処理装置100は、画像処理によって画像分離を行うようにした点が、第1の実施の形態と異なる。以下、第3の実施の形態の説明では、第1の実施の形態と同一部分の説明については省略し、第1の実施の形態と異なる箇所について説明する。
【0087】
図14は、第3の実施の形態にかかる画像処理装置100の読取部1および画像補正処理部2の構成を示すブロック図である。
図14に示すように、画像処理装置100の読取部1は、光源63の可視光源とNIR光源とを同時点灯させて光を原稿に照射し、その反射光をイメージセンサ61で読み取る。そして、可視画像と不可視画像を同時に読み取った画像(可視+NIR信号)と、全波長帯を含むように読み取った画像(WHITE信号)とが、画像分離部62に入力される。
【0088】
画像分離部62は、入力された可視+NIR信号とWHITE信号とを用いて、マスキング演算などを実施することでRGB信号とNIR信号に分離する処理を行う。
【0089】
画像補正処理部2は、画像分離部62で分離した可視画像とNIR画像に対し、画像補正処理を実施する。
【0090】
なお、画像分離部62は、画像補正処理部2の内部に備える構成であってもよい。
【0091】
このように本実施の形態によれば、光学フィルタ(波長領域カットフィルタ)を使用しないことでコスト増加を抑える効果があり、また光源63の可視光源とNIR光源とを同時に点灯し、1スキャンで読み取ることができるのでユーザの拘束時間の減少の効果がある。
【0092】
(第4の実施の形態)
次に、第4の実施の形態について説明する。
【0093】
第4の実施の形態の画像処理装置100は、画像処理によって画像分離を行うようにした点が、第1の実施の形態と異なる。以下、第4の実施の形態の説明では、第1の実施の形態と同一部分の説明については省略し、第1の実施の形態と異なる箇所について説明する。
【0094】
図15は、第4の実施の形態にかかる画像処理装置100の読取部1および画像補正処理部2の構成を示すブロック図である。
図15に示すように、画像処理装置100の読取部1は、イメージセンサ61側に可視域カットフィルタ102を備える。可視域カットフィルタは、おおよそ750nm未満の可視の画像をカットする特性を示すものである。NIR画像読取に対し、この可視域カットフィルタ102を用いることでNIR領域のみ含む画像を取得することができる。
【0095】
図15に示すように、画像処理装置100の読取部1は、光源63の可視光源とNIR光源とを同時点灯させて光を原稿に照射し、その反射光をイメージセンサ61で読み取る。そして、可視画像と不可視画像を同時に読み取った画像(可視+NIR信号)と、NIR画像(NIR信号)とが、画像分離部62に入力される。
【0096】
画像分離部62は、入力された可視+NIR信号とNIR信号とを用いて、マスキング演算などを実施することでRGB信号とNIR信号に分離する処理を行う。
【0097】
画像補正処理部2は、画像分離部62で分離した可視画像とNIR画像に対し、画像補正処理を実施する。
【0098】
なお、画像分離部62は、画像補正処理部2の内部に備える構成であってもよい。
【0099】
このように本実施の形態によれば、光源を同時に点灯し、1スキャンで読み取ることができるのでユーザの拘束時間の減少効果がある。
【0100】
(第5の実施の形態)
次に、第5の実施の形態について説明する。
【0101】
第5の実施の形態の画像処理装置100は、裏写り強度特性を用いて裏写り除去強度を決定するようにした点が、第1の実施の形態と異なる。以下、第5の実施の形態の説明では、第1の実施の形態と同一部分の説明については省略し、第1の実施の形態と異なる箇所について説明する。
【0102】
画像特性差分に応じたパラメータ設定について説明する。本実施の形態では、可視画像と不可視画像との裏写り強度の差分を用いて、ガンマ補正部64で裏写り除去を行うことで、可視と不可視の裏写り強度を同等にする。
【0103】
図16は、第4の実施の形態にかかる画像処理装置100における裏写り強度特性を用いた裏写り除去強度の決定について説明する図である。まず、
図16(a)を参照して可視読取、不可視読取における裏写り課題について説明する。
【0104】
図16(a)の(i)は、入力原稿のイメージを示すものである。
図16(a)の(i)に示されるように、表面に黒文字で「ABCD」と描かれ、裏面に黒文字で「EFGH」と書かれた原稿に対し、可視読取をした場合のイメージ図を
図16(a)の(ii)に示す。また、不可視読取をした場合のイメージ図を
図16(a)の(iii)に示す。
図16(a)の(iii)に示すように、裏写りに関しては可視読取と比較して、不可視(NIR)読取では裏写りが大きくなることがわかっている。
【0105】
次に、
図16(b)を参照して可視画像と不可視画像の画像特性差を利用したガンマ補正による裏写り除去を説明する。
【0106】
図16(b)の(iv)は、一般的に行われるガンマ補正を説明するものである。ガンマ補正では入力画素値に対する出力画素値の1:1の変換テーブルで画素値を変換する処理である。原稿の地肌などを白に飛ばす処理なども実施できる。
【0107】
図16(b)の(v)は、対象のスキャナの裏写り特性を取得したものである。裏写り特性は原稿濃度とその濃度を裏面にして読み取った時の読取画素値の関係を示す。取得方法としては例えば表面が白紙で裏面に階調を持ったパッチ原稿を用意し、その原稿の表面を可視読取と不可視読取でスキャンした際の原稿濃度と読取画素値の関係から取得することができる。この可視/不可視裏写り特性から特性差を埋めるようなガンマ補正テーブルを生成すれば良い。
【0108】
図16(b)の(vi)は、特性差を利用したガンマ補正を示すものである。本実施の形態においては、ガンマ補正部64は、まず裏写り特性からベタ濃度の可視/不可視読取画素値(可視:maxrgb,不可視:maxir)を取得する。ガンマ補正テーブルはこのmaxirを入力とした時の出力画素値を、maxrgbを入力とした時の出力画素値に近づけるように不可視画像用ガンマ補正テーブルを調整する。
【0109】
また、ガンマ補正部64は、可視画像で地肌飛ばしされる原稿濃度に対する不可視読取の読取画素値を不可視画像用の地肌飛ばし量(thir)とし、不可視画像用ガンマ補正テーブルの地肌飛ばし閾値を調整する。
【0110】
このように本実施の形態によれば、可視画像に対する不可視画像の地肌飛ばし強度とコントラストが低い部分のガンマが調整され、不可視画像と可視画像の裏写り強度を同等にすることが可能となる。
【0111】
(第6の実施の形態)
次に、第6の実施の形態について説明する。
【0112】
第6の実施の形態の画像処理装置100は、画像補正処理部に画像合成部を保持し、不可視画像を可視画像に合成するようにした点が、第1の実施の形態と異なる。以下、第6の実施の形態の説明では、第1の実施の形態と同一部分の説明については省略し、第1の実施の形態と異なる箇所について説明する。
【0113】
図17は、第6の実施の形態にかかる画像処理装置100の画像補正処理部2の構成を示すブロック図である。
図17に示すように、画像処理装置100の画像補正処理部2は、不可視画像を可視画像に合成する画像合成部151を備えている。
【0114】
可視画像に対し、不可視画像は人間の視覚感度がない領域のため、一般的に色情報のないデータとして扱うものである。画像合成部151は、画像補正された可視画像と不可視画像を合成する。不可視画像を可視画像に合成することで、ユーザのファイル保存の容量を減らすことができる。また、画像合成後は一般的なRGB画像として扱うことができるため画像のハンドリングを簡略化できる。
【0115】
次に、画像合成部151における合成処理について詳述する。
図18は、画像合成部151による余白領域への画像合成処理について説明する図である。
【0116】
可視画像と不可視画像とが重なるように合成すると、不可視読取画像が可視画像に影響を与え、ユーザにとって読みにくいものとなってしまう。そこで、画像合成部151は、可視画像の余白領域を検知して、その余白領域に不可視読取の画像を移動し合成するようにした。これにより、可視画像に影響を与えない領域に不可視情報を重畳でき、ユーザの読みやすさ向上につながる。また、原稿毎に合成位置を指定する必要がないので、ユーザの手間も少なくてすむ。
【0117】
図18に示すように、画像合成部151は、余白検出部181と、合成処理部182とを備えている。余白検出部181は、ユーザが余白検知ONを設定した場合に、入力のRGB画像(可視画像)に対して、余白領域を検出する。余白検出部181は、検出した余白検出結果を合成処理部182に対して出力する。
【0118】
合成処理部182は、入力されたNIR画像(不可視画像)から画像領域を抽出し、検知した余白部分に合成処理を実施する。
【0119】
ここで、
図19は余白領域検出による画像合成手法の一例を示す図である。
図19(a)は、入力原稿イメージを示すものである。原稿には、可視画像領域と不可視埋込領域とが存在する。
図19(a)では、不可視埋込領域として可視画像「星マーク」に不可視画像「証」を埋め込んでいる。
【0120】
図19(b)は、原稿を可視読取した際のイメージを示すものである。可視読取では原稿の可視情報を読み取ることができる。
【0121】
図19(c)は、原稿を不可視読取した際のイメージを示すものである。不可視読取では埋め込まれていた「証」の文字を読むことができる。
図19(c)では「証」の文字を含む領域をブロックとして切り出す。
【0122】
図19(d)は、可視画像の余白領域に不可視画像を合成したイメージを示すものである。
図19(d)では余白検出部181で検出した余白領域の中心に「証」を含むブロックを合成している。なお、合成位置は、余白領域内であれば必ずしも中心である必要はない。また、余白領域が複数ある場合、最大の余白領域に合成したり、最も近い余白領域に合成したりするなど合成位置は限定しない。余白領域が合成画像(「証」を含むブロック)よりも小さい場合は、周辺画像と重なるが余白の中心に合成したり、または余白検知結果を無視して元の位置に合成したりすればよい。
【0123】
このように本実施の形態によれば、不可視画像を可視画像に合成することで、不可視情報を持った可視画像を生成することができる。また、ユーザの保存ファイル容量を減らすことができる。また、画像ハンドリングを簡略化することができる。また、従来の処理系統で扱えるためハードメリットもある。
【0124】
また、余白領域を認識し、余白領域に画像合成するので、可視画像に影響を与えない位置に不可視画像情報を合成できる。さらに、ユーザが位置指定する必要がないので、ユーザの手間が省ける。
【0125】
(第7の実施の形態)
次に、第7の実施の形態について説明する。
【0126】
第7の実施の形態の画像処理装置100は、ユーザのカラー選択に応じて、合成する時の不可視画像の色を決定するようにした点が、第6の実施の形態と異なる。以下、第7の実施の形態の説明では、第1の実施の形態ないし第6の実施の形態と同一部分の説明については省略し、第1の実施の形態ないし第6の実施の形態と異なる箇所について説明する。
【0127】
図20は、第7の実施の形態にかかる画像処理装置100の画像補正処理部2の構成を示すブロック図である。
図20に示すように、画像合成部151に対して、ユーザによるカラー選択の情報が入力される。画像合成部151は、NIR画像(不可視画像)をユーザにより選択された色にして合成する。このようにユーザの求める任意の色でNIR画像(不可視画像)をRGB画像(可視画像)に合成することで、合成画像に対して原稿の可視情報と不可視情報の箇所を分別しやすいようにすることができる。
【0128】
次に、画像合成部151における合成処理について詳述する。
図21は、画像合成部151による画像合成処理について説明する図である。
【0129】
図21に示すように、画像合成部151は、合成位置決定部171と、合成処理部182とを備えている。ユーザは、画像合成位置を指定したい場合、合成位置設定情報を入力する。合成位置決定部171は、合成位置座標を決定し、位置情報を合成処理部182に出力する。
【0130】
合成処理部182は、入力されたNIR画像(不可視画像)から画像領域を抽出し、位置情報を元に合成処理を実施する。
【0131】
ここで、
図22は位置指定による画像合成手法の一例を示す図である。
図22(a)は、入力原稿イメージを示すものである。原稿には、可視画像領域と不可視埋込領域とが存在する。
図22(a)では、不可視埋込領域として可視画像「星マーク」に不可視画像「証」を埋め込んでいる。
【0132】
図22(b)は、原稿を可視読取した際のイメージを示すものである。可視読取では原稿の可視情報を読み取ることができる。
【0133】
図22(c)は、原稿を不可視読取した際のイメージを示すものである。不可視読取では埋め込まれていた「証」の文字を読むことができる。
図22(c)では「証」の文字を含む領域をブロックとして切り出す。
【0134】
図22(d)は、ユーザが指定した位置に合成する方法を示す。ユーザが位置指定を行わない場合は、原稿と同位置で画像が実施され、可視画像と不可視画像が同位置に合成される。この場合、不可視画像が可視画像に重なることで、ユーザは不可視読取画像を読みにくい問題がある。そこで、本実施の形態においては、ユーザが予め不可視画像を合成する領域を設定することで、任意の位置(
図22(d)ではX,Yの位置)に移動することができる。これによりユーザの不可視情報の読みやすさ向上につながる。
【0135】
このように本実施の形態によれば、ユーザが任意の色で割り当てることができ、原稿の可視情報と不可視情報を分別しやすくなる。
【0136】
また、ユーザが任意の位置に不可視画像を合成することができるので、不可視画像を読みやすい位置に移動させることができる。
【0137】
なお、上記各実施の形態では、本発明の画像処理装置を、コピー機能、プリンタ機能、スキャナ機能およびファクシミリ機能のうち少なくとも2つの機能を有する複合機に適用した例を挙げて説明するが、複写機、プリンタ、スキャナ装置、ファクシミリ装置等の画像処理装置であればいずれにも適用することができる。
【0138】
さらに、上記各実施の形態では、本発明の画像処理装置を、複合機に適用した例を挙げて説明したが、これに限るものではなく、例えばFA分野における検品などの様々な分野のアプリケーションに応用が可能である。
【0139】
また、本発明の画像処理装置は、紙幣の判別、偽造防止を目的として、紙幣読取装置にも適用可能である。さらに、本発明の画像処理装置は、可視画像、不可視画像を読み取り、次工程で何らかの処理を行う装置に適用可能である。
【符号の説明】
【0140】
1 読取部
2 画像補正処理部
7 画像形成部
62 画像分離部
71 モード選択部
100 画像処理装置、画像形成システム
151 画像合成部
【先行技術文献】
【特許文献】
【0141】
【文献】特許第6247425号公報
【文献】特開2007-329749号公報