特許 7592974 読取装置、画像処理装置および特徴量検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-25

(45)【発行日】2024-12-03

(54)【発明の名称】読取装置、画像処理装置および特徴量検出方法

(51)【国際特許分類】

   H04N 1/04 20060101AFI20241126BHJP

   H04N 1/10 20060101ALI20241126BHJP

【ＦＩ】

H04N1/04 106A

H04N1/10

H04N1/12 Z

【請求項の数】 19

(21)【出願番号】P 2020038264

(22)【出願日】2020-03-05

(65)【公開番号】P2021141467

(43)【公開日】2021-09-16

【審査請求日】2023-01-16

【前置審査】

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】中村 彰吾

(72)【発明者】

【氏名】橋本 歩

(72)【発明者】

【氏名】中澤 政元

(72)【発明者】

【氏名】小山 忠明

【審査官】橘 高志

(56)【参考文献】

【文献】特開２０１２－２３９１１４（ＪＰ，Ａ）

【文献】特開２００８－０１７０６７（ＪＰ，Ａ）

【文献】特開２０１４－０５３７３９（ＪＰ，Ａ）

【文献】特開２００９－１６４８０５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １／０４

Ｇ０６Ｔ １／００

Ｈ０４Ｎ １／１０

(57)【特許請求の範囲】

【請求項1】

被写体に可視光と不可視光とを照射する照明部と、
前記被写体により反射された可視光及び不可視光を受光し、可視画像と不可視画像とを撮像する撮像部と、
前記撮像部の撮像範囲に設けられる背景部と、
被写体の分光反射特性に応じて、前記可視画像の前記被写体と前記背景部の分光反射特性差と、前記不可視画像の前記被写体と前記背景部の分光反射特性差のうち、大きくなる方の画像に基づいて、前記被写体ないし前記背景部の特徴量を検出する画像処理部と、
を備えることを特徴とする読取装置。

【請求項2】

前記照明部は、前記不可視光として赤外光を照射し、
前記撮像部は、前記不可視画像として赤外画像を撮像する、
ことを特徴とする請求項１に記載の読取装置。

【請求項3】

前記画像処理部は、前記可視画像及び前記不可視画像において、少なくとも一方から前記被写体ないし前記背景部の特徴量を検出し、各画像から検出された特徴量を選択ないし統合する、
ことを特徴とする請求項１または２に記載の読取装置。

【請求項4】

前記画像処理部は、前記可視画像の特徴量として、不可視光および可視光に対して、前記背景部と前記被写体の分光反射特性の差を比較し、可視光のうち最も不可視光との差が大きい成分を含む、
ことを特徴とする請求項１ないし３の何れか一項に記載の読取装置。

【請求項5】

前記背景部は、可視光を拡散反射し、不可視光を可視光に比べて低い反射率で反射する不可視光低反射部を有する、
ことを特徴とする請求項１ないし４の何れか一項に記載の読取装置。

【請求項6】

前記画像処理部は、前記可視画像ないし前記不可視画像の特徴量として、被写体のエッジを検出する、
ことを特徴とする請求項３ないし５の何れか一項に記載の読取装置。

【請求項7】

前記画像処理部は、前記エッジの統合を、不可視画像のエッジと可視画像のエッジのＯＲ処理とする、
ことを特徴とする請求項６に記載の読取装置。

【請求項8】

前記画像処理部は、前記エッジの選択を、不可視画像のエッジがエッジ正常検出の判断基準を満たしている場合は不可視画像のエッジとし、不可視画像のエッジがエッジ正常検出の判断基準を満たしていない場合は可視画像のエッジとする、
ことを特徴とする請求項６に記載の読取装置。

【請求項9】

被写体に可視光と不可視光とを照射する照明部と、
前記被写体により反射された可視光及び不可視光を受光し、可視画像と不可視画像とを撮像する撮像部と、
前記撮像部の撮像範囲に設けられる背景部と、
被写体の分光反射特性に応じて、前記可視画像及び前記不可視画像の少なくとも一方から前記被写体ないし前記背景部の特徴量を検出する画像処理部と、
を備え、
前記画像処理部は、
前記可視画像及び前記不可視画像において、少なくとも一方から前記被写体ないし前記背景部の特徴量を検出し、各画像から検出された特徴量を選択ないし統合し、
前記可視画像ないし前記不可視画像の特徴量として、被写体のエッジを検出し、
前記エッジの選択を、不可視画像のエッジがエッジ正常検出の判断基準を満たしている場合は不可視画像のエッジとし、不可視画像のエッジがエッジ正常検出の判断基準を満たしていない場合は可視画像のエッジとする、
ことを特徴とする読取装置。

【請求項10】

被写体に可視光と不可視光とを照射する照明部と、
前記被写体により反射された可視光及び不可視光を受光し、可視画像と不可視画像とを撮像する撮像部と、
前記撮像部の撮像範囲に設けられる背景部と、
被写体の分光反射特性に応じて、前記可視画像及び前記不可視画像の少なくとも一方から前記被写体ないし前記背景部の特徴量を検出する画像処理部と、
を備え、
前記背景部は、可視光を拡散反射し、不可視光を可視光に比べて低い反射率で反射する不可視光低反射部を有し、
前記画像処理部は、
前記可視画像ないし前記不可視画像の特徴量として、被写体のエッジを検出し、
前記エッジの選択を、不可視画像のエッジがエッジ正常検出の判断基準を満たしている場合は不可視画像のエッジとし、不可視画像のエッジがエッジ正常検出の判断基準を満たしていない場合は可視画像のエッジとする、
ことを特徴とする読取装置。

【請求項11】

前記画像処理部は、前記エッジの統合を、不可視画像のエッジも可視画像のエッジもエッジ正常検出の判断基準を満たしていない場合に、不可視画像のエッジと可視画像のエッジのＯＲ処理とする、
ことを特徴とする請求項６に記載の読取装置。

【請求項12】

被写体に可視光と不可視光とを照射する照明部と、
前記被写体により反射された可視光及び不可視光を受光し、可視画像と不可視画像とを撮像する撮像部と、
前記撮像部の撮像範囲に設けられる背景部と、
被写体の分光反射特性に応じて、前記可視画像及び前記不可視画像の少なくとも一方から前記被写体ないし前記背景部の特徴量を検出する画像処理部と、
を備え、
前記画像処理部は、
前記可視画像及び前記不可視画像において、少なくとも一方から前記被写体ないし前記背景部の特徴量を検出し、各画像から検出された特徴量を選択ないし統合し、
前記可視画像ないし前記不可視画像の特徴量として、被写体のエッジを検出し、
前記エッジの統合を、不可視画像のエッジも可視画像のエッジもエッジ正常検出の判断基準を満たしていない場合に、不可視画像のエッジと可視画像のエッジのＯＲ処理とする、
ことを特徴とする読取装置。

【請求項13】

被写体に可視光と不可視光とを照射する照明部と、
前記被写体により反射された可視光及び不可視光を受光し、可視画像と不可視画像とを撮像する撮像部と、
前記撮像部の撮像範囲に設けられる背景部と、
被写体の分光反射特性に応じて、前記可視画像及び前記不可視画像の少なくとも一方から前記被写体ないし前記背景部の特徴量を検出する画像処理部と、
を備え、
前記背景部は、可視光を拡散反射し、不可視光を可視光に比べて低い反射率で反射する不可視光低反射部を有し、
前記画像処理部は、
前記可視画像ないし前記不可視画像の特徴量として、被写体のエッジを検出し、
前記エッジの統合を、不可視画像のエッジも可視画像のエッジもエッジ正常検出の判断基準を満たしていない場合に、不可視画像のエッジと可視画像のエッジのＯＲ処理とする、
ことを特徴とする読取装置。

【請求項14】

前記画像処理部は、前記エッジから被写体のサイズを検知する、
ことを特徴とする請求項６ないし１３の何れか一項に記載の読取装置。

【請求項15】

前記画像処理部は、前記エッジを基に、被写体の傾き及び位置を補正する、
ことを特徴とする請求項６ないし１４の何れか一項に記載の読取装置。

【請求項16】

前記画像処理部は、前記エッジを基に、被写体の切り出しを行う、
ことを特徴とする請求項６ないし１５の何れか一項に記載の読取装置。

【請求項17】

前記画像処理部は、前記可視画像及び前記不可視画像のうち少なくとも一方を補正する、
ことを特徴とする請求項１ないし１６の何れか一項に記載の読取装置。

【請求項18】

請求項１ないし１７の何れか一項に記載の読取装置と、
画像形成部と、
を備えることを特徴とする画像処理装置。

【請求項19】

被写体に可視光と不可視光とを照射する照明部と、
前記被写体により反射された可視光及び不可視光を受光し、可視画像と不可視画像とを撮像する撮像部と、
前記撮像部の撮像範囲に設けられる背景部と、
を備える読取装置における特徴量検出方法であって、
被写体の分光反射特性に応じて、前記可視画像の前記被写体と前記背景部の分光反射特性差と、前記不可視画像の前記被写体と前記背景部の分光反射特性差のうち、大きくなる方の画像に基づいて、前記被写体ないし前記背景部の特徴量を検出する工程を含む、
ことを特徴とする特徴量検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、読取装置、画像処理装置および特徴量検出方法に関する。

【背景技術】

【0002】

従来、画像から原稿・背景間のエッジを検出し、検出した原稿・背景間のエッジを基に、原稿の傾きと位置を補正する画像処理技術が既に知られている。

【0003】

特許文献１には、原稿・背景間のエッジを抽出するために、背景に赤外光低反射部を設け、取得した赤外画像を基に原稿と背景のエッジ検出を行う技術が開示されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術によれば、背景に赤外光低反射部を設け、取得した赤外画像を基に原稿と背景のエッジ検出を行っているが、原稿色によってはエッジ検出ができないという問題があった。

【0005】

本発明は、上記に鑑みてなされたものであって、原稿の種類によらず、原稿・背景間での安定したエッジ検出を可能とすることを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明は、被写体に可視光と不可視光とを照射する照明部と、前記被写体により反射された可視光及び不可視光を受光し、可視画像と不可視画像とを撮像する撮像部と、前記撮像部の撮像範囲に設けられる背景部と、被写体の分光反射特性に応じて、前記可視画像の前記被写体と前記背景部の分光反射特性差と、前記不可視画像の前記被写体と前記背景部の分光反射特性差のうち、大きくなる方の画像に基づいて、前記被写体ないし前記背景部の特徴量を検出する画像処理部と、を備えることを特徴とする。

【発明の効果】

【0007】

本発明によれば、原稿の種類によらず、原稿・背景間での安定したエッジ検出を行うことができる、という効果を奏する。

【図面の簡単な説明】

【0008】

【図1】図１は、第１の実施の形態にかかる画像形成装置の一例の構成を示す図である。

【図2】図２は、画像読取装置の構造を例示的に示す断面図である。

【図3】図３は、画像読取装置を構成する各部の電気的接続を示すブロック図である。

【図4】図４は、画像処理部の機能構成を示すブロック図である。

【図5】図５は、被写体の特徴量の検出にかかる媒質による分光反射特性の違いを示す図である。

【図6】図６は、紙種による可視画像と不可視画像の分光反射特性差の違いを示す図である。

【図7】図７は、特徴量抽出対象の可視成分の選択例を示す図である。

【図8】図８は、背景部を不可視光低反射部とした場合の分光反射特性の例を示す図である。

【図9】図９は、不可視光低反射部を例示的に示す図である。

【図10】図１０は、被写体のエッジから得られる情報を示す図である。

【図11】図１１は、エッジ検出の手法を例示的に示す図である。

【図12】図１２は、エッジを利用した特徴量の例を示す図である。

【図13】図１３は、回帰直線式における直線式の選択を示す図である。

【図14】図１４は、サイズ検知（横方向）の例を示す図である。

【図15】図１５は、第２の実施の形態にかかる画像処理部の機能構成を示すブロック図である。

【図16】図１６は、エッジのＯＲ処理について説明する図である。

【図17】図１７は、可視画像と不可視画像のエッジの出方について説明する図である。

【図18】図１８は、エッジの正常検出の判定例を示す図である。

【図19】図１９は、エッジのＯＲ処理の失敗例を示す図である。

【図20】図２０は、複数の特性が混じったような被写体の一例を示す図である。

【図21】図２１は、第３の実施の形態にかかる画像処理部の機能構成を示すブロック図である。

【図22】図２２は、画像処理部における処理の流れを示すフローチャートである。

【図23】図２３は、被写体の傾きと位置の補正の例を示す図である。

【図24】図２４は、不可視画像の用途を示す図である。

【図25】図２５は、被写体の傾きと位置の補正および切り出し例を示す図である。

【図26】図２６は、傾き補正の一例を示す図である。

【図27】図２７は、右端エッジ点の探索を示す図である。

【図28】図２８は、画像処理装置の変形例を示す図である。

【発明を実施するための形態】

【0009】

以下に添付図面を参照して、読取装置、画像処理装置および特徴量検出方法の実施の形態を詳細に説明する。

【0010】

（第１の実施の形態）
図１は、第１の実施の形態にかかる画像形成装置１００の一例の構成を示す図である。図１において、画像処理装置である画像形成装置１００は、コピー機能、プリンタ機能、スキャナ機能およびファクシミリ機能のうち少なくとも２つの機能を有する一般に複合機と称されるものである。

【0011】

画像形成装置１００は、読取装置である画像読取装置１０１およびＡＤＦ（Automatic Document Feeder）１０２を有し、その下部に画像形成部１０３を有する。画像形成部１０３については、内部の構成を説明するために、外部カバーを外して内部の構成を示している。

【0012】

ＡＤＦ１０２は、画像を読み取らせる原稿を読取位置に位置づける原稿支持部である。ＡＤＦ１０２は、載置台に載置した原稿を読取位置に自動搬送する。画像読取装置１０１は、ＡＤＦ１０２により搬送された原稿を所定の読取位置で読み取る。また、画像読取装置１０１は、原稿を載置する原稿支持部であるコンタクトガラスを上面に有し、読取位置であるコンタクトガラス上の原稿を読み取る。具体的に画像読取装置１０１は、内部に光源や、光学系や、ＣＭＯＳイメージセンサなどの固体撮像素子を有するスキャナであり、光源で照明した原稿の反射光を光学系を通じて固体撮像素子で読み取る。

【0013】

画像形成部１０３は、記録紙を手差しする手差ローラ１０４や、記録紙を供給する記録紙供給ユニット１０７を有する。記録紙供給ユニット１０７は、多段の記録紙給紙カセット１０７ａから記録紙を繰り出す機構を有する。供給された記録紙は、レジストローラ１０８を介して二次転写ベルト１１２に送られる。

【0014】

二次転写ベルト１１２上を搬送する記録紙は、転写部１１４において中間転写ベルト１１３上のトナー画像が転写される。

【0015】

また、画像形成部１０３は、光書込装置１０９や、タンデム方式の作像ユニット（Ｙ、Ｍ、Ｃ、Ｋ）１０５や、中間転写ベルト１１３や、上記二次転写ベルト１１２などを有する。作像ユニット１０５による作像プロセスにより、光書込装置１０９が書き込んだ画像を中間転写ベルト１１３上にトナー画像として形成する。

【0016】

具体的に、作像ユニット（Ｙ、Ｍ、Ｃ、Ｋ）１０５は、４つの感光体ドラム（Ｙ、Ｍ、Ｃ、Ｋ）を回転可能に有し、各感光体ドラムの周囲に、帯電ローラ、現像器、一次転写ローラ、クリーナーユニット、及び除電器を含む作像要素１０６をそれぞれ備える。各感光体ドラムにおいて作像要素１０６が機能し、感光体ドラム上の画像が各一次転写ローラにより中間転写ベルト１１３上に転写される。

【0017】

中間転写ベルト１１３は、各感光体ドラムと各一次転写ローラとの間のニップに、駆動ローラと従動ローラとにより張架して配置されている。中間転写ベルト１１３に一次転写されたトナー画像は、中間転写ベルト１１３の走行により、二次転写装置で二次転写ベルト１１２上の記録紙に二次転写される。その記録紙は、二次転写ベルト１１２の走行により、定着装置１１０に搬送され、記録紙上にトナー画像がカラー画像として定着する。その後、記録紙は、機外の排紙トレイへと排出される。なお、両面印刷の場合は、反転機構１１１により記録紙の表裏が反転されて、反転された記録紙が二次転写ベルト１１２上へと送られる。

【0018】

なお、画像形成部１０３は、上述したような電子写真方式によって画像を形成するものに限るものではなく、インクジェット方式によって画像を形成するものであってもよい。

【0019】

次に、画像読取装置１０１について説明する。

【0020】

図２は、画像読取装置１０１の構造を例示的に示す断面図である。図２に示すように、画像読取装置１０１は、本体１１内に、固体撮像素子である撮像部２２を備えたセンサ基板１０、レンズユニット８、第１キャリッジ６及び第２キャリッジ７を有する。第１キャリッジ６は、ＬＥＤ（Light Emitting Diode）である光源２及びミラー３を有する。第２キャリッジ７は、ミラー４，５を有する。また、画像読取装置１０１は、上面にコンタクトガラス１を設けている。

【0021】

光源２は、可視用／不可視用で構成される。ここで、不可視光とは、波長が３８０ｎｍ以下、あるいは７５０ｎｍ以上の光のことを指す。すなわち、光源２は、被写体や背景部１３に対して可視光と不可視光（例えば、近赤外（ＮＩＲ）光）とを照射する照明部である。

【0022】

また、画像読取装置１０１は、上面に基準白板である背景部１３を設けている。より詳細には、背景部１３は、撮像部２２の撮像範囲において、照明部である光源２とは被写体に対して反対側に設けられる。

【0023】

画像読取装置１０１は、読取動作において、第１キャリッジ６及び第２キャリッジ７を待機位置（ホームポジション）から副走査方向（Ａ方向）に移動させながら光源２から光を上方に向けて照射する。そして、第１キャリッジ６及び第２キャリッジ７は、被写体である原稿１２からの反射光を、レンズユニット８を介して撮像部２２上に結像させる。

【0024】

また、画像読取装置１０１は、電源ＯＮ時などには、基準白板１３からの反射光を読取って基準を設定する。即ち、画像読取装置１０１は、第１キャリッジ６を基準白板１３の直下に移動させ、光源２を点灯させて基準白板１３からの反射光を撮像部２２の上に結像させることによりゲイン調整を行う。

【0025】

撮像部２２は、可視、不可視の波長域を撮像可能である。撮像部２２には、入射光量を電気信号に変換する画素が配置されている。画素は行列状に配置され、各画素から得られる電気信号は、一定時間毎に所定の順序で、後段の信号処理部２２２（図３参照）へと転送される（画素読出し信号）。各画素上には特定の波長の光のみを透過するカラーフィルタが配置されている。本実施の形態の撮像部２２では、同一のカラーフィルタが配置された画素群から得られる各信号をチャンネルと称する。なお、本実施形態では可視光を照射して撮像部２２によって撮像された画像を可視画像、近赤外光などの不可視光を照射して撮像部２２によって撮像された画像を不可視画像と呼ぶ。

【0026】

なお、本実施形態の画像読取装置１０１として縮小光学系の画像読取装置を適用したが、これに限るものではなく、等倍光学系（密着光学系：ＣＩＳ方式）であってもよい。

【0027】

図３は、画像読取装置１０１を構成する各部の電気的接続を示すブロック図である。図３に示すように、画像読取装置１０１は、上述した撮像部２２、光源２に加え、画像処理部２０、制御部２３、光源駆動部２４、を備えている。制御部２３は、撮像部２２、画像処理部２０、光源駆動部２４を制御する。光源駆動部２４は、制御部２３の制御に従い、光源２を駆動する。

【0028】

撮像部２２は、縮小光学系用センサであり、例えばＣＭＯＳイメージセンサなどである。撮像部２２は、画素部２２１、信号処理部２２２などを備える。

【0029】

なお、本実施形態では４ライン構成での撮像部２２を例にして説明するが、４ラインに限定されるものではない。また、画素部２２１より後段の回路構成に関しても、図示する構成に限定されるものではない。

【0030】

画素部２２１は、画素を構成する画素回路を行列状に複数配置した４ラインの画素群を有する。信号処理部２２２は、画素部２２１から出力された信号を必要に応じて処理を施し、後段に配置される画像処理部２０へと転送する。

【0031】

画像処理部２０は、画像データの使用目的に合わせた各種の画像処理を実行する。

【0032】

ここで、図４は画像処理部２０の機能構成を示すブロック図である。図４に示すように、画像処理部２０は、特徴量検出部２０１を備える。

【0033】

特徴量検出部２０１は、撮像部２２で得られた可視画像ないし不可視画像に対して、被写体である原稿１２の特徴量を検出する。

【0034】

ここで、図５は被写体の特徴量の検出にかかる媒質による分光反射特性の違いを示す図である。撮像部２２で被写体である原稿１２からの反射光を読み取る場合、一般に背景部１３と被写体である原稿１２とでは分光反射特性が異なる。図５に示す例では、背景部１３は右下がり、被写体である原稿１２は右上がりになっている。すなわち、可視光と不可視光では、異なった特徴をもつ画像が得られる。そのため、特徴量検出部２０１は、被写体である原稿１２の種類や背景部１３の種類に応じて、検出対象の画像を可視と不可視のいずれかから事前に設定しておく。こうすることにより、特徴量検出部２０１は、狙いの特徴量を取り易くすることができる。

【0035】

ここで、図６は紙種による可視画像と不可視画像の分光反射特性差の違いを示す図である。例えば、図６に示す例によれば、紙種Ａは、可視画像と不可視画像とを比較すると、不可視画像の方が背景部１３と分光反射特性差が大きいことがわかる。そのため、特徴量検出部２０１は、紙種Ａの場合、特徴量検出対象を不可視画像と設定しておくことができる。一方、紙種Ｂは、可視画像と不可視画像とを比較すると、可視画像の方が背景部１３と分光反射特性差が大きいことがわかる。そのため、特徴量検出部２０１は、紙種Ｂの場合、特徴量検出対象を可視画像と設定しておくことができる。

【0036】

ここで、特徴量抽出対象の可視成分の選択について説明する。

【0037】

図７は、特徴量抽出対象の可視成分の選択例を示す図である。実際に照射する光は波長域として広がりを持っているが、図７に示す図では簡単のため各成分の代表波長を点線で表している。また、例として、不可視光として近赤外光を採用している。

【0038】

図７に示すように、近赤外光の成分における被写体である原稿１２に対する背景部１３の反射率（矢印Ｘ）と比較して、最も差があるのはＢ成分である。したがって、特徴量検出部２０１は、このＢ成分を使用することで、被写体である原稿１２と背景部１３の特徴量に差を出すことができる。

【0039】

すなわち、特徴量検出部２０１は、可視画像の特徴量は、不可視光および可視光に対して、背景部１３と被写体である原稿１２の分光反射特性の差を比較し、可視光のうち最も不可視光との差が大きい成分を含む。一般に、可視画像からは、波長域の広いＧ成分の特徴量を用いることが多い。しかし、図７に示す例の場合は、可視域と赤外域の特徴量を用いるとき、Ｂ成分と赤外成分では原稿と背景板の分光反射特性差が大きくなるため、エッジ検出がしやすくなる。

【0040】

なお、特徴量検出部２０１は、可視成分で使用する特徴量としてＢ成分からのみを抽出するものに限るものではなく、例えばＲＧＢ成分のうち最も大きい成分の値など一部を含むものであってもよい。

【0041】

また、特徴量検出部２０１は、被写体である原稿１２の分光反射特性にバリエーションがある場合は、その中の代表となる被写体である原稿１２から測定したものや、測定結果の平均値をとったものなどで、選択する特徴量抽出対象の可視成分を決めてもよい。

【0042】

ここで、背景部１３を不可視光低反射部とした場合について説明する。

【0043】

図８は、背景部１３を不可視光低反射部とした場合の分光反射特性の例を示す図である。図８に示すように、背景部１３を、可視光を拡散反射し、不可視光を可視光に比べて低い反射率で反射する不可視光低反射部としてもよい。これにより、可視画像と不可視画像で背景部１３の分光反射率に顕著な差ができ、その結果として被写体である原稿１２と背景部１３の分光反射率の差にも違いができ、特徴量検出部２０１は、より狙いとした特徴量を抽出し易くなる。

【0044】

ここで、図９は不可視光低反射部を例示的に示す図である。不可視光低反射部は、背景部１３の全部、または、図９に示すように、背景部１３の一部やパターンとして設けてもよい。

【0045】

このように背景部１３が、可視光を拡散反射し、不可視光を可視光に比べて低い反射率で反射する不可視光低反射部を有することにより、可視画像と不可視画像で背景の読み取り値に、より顕著な差を出すことができ、ロバストなエッジ検出を行うことができる。

【0046】

続いて、特徴量検出部２０１が、被写体である原稿１２のエッジを特徴量として抽出する場合について説明する。

【0047】

ここで、図１０は被写体のエッジから得られる情報を示す図である。図１０に示すように、エッジとは被写体である原稿１２と背景部１３の境界のことを指す。このようなエッジを検出することで、図１０に示すように、被写体である原稿１２の位置や傾き、サイズ等を認識することができる。そして、被写体である原稿１２の位置や傾きからは、被写体である原稿１２の位置・傾きに応じた画像補正を後段の処理で行うこともできる。

【0048】

図１１は、エッジ検出の手法を例示的に示す図である。エッジの検出方法としては、図１１（ａ）に示すように、例えば画像全体に一次微分フィルタをかけて、各画素に対して所定の閾値を超えているかどうかで二値化して得る方法が挙げられる。その際、閾値によっては横方向のエッジは縦に数画素連続して出る（逆もまた同様である）。これは主に光学系のＭＴＦ特性により、エッジがぼけるからである。そこで、図１１（ｂ）に示すように、後述の回帰直線式の算出やサイズ検知などのために代表エッジ画素をとるため、例えば連続した画素の中央を選出するような方法がある（図１１（ｂ）に示すａ部分）。

【0049】

図１２は、エッジを利用した特徴量の例を示す図である。特徴量としては、画像から抽出したエッジそのものでなく、エッジを利用したものであってもよい。例としては、図１２に示すように、抽出したエッジ点群から最小二乗法などを用いて計算した回帰直線式や、エッジ内部の領域（位置の集合）が挙げられる。回帰直線式については、各辺について全エッジ情報から１つの直線式を出す方法もあるが、複数の領域に分けて直線式を算出して代表的なものを選択あるいは統合する方法もある。その場合に最終的な直線式を導出する方法としては、傾きが中央値である直線や、各直線式の平均値として得る方法が挙げられる。

【0050】

図１３は、回帰直線式における直線式の選択を示す図である。複数の領域に分けて直線式を算出して代表的なものを選択あるいは統合する処理によって、図１３に示すように、被写体である原稿１２の端が欠損しているなどダメージがある場合でも、正しく被写体である原稿１２の傾きを認識することができる。

【0051】

以上の処理のように、特徴量検出部２０１が、被写体である原稿１２のエッジを特徴量として抽出することで、被写体である原稿１２の領域を検出することができる。

【0052】

次に、被写体である原稿１２のサイズ検知について説明する。

【0053】

ここで、図１４はサイズ検知（横方向）の例を示す図である。図１４に示すように、画像の縦方向の代表位置について、被写体である原稿１２の左辺エッジと右辺エッジの距離を求め、それらの中央値と別途算出した傾き角度から横方向のサイズを算出できる。また、同様にして縦方向のサイズも算出できる。

【0054】

このようにして検知したサイズ情報は、エラー検知や後述の画像補正処理などに活用することができる。エラー検知については、例えば複合機でスキャンする場合、事前にユーザから設定された原稿サイズと異なるサイズが検知されたら、正しいサイズの原稿をセットすることを知らせる、などが挙げられる。

【0055】

このように本実施形態によれば、可視画像及び不可視画像において、少なくとも一方から被写体である原稿１２ないし背景部１３の特徴量を検出することにより、可視画像から取れない情報を、不可視画像からも取ることができることにより、原稿の種類によらず、原稿・背景間での安定したエッジ検出が可能となる。

【0056】

また、撮像部２２は、被写体である原稿１２により反射された、可視光及び不可視光を受光し、可視画像と不可視画像とを撮像することにより、簡素な構成で画像読み取りを行うことができる。

【0057】

また、不可視光および不可視画像は、赤外光および赤外画像であることにより、簡素な構成で画像を読み取ることができる。

【0058】

（第２の実施の形態）
次に、第２の実施の形態について説明する。

【0059】

第２の実施の形態は、可視画像・不可視画像の両方から特徴量を抽出しておき、それらを自動的に選択または統合するようにする点が、第１の実施の形態と異なる。以下、第２の実施の形態の説明では、第１の実施の形態と同一部分の説明については省略し、第１の実施の形態と異なる箇所について説明する。

【0060】

ここで、図１９は第２の実施の形態にかかる画像処理部の機能構成を示すブロック図である。図１９に示すように、画像処理部２０は、特徴量検出部２０１に加えて、特徴量選択・統合部２０２を備える。

【0061】

特徴量検出部２０１は、前述したように、撮像部２２で得られた可視画像ないし不可視画像に対して、可視画像及び不可視画像の少なくとも一方から検出した被写体である原稿１２ないし背景部１３の特徴量を検出する。

【0062】

特徴量選択・統合部２０２は、特徴量検出部２０１によって可視画像及び不可視画像の少なくとも一方から検出した被写体である原稿１２ないし背景部１３の特徴量に基づき、各画像から検出された特徴量を選択ないし統合する。

【0063】

より詳細には、特徴量選択・統合部２０２は、図６で説明した選択処理を自動的に行う。これにより、可視画像または不可視画像単体では狙いの特徴量が抽出できなかった被写体である原稿１２に対しても、それらを組み合わせて利用することで、狙いとする特徴量を得ることが可能になる。

【0064】

ここで、図１６は特徴量選択・統合部２０２におけるエッジのＯＲ処理について説明する図である。本実施形態の特徴量選択・統合部２０２は、被写体である原稿１２のエッジを特徴量として抽出する際に、エッジのＯＲ処理を実行する。

【0065】

不可視画像と可視画像において抽出した各エッジに対してＯＲをとることで、一方の画像でエッジがとれない箇所を、もう一方の画像で補完することができる。例えば、図１６に示すように、グラデーション原稿の場合、可視画像では原稿の黒領域のエッジが取りやすく白領域のエッジが取りづらいが、不可視画像では逆になっている。

【0066】

そこで、特徴量選択・統合部２０２は、可視画像における黒領域のエッジと不可視画像の白領域のエッジを組み合わせることにより、一方の画像だけでは得られなかった原稿全体のエッジを抽出する。

【0067】

このように、特徴量選択・統合部２０２が、不可視画像のエッジと可視画像のエッジのＯＲ処理によりエッジの統合を行うことにより、可視画像と不可視画像のいずれかでエッジ検出できる箇所があるため、より多くの箇所で被写体である原稿１２と背景部１３間のエッジを検出することができる。

【0068】

次に、不可視画像のエッジを優先させることについて説明する。

【0069】

ここで、図１７は可視画像と不可視画像のエッジの出方について説明する図である。図１７（ａ）に示すように、可視画像には被写体である原稿１２の影が背景に写りこむことがあり、影の形状によってはエッジが直線状に抽出できず被写体である原稿１２の傾き検出精度に影響が出やすい。一方、可視画像の影がない箇所は、被写体である原稿１２が白色の場合、エッジ抽出自体ができない可能性も高い。

【0070】

図１７（ｂ）に示すように、不可視画像では、特に背景部１３を不可視光低反射部としたとき、白色の被写体である原稿１２と背景部１３の間のエッジが抽出しやすくなる。不可視画像でも被写体である原稿１２の影が生じることがあるが、背景部より影の方が暗いため、例えば「暗部→明部」をとるような一次微分フィルタでエッジ検出すれば、影と背景部間のエッジでなく影と原稿間のエッジをとることができる。あるいは、２種の一次微分フィルタで「暗部→明部」と「明部→暗部」の両方のエッジを取るようにする場合でも、背景部１３と近い輝度であれば影と背景部１３間のエッジは抽出せずに済む。そのため、可視画像よりも不可視画像の方が精度よく被写体である原稿１２と背景部１３間のエッジ検出ができる可能性が高く、不可視画像で正常にエッジ検出できなかった場合に限り、可視画像を用いるようにするとよい。

【0071】

ここで、図１８はエッジの正常検出の判定例を示す図である。「正常に検出」の判断基準としては、図１８に示すように、例えば得られたエッジ点群を直線で回帰した場合に、最小二乗法による誤差が閾値以内であること、直線の傾き角度が閾値以内であること、などで判定する方法が挙げられる。また、前述の複数の直線式から選択・統合する場合は、正常判定された直線式が閾値以上の個数存在すること、が挙げられる。

【0072】

このように特徴量選択・統合部２０２は、エッジの選択について、不可視画像のエッジが正常に検出できた場合は不可視画像のエッジとし、不可視画像のエッジが正常に検出できなければ可視画像のエッジとする。この場合、不可視画像の方がエッジ検出しやすい可能性が高く、検出精度を高めることができる。

【0073】

次に、可視画像および不可視画像のいずれでも、正常にエッジが検出できなかった場合について説明する

【0074】

図１９は、エッジのＯＲ処理の失敗例を示す図である。可視画像と不可視画像に対してＯＲ処理をすると、狙いでないエッジを抽出してしまう可能性がある。例えば、図１９に示すように、可視画像で被写体である原稿１２の影と背景部１３の間でエッジを抽出してしまった場合、ＯＲ処理をすると被写体である原稿１２の影が残り、原稿の傾きの計算などに影響が出てしまう。しかしながら、前述のようにＯＲ処理によりエッジ検出箇所が多くなるメリットもあるため、特徴量検出部２０１は、可視画像でも不可視画像でも正常にエッジ検出ができなかった場合に限り、ＯＲ処理を行う。

【0075】

このように特徴量選択・統合部２０２は、不可視画像のエッジも可視画像のエッジも正常に検出できなかった場合に、不可視画像のエッジと可視画像のエッジのＯＲ処理とする。可視画像と不可視画像では、原稿影などによりエッジの出方が異なることがある。そのため、各々の画像で正常に検出できなかった場合にのみ、ＯＲ処理を行う。

【0076】

ここで、図２０は複数の特性が混じったような被写体の一例を示す図である。図２０に示すように、例えば複数の特性が混じったような被写体である原稿１２では、被写体である原稿１２の下部を可視画像から抽出し、被写体である原稿１２の上部を不可視画像から抽出することができる。

【0077】

このように本実施形態によれば、可視画像及び不可視画像において、少なくとも一方から被写体である原稿１２ないし背景部１３の特徴量を検出し、各画像から検出された特徴量を選択ないし統合する。これにより、可視画像／不可視画像の一方から自動的に特徴量を選択、あるいは両方の特徴量を統合することができる。

【0078】

（第３の実施の形態）
次に、第３の実施の形態について説明する。

【0079】

第３の実施の形態は、被写体の画像補正を行う画像補正部を備える点が、第１の実施の形態および第２の実施形態と異なる。以下、第３の実施の形態の説明では、第１の実施の形態および第２の実施形態と同一部分の説明については省略し、第１の実施の形態および第２の実施形態と異なる箇所について説明する。

【0080】

ここで、図２１は第３の実施の形態にかかる画像処理部の機能構成を示すブロック図、図２２は画像処理部における処理の流れを示すフローチャートである。図２１に示すように、画像処理部２０は、特徴量検出部２０１および特徴量選択・統合部２０２に加えて、画像補正部２０３を備える。

【0081】

特徴量検出部２０１は、図２２に示すように、撮像部２２で得られた可視画像ないし不可視画像に対して、可視画像及び不可視画像の少なくとも一方から検出した被写体である原稿１２ないし背景部１３の特徴量を検出する（ステップＳ１）。

【0082】

特徴量選択・統合部２０２は、図２２に示すように、特徴量検出部２０１によって可視画像及び不可視画像の少なくとも一方から検出した被写体である原稿１２ないし背景部１３の特徴量に基づき、各画像から検出された特徴量を選択ないし統合する（ステップＳ２）。

【0083】

画像補正部２０３は、図２２に示すように、特徴量選択・統合部２０２における統合結果を用いて、可視画像および不可視画像それぞれに対して画像補正を行う（ステップＳ３）。画像補正の例は、後述する。

【0084】

ここで、図２３は被写体の傾きと位置の補正の例を示す図である。図２３に示す例は、画像補正部２０３が、特徴量選択・統合部２０２で検出した特徴量によって、被写体である原稿１２の傾きと位置を補正するものである。

【0085】

被写体である原稿１２の傾きの補正については、画像補正部２０３は、前述したように、被写体である原稿１２の各辺から抽出したエッジ点群を直線で回帰した場合の傾きを求め、それを基に画像全体を回転させる方法を用いる。

【0086】

被写体である原稿１２の位置の補正については、画像補正部２０３は、被写体である原稿１２の上辺と左辺のエッジ点群の回帰直線の交点位置を求め、その点を原点へ移動する方法を用いる。

【0087】

ここで、図２４は不可視画像の用途を示す図である。特徴量選択・統合部２０２における統合結果に基づいて画像を補正することで、原稿領域内の絵・文字の見やすさの向上などの効果が得られる。また、不可視成分は、色材によっては可視成分と反射率が大きく異なり、その結果として図２４に示すように色を飛ばすことが可能である。このため、色を飛ばすことを利用して、後段でＯＣＲ処理などを行うことが考えられる。そのため、可視画像だけでなく、不可視画像も補正しておくことでＯＣＲ精度向上に寄与できるメリットがある。

【0088】

このように、エッジ検出結果を基に被写体である原稿１２の傾き及び位置を補正することにより、被写体である原稿１２を見やすく補正することができる。また、ＯＣＲ精度などを高めることができる可能性がある。

【0089】

ここで、図２５は被写体の傾きと位置の補正および切り出し例を示す図である。画像補正部２０３は、前述の傾きと位置の補正を組み合わせることにより、図２５に示すように、ジャストサイズで被写体である原稿１２の領域の切り出しを行う。なお、仮に特徴量がうまく検出できず、傾きや位置の補正ができない場合であっても、ジャストサイズにはならないが切り出し自体は可能である。

【0090】

ここで、図２６は傾き補正の一例を示す図である。傾きの補正ができない例として、画像処理をハードウェアで行う場合、図２６に示すように、処理速度の都合で画像中の連続画素を最小幅以上でまとめて置き換える必要がある。しかしながら、傾きが大きすぎると補正困難となる、という課題がある。その際は、傾き補正はできないが、可能な限り背景部１３の領域を削除したいということがある。

【0091】

この場合、画像補正部２０３は、例えば、最も右端にあるエッジ点がわかれば、その右側領域は被写体である原稿１２の領域外なので画像から削ってしまう、などの処理を行うようにしても良い。

【0092】

図２７は、右端エッジ点の探索を示す図である。もしメモリ量の都合で画像の一部領域からのみしかエッジ抽出できない場合でも、縦方向のサイズ情報が原稿搬送時のセンサ情報など他の手段でわかればよい。この場合、図２７に示すように、画像補正部２０３は、当該領域中のエッジ画素から傾き情報も用いて右端エッジ点を予測する。なお、右端に限らず、上端・左端・下端についても同様である。

【0093】

画像補正部２０３は、被写体である原稿１２の領域の切り出しを行うことで、不要な背景部１３の領域を削除できる。その結果、例えば複合機のような画像形成装置１００においては、ユーザの被写体である原稿１２のサイズ入力の手間の削減、画像の見た目の良化、画像保存先のストレージ領域の削減、画像をコピーする際の記録紙の小サイズ化やインク・トナー消費量削減などの効果が得られる。

【0094】

このようにエッジを基に画像から自動で被写体である原稿１２のサイズを検知して切り出すことで、ユーザが原稿サイズ（特に不定形サイズ）を入力する手間を省くことができる。また、画像の見た目の良化、画像保存先のストレージ領域の削減、画像をコピーする際の記録紙の小サイズ化やインク・トナー消費量削減などの効果が得られる。

【0095】

このように本実施形態によれば、画像補正部２０３は、可視画像及び不可視画像のうち少なくとも一方を補正することにより、画像の見やすさ向上などを図ることができる。

【0096】

なお、上記実施の形態では、本発明の画像処理装置を、コピー機能、プリンタ機能、スキャナ機能およびファクシミリ機能のうち少なくとも２つの機能を有する複合機に適用した例を挙げて説明するが、複写機、プリンタ、スキャナ装置、ファクシミリ装置等の画像形成装置であればいずれにも適用することができる。

【0097】

なお、上記各実施の形態においては、画像処理装置として画像形成装置１００の画像読取装置１０１を適用したが、これに限るものではない。画像処理装置の定義としては、画像として読み取らなくても、図２８（ａ）に示す等倍光学系（密着光学系：ＣＩＳ方式）のラインセンサのように、読み取りレベルが取得できる装置であればよい。図２８（ａ）に示す装置は、ラインセンサあるいは原稿を移動させて、複数ラインの情報を読み取るものである。

【0098】

さらに画像処理装置としては、図２８（ｂ）に示す紙幣搬送装置、図２８（ｃ）に示す無人搬送車（ＡＧＶ：Automated Guided Vehicle）の白線検知装置などにも適用することができる。

【0099】

図２８（ｂ）に示す紙幣搬送装置の被写体は紙幣である。紙幣搬送装置で検出された特徴量は、画像自体の補正処理などに用いられる。すなわち、図２８（ｂ）に示す紙幣搬送装置は、エッジ検出により紙幣の傾きを認識し、認識した傾きを用いてスキュー補正を行う。

【0100】

図２８（ｃ）に示す無人搬送車の白線検知装置の被写体は白線である。無人搬送車の白線検知装置で出された特徴量は、無人搬送車の移動方向の決定などに用いることができる。すなわち、無人搬送車の白線検知装置は、エッジ検出により白線領域の傾きを認識し、認識した傾きを用いて無人搬送車の移動方向を決定する。また、無人搬送車の白線検知装置においては、無人搬送車の位置・向きに応じた移動方向補正を後の処理で行うこともできる。例えば、無人搬送車の例では、既知の白線の太さと異なる太さが検知されたら駆動を停止する、などの処理も実行可能である。

【符号の説明】

【0101】

２ 照明部
３ 撮像部
１２ 被写体
１３ 背景部
２０ 画像処理部
１００ 画像処理装置
１０１ 読取装置
１０３ 画像形成部

【先行技術文献】

【特許文献】

【0102】

【文献】特開２０１４－０５３７３９号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】