(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024179353
(43)【公開日】2024-12-26
(54)【発明の名称】画像読取装置、画像形成装置および画像処理方法
(51)【国際特許分類】
H04N 1/21 20060101AFI20241219BHJP
【FI】
H04N1/21
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023098126
(22)【出願日】2023-06-14
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】齋藤 貴之
(57)【要約】
【課題】処理速度を向上させることで、生産性の低下を回避する。
【解決手段】読取部からの表裏両面の読取画像に対して、第1の画像処理を行う第1の画像処理部と、前記第1の画像処理を施した表裏両面の前記読取画像の蓄積用にそれぞれ設けられ、表裏両面の前記読取画像のそれぞれについて、交互に入れ替えるように複数ページにわたって蓄積する画像蓄積部と、前記画像蓄積部から取り出された表面または裏面の前記読取画像に対して、第2の画像処理を行う第2の画像処理部と、前記第1の画像処理を施した前記読取画像の前記画像蓄積部への書き出しと、前記第2の画像処理を施すための前記画像蓄積部に蓄積された前記読取画像の読み出しと、を並行処理可能とする制御部と、を備える。
【選択図】
図7
【特許請求の範囲】
【請求項1】
読取部からの表裏両面の読取画像に対して、第1の画像処理を行う第1の画像処理部と、
前記第1の画像処理を施した表裏両面の前記読取画像の蓄積用にそれぞれ設けられ、表裏両面の前記読取画像のそれぞれについて、交互に入れ替えるように複数ページにわたって蓄積する画像蓄積部と、
前記画像蓄積部から取り出された表面または裏面の前記読取画像に対して、第2の画像処理を行う第2の画像処理部と、
前記第1の画像処理を施した前記読取画像の前記画像蓄積部への書き出しと、前記第2の画像処理を施すための前記画像蓄積部に蓄積された前記読取画像の読み出しと、を並行処理可能とする制御部と、
を備えることを特徴とする画像読取装置。
【請求項2】
前記第1の画像処理部は、表裏両面の何れか片面の前記読取画像に対して、前記第1の画像処理を実行し、
前記第2の画像処理部は、前記第1の画像処理を実行した表裏両面の何れか片面の前記読取画像に対して、前記第2の画像処理を実行する、
ことを特徴とする請求項1に記載の画像読取装置。
【請求項3】
前記第1の画像処理部は、前記第1の画像処理として、入力画像全域で探索して所望の探索結果が得られた場合に、特殊原稿を検知したと判定する特殊原稿検知部を備え、
前記第2の画像処理部は、前記第2の画像処理として、前記特殊原稿検知部で特殊原稿を検知した場合に、特殊原稿出力結果を出力する特殊原稿対応部を備える、
ことを特徴とする請求項1に記載の画像読取装置。
【請求項4】
前記第1の画像処理部は、前記第1の画像処理として、前記画像蓄積部に蓄積した画像、もしくは前記読取部から入力され、前記画像蓄積部に書き込まれる前の画像をもとに、画像全体から特徴量を抽出する特徴量抽出部を備え、
前記第2の画像処理部は、前記第2の画像処理として、前記特徴量抽出部で抽出した特徴量を反映させる特徴量反映処理部を備える、
ことを特徴とする請求項1に記載の画像読取装置。
【請求項5】
前記特徴量抽出部は、前記特徴量として、画像の天地を識別した天地識別情報を抽出する天地識別部であり、
前記特徴量反映処理部は、前記天地識別部で抽出した天地識別情報をもとに、画像の回転を行う画像回転部である、
ことを特徴とする請求項4に記載の画像読取装置。
【請求項6】
前記天地識別部は、前記画像蓄積部に蓄積された画像を天地識別の推論モデルに対して正規化した画像をもとに、天地識別用に学習されたモデルによって推論を行い、天地識別結果を導出する、
ことを特徴とする請求項5に記載の画像読取装置。
【請求項7】
前記天地識別部は、前記画像蓄積部に蓄積された画像を天地識別の推論モデルに対して正規化した画像を生成する、
ことを特徴とする請求項6に記載の画像読取装置。
【請求項8】
請求項1ないし7の何れか一項に記載の画像読取装置と、
画像形成部と、
を備えることを特徴とする画像形成装置。
【請求項9】
読取部からの表裏両面の読取画像に対して、第1の画像処理を行う第1の画像処理工程と、
前記第1の画像処理を施した表裏両面の前記読取画像の蓄積用にそれぞれ設けられ、表裏両面の前記読取画像のそれぞれについて、交互に入れ替えるように複数ページにわたって画像蓄積部に蓄積する画像蓄積工程と、
前記画像蓄積部から取り出された表面または裏面の前記読取画像に対して、第2の画像処理を行う第2の画像処理工程と、
前記第1の画像処理を施した前記読取画像の前記画像蓄積部への書き出しと、前記第2の画像処理を施すための前記画像蓄積部に蓄積された前記読取画像の読み出しと、を並行処理可能とする制御工程と、
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像読取装置、画像形成装置および画像処理方法に関する。
【背景技術】
【0002】
従来、複合機(MFP:Multifunction Peripheral/Printer/Product)の画像処理において、画像処理部から表裏の両面画像に対する画像処理(主に読取部の特性を除去)を行ったのち、表裏それぞれ1ページ分(両面計2ページ分)の画像を蓄積できるバッファメモリに格納し、表裏交互に1ページの画像データとして出力対象に応じた画像処理する技術が知られている。
【0003】
また、特許文献1には、原稿傾きを正確に判定するための電子傾きを検出する構成において、読み取り表面および裏面の画像データをバッファメモリに格納し、表面および裏面について交互に1ページの画像データを画像処理部に渡すようにした技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術では、バッファメモリに書き込む前に画像全体からパラメータを検知し、その検知結果をバッファメモリに書き込んだ後の画像処理に反映させる画像処理を行う場合、バッファメモリに書き込む前の処理とバッファメモリ書き込んだ後の処理を交互に行うことでしか実現できず、生産性の低下が顕著になるという問題がある。
【0005】
本発明は、上記に鑑みてなされたものであって、処理速度を向上させることで、生産性の低下を回避することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本発明は、読取部からの表裏両面の読取画像に対して、第1の画像処理を行う第1の画像処理部と、前記第1の画像処理を施した表裏両面の前記読取画像の蓄積用にそれぞれ設けられ、表裏両面の前記読取画像のそれぞれについて、交互に入れ替えるように複数ページにわたって蓄積する画像蓄積部と、前記画像蓄積部から取り出された表面または裏面の前記読取画像に対して、第2の画像処理を行う第2の画像処理部と、前記第1の画像処理を施した前記読取画像の前記画像蓄積部への書き出しと、前記第2の画像処理を施すための前記画像蓄積部に蓄積された前記読取画像の読み出しと、を並行処理可能とする制御部と、を備えることを特徴とする。
【発明の効果】
【0007】
本発明によれば、処理速度を向上させることで、生産性の低下を回避することができる、という効果を奏する。
【図面の簡単な説明】
【0008】
【
図1】
図1は、第1の実施の形態にかかる画像形成装置の画像読取部を正面から見た概略構成を示す図である。
【
図2】
図2は、SDFユニットを正面から見た概略構成を拡大して示す図である。
【
図3】
図3は、画像形成装置のハードウェア構成を示すブロック図である。
【
図4】
図4は、従来の画像読取装置の読み取り時の動作概要の一例を示す図である。
【
図5】
図5は、従来の画像読取装置の読み取り時の動作概要の別の一例を示す図である。
【
図6】
図6は、従来の画像読取装置の読み取り時の動作を示すタイミングチャートである。
【
図7】
図7は、読み取り時の動作概要の一例を示す図である。
【
図8】
図8は、読み取り時の動作概要の別の一例を示す図である。
【
図9】
図9は、読み取り時の動作を示すタイミングチャートである。
【
図10】
図10は、第2の実施の形態にかかる読み取り時の動作概要の一例を示す図である。
【
図11】
図11は、読み取り時の動作概要の別の一例を示す図である。
【
図12】
図12は、読み取り時の動作を示すタイミングチャートである。
【
図13】
図13は、従来の画像読取装置の表面読み出し時の動作概要の一例を示す図である。
【
図14】
図14は、従来の画像読取装置の裏面読み出し時の動作概要の別の一例を示す図である。
【
図15】
図15は、従来の画像読取装置の読み取り時の動作を示すタイミングチャートである。
【
図16】
図16は、第3の実施の形態にかかる読み取り時の動作概要の一例を示す図である。
【
図17】
図17は、読み取り時の動作を示すタイミングチャートである。
【
図18】
図18は、第4の実施の形態にかかる読み取り時の動作概要の一例を示す図である。
【
図19】
図19は、読み取り時の動作を示すタイミングチャートである。
【
図20】
図20は、従来の画像読取装置のようにトグルバッファを単独バッファにした構成での動作のタイミングチャートである。
【
図21】
図21は、第5の実施の形態にかかる読み取り時の動作概要の一例を示す図である。
【
図22】
図22は、読み取り時の動作を示すタイミングチャートである。
【
図23】
図23は、従来の画像読取装置のようにトグルバッファを単独バッファにした構成での動作のタイミングチャートである。
【
図24】
図24は、第6の実施の形態にかかる読み取り時の動作概要の一例を示す図である。
【
図25】
図25は、第7の実施の形態にかかる読み取り時の動作概要の一例を示す図である。
【
図26】
図26は、第8の実施の形態にかかる読み取り時の動作概要の一例を示す図である。
【
図27】
図27は、読み取り時の動作を示すタイミングチャートである。
【
図28】
図28は、従来の画像読取装置のようにトグルバッファを単独バッファにした構成での動作のタイミングチャートである。
【発明を実施するための形態】
【0009】
以下に添付図面を参照して、画像読取装置、画像形成装置および画像処理方法の実施の形態を詳細に説明する。本実施形態においては、コピー機能、プリンタ機能、スキャナ機能およびファクシミリ機能のうち少なくとも2つの機能を有する一般に複合機(MFP:Multifunction Peripheral/Printer/Product)と称される画像形成装置を一例として示している。
【0010】
(第1の実施の形態)
ここで、
図1は第1の実施の形態にかかる画像形成装置1の画像読取部10を正面から見た概略構成を示す図、
図2はSDFユニット15を正面から見た概略構成を拡大して示す図である。
【0011】
図1に示すように、画像形成装置1は、画像読取部(画像読取装置)10を備える。画像読取部10は、筐体11の上部に原稿読取台(原稿台)12を備える。原稿読取台12には、通常、コンタクトガラスが配設されている。原稿読取台12の上部は、開閉可能な原稿押さえ板13を備える。原稿押さえ板13は、原稿読取台12上にセットされた原稿Gを、原稿読取台12のコンタクトガラスに密着させるように押さえつける。
【0012】
また、
図1に示すように、筐体11の右側上部には、原稿搬送部14が配設されている。原稿搬送部14は、SDF(シートスルー・ドキュメント・フィーダ)ユニット15と原稿トレイ16とを備えている。SDFユニット15内には、原稿搬送ステッピングモータ17が備えられいる。原稿トレイ16上には、複数枚の原稿Gが読取面を上にして重ねて載置される。
【0013】
原稿搬送部14は、
図2に示すように、原稿搬送ステッピングモータ17により、SDFユニット15内に配設されている分離ローラ18と搬送ローラ19を回転駆動させる。SDFユニット15は、回転駆動される分離ローラ18により、原稿トレイ16上の原稿Gを1枚ずつ分離する。また、SDFユニット15は、1枚ずつ分離された原稿Gを、回転駆動される搬送ローラ19により、SDFユニット15内の原稿搬送経路を通過させて、原稿読取台12上へ送って、さらに、図示しない排紙トレイ上に搬送する。
【0014】
SDFユニット15は、原稿搬送経路に沿って、CIS(Contact Image Sensor:密着イメージセンサ)15a、1対のフォトセンサ15b及び白板15c等が配設されている。
【0015】
CIS15aは、原稿搬送経路上を搬送される原稿Gの裏面の画像を読み取る読取部である。
【0016】
ところで、画像読取部10は、原稿読取モードとして、ブックモードとSDFモードを有している。ここでは、両面同時読み取りのSDFモードについて言及する。
【0017】
図2に示したように、画像読取部10は、原稿トレイ16上に複数枚の原稿Gがセットされると、まず、光源21aを点灯させて、白基準板20の読み取りを行った後、原稿搬送ステッピングモータ17を駆動させる。画像読取部10は、第1走行体21をSDF窓15dの読取位置まで移動させて停止させる。次に、画像読取部10は、原稿搬送ステッピングモータ17を駆動させて、原稿トレイ16にセットされた原稿Gを分離ローラ18で1枚ずつ分離する。次に、画像読取部10は、1枚ずつ分離された原稿Gを、搬送ローラ19により一定速度(等速)で搬送して、CIS15aによって原稿Gの裏面画像を読み取らせる。画像読取部10は、裏面の読み取りを行った原稿Gを第1走行体21の所定の読取位置であるSDF窓15dの位置まで一定速度(等速)で搬送する。
【0018】
画像読取部10は、原稿Gを一定速度(等速)で搬送させ、第1走行体21及び第2走行体22を読取位置に停止させた状態で、第1走行体21上の光源21aからSDF窓15dを通して搬送される原稿Gに光を照射させる。画像読取部10は、原稿Gで反射された反射光を、再度、SDF窓15dを通して、ミラー21b及び第2走行体22上のミラー22a、22bで反射させて、レンズ23を通してCCD24に入射させ、CCD24で光電変換して、原稿Gの表面の画像を読み取る。すなわち、CCD24は、原稿搬送経路上を搬送される原稿Gの表面の画像を読み取る読取部である。
【0019】
次に、画像形成装置1のハードウェア構成について説明する。
【0020】
図3は、画像形成装置1のハードウェア構成を示すブロック図である。本図に示すように、この画像形成装置1は、コントローラ110とエンジン部(Engine)160とをPCI(Peripheral Component Interface)バスで接続した構成となる。コントローラ110は、画像形成装置1全体の制御と描画、通信、図示しない操作部からの入力を制御するコントローラである。エンジン部160は、PCIバスに接続可能なプリンタエンジンなどであり、たとえば白黒プロッタ、1ドラムカラープロッタ、4ドラムカラープロッタ、スキャナまたはファックスユニットなどである。なお、このエンジン部160には、プロッタなどのいわゆるエンジン部分に加えて、誤差拡散やガンマ変換などの画像処理部分が含まれる。
【0021】
コントローラ110は、コントローラSoC(System on a chip)111と、コントローラメモリ(MEM-P)112と、コントローラASIC(Application Specific Integrated Circuit)116と、を有し、コントローラSoC111とコントローラASIC116との間をバス接続した構成となる。
【0022】
コントローラSoC111は、画像形成装置1の全体制御をおこなうものであり、CPU(Central Processing Unit)を含み、他の機器と接続される。
【0023】
MEM-P112は、プログラムやデータの格納用メモリ、プログラムやデータの展開用メモリ、プリンタの描画用メモリなどとして用いるコントローラメモリであり、ROM(Read Only Memory)112aとRAMRandom Access Memory)112bとからなる。ROM112aは、プログラムやデータの格納用メモリとして用いる読み出し専用のメモリであり、RAM112bは、プログラムやデータの展開用メモリ、プリンタの描画用メモリなどとして用いる書き込みおよび読み出し可能なメモリである。
【0024】
コントローラASIC116は、画像処理用のハードウェア要素を有する画像処理用途向けのIC(Integrated Circuit)であり、各種バス、HDD(Hard Disk Drive)118をそれぞれ接続するブリッジの役割を有する。このコントローラASIC116は、PCIターゲットおよびAGPマスタと、コントローラASIC116の中核をなすアービタ(ARB)と、HDD118を制御するメモリコントローラと、ハードウェアロジックなどにより画像データの回転などをおこなう複数のDMAC(Direct Memory Access Controller)と、エンジン部160との間でPCIバスを介したデータ転送をおこなうPCIユニットとからなる。
【0025】
HDD118は、画像データの蓄積、プログラムの蓄積、フォントデータの蓄積、フォームの蓄積を行うためのストレージである。
【0026】
コントローラSoC111には、PCIバスを介してFCU(Facsimile Control Unit)130、USB(Universal Serial Bus)140、IEEE1394(the Institute of Electrical and Electronics Engineers 1394)インターフェース150が接続される。操作表示部120は、コントローラSoC111に直接接続されている。
【0027】
エンジン部160は、エンジンSoC161、画像処理ASIC162、画像処理ASIC用メモリ163、画像形成部164、画像読取部10などを備える。
【0028】
エンジンSoC161は、画像形成部164、画像読取部10、画像処理ASIC162の制御を行う。
【0029】
エンジンSoC161とコントローラSoC111とは、コントローラASIC116と画像処理ASIC162とを介して相互に通信を行って協調して動作をすることにより、操作表示部120などでユーザが設定した所望の操作などの画像形成装置1全体の動作を実現する。
【0030】
画像処理ASIC162は、第1の画像処理部162-1と、第2の画像処理部162-2と、を備える(
図4参照)。第1の画像処理部162-1は、画像読取部10からの読取画像に対して、第1の画像処理を行う。第2の画像処理部162-2は、読取画像に対して、第2の画像処理を行う。
【0031】
より詳細には、第1の画像処理部162-1は、画像処理ASIC用メモリ163に蓄積した画像、もしくは読取部から入力され、画像処理ASIC用メモリ163に書き込まれる前の画像をもとに、画像全体から特徴量を抽出する特徴量抽出部である。第2の画像処理部162-2は、第1の画像処理部162-1で抽出した特徴量を反映させる特徴量反映処理部である。
【0032】
画像処理ASIC用メモリ163は、画像処理ASIC162における処理に用いる。より詳細には、画像処理ASIC用メモリ163は、表面トグルバッファTB1と裏面トグルバッファTB2とを有するトグルバッファである。画像処理ASIC用メモリ163は、第1の画像処理部162-1において第1の画像処理を施した読取画像について、表面トグルバッファTB1と裏面トグルバッファTB2とのそれぞれで交互に入れ替えるように複数ページにわたって蓄積する画像蓄積部である。
【0033】
画像処理ASIC162は、第1の画像処理部162-1によって第1の画像処理を施した読取画像の画像処理ASIC用メモリ163への書き出しと、第2の画像処理部162-2による第2の画像処理を施すための画像処理ASIC用メモリ163に蓄積された読取画像の読み出しと、を並行処理可能とする制御部としても機能する。
【0034】
このような構成により、画像読取部10で読み取られた読取画像は、画像処理ASIC162に入力される。
【0035】
ところで、上述したように、画像読取部10は、読み取る際には、一定速度(等速)で原稿Gを搬送しながら、原稿Gから画像の読み取りを行う。
【0036】
なお、連続搬送時の読み取り時において、原稿搬送速度は、画像読取部10のメカの紙搬送性能、読取部であるCIS15a、CCD24などのセンサの性能、光源21a、読み取り解像度などの要因によって決定される。したがって、読み取りの搬送速度を上げることにより読み取り生産性を向上するためには、画像読取部10のメカの性能アップ、より性能の高いセンサ、より輝度の高い光源などを必要とするため、製造コストが上昇することになる。
【0037】
ここで、
図4は従来の画像読取装置の読み取り時の動作概要の一例を示す図、
図5は従来の画像読取装置の読み取り時の動作概要の別の一例を示す図、
図6は従来の画像読取装置の読み取り時の動作を示すタイミングチャートである。
【0038】
図4は、従来の画像読取装置500での表裏両面1パス構成における読み取り動作を
図6に示すタイミングチャートのタイミング(1)について記載したものである。読取部501から表裏両面の画像データが画像処理ASIC502に入力され、表面は画像処理A’、裏面は画像処理A’’を行ったのち、画像処理ASIC用メモリ503内の表裏それぞれに1ページ分確保された表面通常バッファ503-1、裏面通常バッファ503-2に書き込まれている。また、従来の画像読取装置500においては、書き込み動作と同時に読み取り動作も行われる。その後、従来の画像読取装置500においては、表面通常バッファ503-1に蓄積された画像データが読み込まれ、画像処理Bを行ったのち、コントローラASIC504、SoC505を介してコントローラメモリ506に書き込みを行う。
【0039】
図5は、従来の画像読取装置500での両面1パス構成における読み取り動作を
図6に示すタイミングチャートのタイミング(2)について記載したものである。従来の画像読取装置500においては、このタイミングでは読取部501側は紙間に入っており、画像は入力されない。一方、従来の画像読取装置500においては、すでに裏面通常バッファ503-2に2ページ目の画像は全部書き込まれており、蓄積された画像データが読み込まれ、画像処理Bを行ったのち、コントローラASIC504、SoC505を介してコントローラメモリ506に書き込みを行う。
【0040】
図6は、従来の画像読取装置500での両面1パス構成におけるタイミングチャートである。前述のように、タイミング(1),(2)はそれぞれ
図4、
図5の動作タイミングを示している。従来の画像読取装置500においては、読取部501による読み取り動作が開始され、表裏の画像データがそれぞれ表面通常バッファ503-1、裏面通常バッファ503-2に書き込まれ始めたのち、表面通常バッファ503-1の読み出しを開始し、前述の画像処理Bによる処理を行ったのち、コントローラメモリ506に表面処理画像が書き出される。従来の画像読取装置500においては、表面通常バッファ503-1の読み出しが終わり、表面に対する画像処理Bが完了すると、今度は裏面通常バッファ503-2の読み出しを開始し、画像処理Bが行われ、コントローラメモリ506に処理画像が書き出される。
【0041】
従来の画像読取装置500においては、コントローラメモリ506に書き出された画像は、表面画像、裏面画像の書き出し完了後、それぞれ、
図4、
図5でのコントローラASIC504のJPEG圧縮モジュールに入力し、JPEG符号データを生成したのち、StorageI/Fを介してストレージ507に書き込みを行う。従来の画像読取装置500においては、この処理を表面、裏面で交互に繰り返していく。
【0042】
ところで、
図6に示すように、裏面通常バッファ503-2の1ページ分の読み出し時間に対して、表面通常バッファ503-1の1ページ分の読み出し時間が長い。これは、表面の読み取り動作が終了する前から、表面通常バッファ503-1の読み取り動作を開始しているため、画像処理Bのスループットは、読取部501の読み取り処理よりも高速であるが、読取部501の読み取り処理に律速して遅くなっているため、表面通常バッファの読み出しは遅くなっている一方で、裏面通常バッファの読み取り動作の途中で裏面の読取部501の読み取り動作が終了し、読取部501の線速に律速しない動作になるため、表面通常バッファ503-1の読み出しより処理時間が短くなっている。
【0043】
このように従来の画像読取装置500においては、読取部501の線速に律速してバッファ読み出し後の処理が律速され、その結果、生産性が落ちている。
【0044】
従来の画像読取装置500によれば、原稿の読み取りを行っておらず、表面通常バッファ503-1および裏面通常バッファ503-2にデータを書き出していない期間(紙間)がある。また、従来の画像読取装置500によれば、紙間は表面の画像処理Bの処理時間、裏面の画像処理Bの処理時間、通信、画像処理ASIC502への設定にかかる時間から、表面の画像読み取り時間を引いた時間と考えることができる。つまり、表面の画像処理Bの処理時間もしくは、裏面の画像処理Bの処理時間を短くすることができれば、紙間を短くでき、生産性を向上することができる。また、読み取り速度の搬送速度を上げるより場合に比較して、効果は読み取り線速によって限定はされるが、コストアップを抑えて実現することができる。この点について、以下において詳述する。
【0045】
ここで、
図7は読み取り時の動作概要の一例を示す図、
図8は読み取り時の動作概要の別の一例を示す図、
図9は読み取り時の動作を示すタイミングチャートである。
【0046】
図7、
図8、
図9は、従来構成での生産性の問題を解決する手段として、紙間を詰めるために、トグルバッファを使った場合の画像読取部10の画像読み取りの1パス両面動作について、それぞれ、読み取り時の動作概要の一例、読み取り時の動作概要の別の一例、タイミングチャートを示すものである。
図9に示すタイミングチャートのタイミング(3)、タイミング(4)は、それぞれ
図7、
図8として記載されたタイミングを示している。
【0047】
図7は、両面1パス構成における画像読取部10の読み取り動作を、
図9に示すタイミングチャートのタイミング(3)について記載したものである。従来の画像読取装置500では表面画像は画像処理A’を実施し、裏面画像は画像処理A’’を実施したのち、表面通常バッファ503-1、裏面通常バッファ503-2にそれぞれ蓄積されていた。これに対して、本実施形態の画像処理ASIC162は、表面画像に対して画像処理A’を実施し、裏面画像に対して画像処理A’’を実施したのち、片面2ページずつのバッファ容量を確保した表面トグルバッファTB1のバッファB3、裏面トグルバッファTB2のバッファB4にそれぞれ蓄積する。
【0048】
一方、この動作と同時に、画像処理ASIC162は、すでに表面トグルバッファTB1のバッファB1に蓄積された、読み取られている原稿の直前に読み込まれた原稿の表面の画像データを、バッファB1から読み、画像処理Bを行う。その後、画像処理ASIC162は、コントローラASIC116、コントローラSoC111を介して、コントローラメモリ112に書き込みを行う。
【0049】
本実施形態の画像読取部10は、このようにトグルバッファの構成をとることにより、画像読取部10からの画像を書き込むバッファと、蓄積された画像を読み込むバッファとは別のものになっている。
【0050】
図8は、両面1パス構成における画像読取部10の読み取り動作を、
図9に示すタイミングチャートのタイミング(4)について記載したものである。従来の画像読取装置500では表面画像は画像処理A’を実施し、裏面画像は画像処理A’’を実施したのち、表面通常バッファ503-1、裏面通常バッファ503-2にそれぞれ蓄積されていた。これに対して、本実施形態の画像処理ASIC162は、表面画像に対して画像処理A’を実施し、裏面画像に対して画像処理A’’を実施したのち、片面2ページずつのバッファ容量を確保した表面トグルバッファTB1のバッファB3、裏面トグルバッファTB2のバッファB4に蓄積する。
【0051】
一方、この動作と同時に、画像処理ASIC162は、すでに裏面トグルバッファTB2のバッファB2に蓄積された、読み取られている原稿の直前に読み込まれた原稿の裏面の画像データをバッファB2から読み、画像処理Bを行う。その後、画像処理ASIC162は、コントローラASIC116、コントローラSoC111を介して、コントローラメモリ112に書き込みを行う。
【0052】
本実施形態の画像読取部10は、このようにトグルバッファの構成をとることにより、画像読取部10からの画像を書き込むバッファと、蓄積された画像を読み込むバッファとは別のものになっている。
【0053】
本実施形態においては、上述したように、表面画像蓄積はバッファB1とバッファB3の、裏面画像蓄積はバッファB2とバッファB4のトグルバッファ構成になっている。表面の場合、バッファB1を書き出している際は、バッファB3を読み出し、バッファB3を書き出している際はバッファB1を読み出す(裏面も同様)。また、バッファ書き出しは、読み出し原稿ごとに、前の原稿とは別のバッファで行う。
【0054】
このような構成をとることにより、従来の画像読取装置500の単独バッファ構成では、画像読取部10の生産性によって、トグルバッファの読み出しが律速され、生産性が落ちるという問題点が解消され、原稿1枚分の画像読取部10の読み出し時間(トグルバッファへの書き出し時間にほぼ等価)中に、原稿1枚分(表裏)のトグルバッファの読み出し処理を行うまで処理の高速化が可能となる。
【0055】
このように本実施形態によれば、読取部からの両面入力に対して、画像処理を行ったあとの処理結果をバッファに蓄積する際、片面につき2ページ分のバッファをトグルで使う。すなわち、読取部から入ってきた画像データを書き込むバッファと、蓄積された画像を読み込むバッファは別々のページにすることで、蓄積された画像を読み込む際の画像読取部の線速への律速を解消できるため、蓄積された画像を読み込む際の画像読取部の線速への律速を解消でき、処理速度を向上させることで、生産性の低下を回避することができる。
【0056】
(第2の実施の形態)
次に、第2の実施の形態について説明する。
【0057】
第2の実施の形態の説明では、第1の実施の形態と同一部分の説明については省略し、第1の実施の形態と異なる箇所について説明する。
【0058】
ここで、
図10は第2の実施の形態にかかる読み取り時の動作概要の一例を示す図、
図11は読み取り時の動作概要の別の一例を示す図、
図12は読み取り時の動作を示すタイミングチャートである。
【0059】
図10、
図11、
図12は、従来構成での生産性の問題を解決する手段として、トグルバッファを使って第1の画像処理部162-1で天地識別を判定し、そこでの天地識別判定結果をもとに第2の画像処理部162-2の画像回転回路202で画像回転を行うことを特徴とした画像読取部10の画像読み取りの1パス両面動作について、それぞれ、表面読み取り時の動作概要、裏面読み取り時の動作概要、タイミングチャートを示すものである。
図12に示すタイミングチャートのタイミング(5)、タイミング(6)は、それぞれ
図10、
図11として記載されたタイミングを示している。
【0060】
第1の実施の形態においては、1パス両面の画像読取部10の画像パスを、従来の画像読取装置500の単独バッファから、トグルバッファにすることにより、生産性の向上があることについて説明した。1パス両面の画像読取部10の画像パスでトグルバッファを使うことにより、副次的な効果があることを以下に示す。
【0061】
ここで、
図13は従来の画像読取装置500の表面読み出し時の動作概要の一例を示す図、
図14は従来の画像読取装置500の裏面読み出し時の動作概要の別の一例を示す図、
図15は従来の画像読取装置500の読み取り時の動作を示すタイミングチャートである。
【0062】
従来の画像読取装置では、
図13および
図14に記載したように、読取部501からの画像の読み取りは、読取部501に接続する画像処理ASIC502に両面分ないしは片面の画像を入力し、それぞれの入力画像に対して第1の画像処理部502-1の画像処理を行ったうえで、画像処理A500では、画像処理ASIC用メモリ503に蓄積された画像を画像処理ASIC502が読み取り、第2の画像処理部502-2の画像処理を行い、コントローラASIC504に画像を渡す。この際、第2の画像処理部502-2の処理は片面ずつ行う。なお、
図15に示すタイミングチャートのタイミング(1)、タイミング(2)は、それぞれ
図13、
図14として記載されたタイミングを示している。
【0063】
従来の画像読取装置500では、「バッファ」は片面ごとに入力画像一面分だけ確保されている。両面1パス処理において、表面では(場合によっては裏面でも)読取部501からバッファ先頭より順次書かれたデータを1面分バッファに書ききる前から、バッファの先頭から順次コントローラASIC504側へ読み出している。このため、表面バッファ読み出し開始時には、画像全体から導出される特徴量は確定しておらず、第2の画像処理部502-2の画像処理のパラメータに反映することはできなかった。仮に、特徴量が確定してからバッファを読み出す場合、読取部501からバッファに画像1面分を書ききってから、1面分のデータを読み出しきる制御を交互にやる必要があるため、生産性が著しく低下してしまう。
【0064】
また、コントローラの処理を行うSoC505内のCPUで実行されるプログラムは、コントローラメモリ506に配置された画像をコントローラASIC504のJPEG圧縮器に転送し、JPEG画像に変換した上で、Storage I/Fを介してコントローラASIC504からストレージ507に蓄積する処理を行う。
【0065】
一方で、コントローラの処理を行うSoC505内のCPU上の天地識別プログラムP1では、画像をもとに天地識別判定を行い、その結果をPDFに反映させ、送信する。プログラムでは、一連の読取部501の読み取り、コントローラメモリ506への画像書き出し、圧縮、ストレージへの蓄積処理が終わったあと、ストレージ507に蓄積された画像をStorage I/Fを経由して読み出し、JPEG展開器で展開し、コントローラメモリ506に画像を展開し、天地識別プログラムP1で展開された画像をもとに天地識別判定を行う。従来の画像読取装置500では、その判定結果をPDFの要素にとりこみ、もとのJPEG画像とともにパッキングしてPDFを生成し、用途に応じて送信を行う。
【0066】
なお、このプログラムの構成を変え、PDF形式ではなく、Exif形式で向き情報を付加した画像を出力する場合を考えると、画像自体は回転されないため、ビュアーによっては、Exif形式で保存したOrientation情報を無視して表示する場合があり、その場合は、正しい向きで画像が表示されない。
【0067】
そこで、本実施形態においては、従来の従来の画像読取装置500における1パス両面構成の単独バッファをトグルバッファに置き換え、かつ、第1の画像処理部162-1に天地識別部である天地識別回路201を追加し、第2の画像処理部162-2に画像回転部である画像回転回路202を追加する。トグルバッファは、第1の実施の形態で説明したものと同様である。
【0068】
天地識別回路201は、表裏各面の一面分の入力画像をもとに、画像の向きを判別する。画像回転回路202は、入力した画像を回転しながらコントローラメモリ112への書き出しを行う。
【0069】
本実施形態においては、バッファをトグルバッファにしたことにより、あるページの画像全体が第1の画像処理部162-1の処理を行った後に第2の画像処理部162-2の処理を行って、コントローラASIC116側に画像を送ることになる。このため、第1の画像処理部162-1で画像全体から決定される特徴量を抽出した結果をパラメータとして第2の画像処理部162-2に渡して、第2の画像処理部162-2の結果に反映することを画像読取部10の生産性を落とさずに実現可能になる。
【0070】
本実施形態の場合、画像処理ASIC162は、第1の画像処理部162-1で画像入力完了後に天地識別結果を、第2の画像処理部162-2の画像回転回路202に送る回転方向パラメータに反映することになる。
【0071】
本実施形態のように処理を行うことにより、JPEG画像自体が画像の向きを合わせた状態に回転されて蓄積されるため、JPEG出力の際に、Exif形式のOrientationで画像の向きを指定する必要がなくなり、いかなるビュアーであっても正しい向きで画像を表示することができる。
【0072】
また、本実施形態の画像読取部10によれば、従来の画像読取装置500での天地識別プログラムP1によるPDF出力では、SoC505内のCPUにより天地識別処理を行うために必要であった、「Storage読み取り・展開・天地識別処理」は、実施する必要が無くなるため、より高速な処理が実現できる。
【0073】
このように本実施形態によれば、トグルバッファを使わない従来の画像読取装置と比較して、生産性を向上することができる。また、本実施形態によれば、コントローラメモリへの出力後に天地を検出し、タグ情報として画像に埋め込む場合と比較して、画像自体が回転しているので、ビュアーソフトの実装によらず正しい向きで画像が表示され、かつ生産性も向上する。
【0074】
(第3の実施の形態)
次に、第3の実施の形態について説明する。
【0075】
第3の実施の形態は、画像処理ASIC162に内蔵された内蔵CPUが実行する天地識別プログラムP2に置き換えた点が、第2の実施の形態と異なる。以下、第3の実施の形態の説明では、第1の実施の形態および第2の実施の形態と同一部分の説明については省略し、第1の実施の形態および第2の実施の形態と異なる箇所について説明する。
【0076】
ここで、
図16は第3の実施の形態にかかる読み取り時の動作概要の一例を示す図、
図17は読み取り時の動作を示すタイミングチャートである。
【0077】
図16、
図17は、第2の実施の形態で説明した天地識別回路201を、第3の実施の形態として、画像処理ASIC162に内蔵された内蔵CPU162-3が実行する天地識別プログラムP2に置き換えたものである。
【0078】
図17のタイミングチャートに示したように、画像処理ASIC162の表面トグルバッファTB1のバッファB1に1ページ分の書き出しが終わったあと、画像処理ASIC162は、天地識別プログラムP2を実行し、天地識別結果を得る。画像処理ASIC162は、ここで得た天地識別結果を、同じ表面トグルバッファTB1のバッファB1の読み出しを行い、第2の画像処理部116a-2で画像回転回路202を動作する際に回転方向パラメータとして処理に反映させる。
【0079】
本実施形態のように処理を行うことにより、第2の実施の形態と同様に、JPEG画像自体が画像の向きを合わせた状態に回転されて蓄積されるため、JPEG出力の際に、Exif形式のOrientationで画像の向きを指定する必要がなくなり、いかなるビュアーであっても正しい向きで画像を表示することができる。
【0080】
また、本実施形態の画像読取部10によれば、従来の画像読取装置での天地識別プログラムP1によるPDF出力では、SoC505内のCPUにより天地識別処理を行うために必要であった、「Storage読み取り・展開・天地識別処理」は、実施する必要が無くなるため、より高速な処理が実現できる。
【0081】
(第4の実施の形態)
次に、第4の実施の形態について説明する。
【0082】
第4の実施の形態は、片面読み取りにした点が、第2の実施の形態と異なる。以下、第4の実施の形態の説明では、第1の実施の形態および第2の実施の形態と同一部分の説明については省略し、第1の実施の形態および第2の実施の形態と異なる箇所について説明する。
【0083】
ここで、
図18は第4の実施の形態にかかる読み取り時の動作概要の一例を示す図、
図19は読み取り時の動作を示すタイミングチャートである。また、
図20は従来の画像読取装置500のようにトグルバッファを単独バッファにした構成での動作のタイミングチャートである。
【0084】
図18、
図19は、第2の実施の形態で説明した構成について、片面読み取りにしたものである。一方、
図20は、第4の実施の形態にかかる構成のトグルバッファを単独バッファにした構成での動作のタイミングチャートである。
図20に示すように、トグルバッファを単独バッファにした構成の場合、表面の書き出しが終わり、天地識別回路201が天地識別結果を出すことにより、ようやく、バッファを読み出して第2の画像処理部162-2の画像回転回路202に天地識別結果を反映させて処理ができる。すなわち、
図20に示すタイミングチャートに示したように、バッファの書き出しとバッファの読み出しとは、交互にしか行えなくなってしまう。
【0085】
一方、本実施形態の画像読取部10によれば、
図19に示すように、2n+1ページ目のデータを画像処理ASIC162の表面トグルバッファTB1のバッファB1に書き出す際にはすでに2nページ目の天地識別結果は確定しており、画像処理ASIC162の表面トグルバッファTB1のバッファB1の読み出しと画像処理ASIC162の表面トグルバッファTB1のバッファB3の書き出しを同時に行うことができる。このため、
図20に示したバッファの書き出し・読み出しを交互にしかできない従来の画像読取装置500の構成と比較して、生産性の向上を図ることができる。
【0086】
(第5の実施の形態)
次に、第5の実施の形態について説明する。
【0087】
第5の実施の形態は、片面読み取りにした点が、第3の実施の形態と異なる。以下、第5の実施の形態の説明では、第1の実施の形態ないし第3の実施の形態と同一部分の説明については省略し、第1の実施の形態ないし第3の実施の形態と異なる箇所について説明する。
【0088】
ここで、
図21は第5の実施の形態にかかる読み取り時の動作概要の一例を示す図、
図22は読み取り時の動作を示すタイミングチャートである。また、
図23はトグルバッファを単独バッファにした構成での動作のタイミングチャートである。
【0089】
図21、
図22は、第3の実施の形態で説明した構成について、片面読み取りにしたものである。
【0090】
一方、
図23は、第5の実施の形態にかかる構成のトグルバッファを従来の画像読取装置のように単独バッファにした構成での動作のタイミングチャートである。
【0091】
本実施形態によれば、
図23に示すトグルバッファを単独バッファにした場合と比較した場合、生産性の向上を図ることができる。
【0092】
(第6の実施の形態)
次に、第6の実施の形態について説明する。
【0093】
第6の実施の形態の説明では、第1の実施の形態ないし第3の実施の形態と同一部分の説明については省略し、第1の実施の形態ないし第3の実施の形態と異なる箇所について説明する。
【0094】
ここで、
図24は第6の実施の形態にかかる読み取り時の動作概要の一例を示す図である。
図24は、第6の実施の形態として、第3の実施の形態の天地識別プログラムP2を天地識別プログラムP4に置き換え、機械学習の推論を用いた構成の例である。
【0095】
天地識別プログラムP4では、画像処理ASIC用メモリ163のトグルバッファに蓄積された画像を天地識別の推論モデルに対して正規化した画像を生成し、画像処理ASIC用メモリ163に書き込む。そして、天地識別プログラムP4では、この正規化した画像をもとに、天地識別用に学習されたモデル(天地識別プログラムP4に内包)によって推論を行い、天地識別結果を導出する。
【0096】
画像処理ASIC162は、天地識別プログラムP4で導出された天地識別結果を第2の画像処理部162-2の画像回転回路202に反映させることにより、正しい向きの画像を出力する。
【0097】
ところで、
図24では、推論時の計算において、画像処理ASIC162が内蔵する内蔵CPU162-3での処理の負荷軽減を目的として、画像処理ASIC162の内蔵CPU162-3からMAC(Multiply and ACumulate unit:積和演算器)162-4を使う構成を示している。
【0098】
なお、ここでのMAC162-4の実体としては、積和演算に特化した回路でも良いし、GPUなどの汎用回路により積和演算処理を行う構成でも良い。
【0099】
また、処理時間が許容されるのであれば、MAC162-4を使わずに、内蔵CPU162-3で積和演算処理を行う構成でも良い。その場合、MAC162-4をHW実装するのに必要なコストを抑えることができる。
【0100】
(第7の実施の形態)
次に、第7の実施の形態について説明する。
【0101】
第7の実施の形態の説明では、第1の実施の形態ないし第6の実施の形態と同一部分の説明については省略し、第1の実施の形態ないし第6の実施の形態と異なる箇所について説明する。
【0102】
ここで、
図25は第7の実施の形態にかかる読み取り時の動作概要の一例を示す図である。
図25は、第7の実施の形態として、第6の実施の形態の天地識別プログラムP4を天地識別プログラムP5に置き換え、かつ、第1の画像処理部162-1に画像正規化回路203を加えた構成の例である。
【0103】
第6の実施の形態では正規化画像生成を天地識別プログラムP4で行っていたが、本実施形態の天地識別プログラムP5では、画像処理ASIC162の内蔵CPUの負荷低減・高速化を目的として、第1の画像処理部162-1の画像正規化回路203が行うものとする。
【0104】
画像処理ASIC162は、画像正規化回路203が生成した正規化画像を画像処理ASIC用メモリ163に書き込む。天地識別プログラムP5は、画像正規化回路203が生成した正規化画像を利用し、天地識別用に学習されたモデルによって推論を行い、天地識別結果を導出する。
【0105】
(第8の実施の形態)
次に、第8の実施の形態について説明する。
【0106】
第8の実施の形態の説明では、第1の実施の形態ないし第7の実施の形態と同一部分の説明については省略し、第1の実施の形態ないし第7の実施の形態と異なる箇所について説明する。
【0107】
ここで、
図26は第8の実施の形態にかかる読み取り時の動作概要の一例を示す図、
図27は読み取り時の動作を示すタイミングチャートである。
【0108】
第1の実施の形態から第7の実施の形態では、1パス両面(もしくは片面)動作における、トグルバッファにすることによる、画像読取部10の読み取りの生産性が向上することを効果としてきた。特に、第2の実施の形態から第7の実施の形態では、トグルバッファを用いることにより、画像全体から導出できる特徴量を用いて後段で処理する場合に単独バッファと比較した場合に生産性が向上することを効果としてきた。
【0109】
一方、第8の実施の形態では、従来の画像読取装置500と比較して、意図にあった画像生成できることを効果とするものである。
【0110】
図26、
図27は、第2の実施の形態で説明した構成について、天地識別回路201を特殊原稿検知回路301に置き換え、画像回転回路202を特殊原稿対応回路302に置き換えたものである。また、
図28は従来の画像読取装置500のようにトグルバッファを単独バッファにした構成での動作のタイミングチャートである。
【0111】
特殊原稿検知回路301は、入力画像全域で探索し、所望の探索結果が得られた場合に、特殊原稿を検知したと判定する特殊原稿検知部である。
【0112】
特殊原稿対応回路302は、特殊原稿検知回路301で特殊原稿を検知した場合に、特殊原稿出力結果を出力する特殊原稿対応部である。
【0113】
図28に示すように、従来の画像読取装置500では、第1の画像処理部502-1の特殊原稿検知回路で特殊原稿を検知した時点で、その結果が特殊原稿対応回路に渡され、特殊原稿対応回路でバッファから読み取った画像に関わらず、黒に置き換えるなどの対応をしてきた。しかし、
図28のタイミング(10)で特殊原稿が検知されたと判断された場合、従来では、同じバッファのデータを書き出しつつ、読み出しを行っているため、読み取りを行っている原稿がすでに一部特殊原稿対応回路をスルーで通過している状態になってしまい、タイミング(10)以降の原稿を黒で塗りつぶすことになり、表面を全面黒にすることができなかった。
【0114】
一方、本実施形態によれば、
図26、
図27に示すように、バッファ読み出し時点で特殊原稿検知情報を確定し、画像の先頭から第2の画像処理部162-2の特殊原稿対応回路302に反映できるため、表裏全面を黒に置き換えることができる。
【0115】
このように本実施形態によれば、従来の画像読取装置500のトグルバッファを使わない構成では、表面出力の副走査先頭画像の一部に対して特殊原稿対応(黒で出力)できなかったのが、表裏出力とも全面において特殊原稿対応を実行することができる。
【0116】
なお、上記各実施の形態では、本発明の画像形成装置を、コピー機能、プリンタ機能、スキャナ機能およびファクシミリ機能のうち少なくとも2つの機能を有する複合機に適用した例を挙げて説明するが、複写機、プリンタ、スキャナ装置、ファクシミリ装置等の画像形成装置であればいずれにも適用することができる。
【0117】
以上、本発明の実施の形態を説明したが、各実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの各実施の形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0118】
1 画像形成装置
10 画像読取装置
15a、24 読取部
116 制御部
162-1 第1の画像処理部、特徴量抽出部
162-2 第2の画像処理部、特徴量反映処理部
163 画像蓄積部
164 画像形成部
201 天地識別部
202 画像回転部
301 特殊原稿検知部
302 特殊原稿対応部
【先行技術文献】
【特許文献】
【0119】