(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023030420
(43)【公開日】2023-03-08
(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム
(51)【国際特許分類】
H04N 1/387 20060101AFI20230301BHJP
G06T 1/00 20060101ALI20230301BHJP
【FI】
H04N1/387 101
G06T1/00 500Z
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2021135539
(22)【出願日】2021-08-23
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.BLUETOOTH
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100085660
【弁理士】
【氏名又は名称】鈴木 均
(72)【発明者】
【氏名】馬場 裕行
【テーマコード(参考)】
5B057
5C076
【Fターム(参考)】
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CD05
5B057CE06
5B057CH09
5B057CH16
5B057DA07
5B057DA08
5B057DA16
5B057DB02
5B057DB06
5B057DB09
5B057DC16
5B057DC34
5C076AA02
5C076AA22
5C076BA06
5C076CB05
(57)【要約】
【課題】特定の物体画像の検出結果に応じて加工画像データを得るまでの画像処理における処理効率を向上することにある。
【解決手段】画像処理装置70は、高解像度の画像データに含まれる特定の物体画像を含む領域に対して画像加工を実施する画像処理装置70であって、高解像度の画像データを所定の変倍率で縮小して、低解像度の変倍画像データを得る画像サイズ変倍部70aと、画像サイズ変倍部70aにより得られた低解像度の変倍画像データから特定の物体画像に係わる第1位置情報群を検出する特定物体画像検出部70cと、特定物体画像検出部70cが第1位置情報群を検出した場合に、所定の変倍率の逆数値に応じて当該第1位置情報群を第2位置情報群に変換し、高解像度の画像データ内の第2位置情報群に含まれる領域の画像のみを加工して、加工画像データを生成する画像加工部70gと、を備えることを特徴とする。
【選択図】
図2
【特許請求の範囲】
【請求項1】
高解像度の画像データに含まれる特定の物体画像を含む領域に対して画像加工を実施する画像処理装置であって、
前記高解像度の画像データを所定の変倍率で縮小して、低解像度の変倍画像データを得る画像サイズ変倍部と、
前記画像サイズ変倍部により得られた低解像度の変倍画像データから前記特定の物体画像に係わる第1位置情報群を検出する特定物体画像検出部と、
前記特定物体画像検出部が前記第1位置情報群を検出した場合に、前記所定の変倍率の逆数値に応じて当該第1位置情報群を第2位置情報群に変換し、前記高解像度の画像データ内の前記第2位置情報群に含まれる領域の画像のみを加工して、加工画像データを生成する画像加工部と、を備えることを特徴とする画像処理装置。
【請求項2】
前記特定物体画像検出部は、前記特定の物体画像が顔画像である場合に、前記顔画像に係わる第1位置情報群を検出し、
前記画像加工部は、前記顔画像に係わる第1位置情報群を検出した場合に、顔画像に係わる第2位置情報群に含まれる領域の画像を加工することを特徴とする請求書1に記載の画像処理装置。
【請求項3】
前記特定物体画像検出部は、前記特定の物体画像がQRコード(登録商標)である場合に、前記QRコード(登録商標)が表すデータを抽出し、かつ前記QRコード(登録商標)に係わる第1位置情報群を検出し、
前記画像加工部は、前記QRコード(登録商標)が表すデータに複写禁止データが含まれている場合に、前記QRコード(登録商標)に係わる第2位置情報群に含まれる領域の画像を加工することを特徴とする請求書2に記載の画像処理装置。
【請求項4】
前記画像サイズ変倍部は、前記画像データのサイズをm×nの固定サイズに縮小することを特徴とする請求書1に記載の画像処理装置。
【請求項5】
前記画像サイズ変倍部は、前記変倍画像データから前記特定の物体画像を検出する際の推論処理に用いるニューラルネットワークを備え、
前記固定サイズは、ニューラルネットワークにおいて処理可能なサイズであることを特徴とする請求書4に記載の画像処理装置。
【請求項6】
高解像度の画像データに含まれる特定の物体画像を含む領域に対して画像加工を実施する画像処理装置による画像処理方法であって、
前記高解像度の画像データを所定の変倍率で縮小して、低解像度の変倍画像データを得る画像サイズ変倍ステップと、
前記画像サイズ変倍ステップにより得られた低解像度の変倍画像データから前記特定の物体画像に係わる第1位置情報群を検出する特定物体画像検出ステップと、
前記特定物体画像検出ステップが前記第1位置情報群を検出した場合に、前記所定の変倍率の逆数値に応じて当該第1位置情報群を第2位置情報群に変換し、前記高解像度の画像データ内の前記第2位置情報群に含まれる領域の画像のみを加工して、加工画像データを生成する画像加工ステップと、を備えることを特徴とする画像処理方法。
【請求項7】
プロセッサを、高解像度の画像データに含まれる特定の物体画像を含む領域に対して画像加工を実施する画像処理方法として機能させるためのプログラムであって、
プロセッサを、
前記高解像度の画像データを所定の変倍率で縮小して、低解像度の変倍画像データを得る画像サイズ変倍ステップと、
前記画像サイズ変倍ステップにより得られた低解像度の変倍画像データから前記特定の物体画像に係わる第1位置情報群を検出する特定物体画像検出ステップと、
前記特定物体画像検出ステップが前記第1位置情報群を検出した場合に、前記所定の変倍率の逆数値に応じて当該第1位置情報群を第2位置情報群に変換し、前記高解像度の画像データ内の前記第2位置情報群に含まれる領域の画像のみを加工して、加工画像データを生成する画像加工ステップと、として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【0002】
従来、画像形成装置には画像処理の機能が搭載されている。例えば、画像データから特定の物体画像を検出しておき、画像データに対して当該物体画像の領域に加工処理を施した後に加工画像データを得ることで、コピー出力に用いる画像データを得ていた。
従来、加工画像データを得るための画像処理では、
(1)高解像度の画像データから画素を間引いた低解像度の画像データを生成しておき、
(2)次に、低解像度の画像データから物体画像の位置を検出し、
(3)さらに、(2)で検出した物体画像の位置を用いて、高解像度の画像データを読み出して詳細な物体画像の位置検出を行い(形状や数字などを解析)、
(4)次に、検出した物体画像の位置に応じて高解像度の画像データを加工する、
という順序で画像処理を行っていた。
このように(1)~(4)の順に処理を行っていため、コピー出力に用いる画像データとなる加工画像データを得るには、画像処理における処理効率が低下するという問題があった。
【0003】
特許文献1に記載された発明は、高解像度カメラの画像をリアルタイム処理する画像センサのバス容量や性能をカメラに応じてアップさせずに従来のままで、一次判定用画像の認識精度アップを図ることを目的としていた。一次判定用画像データ(物体検知用)として、高解像度カメラの撮影画像(原画像データv)を一定比率で間引き処理した縮小画像データv1を用いる。検出処理部は、このv1に基づいて車の移動・変化などを検知した場合、フレームバッファ部の二次判定用の原画像データvの転送要求を転送制御部に送り、また、検知画素領域を示す検知位置アドレスを詳細解析部に送る。詳細解析部は、この転送要求に基づいて受信した原画像データvの検知位置アドレス部分の形状や数字などを解析する。(v-v1)をフレームバッファ部に保持する場合や、アドレス生成部が検知位置アドレスに基づいて解析対象範囲の原画像データのみを詳細解析部に転送する場合も開示している。
すなわち、特許文献1にあっては、物体画像の検出処理を行うことを目的として、低解像度の画像に対する処理と、高解像度の画像に対する処理とを行う構成が開示されている。しかし、コピー出力に用いる画像データを得るまでの画像処理における処理効率が低下するという問題は解消できていない。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の一実施形態は、上記に鑑みてなされたもので、その目的は、特定の物体画像の検出結果に応じて加工画像データを得るまでの画像処理における処理効率を向上することにある。
【課題を解決するための手段】
【0005】
上記課題を解決するために、請求項1記載の発明は、高解像度の画像データに含まれる特定の物体画像を含む領域に対して画像加工を実施する画像処理装置であって、前記高解像度の画像データを所定の変倍率で縮小して、低解像度の変倍画像データを得る画像サイズ変倍部と、前記画像サイズ変倍部により得られた低解像度の変倍画像データから前記特定の物体画像に係わる第1位置情報群を検出する特定物体画像検出部と、前記特定物体画像検出部が前記第1位置情報群を検出した場合に、前記所定の変倍率の逆数値に応じて当該第1位置情報群を第2位置情報群に変換し、前記高解像度の画像データ内の前記第2位置情報群に含まれる領域の画像のみを加工して、加工画像データを生成する画像加工部と、を備えることを特徴とする。
【発明の効果】
【0006】
本発明によれば、特定の物体画像の検出結果に応じて、加工画像データを得るまでの画像処理における処理効率の低下を防止することができる。
【図面の簡単な説明】
【0007】
【
図1】本発明の実施形態に係わる画像処理装置を含む画像形成装置のハードウェア構成を示すブロック図である。
【
図2】本発明の実施形態に係わる画像処理装置の機能ブロック図である。
【
図3】本発明の実施形態に係わる画像処理装置による画像処理の概要を表すフローチャートである。
【
図4】(a)は画像データの読取に用いる前段画像処理部、(b)は画像データの書込に用いる後段画像処理部を示す図である。
【
図5】本発明の実施形態に係わる画像処理装置による物体画像の検出に用いる画像処理の動作を表すフローチャートである。
【
図6】本発明の実施形態に係わる画像処理装置による検出結果に応じた画像処理の動作を表すフローチャートである。
【
図7】本発明の実施形態に係わる画像処理装置による顔画像の検出結果に応じた画像処理の動作を表すフローチャートである。
【
図8】本発明の実施形態に係わる画像処理装置による検出結果に応じた画像処理の動作を表すフローチャートである。
【
図9】本発明の実施形態に係わる画像処理装置による特定のm×nサイズの画像で物体画像の検出を行う画像処理の詳細を表すフローチャートである。
【
図10】本発明の実施形態に係わる画像処理装置による特定の物体画像とコピー出力に用いる画像を示す説明図である。
【発明を実施するための形態】
【0008】
以下、本発明を図面に示した実施の形態により詳細に説明する。
本発明は、特定の物体画像の検出結果に応じて加工画像データを得るまでの画像処理における処理効率を向上するために、以下の構成を有する。
すなわち、本発明の画像処理装置は、高解像度の画像データに含まれる特定の物体画像を含む領域に対して画像を加工する画像処理装置であって、高解像度の画像データを所定の変倍率で縮小して、低解像度の変倍画像データを得る画像サイズ変倍部と、画像サイズ変倍部により得られた低解像度の変倍画像データから特定の物体画像に係わる第1位置情報群を検出する特定物体画像検出部と、特定物体画像検出部が第1位置情報群を検出した場合に、所定の変倍率の逆数値に応じて当該第1位置情報群を第2位置情報群に変換し、高解像度の画像データ内の第2位置情報群に含まれる領域の画像のみを加工して、加工画像データを生成する画像加工部と、を備えることを特徴とする。
以上の構成を備えることにより、特定の物体画像の検出結果に応じて加工画像データを得るまでの画像処理における処理効率を向上することができる。
上記記載の本発明の特徴について、以下の図面を用いて詳細に解説する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
上記の本発明の特徴に関して、以下、図面を用いて詳細に説明する。
【0009】
<画像形成装置のハードウェア構成>
図1は、本発明の実施形態に係わる画像処理装置を含む画像形成装置のハードウェア構成を示すブロック図である。
図1は、画像形成装置の一例であるMFPのハードウェア構成図である。
図1に示されているように、MFP(Multifunction Peripheral/Product/Printer)は、コントローラ20、近距離通信回路60、エンジン制御部30、操作装置40、ネットワークI/F50を備えている。
これらのうち、コントローラ20は、コンピュータの主要部であるCPU25a、システムメモリ(MEM-P)22、ノースブリッジ(NB)25b、サウスブリッジ(SB)24、ASIC(Application Specific Integrated Circuit)26、記憶部であるローカルメモリ(MEM-C)27、HDDコントローラ28、及び、記憶部であるHD29を有し、NB25bとASIC26との間をAGP(Accelerated Graphics Port)バス21で接続した構成となっている。
これらのうち、CPU25aは、MFP10の全体制御を行う制御部である。NB25bは、CPU25aと、MEM-P22、SB24、及びAGPバス21とを接続するためのブリッジであり、MEM-P22に対する読み書きなどを制御するメモリコントローラと、PCI(Peripheral Component Interconnect)マスタ及びAGPターゲットとを有する。
【0010】
MEM-P22は、コントローラ20の各機能を実現させるプログラムやデータの格納用メモリであるROM22a、プログラムやデータの展開、及びメモリ印刷時の描画用メモリなどとして用いるRAM22bとからなる。なお、RAM22bに記憶されているプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、CD-R、DVD等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【0011】
SB24は、NB25bとPCIデバイス、周辺デバイスとを接続するためのブリッジである。ASIC26は、画像処理用のハードウェア要素を有する画像処理用途向けのIC(Integrated Circuit)であり、AGPバス21、PCIバス23、HDDコントローラ28およびMEM-C27をそれぞれ接続するブリッジの役割を有する。このASIC26は、PCIターゲットおよびAGPマスタ、ASIC26の中核をなすアービタ(ARB)、MEM-C27を制御するメモリコントローラ、ハードウェアロジックなどにより画像データの回転などを行う複数のDMAC(Direct Memory Access Controller)、並びに、スキャナ部31及びプリンタ部32との間でPCIバス23を介したデータ転送を行うPCIユニットとからなる。なお、ASIC26には、USB(Universal Serial Bus)のインターフェースや、IEEE1394(Institute of Electrical and Electronics Engineers 1394)のインターフェースを接続するようにしてもよい。
【0012】
MEM-C27は、コピー用画像バッファ及び符号バッファとして用いるローカルメモリである。HD29は、画像データの蓄積、印刷時に用いるフォントデータの蓄積、フォームの蓄積を行うためのストレージである。HD29は、CPU25aの制御にしたがってHD29に対するデータの読出又は書込を制御する。AGPバス21は、グラフィック処理を高速化するために提案されたグラフィックスアクセラレータカード用のバスインタフェースであり、MEM-P22に高スループットで直接アクセスすることにより、グラフィックスアクセラレータカードを高速にすることができる。
また、近距離通信回路60には、近距離通信回路60aが備わっている。近距離通信回路60は、NFC、Bluetooth等の通信回路である。
【0013】
更に、エンジン制御部30は、スキャナ部31及びプリンタ部32によって構成されている。また、操作装置40は、現在の設定値や選択画面等を表示させ、操作者からの入力を受け付けるタッチパネル等のパネル表示部40a、並びに、濃度の設定条件などの画像形成に関する条件の設定値を受け付けるテンキー及びコピー開始指示を受け付けるスタートキー等からなる操作パネル40bを備えている。コントローラ20は、MFP全体の制御を行い、例えば、描画、通信、操作装置40からの入力等を制御する。スキャナ部31又はプリンタ部32には、誤差拡散やガンマ変換などの画像処理部分が含まれている。
【0014】
なお、MFPは、操作装置40のアプリケーション切り替えキーにより、ドキュメントボックス機能、コピー機能、プリンタ機能、およびファクシミリ機能を順次に切り替えて選択することが可能となる。ドキュメントボックス機能の選択時にはドキュメントボックスモードとなり、コピー機能の選択時にはコピーモードとなり、プリンタ機能の選択時にはプリンタモードとなり、ファクシミリモードの選択時にはファクシミリモードとなる。
【0015】
また、ネットワークI/F50は、通信ネットワークを利用してデータ通信をするためのインターフェースである。近距離通信回路60及びネットワークI/F50は、PCIバス23を介して、ASIC26に電気的に接続されている。
コントローラ20は、操作装置40を通して発行されるコマンド、或は外部機が発行するコマンドを受け付け、コマンドに指示されたジョブの処理を実行する。
この中でもエンジン制御部30からプリンタ部32に関わる箇所が本発明に係る部分であり、この点を中心に説明する。以下、エンジン制御部30の一部であるプロッタ制御部30pについて説明する。
【0016】
<機能ブロック図>
図2は、本発明の実施形態に係わる画像処理装置の機能ブロック図である。
図2に示す画像処理装置70は、高解像度の画像データに含まれる特定の物体画像の領域に対して画像を加工する。
画像処理装置70は、上述したプロッタ制御部30pを起動することにより機能する各部、すなわち、画像サイズ変倍部70a、特定物体画像検出部70c、判定部70f、画像加工部70gを備えている。
【0017】
画像サイズ変倍部70aは、高解像度の画像データを所定の変倍率で縮小して、低解像度の変倍画像データを得る。
特定物体画像検出部70cは、位置検出部70dを備え、画像サイズ変倍部70aにより得られた低解像度の変倍画像データから特定の物体画像に係わる第1位置情報群を検出する。
画像加工部70gは、特定物体画像検出部70cが第1位置情報群を検出した場合に、所定の変倍率の逆数値に応じて当該第1位置情報群を第2位置情報群に変換し、高解像度の画像データ内の第2位置情報群に含まれる領域の画像のみを加工して、加工画像データを生成する。
【0018】
特定物体画像検出部70cは、特定の物体画像が顔画像である場合に、顔画像に係わる第1位置情報群を検出し、画像加工部70gは、顔画像に係わる第1位置情報群を検出した場合に、位置検出部により検出された顔画像に係わる第2位置情報群に含まれる領域の画像を加工する。
【0019】
特定物体画像検出部70cは、QRコード(登録商標)検出部70eを備え、特定の物体画像がQRコード(登録商標)である場合に、QRコード(登録商標)が表すデータを抽出し、かつQRコード(登録商標)に係わる第1位置情報群を検出し、画像加工部70gは、QRコード(登録商標)が表すデータに複写禁止データが含まれている場合に、QRコード(登録商標)に係わる第2位置情報群に含まれる領域の画像を加工する。
【0020】
画像サイズ変倍部70aは、画像データのサイズをm×nの固定サイズに縮小する。
【0021】
画像サイズ変倍部70aは、変倍画像データから特定の物体画像を検出する際の推論処理に用いるニューラルネットワークを備え、固定サイズは、ニューラルネットワークにおいて処理可能なサイズである。
【0022】
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
【0023】
<画像処理の概要>
図3は、本発明の実施形態に係わる画像処理装置による画像処理の概要を表すフローチャートである。
図3を参照して、全体の処理の流れについて説明する。
ステップS10では、プロッタ制御部30pは、スキャナ部31に原稿をスキャンさせ、得た高解像度の画像データをRAM22bに展開する。プロッタ制御部30pは、RAM22bに展開した画像データに対して下記2つの並列処理を行う。
ステップS15では、プロッタ制御部30pは、コピー出力に用いる画像データのための画像処理を行い、コピー出力に用いる画像データは、プリンタ部32の出力解像度に合わせて出力する。
【0024】
ステップS20では、特定物体画像検出部70cは、物体画像を検出するための画像処理を行う。物体画像の検出処理では、高解像度のままの画像データでも検出処理を行える場合が多いが、画素数に比例して処理時間が増大する。
検出処理のアルゴリズムにも依存するが、検出精度は解像度を高くした方が検出精度を向上する効果がある。しかし、一定の解像度以上になると検出精度の向上する効果が大きく上がらなくなる。一方、処理時間は解像度が大きくなるほど大きくなる。
そこで、物体画像の検出に用いる画像処理は、目的によって、スキャンして得た画像データの中にある特定の物体画像の有無を検出したり、その物体画像の領域の位置を特定したりする。
【0025】
ステップS25では、画像加工部70gは、
図4(b)に示す後段画像処理部90bにおいて、検出結果に応じてコピー出力に用いる画像データの画像処理を行い、すなわち、コピー出力に用いる画像データに対して加工処理を行う。
一例として、特定のQRコード(登録商標)の情報が書かれた原稿はコピー禁止にしたい場合は、コピー出力に用いる画像データを特定の画像パターン、モザイク処理や黒塗り処理に置き換える。このような処理の説明図としては、
図10(a)(b)を参照されたい。
また、個人情報保護の目的で顔写真にコピーさせたくない場合、例えば運転免許証画像の顔の領域にモザイク処理や黒塗り処理を行う。このような処理の説明図としては、
図10(c)(d)を参照されたい。
ステップS30では、プロッタ制御部30pは、加工処理済みの画像データをプリンタ部32に送り、画像データを記録媒体に印刷して出力する。
【0026】
<画像処理部の構成例>
図4は、本発明の実施形態に係わる画像処理装置に含まれる画像処理部の構成例を示す図であり、(a)は画像データの読取に用いる前段画像処理部、(b)は画像データの書込に用いる後段画像処理部を示す図である。
図4(a)に示す取に用いる前段画像処理部90aは、スキャナに備えられてもよく、読取時の画像処理だけを行う。
図4(b)に示す書込に用いる後段画像処理部90bでは、必ずしも記録媒体に印刷する場合だけでなく、モニタなどの表示装置に表示する場合でもよく、プリンタなどの書込装置は出力時の画像処理だけを行う。
【0027】
図1に示すMFPは、読取に用いる前段画像処理部90aと、書込に用いる後段画像処理部90bの両方を備えている。
また、MFPやスキャナのスキャン画像やプリンタのプリント画像は、画像データの再利用のために画像処理が終わると、一旦メモリまたは外部記憶装置に保持できるような構成になっている。
MFPの画像処理部は、
図4(a)(b)に示すように、主に読取装置の画像データに対する処理を行なう前段画像処理部90aと、主に書込装置のための処理を行なう後段画像処理部90bを含む構成となっている。
【0028】
<読取装置用の画像処理>
図4(a)に示すように、前段画像処理部90aは、ライン間補正処理部91a、像域分離処理部91b、変倍処理部91c、γ変換処理部91d、フィルタ処理部91e、色変換処理部91fを含む構成となっている。
ライン間補正処理部91aは、カラーCCDの各RGBの取り付け位置の差によって生じるそれぞれRGB間のラインずれを補正する処理である。例えば、B(ブルー)のラインを基準とした場合、R(レッド)とB、G(グリーン)とBの間のラインずれ量を補正する処理を行う。
像域分離処理部91bでは、画像データの特徴から絵柄部、文字部、網点部などの像域分離情報Xを生成する。後段画像処理部90bのフィルタ処理やγ変換処理でこの分離情報を使ってそれぞれの領域に適した画像処理パラメータを設定して処理する。
【0029】
変倍処理部91cでは、読取の解像度から所望の解像度に変換するための処理を行う。
γ変換処理部91dは、主に濃度調整を目的とした変換処理で、一般的にルックアップテーブル変換と呼ぶ方式を用いる。
フィルタ処理部91eでは、MTF補正、鮮鋭化、平滑化を目的としたフィルタ処理演算を行う。
色変換処理部91fでは、メモリコントローラ80に蓄積するための共通の色空間への変換処理を行なう。また自動カラー判定が選択されているときには、RGBデータからK(モノクロ)データを生成する。このモノクロデータを単純2値化し、8bitのデータに8画素のデータとしてパッキングする。メモリコントローラ80には、RGBKの4chの画像データを転送する。通常のカラーデータの読取ではRGBの3chの画像データを転送する。その他にPDFファイルなど、分離情報が必要とするアプリケーションがある場合は、RGBデータと像域分離情報の4chのデータをメモリコントローラ80に転送する。
【0030】
<書込装置用の画像処理>
図4(b)に示すように、後段画像処理部90bは、色変換処理部92b、階調変換処理部92cを含む構成となっている。
色変換処理部92bでは、蓄積されたデータRGBを入力データとして、出力デバイスの色空間、例えば、CMYK色空間に変換するための処理を行う。なお、カラー出力の場合は、RGB各成分に対して上記の処理を行い、モノクロ出力の場合は、RGBからモノクロデータを生成する。
書込装置が1bitであり、2階調まで出力可能な場合の固定しきい値を用いて、2値化による階調変換について説明する。2値画像を所望する場合、
図4(b)に示す階調変換処理部92cにより、8bit、256階調のCMYKそれぞれ画像を2階調の2値画像データに変換し、画像データbとして後段画像処理部90bに送る。
ここでは、説明を簡単にするため、固定しきい値処理の一例を挙げると、2値化しきい値が128である場合に、処理部の入力画像の画素データに対して、下記の条件によって2値化を行う。
0 ≦ 画素データ < 128が真ならば 0
128 ≦ 画素データ ≦ 255 が真ならば 1
【0031】
次に、書込装置が2bit、4値まで出力可能な場合の固定しきい値4値化による階調変換について説明する。4値画像を所望する場合、階調変換処理部92cにより、CMYKそれぞれ8bit、256階調の画像を4階調の4値画像データに変換し、画像データbとして後段画像処理部90bに送る。
ここでは、説明を簡単にするため、固定しきい値処理の一例を挙げると、処理部の入力画像の画素データに対して、下記の言う条件によって4値化を行う。
0 ≦ 画素データ < 64が真ならば 0
64 ≦ 画素データ < 128が真ならば 1
128 ≦ 画素データ < 192が真ならば 2
192 ≦ 画素データ ≦ 255が真ならば 3
前述した単純2値化のほかに、ここでは説明しないが写真原稿などに適した階調性に優れた誤差拡散処理やディザ処理などの階調変換処理を行なう場合がある。
【0032】
<物体画像の検出に用いる画像処理>
図5は、本発明の実施形態に係わる画像処理装置による物体画像の検出に用いる画像処理の動作を表すフローチャートである。
ステップS50では、画像サイズ変倍部70aは、変倍処理を行う。
例えば、スキャナの読取解像度が600dpi、プリンタの出力解像度が600dpiの場合、コピー用の画像処理は600dpiで処理を行うが、物体画像の検出は、検出精度が200dpi以上は大きくかわらないアルゴリズムを採用している場合、検出処理速度を高速化する必要がある。
このため、ステップS50では、画像サイズ変倍部70aは、高解像度の画像である600dpiのスキャン画像を変倍処理において変倍率(1/3)に応じて低解像度の画像である200dpiの画像に縮小する。
【0033】
次に、ステップS55では、特定物体画像検出部70cは、この画像に対して特定の物体画像の検出処理を行う。
次に、単にスキャン画像に特定の物体画像が含まれるか否かで、後段画像処理部90bの処理を切り替える場合に、ステップS60では、特定物体画像検出部70cは、特定の物体画像の有無情報の検出結果を後段画像処理部90bに通知する。
特定の物体画像の領域に対して後段画像処理部90bの処理を切り替える場合は、物体の位置情報を検出結果として渡す。目的に応じて検出領域の画像も後段画像処理部90bに渡す(例えば、QRコード(登録商標)の検知の場合)。
この際、特定の物体画像の有無情報を位置情報として通知してもよい。
例えば、特定の物体画像を含む矩形領域の4点の位置情報がすべて(0,0)である場合は、物体画像が未検出状態にあるとし、一方、(0,0)を除く4点が位置情報として設定されている場合は、特定の物体画像が検出されたことと判断するような割り当にしてもよい。
【0034】
<検出結果に応じた画像処理>
図6は、本発明の実施形態に係わる画像処理装置による検出結果に応じた画像処理の動作を表すフローチャートである。
図5に示すステップS55において、特定物体画像検出部70cは、特定の物体画像として例えば特定のスタンプの画像が含まれるか否かの検出を行い、ステップS60において、原稿の画像データに特定のスタンプ画像があるという情報を通知した場合について説明する。
【0035】
まず、
図6において、ステップS105では、判定部70fは、特定の物体画像が検出されたか否かを判断する。
特定の物体画像が検出された場合に、ステップS110では、画像加工部70gは、コピー出力に用いる画像データのうち特定の物体画像の領域を特定のパターン画像に置き換えて、原稿の情報が読み取れないように加工する。
一方、特定の物体画像が未検出の場合は、ステップS115では、プロッタ制御部30pは、前段画像処理部90aのコピー出力に用いる画像データのまま後段画像処理部90bに渡す。
【0036】
<顔画像の検出結果に応じた画像処理>
図7は、本発明の実施形態に係わる画像処理装置による顔画像の検出結果に応じた画像処理の動作を表すフローチャートである。
図7を参照して、原稿内の顔画像を検出し、顔画像の領域にモザイク処理を行う場合について説明する。
なお、顔の輪郭検出処理としては、特許第6180906号に記載された「顔認識ゲートシステム」が報告されている。
顔の輪郭検出処理では、顔の特徴点をリストとして検出され、これらの点が顔の特徴形状を表すため、顔の基準パターンと比較して相関度が閾値以上に高い場合に、その箇所を顔輪郭として認識する。
【0037】
図6のステップS105において、判定部70fは、特定の物体画像の検出処理として、顔画像の検出処理を行う。
図7において、ステップS150では、特定物体画像検出部70cは、スキャナ部31が原稿画像をスキャンして読み取った画像データに顔画像の領域が含まれるか否かを判断する。ここで、顔画像を検出した場合(S150、Yes)に、ステップS155に進み、顔領域を囲む矩形領域の4点の位置情報(x1,y1)(x2,y2)(x3,y3)(x4,y4)の結果を位置情報群として取得する。
【0038】
これら4点の位置情報群は、低解像度の画像に対応しているので、ステップS160では、画像加工部70gは、これらを変倍率の逆数値に応じてコピー用出力画像(高解像度の画像)に対応した4点の位置情報群に変換する。
例えは、特定の物体画像を検出するために用いる低解像度の画像が300dpiであり、コピー用出力画像(高解像度の画像)の解像度が600dpiである場合、4点の位置情報群(x1,y1)(x2,y2)(x3,y3)(x4,y4)をそれぞれ2倍(変倍率)して変換し、コピー用出力画像(高解像度の画像)に対応した特定の物体画像の位置を表す4点の位置情報群(X1,Y1)(X2,Y2)(X3,Y3)(X4,Y4)を得る。
【0039】
ステップS165では、画像加工部70gは、コピー用出力画像(高解像度の画像)における顔画像の領域((X1,Y1)(X2,Y2)(X3,Y3)(X4,Y4)で囲まれる領域)をパターン画像に置き換える。すなわち、算出された矩形領域に対しモザイク処理または塗りつぶし処理を行い、この加工処理された画像をコピー出力に用いる画像データとして後段画像処理部90bの処理に渡す。例えば、
図10(b)を参照されたい。
一方、ステップS150において、プロッタ制御部30pは、スキャン画像に顔画像の領域が含まれていないと判断した場合(S150、No)に、ステップS170に進み、そのままの画像データを出力する。
【0040】
<検出結果に応じた画像処理>
図8は、本発明の実施形態に係わる画像処理装置による検出結果に応じた画像処理の動作を表すフローチャートである。
図8を参照して特定の物体画像としてQRコード(登録商標)を検出した場合の画像処理について説明する。
図6のステップS105において、QRコード(登録商標)検出部70eは、特定の物体画像の検出処理を行う。
QRコード(登録商標)については、特許第2938338号に記載された「二次元コード」が報告されている。
QRコード(登録商標)を構成する最小の単位(白黒の正方形)をセルといい、セルの組み合わせでQRコード(登録商標)は表され、位置検出パターン(ファインダパターン)と、タイミングパターン、誤り訂正レベルやマスク番号などの情報を持ったフォーマット情報、データ及び誤り訂正符合(リードソロモン符号)から構成されている。
【0041】
また、QRコード(登録商標)の読み取りについては、特許第28679042号に記載された「2次元コード読取装置」が報告されている。
2次元コードの読み取りでは、例えばCCDで撮像した画像から2次元コードを抽出して、デコード処理を行う。このとき撮像した画像は、そのまま撮像した画像(グレー画像)からコードを抽出するための2値化画像に変換する処理を行う。QRコード(登録商標)から読み取ったコード情報には、コード情報と、コピー禁止を示すコードが含まれる場合もある。
【0042】
図8において、ステップS205では、QRコード(登録商標)検出部70eは、スキャンした画像データにQRコード(登録商標)が含まれているか否かを判断する。画像データにQRコード(登録商標)が含まれている場合(S205、Yes)は、ステップS210に進み、一方、画像データにQRコード(登録商標)が含まれていない場合(S205、No)は、ステップS225に進む。
画像データにQRコード(登録商標)が含まれている場合(S205、Yes)は、ステップS210に進み、QRコード(登録商標)検出部70eは、画像データからQRコード(登録商標)を含む画像領域を切り出した画像データも受け渡されるので、この領域の画像のQRコード(登録商標)のコード情報を読み取る。
【0043】
ステップS215では、判定部70fは、QRコード(登録商標)のコード情報がコピー禁止を示すコードであるか否かを判断する。
QRコード(登録商標)のコード情報がコピー禁止を示すコードである場合(S215、Yes)に、ステップS220に進み、画像加工部70gは、前段画像処理部90aのコピー出力に用いる画像データを特定のパターン画像に置き換えて後段画像処理部90bに渡す。この場合の印刷結果は、
図10(b)を参照されたい。
一方、QRコード(登録商標)のコード情報がコピー禁止を示すコードではない場合(S215、No)に、ステップS225に進む。
画像データにQRコード(登録商標)が含まれていない場合や、QRコード(登録商標)の情報がコピー禁止ではない場合には、前段画像処理部90aのコピー出力に用いる画像データをそのままコピー出力に用いる画像データとして後段画像処理部90bに渡す。この場合の印刷結果は、
図10(a)を参照されたい。
【0044】
<m×nサイズの画像を用いて特定の物体画像の検出を行う画像処理>
図9は、本発明の実施形態に係わる画像処理装置による特定のm×nサイズの画像を用いて特定の物体画像の検出を行う画像処理の詳細を表すフローチャートである。
図9を参照して、物体画像の検出処理がディープラーニングのニューラルネットワーク(DNN)を用いる場合について説明する。
多くのニューラルネットワークを用いる特定の物体画像の検出処理では、特定の画像サイズを前提としている。ここでは、画像サイズが例えば256×256であるとする。スキャンした画像データのサイズは、実際の原稿サイズによりさまざまな画像サイズであるが、ニューラルネットワーク(DNN)に入力可能な画像サイズに縮小する必要がある。
【0045】
まず、ステップS255では、画像サイズ変倍部70aは、変倍率を算出する。
例えば、A4縦の原稿を600dpi出力でコピーする場合、スキャン画像のサイズは4960×7016となるので、これをDNNに入力可能な256×256の画像サイズに縮小する必要がある。この場合、主走査方向の変倍率が256/4960=5.14%、副走査方向の変倍率が256/7016=3.64%となる。
ステップS260では、画像サイズ変倍部70a、この変倍率を変倍処理部91cに設定して画像データのサイズを縮小する。
後段画像処理部90bの物体画像検出処理で使用する画像データのサイズは、採用するDNNの画像サイズによって異なる。例えば64×64や192×192などの異なるサイズである。複数の目的の機能をMFPに持たせる場合、物体画像の検出処理の目的に応じてニューラルネットワーク(DNN)を切り替えると同時に、検出画像のサイズも切り替える。
例えばQRコード(登録商標)の検出処理では64×64、顔検出処理では192×192というように切り替える。
ステップS265では、特定物体画像検出部70cは、特定の物体画像の検出処理を行う。すなわち、低解像度の変倍画像データから特定の物体画像に係わる第1位置情報群を検出する。
ステップS270では、画像加工部70gは、ステップS255において算出した変倍率の逆数値に応じて座標で表す位置情報の変換処理を行う。すなわち、変倍率の逆数値に応じて当該第1位置情報群を第2位置情報群に変換する。
【0046】
<特定の物体画像とコピー出力に用いる画像>
図10(a)~(d)は、本発明の実施形態に係わる画像処理装置による特定の物体画像とコピー出力に用いる画像を示す説明図である。
図10(a)は、特定の物体画像として顔写真101aが含まれる運転免許証画像101の処理前の画像である。
図10(b)は、
図10(a)の顔写真101aの領域の画像に加工処理を施した加工画像103aを含む運転免許証画像103の処理後のコピー出力に用いる画像である。
図10(c)は、特定の物体画像としてQRコード(登録商標)105aが含まれる交通安全協会の会員証裏面画像105の処理前の画像である。
図10(d)は、
図10(c)のQRコード(登録商標)105aの領域の画像に加工処理を施した加工画像107aを含む交通安全協会の会員証裏面画像107の処理後のコピー出力に用いる画像である。
【0047】
<本実施形態による効果>
本実施形態によれば、高解像度の画像データを所定の変倍率で縮小して、低解像度の変倍画像データを得ておき、得られた低解像度の変倍画像データから特定の物体画像に係わる第1位置情報群を検出し、第1位置情報群を検出した場合に、所定の変倍率の逆数値に応じて当該第1位置情報群を第2位置情報群に変換し、高解像度の画像データ内の第2位置情報群に含まれる領域の画像のみを加工して、加工画像データを生成する。
これにより、特定の物体画像の検出結果に応じて加工画像データを得るまでの画像処理における処理効率を向上することができる。
本実施形態によれば、ステップS15における高解像度の画像データに対する画像処理と、ステップS20における低解像度の画像データに対する特定の物体画像の検出処理を、並列して行うことができるので、高解像度の画像データをコピーする際の処理効率を向上することができる。
【0048】
<本実施形態の態様例の作用、効果のまとめ>
<第1態様>
本態様の画像処理装置70は、高解像度の画像データに含まれる特定の物体画像を含む領域に対して画像加工を実施する画像処理装置70であって、高解像度の画像データを所定の変倍率で縮小して、低解像度の変倍画像データを得る画像サイズ変倍部70aと、画像サイズ変倍部70aにより得られた低解像度の変倍画像データから特定の物体画像に係わる第1位置情報群を検出する特定物体画像検出部70cと、特定物体画像検出部70cが第1位置情報群を検出した場合に、所定の変倍率の逆数値に応じて当該第1位置情報群を第2位置情報群に変換し、高解像度の画像データ内の第2位置情報群に含まれる領域の画像のみを加工して、加工画像データを生成する画像加工部70gと、を備えることを特徴とする。
本態様によれば、高解像度の画像データを所定の変倍率で縮小して、低解像度の変倍画像データを得ておき、得られた低解像度の変倍画像データから特定の物体画像に係わる第1位置情報群を検出し、第1位置情報群を検出した場合に、所定の変倍率の逆数値に応じて当該第1位置情報群を第2位置情報群に変換し、高解像度の画像データ内の第2位置情報群に含まれる領域の画像のみを加工して、加工画像データを生成する。
これにより、特定の物体画像の検出結果に応じて加工画像データを得るまでの画像処理における処理効率を向上することができる。
【0049】
<第2態様>
本態様の画像処理装置70において、特定物体画像検出部70cは、特定の物体画像が顔画像である場合に、顔画像に係わる第1位置情報群を検出し、
画像加工部70gは、顔画像に係わる第1位置情報群を検出した場合に、位置検出部により検出された顔画像に係わる第2位置情報群に含まれる領域の画像を加工することを特徴とする。
本態様によれば、特定の物体画像が顔画像である場合に、顔画像に係わる第1位置情報群を検出し、顔画像に係わる第1位置情報群を検出した場合に、顔画像に係わる第2位置情報群に含まれる領域の画像を加工する。
これにより、顔画像の検出結果に応じて加工画像データを得るまでの画像処理における処理効率を向上することができる。
【0050】
<第3態様>
本態様の特定物体画像検出部70cは、特定の物体画像がQRコード(登録商標)である場合に、QRコード(登録商標)が表すデータを抽出し、かつQRコード(登録商標)に係わる第1位置情報群を検出し、画像加工部70gは、QRコード(登録商標)が表すデータに複写禁止データが含まれている場合に、QRコード(登録商標)に係わる第2位置情報群に含まれる領域の画像を加工することを特徴とする。
本態様によれば、特定の物体画像がQRコード(登録商標)である場合に、QRコード(登録商標)が表すデータを抽出し、かつQRコード(登録商標)に係わる第1位置情報群を検出し、QRコード(登録商標)が表すデータに複写禁止データが含まれている場合に、QRコード(登録商標)に係わる第2位置情報群に含まれる領域の画像を加工する。
これにより、QRコード(登録商標)の検出結果に応じて加工画像データを得るまでの画像処理における処理効率を向上することができる。
【0051】
<第4態様>
本態様の画像サイズ変倍部70aは、画像データのサイズをm×nの固定サイズに縮小することを特徴とする。
本態様によれば、画像データのサイズをm×nの固定サイズに縮小する。
これにより、低解像度の変倍画像データから特定の物体画像に係わる第1位置情報群を検出する際の処理効率を向上することができる。
【0052】
<第5態様>
本態様の画像サイズ変倍部70aは、変倍画像データから特定の物体画像を検出する際の推論処理に用いるニューラルネットワークを備え、固定サイズは、ニューラルネットワークにおいて処理可能なサイズであることを特徴とする。
本態様によれば、変倍画像データから特定の物体画像を検出する際の推論処理に用いるニューラルネットワークを備え、固定サイズは、ニューラルネットワークにおいて処理可能なサイズであるので、低解像度の変倍画像データから特定の物体画像に係わる第1位置情報群を検出する際の処理効率を向上することができる。
【0053】
<第6態様>
本態様の画像処理方法は、高解像度の画像データに含まれる特定の物体画像を含む領域に対して画像加工を実施する画像処理装置による画像処理方法であって、高解像度の画像データを所定の変倍率で縮小して、低解像度の変倍画像データを得る画像サイズ変倍ステップと、画像サイズ変倍ステップにより得られた低解像度の変倍画像データから特定の物体画像に係わる第1位置情報群を検出する特定物体画像検出ステップと、特定物体画像検出ステップが第1位置情報群を検出した場合に、所定の変倍率の逆数値に応じて当該第1位置情報群を第2位置情報群に変換し、高解像度の画像データ内の第2位置情報群に含まれる領域の画像のみを加工して、加工画像データを生成する画像加工ステップと、を備えることを特徴とする。
本態様によれば、高解像度の画像データを所定の変倍率で縮小して、低解像度の変倍画像データを得ておき、得られた低解像度の変倍画像データから特定の物体画像に係わる第1位置情報群を検出し、第1位置情報群を検出した場合に、所定の変倍率の逆数値に応じて当該第1位置情報群を第2位置情報群に変換し、高解像度の画像データ内の第2位置情報群に含まれる領域の画像のみを加工して、加工画像データを生成する。
これにより、特定の物体画像の検出結果に応じて加工画像データを得るまでの画像処理における処理効率を向上することができる。
【0054】
<第7態様>
本態様のプログラムは、プロセッサを、高解像度の画像データに含まれる特定の物体画像を含む領域に対して画像加工を実施する画像処理方法として機能させるためのプログラムであって、プロセッサを、高解像度の画像データを所定の変倍率で縮小して、低解像度の変倍画像データを得る画像サイズ変倍ステップと、画像サイズ変倍ステップにより得られた低解像度の変倍画像データから特定の物体画像に係わる第1位置情報群を検出する特定物体画像検出ステップと、特定物体画像検出ステップが第1位置情報群を検出した場合に、所定の変倍率の逆数値に応じて当該第1位置情報群を第2位置情報群に変換し、高解像度の画像データ内の第2位置情報群に含まれる領域の画像のみを加工して、加工画像データを生成する画像加工ステップと、として機能させるためのプログラムである。
本態様によれば、高解像度の画像データを所定の変倍率で縮小して、低解像度の変倍画像データを得ておき、得られた低解像度の変倍画像データから特定の物体画像に係わる第1位置情報群を検出し、第1位置情報群を検出した場合に、所定の変倍率の逆数値に応じて当該第1位置情報群を第2位置情報群に変換し、高解像度の画像データ内の第2位置情報群に含まれる領域の画像のみを加工して、加工画像データを生成する。
これにより、特定の物体画像の検出結果に応じて加工画像データを得るまでの画像処理における処理効率を向上することができる。
【符号の説明】
【0055】
10…画像形成装置、20…コントローラ、22a…ROM、22b…RAM、25a…CPU、28…HDDコントローラ、29…HD、30…エンジン制御部、30p…プロッタ制御部、31…スキャナ部、32…プリンタ部、40…操作装置、40a…パネル表示部、40b…操作パネル、60…近距離通信回路、60a…近距離通信回路、70…画像処理装置、70a…画像サイズ変倍部、70c…特定物体画像検出部、70d…位置検出部、70e…QRコード(登録商標)検出部、70f…判定部、70g…画像加工部、80…メモリコントローラ、90a…前段画像処理部、90b…後段画像処理部、91a…ライン間補正処理部、91b…像域分離処理部、91c…変倍処理部、91d…変換処理部、91e…フィルタ処理部、91f…色変換処理部、92b…色変換処理部、92c…階調変換処理部、101…運転免許証画像、101a…顔写真、103…運転免許証画像、103a…加工画像、105…会員証裏面画像、105a…QRコード(登録商標)、107…会員証裏面画像、107a…加工画像
【先行技術文献】
【特許文献】
【0056】