IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 京セラドキュメントソリューションズ株式会社の特許一覧

特許7559382画像処理装置、画像処理方法及びプログラム
<>
  • 特許-画像処理装置、画像処理方法及びプログラム 図1
  • 特許-画像処理装置、画像処理方法及びプログラム 図2
  • 特許-画像処理装置、画像処理方法及びプログラム 図3
  • 特許-画像処理装置、画像処理方法及びプログラム 図4
  • 特許-画像処理装置、画像処理方法及びプログラム 図5
  • 特許-画像処理装置、画像処理方法及びプログラム 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-24
(45)【発行日】2024-10-02
(54)【発明の名称】画像処理装置、画像処理方法及びプログラム
(51)【国際特許分類】
   H04N 1/387 20060101AFI20240925BHJP
【FI】
H04N1/387 110
【請求項の数】 5
(21)【出願番号】P 2020114723
(22)【出願日】2020-07-02
(65)【公開番号】P2022012703
(43)【公開日】2022-01-17
【審査請求日】2023-06-26
(73)【特許権者】
【識別番号】000006150
【氏名又は名称】京セラドキュメントソリューションズ株式会社
(74)【代理人】
【識別番号】100167302
【弁理士】
【氏名又は名称】種村 一幸
(74)【代理人】
【識別番号】100135817
【弁理士】
【氏名又は名称】華山 浩伸
(72)【発明者】
【氏名】杉原 宏
【審査官】鈴木 肇
(56)【参考文献】
【文献】特開2012-190357(JP,A)
【文献】特開2015-089032(JP,A)
【文献】特開2014-003489(JP,A)
【文献】特開2017-046167(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06V 30/00 -30/12
G06V 30/18 -30/222
G06V 30/226-30/32
G06V 30/42 -30/424
H04N 1/38 - 1/393
(57)【特許請求の範囲】
【請求項1】
手書きのオブジェクトを含む第1オブジェクトと手書き以外のオブジェクトを含む第2オブジェクトとを有する複数の画像データの各々から、前記第1オブジェクトを抽出する抽出部と、
前記複数の画像データから抽出される複数の前記第1オブジェクトを、前記複数の画像データにおいて共通する前記第2オブジェクトに融合させて、融合画像を生成する融合部と、
前記第2オブジェクトに対する前記第1オブジェクトの相対位置を表す位置情報を前記画像データごとに取得する位置取得部と、を備え
前記融合部は、
前記複数の第1オブジェクトを前記第2オブジェクトに重ね合わせることで、前記第2オブジェクトに前記複数の第1オブジェクトが重畳される前記融合画像を生成し、
前記複数の画像データのうち2つの画像データにおいて前記位置情報が重複する場合、前記2つの画像データから抽出される2つの前記第1オブジェクトの重複を回避するように、当該2つの前記第1オブジェクトの両方について前記融合画像での位置を調整する、
画像処理装置。
【請求項2】
前記融合画像における前記第2オブジェクトは、前記複数の画像データのうちの少なくとも1つの画像データから抽出される、
請求項1に記載の画像処理装置。
【請求項3】
前記融合画像をシートに形成する画像形成部を更に備える、
請求項1又は2に記載の画像処理装置。
【請求項4】
手書きのオブジェクトを含む第1オブジェクトと手書き以外のオブジェクトを含む第2オブジェクトとを有する複数の画像データの各々から、前記第1オブジェクトを抽出する抽出処理と、
前記複数の画像データから抽出される複数の前記第1オブジェクトを、前記複数の画像データにおいて共通する前記第2オブジェクトに融合させて、融合画像を生成する融合処理と、
前記第2オブジェクトに対する前記第1オブジェクトの相対位置を表す位置情報を前記画像データごとに取得する位置取得処理と、を有し、
前記融合処理では、
前記複数の第1オブジェクトを前記第2オブジェクトに重ね合わせることで、前記第2オブジェクトに前記複数の第1オブジェクトが重畳される前記融合画像を生成し、
前記複数の画像データのうち2つの画像データにおいて前記位置情報が重複する場合、前記2つの画像データから抽出される2つの前記第1オブジェクトの重複を回避するように、当該2つの前記第1オブジェクトの両方について前記融合画像での位置を調整する、
画像処理方法。
【請求項5】
手書きのオブジェクトを含む第1オブジェクトと手書き以外のオブジェクトを含む第2オブジェクトとを有する複数の画像データの各々から、前記第1オブジェクトを抽出する抽出処理と、
前記複数の画像データから抽出される複数の前記第1オブジェクトを、前記複数の画像データにおいて共通する前記第2オブジェクトに融合させて、融合画像を生成する融合処理と、
前記第2オブジェクトに対する前記第1オブジェクトの相対位置を表す位置情報を前記画像データごとに取得する位置取得処理と、を1以上のプロセッサーに実行させるためのプログラムであって、
前記融合処理では、
前記複数の第1オブジェクトを前記第2オブジェクトに重ね合わせることで、前記第2オブジェクトに前記複数の第1オブジェクトが重畳される前記融合画像を生成し、
前記複数の画像データのうち2つの画像データにおいて前記位置情報が重複する場合、前記2つの画像データから抽出される2つの前記第1オブジェクトの重複を回避するように、当該2つの前記第1オブジェクトの両方について前記融合画像での位置を調整する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【0002】
関連技術として、スキャナーにより読み取られた帳票の画像に基づき、当該帳票上の記載に対し手書きによる訂正が行われた箇所を検知する情報処理装置が知られている(例えば、特許文献1参照)。関連技術に係る情報処理装置では、取消箇所検出部にて、帳票上において所定値以上の長さを有する一定方向の直線が記載されている箇所もしくは一定の規則性を乱す記載がある箇所を検出する。訂正領域判定部は、事前に指定された帳票上の個々の領域のうち、取消箇所検出部により検出された箇所が属する領域が、手書きによる訂正が行われた領域であるものと判定する。情報生成部は、訂正領域判定部により判定された領域を表示の際に際立たせる帳票画像を生成する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2009-70088号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記関連技術の構成では、個々の画像データごとに手書き箇所を検知できるだけであって、複数の画像データに手書きのオブジェクトが含まれる場合に、これら複数の画像データ中の手書きのオブジェクトを見やすく整理することは困難である。
【0005】
本発明の目的は、複数の画像データに手書きのオブジェクトが含まれる場合に、これら複数の画像データ中の手書きのオブジェクトを見やすく整理できる画像処理装置、画像処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
本発明の一の局面に係る画像処理装置は、抽出部と、融合部と、を備える。前記抽出部は、手書きのオブジェクトを含む第1オブジェクトと手書き以外のオブジェクトを含む第2オブジェクトとを有する複数の画像データの各々から、前記第1オブジェクトを抽出する。前記融合部は、前記複数の画像データから抽出される複数の前記第1オブジェクトを、前記複数の画像データにおいて共通する前記第2オブジェクトに融合させて、融合画像を生成する。
【0007】
本発明の他の局面に係る画像処理方法は、抽出処理と、融合処理と、を有する。前記抽出処理では、手書きのオブジェクトを含む第1オブジェクトと手書き以外のオブジェクトを含む第2オブジェクトとを有する複数の画像データの各々から、前記第1オブジェクトを抽出する。前記融合処理では、前記複数の画像データから抽出される複数の前記第1オブジェクトを、前記複数の画像データにおいて共通する前記第2オブジェクトに融合させて、融合画像を生成する。
【0008】
本発明の他の局面に係るプログラムは、抽出処理と、融合処理と、を1以上のプロセッサーに実行させるためのプログラムである。前記抽出処理では、手書きのオブジェクトを含む第1オブジェクトと手書き以外のオブジェクトを含む第2オブジェクトとを有する複数の画像データの各々から、前記第1オブジェクトを抽出する。前記融合処理では、前記複数の画像データから抽出される複数の前記第1オブジェクトを、前記複数の画像データにおいて共通する前記第2オブジェクトに融合させて、融合画像を生成する。
【発明の効果】
【0009】
本発明によれば、複数の画像データに手書きのオブジェクトが含まれる場合に、これら複数の画像データ中の手書きのオブジェクトを見やすく整理できる画像処理装置、画像処理方法及びプログラムを提供することができる。
【図面の簡単な説明】
【0010】
図1図1は、一実施形態に係る画像処理装置の構成を示すブロック図である。
図2図2は、一実施形態に係る画像処理装置による第1オブジェクト及び第2オブジェクトの抽出動作を示す概念図である。
図3図3は、一実施形態に係る画像処理装置にて生成される融合画像の一例を示す概念図である。
図4図4は、一実施形態に係る画像処理装置にて生成される融合画像の一例を示す概念図である。
図5図5は、一実施形態に係る画像処理装置による第1オブジェクトの位置調整の様子を示す概念図である。
図6図6は、一実施形態に係る画像処理装置で実行される画像処理方法の一例を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、添付図面を参照しながら、本発明の実施形態について説明する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する趣旨ではない。
【0012】
[1]画像処理装置の全体構成
まず、図1を参照しつつ、本実施形態に係る画像処理装置10の全体構成について説明する。
【0013】
本実施形態に係る画像処理装置10は、一例として、原稿から画像データを読み取るスキャン機能、画像データに基づいて画像を形成するプリント機能、ファクシミリ機能、及びコピー機能等の複数の機能を有する複合機である。画像処理装置10は、画像を形成する機能と画像データを読み取る機能との少なくとも一方を含む画像処理機能を有していればよく、プリンター、スキャナー、ファクシミリ装置、及びコピー機等であってもよい。
【0014】
図1に示すように、画像処理装置10は、自動原稿搬送装置1と、画像読取部2と、画像形成部3と、給紙部4と、現像剤供給部5と、制御部6と、記憶部7と、操作表示部8と、を備える。自動原稿搬送装置1は、ADF(Auto Document Feeder)であるので、図1では「ADF」と表記し、かつ以下の説明でも「ADF1」と称する。
【0015】
ADF1は、画像読取部2によって画像が読み取られる原稿を搬送する。ADF1は、原稿セット部、複数の搬送ローラー、原稿押さえ及び排紙部等を有する。
【0016】
画像読取部2は、原稿から画像を読み取り、読み取られた画像に対応する画像データを出力する。画像読取部2は、原稿台、光源、複数のミラー、光学レンズ及びCCD(Charge Coupled Device)等を有する。
【0017】
画像形成部3は、画像読取部2から出力される画像データに基づいて、電子写真方式でシートに画像を形成する。また、画像形成部3は、パーソナルコンピューター等の、画像処理装置10の外部の情報処理装置から入力される画像データに基づいて、シートに画像を形成する。画像形成部3は、C(シアン)、M(マゼンタ)、Y(イエロー)及びK(ブラック)の4色に対応する4つの画像形成ユニット、光走査装置、中間転写ベルト、二次転写ローラー並びに定着装置等を有する。画像形成部3は、例えば、インクジェット方式等、電子写真方式以外の画像形成方式により、シートに画像を形成する構成であってもよい。
【0018】
給紙部4は、画像形成部3にシートを供給する。画像形成部3は、給紙部4から供給されるシートに画像を形成する。
【0019】
現像剤供給部5は、画像形成部3に現像剤としてのトナーを供給する。画像形成部3は、現像剤供給部5から供給されるトナーを用いて、シートに画像を形成する。画像形成部3がインクジェット方式で画像を形成する場合、現像剤供給部5は、トナーに代えてインク(現像剤の他の一例)を画像形成部3に供給する。現像剤供給部5により供給されるトナーとしては、例えば、C(シアン)、M(マゼンタ)、Y(イエロー)及びK(ブラック)の複数色のトナーがある。
【0020】
制御部6は、画像処理装置10を統括的に制御する。制御部6は、1以上のプロセッサー及び1以上のメモリーを有するコンピューターシステムを主構成とする。画像処理装置10では、1以上のプロセッサーがプログラムを実行することにより、制御部6の機能が実現される。プログラムはメモリー(記憶部7)に予め記録されていてもよいし、インターネット等の電気通信回線を通して提供されてもよく、メモリカード又は光学ディスク等の、コンピューターシステムで読み取り可能な非一時的記録媒体に記録されて提供されてもよい。1以上のプロセッサーは、半導体集積回路を含む1以上の電子回路で構成される。さらに、ここでいうコンピューターシステムは、1以上のプロセッサー及び1以上のメモリーを有するマイクロコントローラーを含む。制御部6は、画像処理装置10を統括的に制御するメイン制御部とは別に設けられた制御部であってもよい。
【0021】
記憶部7は、1以上の不揮発性のメモリーを含んでおり、制御部6に各種の処理を実行させるための制御プログラム等の情報が予め記憶されている。さらに、記憶部7は、制御部6が実行する各種の処理の一時記憶メモリー(作業区域)として使用される。
【0022】
操作表示部8は、画像処理装置10におけるユーザーインターフェイスである。操作表示部8は、制御部6からの制御指示に応じて各種の情報を表示する液晶ディスプレー等の表示部、及びユーザーの操作に応じて制御部6に各種の情報を入力するスイッチ又はタッチパネル等の操作部を有する。また、画像処理装置10は、ユーザーインターフェイスとして、操作表示部8に加えて又は代えて、例えば、音声出力部及び音声入力部等を備えていてもよい。
【0023】
ところで、関連技術として、スキャナーにより読み取られた帳票の画像に基づき、当該帳票上の記載に対し手書きによる訂正が行われた箇所を検知する情報処理装置が知られている。関連技術に係る情報処理装置では、取消箇所検出部にて、帳票上において所定値以上の長さを有する一定方向の直線が記載されている箇所もしくは一定の規則性を乱す記載がある箇所を検出する。訂正領域判定部は、事前に指定された帳票上の個々の領域のうち、取消箇所検出部により検出された箇所が属する領域が、手書きによる訂正が行われた領域であるものと判定する。情報生成部は、訂正領域判定部により判定された領域を表示の際に際立たせる帳票画像を生成する。
【0024】
一方で、上記関連技術の構成では、個々の画像データごとに手書き箇所を検知できるだけであって、複数の画像データに手書きのオブジェクトが含まれる場合に、これら複数の画像データ中の手書きのオブジェクトを見やすく整理することは困難である。
【0025】
そこで、本実施形態に係る画像処理装置10では、以下に説明する構成を採用することで、複数の画像データに手書きのオブジェクトが含まれる場合に、これら複数の画像データ中の手書きのオブジェクトを見やすく整理できるようにする。
【0026】
すなわち、本実施形態に係る画像処理装置10は、図1に示すように、第1抽出部(抽出部)61と、融合部63と、を備える。第1抽出部61は、図2に示すように、複数の画像データIm1の各々から、第1オブジェクトOb1を抽出する。画像データIm1は、手書きのオブジェクトを含む第1オブジェクトOb1と、手書き以外のオブジェクトを含む第2オブジェクトOb2とを有する。融合部63は、複数の画像データIm1から抽出される複数の第1オブジェクトOb1を、複数の画像データIm1において共通する第2オブジェクトOb2に融合させて、融合画像Im10を生成する。本実施形態では、第1抽出部61及び融合部63は、制御部6の一機能として制御部6に設けられている。
【0027】
ここで、複数の画像データIm1を互いに区別する場合には、複数の画像データIm1の各々を画像データIm11,Im12,Im13と称する(図2及び図4参照)。同様に、複数の第1オブジェクトOb1を互いに区別する場合には、複数の第1オブジェクトOb1の各々を第1オブジェクトOb11,Ob12,Ob13と称する(図2及び図4参照)。
【0028】
本開示でいう「複数の画像データIm1」は、画像読取部2から出力される画像データIm1、又は、画像処理装置10の外部の情報処理装置等から入力される画像データIm1である。本実施形態では一例として、複数の画像データIm1は、いずれも画像読取部2から出力される画像データIm1であることとする。つまり、本実施形態に係る画像処理装置10では、画像読取部2が複数の原稿から読み取った複数の画像にそれぞれ対応する複数の画像データIm1を、「複数の画像データIm1」として第1オブジェクトOb1の抽出の対象とする。
【0029】
上述した構成によれば、本実施形態に係る画像処理装置10は、複数の画像データIm1から、手書きのオブジェクトを含む複数の第1オブジェクトOb1を抽出することができる。その上で、画像処理装置10は、抽出される複数の第1オブジェクトOb1を、複数の画像データIm1において共通する第2オブジェクトOb2に融合させて、融合画像Im10を生成する。つまり、融合画像Im10は、複数の画像データIm1において共通し、かつ手書き以外のオブジェクトを含む第2オブジェクトOb2に対し、これら複数の画像データIm1中の手書きのオブジェクトを含む複数の第1オブジェクトOb1を融合した画像である。したがって、融合画像Im10によれば、複数の画像データIm1に含まれる複数の手書きのオブジェクト(第1オブジェクトOb1)を、複数の画像データIm1に共通の手書き以外のオブジェクト(第2オブジェクトOb2)に対応付けた形で一覧可能となる。結果的に、本実施形態に係る画像処理装置10によれば、複数の画像データIm1に手書きのオブジェクトが含まれる場合に、これら複数の画像データIm1中の手書きのオブジェクトを見やすく整理できる、という利点がある。
【0030】
本実施形態に係る画像処理装置10の用途の一例として、校閲済み原稿の一元管理がある。ここでいう「校閲済み原稿」は、手書き以外のオブジェクトが形成された状態の原稿に対し、複数人がそれぞれ校閲に係るコメント等を手書きで書き込んだ原稿である。このような校閲済み原稿から画像読取部2で読み取ることで得られる画像データIm1には、元の原稿の内容に相当する第2オブジェクトOb2と、校閲の内容に相当する第1オブジェクトOb1と、が含まれる。そこで、複数人によって校閲された複数の校閲済み原稿を画像読取部2にて読み取れば、それぞれ個別の第1オブジェクトOb1と、共通の第2オブジェクトOb2と、を含む複数の画像データIm1が得られる。そして、本実施形態に係る画像処理装置10では、これら複数の画像データIm1について融合画像Im10を生成することで、元の原稿の内容に対して複数人による校閲の内容が融合された1つの融合画像Im10を得ることができる。したがって、融合画像Im10によれば、複数人による校閲の内容が1つの画像上で一覧可能となり、校閲結果の整理に有用である。
【0031】
[2]制御部の構成
次に、図1図5を参照しつつ、制御部6に含まれる各機能部について、より詳細に説明する。図2等の画像データIm1及び融合画像Im10の具体例を示す図面において、区域を表す一点鎖線、引出線及び参照符号は、説明のために付しており、実際に画像データIm1及び融合画像Im10に含まれる訳ではない。
【0032】
制御部6は、図1に示すように、第1抽出部61と、第2抽出部62と、融合部63と、位置取得部64と、設定部65と、を有している。すなわち、画像処理装置10は、第1抽出部61及び融合部63に加え、第2抽出部62、位置取得部64及び設定部65を制御部6の一機能として備えている。
【0033】
第1抽出部61は、画像読取部2が複数の原稿から読み取った複数の画像にそれぞれ対応する複数の画像データIm1から、手書きのオブジェクトを含む第1オブジェクトOb1を抽出する。ここで、第1オブジェクトOb1については、複数の画像データIm1がそれぞれ個別の第1オブジェクトOb1を含むことを前提とする。そのため、第1抽出部61は、複数の画像データIm1の各々から個別に第1オブジェクトOb1を抽出し、複数の画像データIm1全体から複数の第1オブジェクトOb1を抽出する。具体的には、図2に示すように、複数(ここでは2つ)の画像データIm11,Im12がある場合、第1抽出部61は、画像データIm11から第1オブジェクトOb11を抽出し、画像データIm12から第1オブジェクトOb12を抽出する。
【0034】
第2抽出部62は、画像読取部2が複数の原稿から読み取った複数の画像にそれぞれ対応する複数の画像データIm1から、手書き以外のオブジェクトを含む第2オブジェクトOb2を抽出する。ここで、第2オブジェクトOb2については、複数の画像データIm1が共通の第2オブジェクトOb2を含むことを前提とする。そのため、第2抽出部62は、複数の画像データIm1の各々から共通(同一)の第2オブジェクトOb2を抽出し、複数の画像データIm1全体から1つの第2オブジェクトOb2を抽出する。具体的には、図2に示すように、複数(ここでは2つ)の画像データIm11,Im12がある場合、第2抽出部62は、これら複数の画像データIm11,Im12から1つの第2オブジェクトOb2を抽出する。
【0035】
本開示でいう「手書きのオブジェクト」は、人の手書きにより生成されるオブジェクト全般を意味する。つまり、「手書きのオブジェクト」は、印刷、ワードプロセッサー及びコンピューター等の手段を用いずに、人が、例えば、ペン又は鉛筆等の筆記具を用いて、シート等の画像形成対象に書くオブジェクトを意味し、文字、数字、線、記号、図形及び絵等を含む。ここでいう「線」は、例えば、取消線、引出線、破線、点線、一点鎖線及び下線等の様々な線を含む。また、ここでいう「記号」には、例えば、丸印、チェックマーク及びレ点等を含み、ここでいう「図形」には、例えば、吹き出し及び塗りつぶし等を含む。また、「手書きのオブジェクト」は、筆記具を用いて人が書くオブジェクトに限らず、例えば、タッチパネルディスプレー等を用いて人が書くオブジェクトであってもよい。さらに、「手書き」とはいうものの、「手書きのオブジェクト」は、人が「手」で書くオブジェクトに限らず、例えば、口又は足等の、手以外の身体の一部を動かして人が書くオブジェクトであってもよい。また、手書きのオブジェクトのコピー(複製)、及び版画等の人が作成した版を用いインクの転写等にて生成されるオブジェクトについても、「手書きのオブジェクト」に含まれる。
【0036】
一方、本開示でいう「手書き以外のオブジェクト」は、人の手書き以外の手段により生成されるオブジェクト全般を意味する。つまり、「手書き以外のオブジェクト」は、例えば、印刷、ワードプロセッサー及びコンピューター等を用いてシート等の画像形成対象に形成されるオブジェクトを意味し、文字、数字、線、記号、図形、絵及び写真等を含む。よって、「手書き以外のオブジェクト」には、例えば、印刷用の文字である「活字」等の、予め形状等が定められたオブジェクトが含まれる。
【0037】
また、第1抽出部61で抽出される第1オブジェクトOb1は、手書きのオブジェクトを含んでいればよく、その他のオブジェクト(手書き以外のオブジェクト等)を含んでいてもよい。言い換えれば、画像データIm1中の手書きのオブジェクトの少なくとも一部が第1オブジェクトOb1となる。本実施形態では一例として、画像データIm1中の手書きのオブジェクトは全て第1オブジェクトOb1に含まれることとする。
【0038】
同様に、第2抽出部62で抽出される第2オブジェクトOb2は、手書き以外のオブジェクトを含んでいればよく、その他のオブジェクト(手書きのオブジェクト等)を含んでいてもよい。言い換えれば、画像データIm1中の手書き以外のオブジェクトの少なくとも一部が第2オブジェクトOb2となる。本実施形態では一例として、画像データIm1中の手書き以外のオブジェクトは全て第2オブジェクトOb2に含まれることとする。
【0039】
また、各画像データIm1は、第1オブジェクトOb1と、第2オブジェクトOb2と、を有していればよく、第1オブジェクトOb1及び第2オブジェクトOb2以外にも、オブジェクトを含んでいてもよい。本実施形態では一例として、各画像データIm1は、第1オブジェクトOb1及び第2オブジェクトOb2のみを含むこととする。したがって、本実施形態では、画像データIm1中のオブジェクトは、手書きのオブジェクトである第1オブジェクトOb1と、手書き以外のオブジェクトである第2オブジェクトOb2と、のいずれかに分類される。
【0040】
上述したような手書きのオブジェクトは、手書き以外のオブジェクトと比較すると、書き手(書く人)によって、線の向き、形状、大きさ、バランス及び濃度等の少なくとも一つの特徴量について、ばらつきが生じやすい。また、手書きのオブジェクトについては、同一の書き手であっても、線の向き、形状、大きさ、バランス及び濃度等の全ての特徴量について、一切のばらつきなく再現することは困難であって、少なくとも一つの特徴量について、ばらつきが生じやすい。また、手書き以外のオブジェクトについては、活字等の予め登録されるオブジェクトがある。さらに、線の歪み、又はインクの色若しくは種類等の特徴量についても、手書きのオブジェクトと手書き以外のオブジェクトとでは差異が生じる。したがって、これらの特徴量に着目すれば、第1オブジェクトOb1に含まれる「手書きのオブジェクト」と第2オブジェクトOb2に含まれる「手書き以外のオブジェクト」とは区別可能となる。
【0041】
そこで、本実施形態では、第1抽出部61及び第2抽出部62は、上記特徴量に着目し、画像データIm1中のオブジェクトを第1オブジェクトOb1と第2オブジェクトOb2とのいずれかに分類する。これにより、第1抽出部61では、画像データIm1から第1オブジェクトOb1を抽出することができる。同様に、第2抽出部62では、画像データIm1から第2オブジェクトOb2を抽出することができる。
【0042】
さらに、本実施形態では、第1抽出部61及び第2抽出部62は、画像データIm1に含まれる複数(多数)の画素の各々について、第1オブジェクトOb1と第2オブジェクトOb2とのいずれであるかの分類を行う。これにより、第1抽出部61は、画像データIm1から第1オブジェクトOb1を抽出する際に、画像データIm1内での第1オブジェクトOb1の位置(画素位置)の情報を表す位置データを、第1オブジェクトOb1と併せて抽出することが可能である。同様に、第2抽出部62は、画像データIm1から第2オブジェクトOb2を抽出する際に、画像データIm1内での第2オブジェクトOb2の位置(画素位置)の情報を表す位置データを、第2オブジェクトOb2と併せて抽出することが可能である。一例として、第1抽出部61及び第2抽出部62は、画像データIm1内の全画素にラベル等を関連付けるディープラーニングのアルゴリズムであるセマンティックセグメンテーションを用いて第1オブジェクトOb1及び第2オブジェクトOb2の分類を行う。より詳細には、第1抽出部61及び第2抽出部62は、FCN(fully convolution network)又はU-Net等の学習済みのネットワークを用いて、第1オブジェクトOb1及び第2オブジェクトOb2の分類(抽出)を行う。
【0043】
また、第2抽出部62は、複数の画像データIm1に共通の第2オブジェクトOb2のみを抽出するため、複数の画像データIm1の各々から抽出した第2オブジェクトOb2同士を比較してもよい。具体的には、図2に示すように、複数(ここでは2つ)の画像データIm11,Im12がある場合、第2抽出部62は、画像データIm11から抽出される第2オブジェクトOb2と、画像データIm12から抽出される第2オブジェクトOb2とを比較する。そして、比較対象である複数(ここでは2つ)の第2オブジェクトOb2の一致率、又はページ番号等の目印の一致/不一致等により、第2抽出部62は、複数の画像データIm1に共通の第2オブジェクトOb2を抽出する。これにより、例えば、複数の画像データIm1が手書き以外のオブジェクトであって共通でないオブジェクトを含む場合でも、第2抽出部62は、当該オブジェクトと区別して第2オブジェクトOb2を抽出可能となる。
【0044】
結果的に、図2のように、2つの画像データIm11,Im12からは、2つの第1オブジェクトOb11,Ob12、及び1つの第2オブジェクトOb2が抽出される。言い換えれば、2つの画像データIm11,Im12は、2つの第1オブジェクトOb11,Ob12、及び1つの第2オブジェクトOb2に分類される。図2では、図の左側が画像データIm11,Im12を表し、図の右側が第1オブジェクトOb11,Ob12及び第2オブジェクトOb2を表している。要するに、図2の例では、画像データIm11中の第1オブジェクトOb11は、第2オブジェクトOb2に含まれる冒頭の「ABC1230」という文字列(活字)のうち、「0」を「4」に変更することを示す手書きのオブジェクトである。一方、画像データIm12中の第1オブジェクトOb12は、第2オブジェクトOb2に含まれる冒頭の「ABC1230」という文字列のうち、「B」と「C」との間に「A」を追記(挿入)することを示す手書きのオブジェクトである。
【0045】
位置取得部64は、第2オブジェクトOb2に対する第1オブジェクトOb1の相対位置を表す位置情報を画像データIm1ごとに取得する。つまり、各画像データIm1においては、第2オブジェクトOb2に対する第1オブジェクトOb1の相対位置は決まっているので、この相対位置に関する位置情報を、位置取得部64にて取得する。本実施形態では、位置取得部64は、第1抽出部61で抽出される第1オブジェクトOb1の位置データ、及び第2抽出部62で抽出される第2オブジェクトOb2の位置データから、上記相対位置を表す位置情報を取得する。
【0046】
融合部63は、第1抽出部61で抽出される複数の第1オブジェクトOb1と、第2抽出部62で抽出される第2オブジェクトOb2とを融合することにより、融合画像Im10を生成する。ここでいう「融合」は、複数のデータを1つにまとめるマージの意味であって、併合又は統合等と同等の意味である。そのため、融合部63での「融合」の態様には、重畳(重ね合わせ)、併記又はリンク等の様々な態様が含まれる。第2オブジェクトOb2に複数の第1オブジェクトOb1が併記される場合、例えば、複数の第1オブジェクトOb1は、第2オブジェクトOb2の周囲に配置されてもよいし、第2オブジェクトOb2の特定点と引出線又は吹き出しにて対応付けられてもよい。さらに、融合部63では、第1オブジェクトOb1及び第2オブジェクトOb2の少なくとも一方について、融合画像Im10での色及び濃度等を変更できてもよい。
【0047】
このように、本実施形態では、融合画像Im10の生成に用いられる第2オブジェクトOb2は、第2抽出部62にて複数の画像データIm1から抽出される。つまり、融合画像Im10における第2オブジェクトOb2は、複数の画像データIm1のうちの少なくとも1つの画像データIm1から抽出される。これにより、複数の画像データIm1とは別の画像データを用意することなく、融合画像Im10における第2オブジェクトOb2を得ることが可能である。ただし、融合画像Im10における第2オブジェクトOb2が画像データIm1から抽出されることは、画像処理装置10に必須の構成ではない。例えば、複数の画像データIm1とは別に、第2オブジェクトOb2のみを含む画像データ(クリーンデータ)が用意されている場合、このクリーンデータ中の第2オブジェクトOb2が融合画像Im10の生成に用いられてもよい。この場合においては、画像データIm1から第2オブジェクトOb2を抽出する第2抽出部62は適宜省略可能である。
【0048】
また、本実施形態では、融合部63は、複数の第1オブジェクトOb1を第2オブジェクトOb2に重ね合わせることで、第2オブジェクトOb2に複数の第1オブジェクトOb1が重畳される融合画像Im10を生成する。つまり、本実施形態では、融合部63での第2オブジェクトOb2に対する複数の第1オブジェクトOb1の融合は、重畳(重ね合わせ)によって実現される。これにより、第2オブジェクトOb2の縮小等を行わなくても、画像データIm1と同サイズの融合画像Im10を生成することが可能である。
【0049】
さらに、本実施形態では、融合部63は、位置情報に応じて、融合画像Im10における第2オブジェクトOb2に対する複数の第1オブジェクトOb1の相対位置を決定する。すなわち、第2オブジェクトOb2に対する第1オブジェクトOb1の相対位置を表す位置情報が画像データIm1ごとに位置取得部64にて取得されるので、この位置情報に応じて、融合画像Im10での各第1オブジェクトOb1の位置が決定される。基本的には、融合部63は、第1オブジェクトOb1の抽出元の画像データIm1での第2オブジェクトOb2に対する第1オブジェクトOb1の相対位置を再現するように、位置情報に応じて融合画像Im10での第1オブジェクトOb1の位置を決定する。これにより、抽出元の画像データIm1にて第2オブジェクトOb2と第1オブジェクトOb1との相対位置に意味がある場合でも、この相対位置を維持した状態の融合画像Im10を得ることができる。
【0050】
具体的に、図2の例においては、融合部63は、2つの画像データIm11,Im12から抽出される2つの第1オブジェクトOb11,Ob12を、2つの画像データIm11,Im12において共通する第2オブジェクトOb2に融合させる。これにより、図3に示すように、1つの第2オブジェクトOb2に2つの第1オブジェクトOb11,Ob12を重ね合わせた状態の融合画像Im10を得ることができる。そして、融合画像Im10においては、画像データIm11から抽出された第1オブジェクトOb11の、第2オブジェクトOb2に対する相対位置は、画像データIm11における相対位置を維持している。同様に、融合画像Im10においては、画像データIm12から抽出された第1オブジェクトOb12の、第2オブジェクトOb2に対する相対位置は、画像データIm12における相対位置を維持している。
【0051】
また、本実施形態では、融合部63は、生成した融合画像Im10を含む印刷データを画像形成部3に出力する。画像形成部3は、融合画像Im10を含む印刷データに従って、給紙部4より供給される画像形成対象であるシートSh1(図3参照)に、融合画像Im10を形成する。画像形成対象であるシートSh1は、本実施形態では一例として紙であるが、紙に限らず、例えば、樹脂フィルム等であってもよい。つまり、融合部63は、融合画像Im10を形成するための印刷データを、画像形成部3に出力することにより、図3に示すように、シートSh1に融合画像Im10を形成させる。要するに、本実施形態に係る画像処理装置10は、融合画像Im10をシートSh1に形成する画像形成部3を備える。これにより、複数の画像データIm1から抽出される複数の第1オブジェクトOb1を、複数の画像データIm1において共通する第2オブジェクトOb2に融合させた融合画像Im10を、シートSh1として得ることができる。図3では、図の左側がデータとしての融合画像Im10を表し、図の右側が融合画像Im10を形成したシートSh1を表している。
【0052】
要するに、本実施形態に係る画像処理装置10では、画像読取部2にて読み取られる複数の原稿における複数の画像データIm1を、1つの融合画像Im10にまとめてコピー(複製)することが可能である。これにより、複数の原稿に記載の情報(第1オブジェクトOb1及び第2オブジェクトOb2)を、1枚のシートSh1に集約して、1枚のシートSh1上で一覧可能とすることができる。ただし、融合部63により生成された融合画像Im10の出力の態様は、画像形成部3によるシートSh1への形成に限らず、例えば、表示部への表示、外部装置への送信、コンピューターシステムで読み取り可能な非一時的記録媒体への書き込み等であってもよい。
【0053】
ここにおいて、融合部63は、基本的に、位置情報に応じて融合画像Im10での第1オブジェクトOb1の位置を決定するので、場合によっては、2つ以上の第1オブジェクトOb1が重複することがある。つまり、2つ以上の画像データIm1において、第1オブジェクトOb1の位置が重複する場合、これら2つ以上の画像データIm1から抽出される2つ以上の第1オブジェクトOb1は、融合画像Im10でも重複し得る。本実施形態では、このような場合に、2つ以上の第1オブジェクトOb1の重複を回避するように、融合部63は、融合画像Im10中の第1オブジェクトOb1の位置を調整する機能を有する。さらに、本実施形態では、融合部63は、位置の調整に加えて、融合画像Im10中の第1オブジェクトOb1の縮小等を行うサイズ調整の機能も有している。
【0054】
具体的には、上述した2つの画像データIm11,Im12(図2参照)に加えて、別の画像データIm13(図4参照)から抽出される第1オブジェクトOb1についても、融合画像Im10として融合する場合を想定する。この場合、図4に示すように、2つの画像データIm11,Im12を融合した融合画像Im10(図4の左側)に対して、更に画像データIm13(図4の右側)を融合することになる。ここで、画像データIm12(図2参照)から抽出される第1オブジェクトOb12と、画像データIm13から抽出される第1オブジェクトOb13とでは、第2オブジェクトOb2に対する相対位置が重複する。図4の例では、画像データIm13中の第1オブジェクトOb13は、第2オブジェクトOb2に含まれる文字列(活字)に、「10MHz」を追記(挿入)することを示す手書きのオブジェクトである。
【0055】
この場合においては、図5の上段に示すように、2つの第1オブジェクトOb12,Ob13の両方について、元の画像データIm1での位置を維持するとすれば、2つの第1オブジェクトOb12,Ob13が重複することになる。そこで、融合部63は、図5の中段に示すように、これら2つの第1オブジェクトOb12,Ob13の位置を調整する。図5の例では、融合部63は、2つの第1オブジェクトOb12,Ob13のそれぞれを縮小したうえで、第1オブジェクトOb12を上方にずらし、第1オブジェクトOb13を下方にずらすように、位置の調整を行っている。その上で、融合部63は、第2オブジェクトOb1に対して、複数(ここでは3つ)の第1オブジェクトOb11,Ob12,Ob13を重ね合わせることで、第2オブジェクトOb2に複数の第1オブジェクトOb1が重畳される融合画像Im10を生成する。このようにして生成される融合画像Im10では、図5の下段に示すように、2つの第1オブジェクトOb12,Ob13の重複が回避される。
【0056】
要するに、融合部63は、複数の画像データIm1のうち2つの画像データIm1において位置情報が重複する場合、2つの画像データIm1の少なくとも一方から抽出される第1オブジェクトOb1の融合画像Im10での位置を調整する。これにより、融合画像Im10での複数の第1オブジェクトOb1同士の重複を回避しやすくなる。
【0057】
設定部65は、融合部63の有効/無効を設定可能である。融合部63が無効であれば、上述したような融合画像Im10の生成は行われない。また、設定部65は、上述した第1オブジェクトOb1の融合画像Im10での位置の調整等、融合部63の機能ごとに有効/無効を設定できてもよい。融合部63の有効/無効は、ユーザーの操作によって選択される。具体的には、設定画面上において、ユーザーは、動作モードを選択し、設定部65は、選択された動作モードに従って融合部63の有効/無効等を設定する。これにより、ユーザーごとに融合部63の有効/無効等を選択できる。
【0058】
[3]画像処理方法
以下、図6を参照しつつ、画像処理装置10で実行される画像処理方法の手順の一例について説明する。ここで、図6に示すフローチャートにおけるステップS1、S2・・・は、制御部6により実行される処理手順(ステップ)の番号を表している。
【0059】
本実施形態に係る画像処理方法は、制御部6で実行される。言い換えれば、画像処理方法は、コンピューターシステムを主構成とする制御部6にて実行される方法である。そのため、本実施形態に係るプログラムは、画像処理方法を、(制御部6における)1以上のプロセッサーに実行させるためのプログラムである。
【0060】
<ステップS1>
まず、ステップS1において、制御部6は、画像読取部2に、複数の原稿から画像を読み取らせて、それぞれ対応する複数の画像データIm1を得る。つまり、ステップS1では、画像読取部2から制御部6に複数の画像データIm1が入力される。
【0061】
<ステップS2>
次に、ステップS2において、制御部6は、第1抽出部61にて、複数の画像データIm1から、手書きのオブジェクトを含む第1オブジェクトOb1を抽出する(抽出処理)。つまり、ステップS2では、手書きのオブジェクトを含む第1オブジェクトOb1と手書き以外のオブジェクトを含む第2オブジェクトOb2とを有する複数の画像データIm1の各々から、第1オブジェクトOb1を抽出する。ここで、制御部6は、第1抽出部61にて、画像データIm1の画素ごとに、第1オブジェクトOb1に分類されるか否かを判断することで、第1オブジェクトOb1の抽出を行う。
【0062】
<ステップS3>
ステップS3において、制御部6は、第2抽出部62にて、複数の画像データIm1から、手書き以外のオブジェクトを含む第2オブジェクトOb2を抽出する。つまり、ステップS3では、手書きのオブジェクトを含む第1オブジェクトOb1と手書き以外のオブジェクトを含む第2オブジェクトOb2とを有する複数の画像データIm1の各々から、第2オブジェクトOb2を抽出する。ここで、制御部6は、第2抽出部62にて、画像データIm1の画素ごとに、第2オブジェクトOb2に分類されるか否かを判断することで、第2オブジェクトOb2の抽出を行う。
【0063】
<ステップS4>
ステップS4において、制御部6は、位置取得部64にて、第2オブジェクトOb2に対する第1オブジェクトOb1の相対位置を表す位置情報を、画像データIm1ごとに取得する。つまり、ステップS4では、制御部6は、第1抽出部61で抽出される第1オブジェクトOb1の位置データ、及び第2抽出部62で抽出される第2オブジェクトOb2の位置データから、相対位置に係る位置情報を取得する。
【0064】
<ステップS5>
ステップS5において、制御部6は、複数の画像データIm1から抽出される第2オブジェクトOb2が共通しているか否かを判断する。すなわち、ステップS5では、制御部6は、第2抽出部62にて、複数の画像データIm1の各々から抽出した第2オブジェクトOb2同士を比較し、複数の画像データIm1に共通の第2オブジェクトOb2のみを抽出する。
【0065】
比較対象である複数の第2オブジェクトOb2の一致率等により、第2オブジェクトOb2が共通であると判断される場合(S5:Yes)、制御部6は、処理をステップS6に移行させる。比較対象である複数の第2オブジェクトOb2の一致率等により、第2オブジェクトOb2が共通でないと判断される場合(S5:No)、制御部6は、処理をステップS9に移行させる。
【0066】
<ステップS6>
ステップS6において、制御部6は、融合部63にて、第1抽出部61で抽出される複数の第1オブジェクトOb1と、第2抽出部62で抽出される第2オブジェクトOb2とを融合することにより、融合画像Im10を生成する(融合処理)。つまり、ステップS6では、制御部6は、複数の画像データIm1から抽出される複数の第1オブジェクトOb1を、複数の画像データIm1において共通する第2オブジェクトOb2に融合させて、融合画像Im10を生成する。
【0067】
このとき、融合部63は、ステップS4で取得された位置情報に応じて、融合画像Im10における第2オブジェクトOb2に対する複数の第1オブジェクトOb1の相対位置を決定する。その上で、融合部63は、複数の第1オブジェクトOb1を第2オブジェクトOb2に重ね合わせることにより、融合画像Im10を生成する。
【0068】
<ステップS7>
ステップS7において、制御部6は、融合画像Im10において2つ以上の第1オブジェクトOb1が重複するか否かを判断する。すなわち、ステップS7では、融合部63が融合する複数の第1オブジェクトOb1の位置情報に、重複している位置情報があるか否かを判断することで、融合画像Im10上での2つ以上の第1オブジェクトOb1の重複の発生を検知する。
【0069】
位置情報により、第1オブジェクトOb1が重複すると判断される場合(S7:Yes)、制御部6は、処理をステップS8に移行させる。位置情報により、第1オブジェクトOb1が重複しないと判断される場合(S7:No)、制御部6は、処理をステップS9に移行させる。
【0070】
<ステップS8>
ステップS8において、制御部6は、融合部63にて、融合画像Im10における第1オブジェクトOb1の位置を調整する。つまり、ステップS8では、重複している2つ以上の第1オブジェクトOb1の重複を回避するように、融合部63は、融合画像Im10中の第1オブジェクトOb1の位置(及びサイズ)を調整する。
【0071】
<ステップS9>
ステップS9において、制御部6は、画像形成部3にシートSh1への画像の形成を実行させる。ここで、ステップS6にて「Yes」と判断された場合には、融合画像Im10が生成されているので、制御部6は、融合部63にて、融合画像Im10を含む印刷データを画像形成部3に出力し、融合画像Im10をシートSh1に形成させる。一方、ステップS6にて「No」と判断された場合には、制御部6は、画像データIm1そのものを含む印刷データを画像形成部3に出力し、画像データIm1に係る画像をシートSh1に形成させる。
【0072】
以上説明した表示制御方法の手順は一例に過ぎず、図6のフローチャートに示す処理の順番が適宜入れ替わってもよい。
【0073】
[4]変形例
画像処理装置10に含まれる複数の構成要素は、複数の筐体に分散して設けられていてもよい。例えば、第1抽出部61、第2抽出部62及び融合部63の少なくとも1つは、制御部6の一機能として実現される構成に限らず、制御部6とは、別の筐体に設けられていてもよい。
【0074】
また、画像処理装置10の用途は、校閲済み原稿の一元管理に限らない。例えば、複数人の署名(サイン)を必要とする書面に対して複数人がそれぞれ署名を行うサインフォームの一元管理、又は複数人がそれぞれメッセージを手書きで書き込む寄せ書きの一元管理等にも、本実施形態に係る画像処理装置10は利用可能である。サインフォーム等の文書にあっては、手書きのオブジェクト(署名)を含む第1オブジェクトOb1は、高いセキュリティー性が要求されることがある。そこで、この種の文書に係る画像データIm1において第1オブジェクトOb1が抽出される場合、画像処理装置10は、セキュリティー性の高い文書であることをユーザーに通知したり、送信時に自動的に暗号化したり、部分的にモザイクを付したりしてもよい。
【0075】
また、融合画像Im10をシートSh1に形成する画像形成部3を備えることは、画像処理装置10に必須の構成ではなく、画像処理装置10は、融合画像Im10をデータ(画像データ)として外部に出力してもよい。この場合、画像処理装置10は、画像データを読み取る機能を画像処理機能として有していればよく、スキャナー等であってもよい。
【0076】
また、画像処理装置10において第1オブジェクトOb1の抽出の対象とする「複数の画像データIm1」は、画像読取部2から出力される画像データIm1に限らず、画像処理装置10の外部の情報処理装置等から入力される画像データIm1であってもよい。この場合、画像処理装置10は、画像を形成する機能を画像処理機能として有していればよく、プリンター等であってもよい。
【符号の説明】
【0077】
10 画像処理装置
61 抽出部(第1抽出部)
63 融合部
64 位置取得部
Im1,Im11,Im12,Im13 画像データ
Im10 融合画像
Ob1,Ob11,Ob12,Ob13 第1オブジェクト
Ob2 第2オブジェクト
Sh1 シート
図1
図2
図3
図4
図5
図6