特開 2024-178763 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024178763

(43)【公開日】2024-12-25

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   H04N 1/387 20060101AFI20241218BHJP

【ＦＩ】

H04N1/387 110

H04N1/387 200

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023097151

(22)【出願日】2023-06-13

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】早坂 仁志

(57)【要約】

【課題】画像の任意の箇所に対して実行させる処理の指定のための作業負担を軽減すること。
【解決手段】画像処理装置は、画像の中から第１の図形及び第２の図形を検出し、前記第１の図形に対応する第１の領域及び前記第２の図形に対応する第２の領域を特定する検出部と、前記第２の領域から記号を抽出する抽出部と、前記第１の領域に対して前記記号に応じた処理を実行する処理実行部と、を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

画像の中から第１の図形及び第２の図形を検出し、前記第１の図形に対応する第１の領域及び前記第２の図形に対応する第２の領域を特定する検出部と、
前記第２の領域から記号を抽出する抽出部と、
前記第１の領域に対して前記記号に応じた処理を実行する処理実行部と、
を有することを特徴とする画像処理装置。

【請求項2】

前記抽出部は、前記第１の領域から文字列を抽出し、
前記処理実行部は、前記第１の領域から抽出された文字列に対して前記第２の領域から抽出された記号に応じた処理を実行し、処理結果に基づく画像を前記第１の領域に合成する、
ことを特徴とする請求項１記載の画像処理装置。

【請求項3】

前記検出部は、前記画像の中から複数の前記第１の図形及び複数の前記第２の図形を検出して、複数の前記第１の領域及び複数の前記第２の領域を特定し、
前記処理実行部は、複数の前記第１の領域ごとに、当該第１の領域との位置関係に基づいて特定されるいずれかの前記第２の領域から抽出された記号に応じた処理を実行する、
ことを特徴とする請求項１記載の画像処理装置。

【請求項4】

前記第１の領域に対して前記記号に応じた処理が実行された画像から前記第１の図形及び前記第２の図形を消去する消去部、
を有することを特徴とする請求項１記載の画像処理装置。

【請求項5】

前記検出部は、更に、前記第１の図形に第３の図形が付与されているか否かを判定し、
前記処理実行部は、前記第３の図形が付与されている前記第１の図形に係る前記第１の領域に対しては前記記号に応じた処理を実行しない、
ことを特徴とする請求項１記載の画像処理装置。

【請求項6】

画像の中から第１の図形及び第２の図形を検出し、前記第１の図形に対応する第１の領域及び前記第２の図形に対応する第２の領域を特定する検出手順と、
前記第２の領域から記号を抽出する抽出手順と、
前記第１の領域に対して前記記号に応じた処理を実行する処理実行手順と、
をコンピュータが実行することを特徴とする画像処理方法。

【請求項7】

画像の中から第１の図形及び第２の図形を検出し、前記第１の図形に対応する第１の領域及び前記第２の図形に対応する第２の領域を特定する検出手順と、
前記第２の領域から記号を抽出する抽出手順と、
前記第１の領域に対して前記記号に応じた処理を実行する処理実行手順と、
をコンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

画像処理装置において、原稿に識別情報が付与された領域を検出し、検出した領域にＯＣＲ処理などの処理を行う機能が提供されている。

【0003】

例えば、特許文献１では、使用者が所定の用紙に付加する識別情報と、画像処理装置に実行させる処理とを対応付けることができる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の技術では、識別情報と実行すべき処理との対応関係を画像処理装置に対して登録するための作業負担がユーザに対して要求される。

【0005】

本発明は、上記の点に鑑みてなされたものであって、画像の任意の箇所に対して実行させる処理の指定のための作業負担を軽減することを目的とする。

【課題を解決するための手段】

【0006】

そこで上記課題を解決するため、画像処理装置は、画像の中から第１の図形及び第２の図形を検出し、前記第１の図形に対応する第１の領域及び前記第２の図形に対応する第２の領域を特定する検出部と、前記第２の領域から記号を抽出する抽出部と、前記第１の領域に対して前記記号に応じた処理を実行する処理実行部と、を有する。

【発明の効果】

【0007】

画像の任意の箇所に対して実行させる処理の指定のための作業負担を軽減することができる。

【図面の簡単な説明】

【0008】

【図1】第１の実施の形態における画像処理装置１０のハードウェア構成例を示す図である。

【図2】第１の実施の形態における画像処理装置１０の機能構成例を示す図である。

【図3】第１の実施の形態における原稿の一例を示す図である。

【図4】第１の実施の形態における画像処理装置１０が実行する処理手順の一例を説明するためのフローチャートである。

【図5】処理マークｍｒの検出処理を説明するための図である。

【図6】指示マークｍｅの検出処理を説明するための図である。

【図7】処理領域と指示領域との対応付けを説明するための図である。

【図8】処理領域と指示領域との対応関係の判定結果の一例を示す図である。

【図9】第１の実施の形態において各処理領域に対して指示領域の文字列に応じて実行される処理内容を説明するための図である。

【図10】第１の実施の形態における各処理領域に対する処理の実行結果の一例を示す図である。

【図11】マーク消去の実行結果の一例を示す図である。

【図12】第２の実施の形態における原稿の一例を示す図である。

【図13】第２の実施の形態における画像処理装置１０が実行する処理手順の一例を説明するためのフローチャートである。

【図14】取り消し線の検出処理を説明するための図である。

【図15】第２の実施の形態において各処理領域に対して指示領域の文字列に応じて実行される処理内容を説明するための図である。

【図16】第２の実施の形態における各処理領域に対する処理の実行結果の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面に基づいて本発明の実施の形態を説明する。図１は、第１の実施の形態における画像処理装置１０のハードウェア構成例を示す図である。図１において、画像処理装置１０は、コントローラ１１、スキャナ１２、プリンタ１３、モデム１４、操作パネル１５、ネットワークインタフェース１６、及びＳＤカードスロット１７等のハードウェアを有する。

【0010】

コントローラ１１は、ＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３、ＨＤＤ１１４、及びＮＶＲＡＭ１１５等を有する。ＲＯＭ１１３には、各種のプログラムやプログラムによって利用されるデータ等が記憶されている。ＲＡＭ１１２は、プログラムをロードするための記憶領域や、ロードされたプログラムのワーク領域等として用いられる。ＣＰＵ１１１は、ＲＡＭ１１２にロードされたプログラムを処理することにより、各種の機能を実現する。ＨＤＤ１１４には、プログラムやプログラムが利用する各種のデータ等が記憶される。ＮＶＲＡＭ１１５には、各種の設定情報等が記憶される。

【0011】

スキャナ１２は、原稿より画像データを読み取るためのハードウェア（画像読取手段）である。プリンタ１３は、印刷データを印刷用紙に印刷するためのハードウェア（印刷手段）である。モデム１４は、電話回線に接続するためのハードウェアであり、ＦＡＸ通信による画像データの送受信を実行するために用いられる。操作パネル１５は、ユーザからの入力の受け付けを行うためのボタン等の入力手段や、液晶パネル等の表示手段等を備えたハードウェアである。液晶パネルは、タッチパネル機能を有していてもよい。この場合、当該液晶パネルは、入力手段の機能をも兼ねる。ネットワークインタフェース１６は、ＬＡＮ等のネットワーク（有線又は無線の別は問わない。）に接続するためのハードウェアである。ＳＤカードスロット１７は、ＳＤカード８０に記憶されたプログラムを読み取るために利用される。すなわち、画像処理装置１０では、ＲＯＭ１１３に記憶されたプログラムだけでなく、ＳＤカード８０に記憶されたプログラムもＲＡＭ１１２にロードされ、実行されうる。なお、他の記録媒体（例えば、ＣＤ－ＲＯＭ又はＵＳＢ（Universal Serial Bus）メモリ等）によってＳＤカード８０が代替されてもよい。すなわち、ＳＤカード８０の位置付けに相当する記録媒体の種類は、所定のものに限定されない。この場合、ＳＤカードスロット１７は、記録媒体の種類に応じたハードウェアによって代替されればよい。

【0012】

図２は、第１の実施の形態における画像処理装置１０の機能構成例を示す図である。図２において、画像処理装置１０は、入力部１２１、読取制御部１２２、検出部１２３、対応判定部１２４、抽出部１２５、処理実行部１２６、消去部１２７及び出力部１２８を有する。これら各部は、画像処理装置１０にインストールされた１以上のプログラムが、ＣＰＵ１１１に実行させる処理により実現される。

【0013】

入力部１２１は、ユーザからの指示の入力を受け付ける。ユーザからの指示には、例えば、画像処理装置１０が実行する処理に関する設定情報や、当該処理の実行の開始指示等が含まれる。

【0014】

読取制御部１２２は、スキャナ１２を制御して、スキャナ１２が紙文書（原稿）から読み取った画像を取得する。

【0015】

図３は、第１の実施の形態における原稿の一例を示す図である。図３に示される原稿ｐ１において、矩形のマークｍｒ１～ｍｒ４（以下、それぞれを区別しない場合「処理マークｍｒ」という。）及び楕円のマークｍｅ１～ｍｅ４（以下、それぞれを区別しない場合「指示マークｍｅ」という。）等の図形は、原稿ｐ１の構成要素ではなく、原稿ｐ１から読み取られた画像（以下、「対象画像」という。）に対して画像処理装置１０に実行させる処理に関する指示として、ユーザが手書き等により原稿ｐ１に対して描画したものである。処理マークｍｒは、矩形の枠線の部分のみをいい、指示マークｍｅは、楕円の枠線部分のみをいう。なお、処理マークｍｒ又は指示マークｍｅを原稿に描画することを、以下「マーキング」という。また、処理マークｍｒ又は指示マークｍｅに係る範囲（領域）を、以下、「マーキング領域」という。処理マークｍｒのマーキング領域を、特に「処理領域」といい、指示マークｍｅのマーキング領域を、特に「指示領域」という。

【0016】

処理領域は、対象画像において処理の対象とされる範囲である。指示領域は、処理領域に対して実行する処理を示す記号を含む領域である。本実施の形態では、文字列が当該記号として採用された例を示すが、当該記号は、文字認識可能な記号であれば文字以外の１以上の記号によって構成されてもよい。なお、処理領域（処理マークｍｒ）と指示領域（指示マークｍｅ）とは１対１に対応する。したがって、１つの指示領域内の記号は、１つの処理領域に対して実行すべき処理を意味する。

【0017】

ユーザは、原稿ｐ１において処理対象としたい範囲を処理マークｍｒで囲み、当該範囲に対して実行すべき処理を示す記号を描画した上で、当該記号を指示マークｍｅで囲んでおけばよい。

【0018】

検出部１２３は、対象画像から処理マークｍｒ及び指示マークｍｅを検出することで、処理領域及び指示領域を特定する。

【0019】

対応判定部１２４は、処理領域及び指示領域が複数の場合に、処理領域と指示領域と位置関係に基づいて、各処理領域に対応する各指示領域との対応関係を判定する。本実施の形態では、或る処理領域に対して最も近い指示領域が、当該処理領域に対応する指示領域として判定される。

【0020】

抽出部１２５は、検出された指示マークｍｅに係る指示領域から文字列を抽出する。文字列の抽出は、公知の文字認識（ＯＣＲ（Optical Character Recognition））を用いて行うことができる。

【0021】

処理実行部１２６は、処理領域ごとに、当該処理領域に対応すると判定された指示領域内の記号に応じた処理を実行する。当該処理は、対象画像に対して行われる。したがって、当該処理の実行により対象画像が変化する。

【0022】

消去部１２７は、ユーザによって処理マークｍｒ及び指示マークｍｅの消去が指定された場合に、対象画像から処理マークｍｒ及び指示マークｍｅを消去する。指示マークｍｅの消去は、指示マークｍｅ内の文字列の消去をも含む。

【0023】

出力部１２８は、対象画像の出力処理を実行する。

【0024】

以下、画像処理装置１０が実行する処理手順について説明する。図４は、第１の実施の形態における画像処理装置１０が実行する処理手順の一例を説明するためのフローチャートである。

【0025】

ステップＳ１１０において、入力部１２１は、例えば、操作パネル１５を介して処理の実行指示の入力をユーザから受け付ける。この際、処理に関する設定情報も入力される。例えば、原稿ｐ１に付加された処理マークｍｒ及び指示マークｍｅを最終的に対象画像から消去するか否かに関する設定（以下、「動作モード」という。）が入力される。また、対象画像に対する処理の実行結果として得られる画像を紙媒体として出力するか（つまり、印刷するか）、電子画像として出力するか（例えば、所定の記憶装置に保存するか）等の設定が入力されてもよい。なお、ユーザは、処理の実行指示の入力前に原稿ｐ１（図３）をスキャナ１２にセットしておく。

【0026】

続いて、読取制御部１２２は、スキャナ１２を制御して、スキャナ１２が原稿ｐ１から読み取った画像（対象画像）を取得する（Ｓ１２０）。

【0027】

続いて、検出部１２３は、対象画像の中から全ての処理マークｍｒを検出することで、全ての処理領域を特定する（Ｓ１３０）。例えば、処理領域の各頂点の座標（対象画像における座標）が特定される。すなわち、図３の原稿ｐ１のように、複数の処理マークｍｒが付加されている場合、検出部１２３は、複数の処理マークｍｒを検出する。

【0028】

処理マークｍｒの検出は、図形検出を利用することで実現することができる。図形検出を利用する理由としては、本実施の形態では、処理マークｍｒ及び指示マークｍｅの２種類のマークを検出する必要があり、これら２種類のマークを区別して検出可能とするためのである。検出部１２３は、これら２種類の形状の異なるマークが混在する状況の中から処理マークｍｒのみを検出するために、対象画像から検出される各図形の角を検出し、角の数から各図形が何角形かを判別することで、処理マークｍｒを検出する。本実施の形態において、処理マークｍｒは、矩形であるため、検出部１２３は、角が４つである図形を処理マークｍｒとして検出する。

【0029】

図５は、処理マークｍｒの検出処理を説明するための図である。図５において左側の画像ｇ１は、原稿ｐ１から読み取られた対象画像である。右側の画像ｇ１は、画像ｇ１において検出された処理マークｍｒに基づいて特定された各処理領域を示す。すなわち、右側の画像ｇ１において、破線の矩形である処理領域１～４は、処理マークｍｒ１～４に基づいて特定された処理領域である。

【0030】

なお、本実施の形態では処理マークｍｒ（処理領域）を矩形としているが、処理マークｍｒの形状は、例えば、予め又はステップＳ１１０においてユーザによって指定可能とされてもよい。この場合、複数の形状を選択肢とし、ユーザによって選択された形状が処理マークｍｒの形状とされてもよい。

【0031】

続いて、検出部１２３は、対象画像の中から全ての指示マークｍｅを検出することで、全ての指示領域を特定する（Ｓ１４０）。例えば、指示領域の最小外接矩形の各頂点の座標（対象画像における座標）が特定される。

【0032】

指示マークｍｅの検出は、処理マークｍｒの検出と同様に図形検出を利用することで実現することができる。但し、指示マークｍｅの検出において検出対象とされる図形（形状）が処理マークｍｒとは異なる。具体的には、検出部１２３は、角の数が所定数（例えば、１０個）よりも多い図形を指示マークｍｅである楕円として検出し、指示マークｍｅの範囲（例えば、指示マークｍｅの最小外接矩形の範囲）を指示領域として特定する。このような楕円の検出方法は、円弧を表現する画像に対して角の検出を行った場合に多数の角が検出されるという方法に基づく。但し、角を検出することではなく、他の公知の方法によって指示マークｍｅとして楕円が検出されてもよい。

【0033】

図６は、指示マークｍｅの検出処理を説明するための図である。図６において左側の画像ｇ１は、図５の右側の画像ｇ１である。図６の右側の画像ｇ１は、左側の画像ｇ１において検出された指示マークｍｅに基づいて特定された各指示領域を示す。すなわち、右側の画像ｇ１において、破線の矩形である指示領域Ａ～Ｄは、指示マークｍｅ１～４に基づいて特定された指示領域である。

【0034】

なお、本実施の形態では指示マークｍｅ（指示領域）を楕円としているが、指示マークｍｅの形状は、例えば、予め又はステップＳ１１０においてユーザによって指定可能とされてもよい。この場合、複数の形状を選択肢とし、ユーザによって選択された形状が指示マークｍｅの形状とされてもよい。但し、指示マークｍｅと処理マークｍｒの形状は異なる必要がある。

【0035】

続いて、対応判定部１２４は、ステップＳ１３０において特定された処理領域と、ステップＳ１４０において特定された指示領域との対応関係を判定する（Ｓ１５０）。処理領域と指示領域との対応関係の判定とは、各処理領域に対していずれの指示領域が対応するのかについての判定をいい、処理領域と指示領域とを対応付ける（紐付ける）ことをいう。処理領域と指示領域とを対応付けることで、各処理領域に対してどのような処理が指示されているのかを特定することができる。

【0036】

処理領域及び指示領域がそれぞれ１つである場合、対応判定部１２４は、当該処理領域と指示領域とを対応付ける。一方、処理領域及び指示領域がそれぞれ複数である場合、対応判定部１２４は、以下の処理によって処理領域と指示領域とを対応付ける。

【0037】

対応判定部１２４は、各処理領域と各指示領域との物理的距離（以下、単に「距離」という。）を算出する。処理領域と指示領域との物理的距離は、例えば、それぞれの中心画素位置（Ｘ座標，Ｙ座標）の間の距離によって評価されてもよい。或る領域の中心画素位置とは、当該領域のＸ座標の最小値及び最大値をそれぞれＸｍｉｎ、Ｘｍａｘとし、当該領域のＹ座標の最小値及び最大値をそれぞれＹｍｉｎ、Ｙｍａｘとして場合、（（Ｘｍｉｎ＋Ｘｍａｘ）／２，（Ｙｍｉｎ＋Ｙｍａｘ）／２）である。

【0038】

対応判定部１２４は、各処理領域について、当該処理領域からの物理的距離が最も近い指示領域を、当該処理領域に対応付ける。同じ指示領域が複数の処理領域に対応付く場合、対応判定部１２４は、当該指示領域をより近い方の処理領域に対応付ける。複数の指示領域が同じ処理領域に対応付く場合、対応判定部１２４は、当該処理領域に最も近い指示領域を当該処理領域に対応付け、他の指示領域を当該処理領域の次に近い処理領域に対応付ける。対応判定部１２４は、このような対応付けを再帰的に行うことで、処理領域と指示領域とを１対１に対応付ける。

【0039】

図７は、処理領域と指示領域との対応付けを説明するための図である。図７において左側の画像ｇ１は、図６の右側の画像ｇ１である。図７の右側は、処理領域と指示領域との対応付けの様子を示す。各処理領域内の（ｘ１～４，ｙ１～４）は、各処理領域の中心画素座標を示し、各指示領域内の（ｘＡ～Ｄ，ｙＡ～Ｄ）は、各指示領域の中心画素座標を示す。

【0040】

図７において、処理領域１に最も近い指示領域は指示領域Ａである。処理領域１と指示領域Ａとの距離は、処理領域２と指示領域Ａとの距離よりも短く、処理領域４と指示領域Ａとの距離よりも短い。したがって、処理領域１には指示領域Ａが対応付けられる。

【0041】

図８は、処理領域と指示領域との対応関係の判定結果の一例を示す図である。図７の例の場合、対応判定部１２４は、図８に示されるような対応関係を出力する。図８は、同じ行に割り当てられている処理領域及び指示領域が対応付けられたことを示す。

【0042】

続いて、抽出部１２５は、全ての指示領域から文字列を抽出する（Ｓ１６０）。或る指示領域からの文字列の抽出は、当該指示領域に対する文字認識（ＯＣＲ）を実行することで行うことができる。

【0043】

続いて、処理実行部１２６は、処理領域ごとに、当該処理領域に対応付けられた指示領域から抽出された文字列（以下、「指示文字列」という。）に応じた処理を実行する（Ｓ１７０）。各指示文字列にどの処理が対応するのかについては、処理実行部１２６にとって既知である。指示文字列と処理との対応付けは、処理実行部１２６のアルゴリズムに組み込まれていてもよいし、ファイル等、アルゴリズムの外部において定義されていてもよい。指示文字列と処理との対応付けがアルゴリズムの外部に定義される場合、指示文字列の種類の拡張に応じた処理の拡張を容易に行うことができる。例えば、指示文字列とプラグインとしてのプログラムとの対応付け情報がＨＤＤ１１４又はＮＶＲＡＭ１１５等に記憶されていてもよい。この場合、処理実行部１２６は、指示文字列に対応付けられているプラグインを呼び出すことで、当該指示文字列に応じた処理を実行してもよい。

【0044】

図５等の例では、各指示領域から抽出される文字列は「太字」、「青」、「英語」、「緑」である。「太字」は、対応する処理領域内から抽出される文字列（以下、「処理文字列」という。）を太字にする処理の実行指示を示す。「青」は、対応する処理領域内の前景（図５の例では、「かきくけこ」）の色を青にする処理の実行指示を示す。「英語」は、対応する処理領域内の処理文字列を英語に翻訳する処理の実行指示を示す。「緑」は、対応する処理領域内の前景（図５の例では「さしすせそ」）の色を緑にする処理の実行指示を示す。したがって、図８の対応付けに基づく各処理領域に対する処理内容は、図９のようになる。

【0045】

図９は、第１の実施の形態において各処理領域に対して指示領域の文字列に応じて実行される処理内容を説明するための図である。図９には、図５の画像ｇ１において特定される処理領域ごとに、当該処理領域に対応する指示領域の指示文字列、及び処理内容が示されている。処理内容は、処理領域内の画像について指示文字列に応じて実行される処理の内容である。

【0046】

なお、「太字」、「青」、「英語」、「緑」のうち、「英語」については、処理文字列の意味が特定される必要があるため、処理実行部１２６は、文字認識によって処理領域３から処理文字列（「こんにちは」）を抽出し、当該処理文字列を英語に翻訳することで得られる文字列の画像によって、処理領域３の画像を置き換える。

【0047】

「太字」については、処理実行部１２６は、文字認識によって処理領域１から処理文字列を抽出し、当該処理文字列を太字の書体に変換することで得られる文字列の画像によって、処理領域１の画像を置き換えてもよい。又は、処理実行部１２６は、処理領域１の画像を文字列として扱わずに、当該画像内における線を太くするような画像処理を行うことで、処理領域１内の文字列が太字に見えるようにしてもよい。

【0048】

「青」及び「緑」は、処理領域内の内容が文字であるとは限らないため、処理実行部１２６は、処理領域内において前景の画素を青又は緑にする。但し、「青」及び「緑」の場合であっても、処理実行部１２６は、文字認識によって各処理領域から処理文字列を抽出し、当該処理文字列を指定された色に変換することで得られる文字列の画像によって、各処理領域の画像を置き換えてもよい。

【0049】

なお、本実施の形態において指示領域において指定されている指示文字列は一例にすぎない。例えば、フォントの変更、書体の変更又は緑若しくは青以外の色への変更等、他の処理を示す指示文字列の指定が可能とされてもよい。

【0050】

処理実行部１２６による処理は、画像ｇ１の処理領域に対して行われる。換言すれば、処理実行部１２６による処理結果は、画像ｇ１の処理領域に対して反映される。例えば、処理実行部１２６は、或る処理領域の画像に対する処理結果を当該処理領域のサイズの画像に変換し、当該画像を当該処理領域に合成する。その結果、図５の左側の画像ｇ１は次のように変化する。

【0051】

図１０は、第１の実施の形態における各処理領域に対する処理の実行結果の一例を示す図である。図１０において左側の画像ｇ１は、処理の実行前の対象画像（すなわち、図５の左側の画像ｇ１）である。右側の画像ｇ１は、処理の実行後の対象画像である。各処理領域内は、指示文字列に応じた処理によって変化している。なお、図１０においては表現されていないが、「さしすせそ」の色は緑色にされ、「かきくけこ」の色は青色にされている。

【0052】

続いて、消去部１２７は、動作モードの設定において処理マークｍｒ及び指示マークｍｅの消去（以下、「マーク消去」という。）が指定されているか否かを判定する（Ｓ１８０）。マーク消去が指定されている場合（Ｓ１８０でＹｅｓ）、消去部１２７は、画像ｇ１から全ての処理マークｍｒ及び全ての指示マークｍｅを消去する（Ｓ１９０）。処理マークｍｒ及び指示マークｍｅの消去は、処理マークｍｒ又は指示マークｍｅを構成する画素の色を背景色と同じにすることで実現することができる。

【0053】

図１１は、マーク消去の実行結果の一例を示す図である。図１１において左側の画像ｇ１は、マーク消去の実行前の対象画像（図１０の右側の画像ｇ１）である。右側の画像ｇ１は、マーク消去の実行後の対象画像である。マーク消去により、対象画像は全ての処理マークｍｒ及び全ての指示マークｍｅが消去された画像になる。その結果、ユーザは、本来の原稿の内容を示す画像に対して指示文字列に応じた処理が実行された結果を示す画像を得ることができる。

【0054】

ステップＳ１８０でＮｏの場合、又はステップＳ１９０に続いて、出力部１２８は、例えば、設定情報に応じた態様で画像ｇ１を出力する（Ｓ２００）。例えば、出力部１２８は、画像ｇ１の印刷をプリンタ１３に実行させたり、画像ｇ１をＨＤＤ１１４に保存したりする。

【0055】

上述したように、第１の実施の形態によれば。ユーザは、紙文書（原稿）に対して手書きにてマーキングや指示文字列の描画を行うことで、当該紙文書から読み取られた画像において処理マークｍｒが付与された範囲に対して指示文字列に応じた処理を実行させることができる。したがって、画像の任意の箇所に対して実行させる処理の指定のための作業負担を軽減することができる。

【0056】

次に、第２の実施の形態について説明する。第２の実施の形態では第１の実施の形態と異なる点について説明する。したがって、特に言及されない点については、第１の実施の形態と同様でもよい。

【0057】

第２の実施の形態では、ユーザが原稿に対して誤ってマーキングを行ってしまった場合や、意図通り行ったマーキングを取り消したい場合の救済措置が開示される。具体的には、ユーザは、取り消したい処理マークｍｒに対して取り消すことを意味する所定の図形又は記号（以下、「取り消し図形」という。）を付加することで、当該処理マークｍｒを無効化することができる。本実施の形態では、取り消し図形として二重線（以下、「取り消し線」という。）が採用される例を示すが、他の図形又は記号が、取り消し図形として採用されてもよい。

【0058】

図１２は、第２の実施の形態における原稿の一例を示す図である。図１２中、図３と同一部分には同一符号を付し、その説明は省略する。図１２では、原稿ｐ１において、処理マークｍｒ３に対して取り消し線ｃ３が付加され、処理マークｍｒ４に対して取り消し線ｃ４が付加された例が示されている。取り消し線ｃ３が及び取り消し線ｃ４は、ユーザが、処理マークｍｒ３及び処理マークｍｒ４を取り消したい（無効化したい）ために描画した取り消し線である。

【0059】

第２の実施の形態では、このような原稿ｐ１が読み取り対象とされる。

【0060】

図１３は、第２の実施の形態における画像処理装置１０が実行する処理手順の一例を説明するためのフローチャートである。図１３中、図４と同一ステップには同一ステップ番号を付し、その説明は省略する。図１３では、ステップＳ１３０とステップＳ１４０との間にステップＳ１３５が追加される。また、ステップＳ１７０がＳ１７０ａに置換される。

【0061】

ステップＳ１３５において、検出部１２３は、ステップＳ１３０において特定した各処理領域からの取り消し線の検出処理を実行する。取り消し線の検出には、公知技術であるパターンマッチングを用いることができる。つまり、取り消し線のパターンとしての１種類１以上の画像が予めＨＤＤ１１４等に登録される。検出部１２３は、各処理領域の周囲から当該画像にマッチする部分が検出されるか否かで、取り消し線の有無を判定する。

【0062】

図１４は、取り消し線の検出処理を説明するための図である。図１４において、左端の画像ｇ１は、ステップＳ１２０において原稿ｐ１（図１２）から読み取られた対象画像である。中央の画像ｇ１は、ステップＳ１３０において矩形領域が特定された画像ｇ１である。右端の画像ｇ１は、各矩形領域について取り消し線の検出結果（取り消し線の有無）を示す対象画像である。

【0063】

検出部１２３は、処理領域１～４のそれぞれの周囲について、取り消し線の画像とのパターンマッチングを行う。図１４の場合、検出部１２３は、処理領域３及び処理領域４から取り消し線を検出する。検出部１２３は、取り消し線が検出された処理領域に対しては、取り消し線が有ることを示すラベル（「取り消し線有」）を関連付け、処理消し線が検出されなかった処理領域に対しては、取り消し線が無いことを示すラベル（「取り消し線無」）を関連付ける。

【0064】

なお、本実施の形態では、取り消し線が処理マークｍｒ１の枠線上に付加されることを前提としているために、処理領域の周囲がパターンマッチングの範囲とされているが、取り消し図形がどの部分に付加されるのかに応じて、パターンマッチングの範囲は適宜変更されてもよい。

【0065】

ステップＳ１７０ａにおいて、処理実行部１２６は、「取り消し線無」が関連付けられている処理領域ごとに、当該処理領域から抽出された処理文字列について、当該処理領域に対応付けられた指示領域から抽出された指示文字列に応じた処理を実行する。換言すれば、処理実行部１２６は、「取り消し線有」が関連付けられている処理領域については処理を実行しない。

【0066】

図１５は、第２の実施の形態において各処理領域に対して指示領域の文字列に応じて実行される処理内容を説明するための図である。図１５には、図９と同様に、画像ｇ１において特定される処理領域ごとに、当該処理領域に対応する指示領域の指示文字列、及び処理内容が示されていると共に、取り消し線有無が示されている。取り消し線有無は、「取り消し線有」及び「取り消し線無」のいずれのラベルが関連付けられているのかを示す。「有」は、「取り消し線有」が関連付けられていることを示し、「無」は、「取り消し線無」が関連付けられていることを示す。

【0067】

上記したように、処理実行部１２６は、「取り消し線無」が関連付けられている処理領域に関しては処理を実行しない。したがって、処理領域３及び４の処理内容は、処理が実行されないことを示す「変更無し」となっている。図１５に示した処理内容の実行により、図１４の左端の画像ｇ１は、次のように変化する。

【0068】

図１６は、第２の実施の形態における各処理領域に対する処理の実行結果の一例を示す図である。図１６において左側の画像ｇ１は、処理の実行前の対象画像（すなわち、図５の左側の画像ｇ１）である。右側の画像ｇ１は、処理の実行後の対象画像である。処理領域１及び２は、処理の実行により変化しているが、処理領域３及び４は、処理が実行されないため変化しない。なお、図１６においては表現されていないが、「さしすせそ」の色は緑色にされていない。

【0069】

上述したように、第２の実施の形態によれば、マーキングを行った後でもマーキングを取り消す（無効化する）ことができる。

【0070】

なお、図４及び図１３において、ステップＳ１３０以降の処理は、画像処理装置１０にネットワークを介して接続するコンピュータによって実行されてもよい。この場合、当該コンピュータは、ネットワークを介して画像処理装置１０から対象画像を受信すればよい。

【0071】

なお、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

【0072】

なお、上記各実施の形態において、処理マークｍｒは、第１の図形の一例である。処理領域は第１の領域の一例である。指示マークｍｅは、第２の図形の一例である。指示領域は第２の領域の一例である。取り消し線は、第３の図形の一例である。

【0073】

以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【0074】

本発明の態様は、例えば、以下の通りである。
＜１＞
画像の中から第１の図形及び第２の図形を検出し、前記第１の図形に対応する第１の領域及び前記第２の図形に対応する第２の領域を特定する検出部と、
前記第２の領域から記号を抽出する抽出部と、
前記第１の領域に対して前記記号に応じた処理を実行する処理実行部と、
を有することを特徴とする画像処理装置。
＜２＞
前記抽出部は、前記第１の領域から文字列を抽出し、
前記処理実行部は、前記第１の領域から抽出された文字列に対して前記第２の領域から抽出された記号に応じた処理を実行し、処理結果に基づく画像を前記第１の領域に合成する、
ことを特徴とする＜１＞記載の画像処理装置。
＜３＞
前記検出部は、前記画像の中から複数の前記第１の図形及び複数の前記第２の図形を検出して、複数の前記第１の領域及び複数の前記第２の領域を特定し、
前記処理実行部は、複数の前記第１の領域ごとに、当該第１の領域との位置関係に基づいて特定されるいずれかの前記第２の領域から抽出された記号に応じた処理を実行する、
ことを特徴とする＜１＞又は＜２＞記載の画像処理装置。
＜４＞
前記第１の領域に対して前記記号に応じた処理が実行された画像から前記第１の図形及び前記第２の図形を消去する消去部、
を有することを特徴とする＜１＞乃至＜３＞いずれか記載の画像処理装置。
＜５＞
前記検出部は、更に、前記第１の図形に第３の図形が付与されているか否かを判定し、
前記処理実行部は、前記第３の図形が付与されている前記第１の図形に係る前記第１の領域に対しては前記記号に応じた処理を実行しない、
ことを特徴とする＜１＞乃至＜４＞いずれか記載の画像処理装置。
＜６＞
画像の中から第１の図形及び第２の図形を検出し、前記第１の図形に対応する第１の領域及び前記第２の図形に対応する第２の領域を特定する検出手順と、
前記第２の領域から記号を抽出する抽出手順と、
前記第１の領域に対して前記記号に応じた処理を実行する処理実行手順と、
をコンピュータが実行することを特徴とする画像処理方法。
＜７＞
画像の中から第１の図形及び第２の図形を検出し、前記第１の図形に対応する第１の領域及び前記第２の図形に対応する第２の領域を特定する検出手順と、
前記第２の領域から記号を抽出する抽出手順と、
前記第１の領域に対して前記記号に応じた処理を実行する処理実行手順と、
をコンピュータに実行させることを特徴とするプログラム。

【符号の説明】

【0075】

１０ 画像処理装置
１１ コントローラ
１２ スキャナ
１３ プリンタ
１４ モデム
１５ 操作パネル
１６ ネットワークインタフェース
１７ ＳＤカードスロット
８０ ＳＤカード
１１１ ＣＰＵ
１１２ ＲＡＭ
１１３ ＲＯＭ
１１４ ＨＤＤ
１１５ ＮＶＲＡＭ
１２１ 入力部
１２２ 読取制御部
１２３ 検出部
１２４ 対応判定部
１２５ 抽出部
１２６ 処理実行部
１２７ 消去部
１２８ 出力部

【先行技術文献】

【特許文献】

【0076】

【特許文献1】特開２０２２－１４０２０８号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】