特許 7357579 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-28

(45)【発行日】2023-10-06

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   H04N 1/387 20060101AFI20230929BHJP

   H04N 1/00 20060101ALI20230929BHJP

【ＦＩ】

H04N1/387

H04N1/387 200

H04N1/00 E

【請求項の数】 7

(21)【出願番号】P 2020060275

(22)【出願日】2020-03-30

(65)【公開番号】P2021158642

(43)【公開日】2021-10-07

【審査請求日】2022-09-21

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100112335

【弁理士】

【氏名又は名称】藤本 英介

(74)【代理人】

【識別番号】100101144

【弁理士】

【氏名又は名称】神田 正義

(74)【代理人】

【識別番号】100101694

【弁理士】

【氏名又は名称】宮尾 明茂

(74)【代理人】

【識別番号】100124774

【弁理士】

【氏名又は名称】馬場 信幸

(72)【発明者】

【氏名】井上 康弘

【審査官】花田 尚樹

(56)【参考文献】

【文献】特開２０１７－０１７４５５（ＪＰ，Ａ）

【文献】特開２０１０－０８８０３７（ＪＰ，Ａ）

【文献】特開２０２０－０４８１４６（ＪＰ，Ａ）

【文献】特開２００７－００４６２１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １／３８ － １／３９３

Ｈ０４Ｎ １／００

(57)【特許請求の範囲】

【請求項1】

付箋が選択的に添付された複数の原稿を読み取って生成した原稿画像に対し処理を行う画像処理装置において、
付箋のサイズ、色、添付位置を含む付箋に関する付箋情報を前記原稿画像から抽出する付箋情報抽出部と、
互いに対応する前記原稿画像及び前記付箋情報に基づいて、付箋付き原稿から付箋を除去した原稿の画像に相当する付箋無し原稿画像を生成し、且つ複数の前記付箋付き原稿に対応する複数の前記付箋情報をまとめて記載した付箋情報画像を生成し、前記付箋無し原稿画像と前記付箋情報画像とを関連付ける画像処理部と、
関連付けられた前記付箋無し原稿画像と前記付箋情報画像とを出力する画像出力部と、
を備えることを特徴とする画像処理装置。

【請求項2】

前記画像処理部は、前記付箋情報に基づいて前記付箋無し原稿画像をグループ化し、各グループ毎に前記付箋無し原稿画像と前記付箋情報画像を関連付けて生成することを特徴する請求項１に記載の画像処理装置。

【請求項3】

前記画像出力部は、前記付箋情報画像を前記付箋無し原稿画像とは別の画像として先に出力し、前記付箋情報画像に関連付けられた前記付箋無し原稿画像を出力することを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記付箋情報抽出部は、付箋に記載された文字列をテキストデータに変換して付箋情報とすることを特徴とする請求項１に記載の画像処理装置。

【請求項5】

前記画像処理部は、前記付箋付き原稿画像に対し、付箋部分を除去し、除去された付箋部分を原稿画像の背景で補完して前記付箋無し原稿画像を生成することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。

【請求項6】

付箋が選択的に添付された複数の原稿を読み取って生成した原稿画像に対し処理を行う画像処理方法において、
付箋のサイズ、色、添付位置を含む付箋に関する付箋情報を前記原稿画像から抽出する付箋情報抽出ステップと、
互いに対応する前記原稿画像及び前記付箋情報に基づいて、付箋付き原稿から付箋を除去した原稿の画像に相当する付箋無し原稿画像を生成し、且つ複数の前記付箋付き原稿に対応する複数の前記付箋情報をまとめて記載した付箋情報画像を生成し、前記付箋無し原稿画像と前記付箋情報画像とを関連付ける画像処理ステップと、
関連付けられた前記付箋無し原稿画像と前記付箋情報画像とを出力する画像出力ステップと、
を備えることを特徴とする画像処理方法。

【請求項7】

コンピュータに、請求項６に記載の画像処理方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、選択的に添付した付箋付き原稿を読み取って、付箋がない状態の原稿画像と付箋に関する情報を別々に出力できるようにする画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

従来、分類したり、コメントを付したりするために、原稿に付箋を付すことがある。そして、この付箋付き原稿をスキャナなどで読み取ってデータ化したり、コピーを取ったりすることが行われている。

【0003】

しかし、付箋が付された状態で読み取ると、付箋の部分が汚れた状態になったりすることがある。また、付箋に記載されたコメントを原稿に記載したくない場合もある。さらに付箋の種類（色やサイズなど）に基づいて、分類する際には人手に頼るしかなく、人の手で仕分ける作業は、原稿の紛失の恐れ、付箋剥がれの可能性もありリスクが大きい。

【0004】

そこで、特許文献１の発明では、付箋付き原稿を読み取った際に付箋部分を認識し、付箋部分のみを除去した画像を作成する。
また、特許文献２の発明では、タブ紙を使う際に付箋に記載された内容をタブ部分に付箋の内容を転記する。
また、特許文献３の発明では、各グループの先頭ページに付箋を貼り付けた複数の原稿から付箋画像を抽出して原稿画像の所定位置に重ねて合成する/もしくは別表紙にカバーページを付けることで、同一グループか否かを容易に把握できるようにしている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００７－１５９０６５号公報

【文献】特開２００９－８９２９４号公報

【文献】特開２０１０－８８０３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１の発明では、添付されていた付箋に関する情報が除去されてしまうため、付箋が何の種類でどのように添付されていたかの履歴を追いかけることが困難となる。
また、特許文献２の発明ではタブ紙（特殊紙）が必要となり、通常ユーザでは準備困難である。
また、特許文献３の発明では、付箋を区切りにグループ化を行うことを特徴としているが、読み取った原稿がグルーピングされて順番に並んでいない場合には対応できない。

【0007】

本発明は、斯かる実情に鑑み、選択的に付箋を添付した原稿画像を処理して付箋無し原稿画像とし、且つ付箋無し原稿画像に関する付箋情報を付箋情報画像として付箋無し原稿画像とは別に出力できる画像処理装置、画像処理方法及びプログラムを提供するものである。
また、本発明は、付箋情報に基づいて原稿画像をグループ化して、各グループ毎に付箋情報画像と付箋無し原稿画像を出力できる画像処理装置、画像処理方法及びプログラムを提供するものである。

【課題を解決するための手段】

【0008】

本発明は、付箋が選択的に添付された複数の原稿を読み取って生成した原稿画像に対し処理を行う画像処理装置において、
前記原稿画像から付箋に関する付箋情報を抽出する付箋情報抽出部と、
前記付箋情報に基づいて付箋付き原稿画像に対して付箋を除去して原稿画像を付箋無し原稿画像として生成し、且つ前記付箋情報を記載した付箋情報画像を生成し、前記付箋無し原稿画像と前記付箋情報画像を関連付ける画像処理部と、
関連付けられた前記付箋無し原稿画像と前記付箋情報画像を出力する画像出力部と、
を備えることを特徴とするものである。

【0009】

ここで、前記画像処理部は、前記付箋情報に基づいて前記付箋無し原稿画像をグループ化し、各グループ毎に前記付箋無し原稿画像と前記付箋情報画像を関連付けて生成することを特徴するものである。

【0010】

また、本発明は、付箋が選択的に添付された複数の原稿を読み取って生成した原稿画像に対し処理を行う画像処理方法において、
前記原稿画像から付箋に関する付箋情報を抽出する付箋情報抽出ステップと、
前記付箋情報に基づいて付箋付き原稿画像に対して付箋を除去して原稿画像を付箋無し原稿画像として生成し、且つ前記付箋情報を記載した付箋情報画像を生成し、前記付箋無し原稿画像と前記付箋情報画像を関連付ける画像処理ステップと、
関連付けられた前記付箋無し原稿画像と前記付箋情報画像を出力する画像出力ステップと、
を備えることを特徴とするものである。

【0011】

本発明は、コンピュータに、前記画像処理方法を実行させるためのプログラムである。

【発明の効果】

【0012】

本発明によれば、付箋付きの原稿を読み取って、付箋無しの原稿画像を生成するとともに、付箋情報を別付箋情報画像として生成することで、付箋無しの元原稿を出力印刷し、さらにそれに関する付箋情報も出力印刷できるので、付箋情報が失われることもなく保持できるという優れた効果を奏し得る。

【0013】

また、本発明によれば、付箋情報に基づいてグルーピングして、グループ毎に付箋情報画像と付箋無し原稿画像を出力できるので、グルーピングする場合に読み込む原稿の順にかかわらず、且つ人手をかける手間を省くことができる。

【図面の簡単な説明】

【0014】

【図1】本発明に係る第１実施形態の画像形成装置を示すブロック図である。

【図2】本発明に係る第１実施形態の画像形成装置の画像処理装置を示すブロック図である。

【図3】本発明に係る第１実施形態の画像形成装置による付箋付き原稿の画像処理を示すフローチャートである。

【図4】第１実施形態の画像処理装置による原稿画像の生成処理を示すフローチャートである。

【図5】第１実施形態の画像処理装置による付箋情報画像の生成処理を示すフローチャートである。

【図6】付箋情報画像及び原稿画像の出力処理を示すフローチャートである。

【図7】付箋付き原稿を示す説明図である。

【図8】原稿における付箋の添付位置を示す説明図である。

【図9】付箋付き原稿画像から付箋画像を除去する処理を説明する説明図である。

【図10】出力した付箋情報画像及び原稿画像を示す説明図である。

【図11】本発明に係る第２実施形態の画像形成装置の付箋付き原稿の画像処理を示すフローチャートである。

【図12】第２実施形態の画像処理装置による原稿画像の生成処理を示すフローチャートである。

【図13】第２実施形態の画像処理装置によるグルーピング処理を示すフローチャートである。

【図14】第２実施形態の画像処理装置による付箋情報画像の生成処理を示すフローチャートである。

【図15】第２実施形態の画像処理装置による付箋情報画像及び原稿画像の出力処理を示すフローチャートである。

【図16】黄色付箋６１０にグルーピングされた付箋情報画像と原稿画像を示す説明図である。

【図17】青色付箋６２０にグルーピングされた付箋情報画像と原稿画像を示す説明図である。

【図18】黄色付箋６３０にグルーピングされた付箋情報画像と原稿画像を示す説明図である。

【発明を実施するための形態】

【0015】

以下、本発明の実施の形態を添付図面を参照して説明する。

【0016】

＜第１実施形態＞
本発明の第１実施形態は、本発明の画像処理装置を備えた画像形成装置であり、選択的に添付された原稿を読み取って、付箋がない状態の原稿画像と、付箋に関する付箋情報を記載した画像を別々に出力するものである。

【0017】

［画像形成装置の構成］
第１実施形態に係る画像形成装置１は、コピー機能、印刷機能、及びスキャナ機能等を有する多機能デジタル複合機（ＭＦＰ）である。図１に示すように、画像形成装置１は、入力操作を行なう操作パネル１０、画像入力装置２０、画像処理装置３０、記憶装置４０、画像出力装置５０、外部通信装置６０、制御装置７０を有して構成されている。

【0018】

操作パネル１０は、液晶ディスプレイ等で構成される表示部１１と、ユーザが画像形成装置１の動作モードを設定するための設定ボタン及びテンキー等の操作部１２とを備える。操作部１２は、スイッチ、キーボード、あるいはマウスなどポインティングデバイスといったハードウェアの入力装置で実現してもよいし、表示部１１と一体と形成されるタッチパネル等により実現してもよい。

【0019】

画像入力装置２０は、原稿から画像を光学的に読み取る。画像入力装置２０は、たとえばＣＣＤ（Charge Coupled Device）を有するカラースキャナよりなり、原稿からの反射光像を、ＣＣＤを用いてＲＧＢ（Ｒ：赤，Ｇ：緑，Ｂ：青）またはモノクロのアナログ信号として読み取り、画像処理装置３０へ出力する。

【0020】

画像処理装置３０は、画像入力装置２０から送られてきたアナログ画像信号をデジタル画像データに変換し、画像処理を行う。そして、画像処理を施した画像データを画像出力装置５０に送信するようになっている。

【0021】

記憶装置４０は、画像処理装置３０にて扱われる画像データを一旦保存するためのハードディスクあるいはソリッドステートドライブ（ＳＳＤ）、フラッシュメモリなどの記憶媒体を備えたデータ記憶装置である。記憶装置４０は、複数の出力階調数候補に関する情報や、その他様々な設定情報を事前に記録するとともに、画像処理中において、画像処理演算により作成した画像データを一時的に保存する装置である。

【0022】

画像出力装置（例えば、プリンタ）５０は、画像処理装置３０から送られてきた画像データの画像を記録媒体（例えば紙、記録用紙等）上に印刷（画像を形成）するものであり、例えば、電子写真方式を用いたカラープリンタを挙げることができる。また、画像データの出力先を、ＵＳＢメモリなどの外部記憶媒体、他の装置、本装置の記憶装置４０とすることも可能である。

【0023】

外部通信装置６０は、ネットワークを介して他の装置と通信を行う。例えば、外部通信装置６０は、ネットワークに接続可能なインタフェースを有し、有線／無線ＬＡＮ（Local Area Network）を解して他の装置と通信できればよい。なお、ＵＳＢ（Universal Serial Bus）インタフェース等により、他の装置（例えばＵＳＢメモリ等）から画像データを受信してもよいし、他の装置へ送信してもよい。

【0024】

制御装置７０は、ＣＰＵ（Central Processing Unit）あるいはＤＳＰ（Digital Signal Processor）等のプロセッサを含むコンピュータであり、画像形成装置１に備えられる各種ハードウェアを統括的に制御するものである。また、制御装置７０は、画像形成装置１に備えられる各ハードウェア間のデータ転送を制御する機能を有する。さらに、制御装置７０は、不図示のネットワークカード及びＬＡＮケーブルを介して、ネットワークに接続されたコンピュータ及び他のデジタル複合機等とのデータ通信を制御する機能を有する。

【0025】

［画像処理装置の構成］
図２は、第１実施形態の画像処理装置を示すブロック図である。
画像処理装置３０は、画像入力部３１と、付箋検出部３２と、付箋情報抽出部３３と、原稿付箋分離部３４と、画像処理部３５と、画像出力部３６とを備える。

【0026】

画像入力部３１は、画像入力装置２０が画像処理装置３０へ出力したアナログ信号やデジタル信号に基づきデジタル信号に変換し、入力画像データを生成する。なお、画像入力部３１は、上記の例に限定されず、外部から画像データを受け取り、受け取った画像データを入力画像データとするものであってもよい。

【0027】

付箋検出部３２は、読み込んだ原稿画像に対して、付箋を検出する。その方法は、原稿用紙のエッジを検出して標準の原稿用紙のからはみ出る用紙エッジがあるかで検出してもよいし、付箋の段差による付箋のエッジの影から検出しても良いし、付箋の標準テーブルに登録されたデータにより、標準テーブルの付箋との画像比較によって行ってもよい。画像比較の方法についてはパターン認識等、どのような方法を用いても良い。さらには、付箋の色と原稿との色の違いによって検出してもよい。また、これらを組み合わせてもよい。

【0028】

付箋情報抽出部３３は、検出した付箋の色、サイズ、添付位置、記載されたコメント内容などの付箋情報を取得する。

【0029】

原稿付箋分離部３４は、付箋情報に従い、付箋付き原稿画像から原稿と付箋を分離し、付箋画像を除去する処理を行う。

【0030】

画像処理部３５は、入力画像データに対して画像処理を行い、画像データを生成する。付箋画像を除去すると、元々の原稿画像に欠けができることになるが、周囲の背景値より、平均かつ連続した背景画像を生成し、原稿画像の欠け部に背景画像を生成し埋め込む。また、付箋情報については、原稿とは別に付箋情報画像を生成する。

【0031】

画像出力部３６は、画像処理装置３０が生成した出力画像データを電子データの形式で画像処理装置３０の外部に出力する。

【0032】

［付箋付き原稿の画像処理］
以下に、第１実施形態の画像形成装置による付箋付き原稿の画像処理を説明する。
図３は、第１実施形態の画像形成装置による付箋付き原稿の画像処理を示すフローチャートである。

【0033】

第１実施形態の画像処理は、付箋付き原稿を読み込んで、それを付箋なしの元原稿画像と、それとは別に付箋情報を記載した画像を生成して出力するものである。

【0034】

画像形成装置１が、図７に示す付箋付き原稿を読み込んだ場合の画像処理について説明する。
図７示すように、Ａ４サイズの原稿５００ａ～５００ｉには黄色付箋６１０、青色付箋６２０、黄色付箋６３０が貼られている。従って、原稿５００ｆのように付箋が添付されていないものも存在する。各付箋のサイズは以下の通りとする。
・黄色付箋６１０：２０×６０ｍｍ
・青色付箋６２０：２０×６０ｍｍ
・黄色付箋６３０：６０×６０ｍｍ

【0035】

例えば、原稿がリサーチ会社に委託した市場調査の報告資料であり、これに対し、次のように付箋を添付した場合を想定する。
・Ａ事業に関係する原稿には黄色付箋６１０
・Ｂ事業に関係する原稿には青色付箋６２０
・Ａ事業/Ｂ事業でさらに踏み込んだ調査要求が必要な原稿にはコメント記載の黄色付箋６３０

【0036】

付箋の添付位置は、図８に示すように、原稿５００を２列４行に区切り、左側列を上から位置１－１～１－４とし、右側列を上から位置２－１～２－４とする。Ａ事業/Ｂ事業を区別するための黄色付箋６１０（２０×６０ｍｍ）は位置２－１に、青色付箋６２０（２０×６０ｍｍ）は、位置２－４に貼り付け、コメント記載の黄色付箋６３０（６０×６０ｍｍ）は位置１－４に貼り付けるとする。

【0037】

なお上記の原稿、付箋種類、付箋の添付位置は一例にすぎず、原稿の内容に応じてユーザが付箋種類、添付位置を任意に設定して良い。

【0038】

まず初めに、画像形成装置１の画像入力装置２０により、付箋付き原稿５００の画像を光学的に読み取ってアナログ信号として画像処理装置３０へ出力する（ステップＳ１０１）。読み取りの方法は、原稿を１枚ずつ画像入力装置２０に手動でセットする方法でもよいし、機械的な紙送り機能（ＡＤＦ）を用いて複数枚の原稿を連続的に読み込む方法でもよい。紙送り機能（ＡＤＦ）を用いて読み込む場合は搬送の際にジャムする恐れがある為、原稿の上下方向及び搬送の際の先端方向にはみ出る様には付箋はつけない様にする方がよい。原稿内に内向きで貼り付けるようにしてもよい。そして、画像処理装置３０に備えられた画像入力部３１により、デジタル信号の画像データに変換することで画像データの入力処理を行い、画像データである原稿画像を記憶装置４０に一時保存する（ステップＳ１０２）。

【0039】

選択的付箋付き原稿画像を記憶装置４０に保存する場合、フォルダを形成し、そこに原稿画像を画像ファイルとして保存する。この際には原稿画像と付箋全体が丁度収まる矩形の定型外のサイズの画像または原稿画像と付箋全体が入る定型サイズでの画像として保存する。ファイル名には、読み込み順に番号（原稿読み込み番号とする）を付して区別できるにする。またはＰＤＦデータの様に複数頁の画像を１つのファイルとして保存してもよい。

【0040】

画像処理装置３０の付箋検出部３２は、記憶装置４０に保存した原稿画像に基づいて付箋を検出する（ステップＳ１０３）。

【0041】

付箋の検出方法は、前述したように種々あるが、例えば以下のように行う。
まず付箋付き原稿画像から用紙のエッジを検出する。標準用紙サイズ（例えばＡ４、Ａ３等）と比較してはみ出した用紙エッジがあるかを検出し、はみ出した部分があれば、そこが付箋の可能性がある。付箋の周縁の影、付箋と原稿の色差や濃度差などを検出して、付箋部分を検出する。本実施形態では、付箋が矩形をなしているので、付箋の矩形部分を検出する。

【0042】

ここで予め設定しておいた、付箋の標準部品テーブルを記憶装置４０に保存しておいて、これを用いて検出した矩形部分を画像比較して一致するものは付箋として検出しても良い。画像比較の方法についてはパターン認識等、どのような方法を用いてもよい。

【0043】

なお、付箋の標準部品テーブルは、工場出荷時にメーカー側で主要な付箋の種類をあらかじめ登録しておいても良いし、複合機搭載のスキャナに使用する付箋を並べて、読み込ませることで、ユーザ指定の付箋を登録する形でも良い。同じく付箋の貼り付け位置テーブルも、工場出荷時にメーカー側であらかじめ使われる付箋の種類、用紙サイズに合わせた区切り仕様を登録しておいても良いし、ユーザ側で区切りを操作パネル等を用いて設定する形でも良い。

【0044】

付箋検出部３２は、付箋が検出された場合、付箋が有りと判断して（ステップＳ１０４；有）、ステップＳ１０５に進む。付箋検出部３２は、付箋が検出されなかった場合、付箋が無しと判断し（ステップＳ１０４；無）、図４の原稿画像の生成処理におけるステップＳ１２４に進む（詳しくは後述）。付箋の可能性があっても、付箋標準部品テーブルに該当するものがなかった場合、その旨を表示して、付箋無し、としても良い。

【0045】

ステップＳ１０５において、付箋情報抽出部３３は、予め登録して記憶装置４０に保存しておいた、付箋の標準部品テーブルおよび付箋の貼り付け位置テーブルを用いて、付箋の有無、種類（サイズ、色）、添付位置を、原稿の付箋情報として抽出する。また、付箋に書かれているコメントの文字列もテキストデータに変換して付箋情報として抽出する。抽出した付箋情報は、前述の原稿読み込み番号に関連させてデータベース化してファイルとして生成する。原稿に原稿頁が記載されている場合は、原稿に記載されている頁の数字をテキストデータに変換して原稿頁とし、原稿頁に対する付箋情報として生成してもよい。本実施形態では、原稿頁に対する付箋情報として生成する。

【0046】

付箋情報抽出部３３は、テキストデータ化した付箋情報を記憶装置４０の読み込み原稿画像を一時保存したフォルダに一時保存する（ステップＳ１０６）。原稿画像を一時保存せず原稿画像のフォルダがない場合は、記憶装置４０に新たにフォルダを生成して一時保存する。

【0047】

画像処理部３５は、付箋付き原稿画像から付箋を除去して出力する原稿画像の生成処理を行う（ステップＳ１０７）。ここで、画像処理部３５は、付箋の除去処理をした原稿画像と元々付箋が無かった原稿画像を付箋無し原稿画像として記憶装置４０の読み込み原稿画像のフォルダに出力画像フォルダを形成してそこに一時保存する。原稿画像を一時保存せず原稿画像のフォルダがない場合は、記憶装置４０に新たにフォルダを生成して一時保存する。
なお、ステップＳ１０７について、詳しくは後述する。

【0048】

画像処理部３５は、原稿画像が最終か否かを確認し（ステップＳ１０８）、最終画像であれば（ステップＳ１０８；ＹＥＳ）、ステップＳ１０９に進む。最終画像でなければ（ステップＳ１０８；Ｎｏ）、ステップＳ１０１に戻る。

【0049】

ステップＳ１０９において、画像処理部３５は、付箋情報に基づいて出力する付箋情報画像の生成処理を行う。ここで、画像処理部３５は、付箋情報画像を付箋無し原稿画像を保存したフォルダに保存する。こうして、画像処理部３５は、付箋情報画像と原稿画像を関連付ける。
なお、ステップＳ１０９について詳しくは後述する。

【0050】

ステップＳ１１０において、画像出力部３６は、関連づけた付箋画像情報画像と付箋無し原稿画像を出力し、画像出力装置５０にて用紙に印刷する。また、付箋無し原稿画像の出力先を、ＵＳＢメモリなどの外部記憶媒体、他の装置、本装置の記憶装置４０とすることも可能である。記憶装置４０に出力する場合は、一時保存用ではないフォルダを作成してそこに保存する。
なお、ステップＳ１１０について詳しくは後述する。

【0051】

ここで、ステップＳ１０７の原稿画像の生成処理について、図４、図９及び図１０に基づいて詳しく説明する。
図４は、画像処理装置による原稿画像の生成処理を示すフローチャートである。図９は、付箋付き原稿画像から付箋画像を除去する処理を説明する説明図である。図１０は、出力した付箋情報画像及び原稿画像を示す説明図である。

【0052】

画像処理装置３０の画像処理部３５は、記憶装置４０の読み込み原稿画像フォルダから原稿画像と付箋情報を取得する（ステップＳ１２１）。画像処理部３５は、付箋情報に従い、付箋付き原稿画像から付箋部分を除去する（ステップＳ１２２）。付箋部分を除去すると、元々の原稿画像に欠けができることになるが、周囲の背景値より、平均かつ連続した背景画像を生成し、原稿画像の欠け部に背景画像を生成し埋め込み、付箋無し原稿画像を生成する。こうして元々の付箋の添付されていない原稿画像を復活する。（ステップＳ１２３）。画像処理部３５は、フォルダを形成して生成した付箋無し原稿画像をファイルとして、記憶装置４０の読み込み原稿フォルダ内に出力原稿フォルダを形成し、そこに付箋無し原稿画像ファイルを次々と保存する（ステップＳ１２４）。原稿画像を一時保存せず原稿画像のフォルダがない場合は、記憶装置４０に新たにフォルダを生成して保存する。ＰＤＦファイルの様に１つのファイルに付箋無し原稿画像を次々と追加して保存する様にしてもよい。ステップＳ１０４において、付箋無しと判定された場合は、ステップＳ１２４において、付箋除去の処理をせずに、そのままの画像データを付箋無し原稿画像として保存する。

【0053】

ここで、図９により、ステップＳ２０２における付箋画像除去の処理について具体的に説明する。図９（ａ）には、付箋付き原稿画像の一例が示されている。原稿５００に対し黄色付箋６１０，６３０が添付されているものとする。

【0054】

図９（ｂ）に示すように、画像処理部３５が付箋付き原稿画像５０１のエッジを検出すると、原稿５００のサイズからはみ出した部分６１１，６３１を抽出できる。付箋の色やエッジの部分及び付箋の部品テーブルから付箋の矩形部分を検出できる。そこで、図９（ｃ）に示すように、付箋画像を除去した原稿画像５０２を生成する。付箋６１０の除去部分は６１２，付箋６３０の除去部分は６３２である。この除去部分（原稿の欠け部分）６１２，６３２に対し、原稿５００の周囲の背景値より、平均かつ連続した背景画像を生成し、原稿画像５０２の除去部分６１２，６３２に背景画像を生成し埋め込んで、付箋無し原稿画像７００を生成する。こうして、付箋がない元々の原稿５００を復活することができる。

【0055】

次に、ステップＳ１０９における付箋情報画像の生成処理について説明する。
図５は、画像処理装置による付箋情報画像の生成処理を示すフローチャートである。

【0056】

まず、付箋情報を記憶装置４０の読み込み原稿フォルダから取得する（ステップＳ１４１）。画像処理部３５は、読み込み原稿のすべてに関する付箋情報を記載した表紙を付箋情報画像として生成する（ステップＳ１４２）。この付箋情報画像は、付箋無し原稿画像とは全く別の画像であり、付箋無し原稿画像に添付されていた付箋情報であるので、付箋無し原稿画像の表紙として利用する。

【0057】

図１０に、付箋情報画像７５０の一例を示す。付箋情報画像７５０は、各原稿に添付されていた付箋の情報をまとめて記載したもので、付箋種類、添付されていた原稿頁、添付位置、コメントについて記載されている。

【0058】

画像処理部３５は、生成した付箋情報画像７５０を記憶装置４０の出力画像フォルダに保存する（ステップＳ１４３）。一つのフォルダに付箋情報画像と付箋無し原稿画像を保存することで、両者を関連づけることができる。各頁の付箋無し原稿画像を１つにまとめたＰＤＦ等のファイルの任意の位置に付箋情報画像を追加してもよい。

【0059】

次に、ステップＳ１１０における付箋情報画像及び原稿画像の出力処理について説明する。図６は、付箋情報画像及び原稿画像の出力処理を示すフローチャートである。

【0060】

画像出力部３６は、記憶装置４０の出力画像フォルダから付箋情報画像７５０と付箋無し原稿画像７００ａ～７００ｉを取得して（ステップＳ１６１）、画像出力装置５０に出力し、画像出力装置５０は用紙に付箋情報画像と原稿画像を出力（印刷）する（ステップＳ１６２）。また、付箋情報画像と原稿画像の出力先を、ＵＳＢメモリなどの外部記憶媒体、他の装置、本装置の記憶装置４０とすることも可能である。記憶装置４０に出力する場合は、一時保存用ではないフォルダを作成してそこに保存する。

【0061】

図１０に示すように、表紙として付箋情報画像７５０を印刷後、原稿画像７００ａ～７００ｉをこの順に印刷する。

【0062】

こうして、通常のコピー機能では、付箋が付いたままでコピーされてしまい、元原稿を維持することはできないが、本発明はそれを解決することが可能となる。

【0063】

また、元々の原稿の一番最初の頁の表紙に付箋情報をまとめた形で出力するので、原稿のページ順を維持したままで出力することが可能になる。今回の事例では、リサーチ会社に委託した市場調査の報告資料を元々の報告会社の提出してきた体裁を崩さずに、表紙の内容を見ることで目的のＡ事業やＢ事業に関連する内容も注目することができる文書形式で出力できる。

【0064】

＜第２実施形態＞

【0065】

本発明の第２実施形態は、本発明の画像処理装置を備えた画像形成装置によって、付箋付き原稿画像を読み取ってグルーピングして出力するものである。
以下に、第２実施形態に係る画像形成装置の付箋付き原稿の画像処理を説明する。
図１１は、第２実施形態に係る画像形成装置の付箋付き原稿の画像処理を示すフローチャートである。図１２は、第２実施形態の画像処理装置の

【0066】

グルーピングにおいては、ユーザが操作パネルからグルーピング処理の画面を表示させて、設定や処理操作を行うものとする。

【0067】

ステップＳ２０１～Ｓ２０８までは、図３のステップＳ１０１～Ｓ１０８と同じなので説明は省略する。また、図１２のステップＳ２２１～Ｓ２２４は、図４のステップＳ１２１～Ｓ１２４と同じなので説明は省略する。

【0068】

ステップＳ２０８において、原稿画像が最終であった場合（ステップＳ２０８；Ｙｅｓ）、画像処理部３５は、付箋情報に基づいて原稿のグルーピング処理を行う（ステップＳ２０９）。そして、グルーピングした原稿の付箋情報画像を生成する（ステップＳ２１０）。グループ毎に付箋情報画像と原稿画像を出力する（ステップＳ２１１）。

【0069】

次に、ステップＳ２０９のグルーピング処理について説明する。
図１３は、グルーピング処理を示すフローチャートである。

【0070】

画像処理部３５は、記憶装置４０の読み込み原稿画像フォルダから付箋情報を取得し（ステップＳ２３１）、グルーピング設定に従ってグループ分けする付箋情報を選択する（ステップＳ２３２）。グルーピング設定は、付箋情報の種類に従って順にグループ分けするものとして設定されている。画像処理装置３０は，このグルーピング設定に従い、全原稿の付箋情報に基づいてグルーピングの対象となる付箋種類を自動的に選択して処理を進める。グルーピング設定は、ユーザが操作パネル１０から設定可能とする。また、ユーザが操作パネル１０から付箋情報の項目を選択して、その選択した項目に対して処理を進めるものとしても良い。

【0071】

グルーピング設定によって、画像処理部３５は、付箋情報の付箋種類を順に選択するものとする。すなわち、
・黄色付箋６１０：２０×６０ｍｍ
・青色付箋６２０：２０×６０ｍｍ
・黄色付箋６３０：６０×６０ｍｍ
の順に選択するものとする。

【0072】

画像処理部３５は、選択順にグループ毎の付箋情報、すなわちグループ付箋情報を生成する（ステップＳ２３３）。画像処理部３５は、記憶装置４０の出力画像フォルダ内にグループのフォルダを生成し、そこに保存する（ステップＳ２２４）。また、グループ付箋情報に基づいて、グループに該当する付箋無し原稿画像もグループフォルダに保存する。こうしてグループ毎にフォルダが生成され、そこに各グループのグループ付箋情報と関連する付箋無し原稿画像が保存される。

【0073】

次に、付箋情報画像の生成処理について説明する。
図１４は、付箋情報画像の生成処理を示すフローチャートである。

【0074】

画像処理部３５は、グループ付箋情報を記憶装置４０から取得し（ステップＳ２４１）、グループ付箋情報に基づいてグループ付箋情報画像を生成する（ステップＳ２４２）。そして、画像処理部３５は、グループ付箋情報画像を記憶装置４０のグループフォルダに保存する（ステップＳ２４３）。こうしてグループ付箋情報画像も各グループフォルダに保存される。

【0075】

次に、付箋情報画像及び原稿画像の出力処理について説明する。
図１５は、付箋情報画像及び原稿画像の出力処理を示すフローチャートである。

【0076】

画像出力部３６は、各グループフォルダからグループ毎に付箋情報画像と付箋無し原稿画像を取得して（ステップＳ２６１）、画像出力装置５０に出力し、画像出力装置５０は用紙に付箋情報画像と原稿画像を出力（印刷）する（ステップＳ２６２）。また、付箋情報画像と原稿画像の出力先を、ＵＳＢメモリなどの外部記憶媒体、他の装置、本装置の記憶装置４０とすることも可能である。記憶装置４０に出力する場合は、一時保存用ではないフォルダを作成してそこに保存する。

【0077】

出力された付箋情報画像と原稿画像について説明する。
図１６～図１８は、各付箋種類毎にグルーピングされた付箋情報画像と原稿画像を示す説明図である。

【0078】

図１６は、黄色付箋６１０（２０×６０ｍｍ）についてのグループであり、表紙として付箋情報画像７５１が生成されている。図１６の「◎」には、黄色付箋６１０の付箋情報である、付箋種類（色、サイズ）、付箋が添付されている原稿頁、添付されている位置が記載されている。さらに、コメントが記載されている黄色付箋６３０の付箋情報も記載されている。そして表紙である付箋情報画像７５１に関連付けて、付箋無し原稿画像７００ａ，７００ｃ，７００ｅ，７００ｇが生成されている。

【0079】

図１７は、青色付箋６２０（２０×６０ｍｍ）についてのグループであり、表紙として付箋情報画像７５２が生成されている。図１７の「◎」には、青色付箋６２０の付箋情報である、付箋種類（色、サイズ）、付箋が添付されている原稿頁、添付されている位置が記載されている。さらに、コメントが記載されている黄色付箋６３０の付箋情報も記載されている。そして表紙である付箋情報画像７５２に関連付けて、付箋無し原稿画像７００ｂ，７００ｄ，７００ｈが生成されている。

【0080】

図１８は、黄色付箋６３０（６０×６０ｍｍ）についてのグループであり、表紙として付箋情報画像７５３が印刷されている。図１８の「◎」には、黄色付箋６３０の付箋情報である、付箋種類（色、サイズ）、付箋が添付されている原稿頁、添付されている位置が記載されている。さらに、コメント内容が黄色付箋６３０の付箋情報として記載されている。そして表紙である付箋情報画像５５３に関連付けて、付箋無し原稿画像７００ｃ，７００ｄ，７００ｇ，７００ｉが生成されている。

【0081】

図１６～図１８の付箋情報画像及び原稿画像は、図に示すように、付箋情報画像を表紙として印刷され、それに続いて、付箋情報画像に関連付けられた原稿画像が印刷されて、グルーピングされる。また、付箋情報画像と原稿画像の出力先を、ＵＳＢメモリなどの外部記憶媒体、他の装置、本装置の記憶装置４０とすることも可能である。記憶装置４０に出力する場合は、一時保存用ではないフォルダを作成してそこに保存する。ファイルとして出力する際はグループが区別できる様に、次のように保存する。
（１）フォルダ別に保存する、
（２）ファイル名で区別する、
（３）ＰＤＦファイルの様に先頭頁に付箋情報画像５５３を挟んでまとめてページ順で保存する。

【0082】

このデータを生成する方法は、先のステップで管理している付箋情報の情報を用いる。各付箋の種類ごとにグルーピングを行い、そこに記載されているページ情報の原稿のみを抽出する。これにより、付箋情報を表紙とした場合にその付箋が貼り付けられていたページのみが抽出される。これを付箋情報が終わるまで繰り返すことで、付箋と関連するページがグルーピング化された資料を出力することができる。

【0083】

このように、付箋情報をもとにグループ化して関係する原稿頁を抽出した形で出力する。この出力方式のユーザの利点は、必要な情報のみを手に入れることができる点である。例えば、今回の事例では、リサーチ会社に委託した市場調査の報告資料をＡ事業のリーダー、Ｂ事業のリーダーに必要部分のみを提供できる。さらにリサーチ会社に対し、付箋のコメントに従い、特定のページのさらに踏み込んだ調査を依頼することができる。コメントがつけられた付箋の情報はＡ事業のリーダー、Ｂ事業のリーダーにそれぞれ抽出して渡された資料にもコメント記載されているため、後日さらに踏み込んだリサーチ情報が提供される旨を周知することができる。逆にＡ事業のリーダーには、Ｂ事業の情報を開示しないという目的にも使うことが可能である。

【0084】

本発明による画像処理装置で動作するプログラムは、本発明に関わる上記実施形態の機能を実現するように、ＣＰＵ（Central Processing Unit）等を制御するプログラム（コンピュータを機能させるプログラム）であっても良い。そして、これら装置で取り扱われる情報は、その処理時に一時的にＲＡＭ（Random Access Memory）に蓄積され、その後、Ｆｌａｓｈ ＲＯＭ（Read Only Memory）などの各種ＲＯＭやＨＤＤ（Hard Disk Drive）に格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行われる。また、各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

【0085】

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと解される。

【符号の説明】

【0086】

１ 画像形成装置
２０ 画像入力装置
３０ 画像処理装置
３１ 画像入力部
３２ 付箋検出部
３３ 付箋情報抽出部
３４ 原稿付箋分離部
３５ 画像処理部
３６ 画像出力部
４０ 記憶装置
５０ 画像出力装置
５５０，５５１，５５２，５５３
６１０，６３０ 黄色付箋
６２０ 青色付箋

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】