(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0009】
以下、図面を参照して、本発明に係る画像処理装置及び画像処理方法の実施形態について説明する。なお、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。
【0010】
[実施形態1]
まず、
図1を参照して、本発明の実施形態1に係る画像処理装置1の構成を説明する。
図1は、実施形態1に係る画像処理装置1の構成を示すブロック図である。
【0011】
図1に示すように、画像処理装置1は、操作部2と、スキャナー3と、記憶装置9と、制御部10とを備える。なお、スキャナー3は、データ入力部の一例である。
【0012】
操作部2は、画像処理装置1に対するユーザーからの指示を受け付ける。操作部2は、ユーザーからの指示を受け付けると、ユーザーからの指示を示す信号を制御部10へ送信する。本実施形態において、操作部2は、操作パネルである。操作パネルは、例えば、タッチディスプレー及び複数の操作キーを有する。タッチディスプレーは、ディスプレー及びタッチセンサーを有する。複数の操作キーは、例えば、スタートキーを有する。
【0013】
スキャナー3は、原稿の画像を読み取って、原稿の画像を示すデータを制御部10へ入力する。以下、スキャナー3が、原稿の画像を読み取って、原稿の画像を示すデータを制御部10へ入力する処理を「データ入力処理」と記載する。
【0014】
スキャナー3は、コンタクトガラス及び読取機構を有する。読取機構は、例えば、CCD(Charge−Coupled Device)イメージセンサーを有する。読取機構は、コンタクトガラスに載置された原稿の画像を読み取って、原稿の画像を示すデータを生成する。原稿の画像を示すデータは、制御部10へ入力される。本実施形態において、原稿の画像は、記号を示す画像を含む。以下、記号を示す画像を「記号画像」と記載する。
【0015】
記憶装置9は、各種のデータを記憶する。記憶装置9は、ストレージデバイス及び半導体メモリーによって構成される。ストレージデバイスは、例えば、HDD(Hard Disk Drive)及び/又はSSD(Solid State Drive)によって構成される。半導体メモリーは、例えば、RAM(Random Access Memory)及びROM(Read Only Memory)を構成する。
【0016】
制御部10は、CPU(Central Processing Unit)のようなプロセッサーによって構成される。また、制御部10は、画像形成処理用の集積回路を備える。画像形成処理用の集積回路は、例えば、ASIC(Application Specific Integrated Circuit)によって構成される。制御部10は、記憶装置9に記憶された制御プログラムを実行することにより、画像処理装置1の各部の動作を制御する。
【0017】
制御部10は、加工処理を実行する。加工処理において、制御部10は、記号画像を示すデータを取得する。以下、記号画像を示すデータを「記号画像データ」と記載する。記号画像データは、スキャナー3から入力される。制御部10は、記号画像データに基づいて、第1加工データと第2加工データとを生成する。詳しくは、制御部10は、記号画像の中に特定記号画像が含まれるか否かを判定する。制御部10は、例えば、画像認識技術を利用して記号画像G1の中に特定記号画像GK1が含まれるか否かを判定する。
【0018】
制御部10は、記号画像の中に特定記号画像が含まれると判定すると、処理対象文字を特定し、処理対象文字に対して所定の処理を実行した第1加工データを生成する。また、制御部10は、第1加工データに基づいて、OCR(optical character recognition)の技術を利用して、第2加工データを生成する。詳しくは、制御部10は、処理対象文字を除く文字列の画像をテキストデータに変換した第2加工データを生成する。制御部10は、生成した第2加工データを記憶装置9に記憶させる。
【0019】
次に、
図2及び
図3を参照して、実施形態1に係る記号画像G1について説明する。
図2は、実施形態1に係る記号画像G1の一例を示す図である。
図3は、実施形態1に係る特定記号画像GK1及び処理対象文字を示す画像を拡大した図である。なお、
図2は、手書きで横書きされた記号の画像(記号画像)を示す。以下、記号画像における書字方向SDをX方向として規定し、X方向と直交する方向をY方向として規定する。
【0020】
図2に示すように、記号画像G1は、第1文字列画像GT1と特定記号画像GK1とを含む。
【0021】
第1文字列画像GT1は、第1文字列を示す画像である。第1文字列画像GT1は、複数の文字によって構成される。
図2に示す例において、第1文字列画像GT1(第1文字列)は、文字列「I am interested in purchasing your property at 122 123 Main Street.」によって構成される。
【0022】
特定記号画像GK1は、特定記号を示す画像である。本実施形態において、特定記号は、X方向に延びる一本の線であり、第1文字列画像GT1を構成する複数の文字のうちの少なくとも1つの文字に重なる。即ち、特定記号は、取り消し線である。
図2に示す例では、特定記号は、文字列「122」に重なる。
【0023】
制御部10は、記号画像G1に特定記号画像GK1が含まれる場合、処理対象文字を特定する。処理対象文字は、所定の処理の実行対象である文字列を示す。制御部10は、所定の規則にしたがって処理対象文字を特定する。所定の規則は、特定記号に関連付けられている。本実施形態において、取り消し線には、特定記号と重なる文字を処理対象文字として特定するという規則が関連付けられている。したがって、制御部10は、特定記号と重なる文字を処理対象文字として特定する。
【0024】
詳しくは、制御部10は、記号画像G1における特定記号画像GK1の位置を示す情報を取得することによって処理対象文字を特定する。制御部10は、例えば、
図3に示すように、記号画像G1における特定記号画像GK1の始点の位置P1を示す位置情報と、終点の位置P2とを示す位置情報とを取得する。制御部10は、取得した2つの位置情報の範囲に少なくとも一部が含まれる文字画像を抽出する。制御部10は、OCRの機能を利用して、抽出した文字画像からテキストデータを取得することにより、処理対象文字を特定する。
図2に示す例において、制御部10は、文字列「122」を、処理対象文字として特定する。
【0025】
続いて、
図4を参照して、実施形態1に係る第1加工データについて説明する。
図4は、実施形態1に係る第1加工画像G2の一例を示す図である。第1加工画像G2は、第1加工データに基づく画像である。
【0026】
図4に示すように、第1加工画像G2は、第2文字列画像GT2を含む。第2文字列画像GT2は、第2文字列を示す画像である。第2文字列画像GT2(第2文字列)は、文字列「I am interested in purchasing your property at 123 Main Street.」によって構成される。換言すると、第2文字列は、
図2を参照して説明した第1文字列から処理対象文字「122」を除く文字列によって構成される。
【0027】
次に、
図5を参照して、実施形態1に係る第2加工データについて説明する。
図5は、実施形態1に係る第2加工画像G3の一例を示す図である。第2加工画像G3は、第2加工データ(テキストデータ)を示す。本実施形態において、第2加工データは、テキストデータのみによって構成される。
【0028】
図5に示すように、第2加工画像G3は、第3文字列画像GT3を含む。第3文字列画像GT3は、第3文字列を示す画像である。
【0029】
図3に示す例において、第3文字列画像GT3(第3文字列)は、文字列「I am interested in purchasing your property at 123 Main Street.」によって構成される。詳しくは、第3文字列画像GT3は、
図2に示す第1文字列画像GT1を構成する複数の文字から処理対象文字列「122」を除く文字列によって構成される。換言すると、第2加工データは、処理対象文字列を示すデータが削除されている。
【0030】
続いて、
図6を参照して、実施形態1に係る加工処理について説明する。
図6は、実施形態1に係る加工処理を示すフローチャートである。加工処理は、データ入力処理の開始を指示する信号を制御部10が操作部2から受信すると開始される。
【0031】
図6に示すように、制御部10は、スキャナー3にデータ入力処理を実行させる(ステップS101)。詳しくは、制御部10は、例えば、記号画像をスキャナー3に読み取らせることによって、記号画像データを取得する。次いで、制御部10は、記号画像データに基づいて、記号画像G1の中に特定記号画像GK1が含まれるか否かを判定する(ステップS102)。
【0032】
制御部10は、記号画像G1の中に特定記号画像GK1が含まれないと判定すると(ステップS102:No)、加工処理を終了する。
【0033】
一方、制御部10は、記号画像G1の中に特定記号画像GK1が含まれると判定すると(ステップS102:Yes)、処理対象文字を特定する(ステップS103)。
【0034】
制御部10は、処理対象文字を特定すると、第1加工データを生成する(ステップS104)。詳しくは、制御部10は、処理対象文字に対して所定の処理を実行する。所定の処理は、特定記号に関連付けられて記憶装置9に記憶されている。本実施形態において、取り消し線には、処理対象文字及び特定記号を削除する削除処理が関連付けられている。したがって、制御部10は、記号画像データに基づいて、記号画像G1の中から処理対象文字を示す画像と特定記号を示す画像とを削除した第1加工データを生成する。次いで、制御部10は、OCRの機能を利用して、第1加工データに含まれる第2文字列画像GT2をテキストデータに変換することにより第2加工データを生成する(ステップS105)。次いで、制御部10は、第2加工データを記憶装置9に記憶させて(ステップS106)、加工処理を終了する。
【0035】
以上、実施形態1について説明した。例えば、ボールペンで書かれた文字画像に不要な文字画像が含まれる場合、OCRの技術を利用して文字画像をテキストデータに変換した後、不要な文字を示すテキストデータを削除する処理が必要になる場合がある。しかしながら、本実施形態の画像処理装置1によれば、文字画像にボールペン等で取り消し線を付すだけで、不要な文字が削除された第2加工データ(テキストデータ)が生成される。したがって、ユーザーは、画像処理装置1において、記号画像データを加工する操作をすることなく、記号画像データを加工することができる。よって、ユーザーの利便性が向上する。
【0036】
なお、本実施形態において、データ入力部がスキャナー3である構成を例に説明したが、
図7に示すように、データ入力装置は、例えば、通信機器4であってもよい。
図7は、実施形態1に係る画像処理装置1の構成を示す他例である。通信機器4は、同じ通信方式を利用する通信機器が実装された外部機器5と通信する。通信機器4は、外部機器5から受信した画像データを制御部10へ入力する。通信機器4は、例えば、USB(Universal Serial Bus)アダプターである。あるいは、通信機器4は、LAN(Local Area Network)アダプターである。外部機器5は、例えば、カメラのような撮像装置を含む。
【0037】
また、本実施形態において、取り消し線がX方向に延びる一本の線である場合を例に説明したが、取り消し線は、例えば、X方向に延びる二重線であってもよい。
【0038】
また、例えば、
図8に示すように、記号画像G1に罫線を示す罫線画像GLが含まれる場合、制御部10は、
図9に示すように、罫線画像GLを削除した第1加工データを生成する。
図8は、実施形態1に係る記号画像G1の他例を示す図である。
図9は、実施形態1に係る第1加工画像G2の他例を示す図である。詳しくは、
図9に示す第1加工画像G2は、
図8に示す記号画像G1に基づいて生成される第1加工データを示す。
【0039】
制御部10は、第1加工データを生成する前に、記号画像G1に罫線画像GLが含まれるか否かを判定する。制御部10は、例えば、X方向に延びる線画像が記号画像G1に含まれるか否か判定することにより、記号画像G1に罫線画像GLが含まれるか否かを判定する。具体的には、制御部10は、記号画像G1のX座標の始点から終点まで延びる線画像が存在し、且つ、X座標の始点から終点まで延びる線画像の数が閾値以上含まれるか否か判定することにより、記号画像G1に罫線画像GLが含まれるか否かを判定する。あるいは、制御部10は、X方向に延びる線画像がY方向に沿って等間隔に並んでいるか否かを判定することにより、記号画像G1に罫線画像GLが含まれるか否かを判定する。罫線画像GLを削除した第1加工データが生成されることによって、第2加工データを生成する際における誤変換が抑制される。具体的には、罫線画像GLが取り消し線であると制御部10によって誤って認識されることが抑制される。なお、罫線画像GLは、X方向に延びる線画像に限定されない。罫線画像GLは、Y方向に延びる線画像であってもよい。
【0040】
[実施形態2]
次に、
図10〜
図12を参照して、実施形態2に係る画像処理装置1について説明する。実施形態2は、特定記号が、特定文字列と、特定文字列の範囲を示す範囲記号とによって構成される点が実施形態1と異なる。以下、実施形態2について実施形態1と異なる事項について説明し、実施形態1と重複する部分についての説明は割愛する。
【0041】
まず、
図10を参照して、実施形態2に係る記号画像G4について説明する。
図10は、実施形態2に係る記号画像G4の一例を示す図である。
図10に示す例において、範囲記号は、特定文字列を囲む矩形である。換言すると、範囲記号は、特定文字列の先頭の位置と特定文字列の末尾の位置とを示す記号である。
【0042】
図10に示すように、記号画像G4は、第4文字列画像GT4を含む。第4文字列画像GT4は、第4文字列を示す画像である。第4文字列画像GT4(第4文字列)は、文字列「Hi sam, My name is John.I am interested in purchasing your property at 123 Main Street.I look forward to hearing from you Regards,」によって構成される。
【0043】
また、記号画像G4は、2つの特定記号画像GK2を含む。以下、
図10に示す2つの特定記号画像GK2を「第1特定記号画像GK21」、及び「第2特定記号画像GK22」と記載する。第1特定記号画像GK21は、第1特定文字列を示す画像を囲む矩形である。第2特定記号画像GK22は、第2特定文字列を示す画像を囲む矩形である。
図10に示す例において、第1特定文字列は、「logo.jpeg」であり、第2特定文字列は、「JOHN_signature.jpeg」である。
【0044】
続いて、
図11を参照して、実施形態2に係る第1加工画像G5について説明する。
図11は、実施形態2に係る第1加工画像G5の一例を示す図である。
【0045】
図11に示すように、第1加工画像G5は、第5文字列画像GT5、第1変換画像GH1、及び第2変換画像GH2を含む。第5文字列画像GT5は、第5文字列を示す画像である。
【0046】
図11に示す例において、第5文字列画像GT5(第5文字列)は、文字列「Hi sam, My name is John.I am interested in purchasing your property at 123 Main Street.I look forward to hearing from you Regards,」によって構成される。
【0047】
第1変換画像GH1は、
図10を参照して説明した第1特定記号画像GK21が配置されていた位置に配置される。換言すると、第1特定記号画像GK21が第1変換画像GH1に置き換えられている。また、第1変換画像GH1は、第1特定記号画像GK21のX方向のサイズ及びY方向のサイズと略同じサイズに調整される。
【0048】
第2変換画像GH2は、
図10を参照して説明した第2特定記号画像GK22が配置されていた位置に配置される。換言すると、第2変換画像GH2が第2変換画像GH2に置き換えられている。また、第2変換画像GH2は、第2特定記号画像GK22のY方向と略同じ大きさに調整される。
【0049】
図12は、実施形態2に係る加工処理を示すフローチャートである。
図12に示すように、制御部10は、記号画像G4の中に特定記号画像GK2が含まれると判定すると(ステップS102:Yes)、特定記号の種別を判定する(ステップS201)。制御部10は、例えば、画像認識技術を利用して、特定記号の種別を判定する。
【0050】
制御部10は、特定記号の種別を判定すると、判定した特定画像の種別と関連付けられた規則にしたがって、処理対象文字を特定する(ステップS103)。本実施形態において、特定記号が特定文字列と範囲記号とによって構成される場合、範囲記号に含まれる特定文字列を処理対象文字として特定するという規則が関連付けられている。したがって、制御部10は、特定文字列を処理対象文字として特定する。
図10に示す例では、制御部10は、「logo.jpeg」と、「JOHN_signature.jpeg」とをそれぞれ処理対象文字として特定する。
【0051】
制御部10は、処理対象文字を特定すると、第1加工データを生成する(ステップS104)。詳しくは、処理対象文字に対して所定の処理を実行する。本実施形態において、特定記号が特定文字列と範囲記号とによって構成される場合、特定記号画像GK2を変換画像に変換する変換処理が関連付けられている。したがって、制御部10は、記号画像データに基づいて、記号画像G4の中から特定記号画像GK2を変換画像に変換した第1加工データを生成する。詳しくは、制御部10は、処理対象文字を特定すると、処理対象文字を示す画像を抽出した抽出画像を取得する。制御部10は、抽出画像に基づいて、OCRの技術を利用することにより処理対象文字列を示すテキストデータを取得する。制御部10は、処理対象文字列(テキストデータ)が示す識別情報を取得し、識別情報に基づいて変換画像を記憶装置9から取得する。なお、変換画像は、識別情報と関連付けられて記憶装置9に予め記憶されている。
【0052】
制御部10は、変換画像を記憶装置9から取得すると、特定記号画像GK2を変換画像に変換した第1加工データを生成する。具体的には、制御部10は、特定記号画像GK2の位置を示す位置情報に基づいて、特定記号画像GK2と同じ位置に変換画像を配置する。また、制御部10は、変換画像のX方向及びY方向のサイズのうちの少なくとも一方が特定記号画像GKのX方向及びY方向の少なくとも一方のサイズと略一致するように調整する。
【0053】
次いで、制御部10は、第1加工データに含まれる第2文字列画像GT2をテキストデータに変換することにより第2加工データを生成する(ステップS105)。次いで、制御部10は、第2加工データを記憶装置9に記憶させて(ステップS106)、加工処理を終了する。
【0054】
以上、実施形態2について説明した。本実施形態によれば、画像処理装置1は、処理対象文字を示す画像を変換画像に変換することができる。よって、ユーザーは、変換画像を示す識別情報を記号画像に追記するだけで、識別情報が示す変換画像に置き換えられた第2加工データを取得することができる。よって、ユーザーの利便性が向上する。
【0055】
なお、本実施形態において、特定記号が矩形である場合を説明したが、特定記号は、例えば、楕円であってもよい。
【0056】
また、特定文字列は、例えば、
図13に示すように、二重山カッコ「<<logo.jpeg>>」で囲まれていてもよい。これにより、制御部10は、特定文字列をより明確に取得することができる。なお、特定文字列は、
図14に示すような、二重丸カッコ「((logo.jpeg))」で囲まれていてもよい。
図13及び
図14は、実施形態2に係る特定記号の他例を示す図である。
【0057】
また、本実施形態において、変換画像のサイズが特定記号画像GK2のサイズに応じて調整される場合を説明したが、変換画像のサイズは、例えば、文字列のフォントサイズに応じて調整されてもよい。制御部10は、例えば、変換画像のY方向のサイズと、フォントのY方向のサイズとの比率が規定の比率となるように変換画像のサイズを調整してもよい。規定の比率は、予め指定されていてもよいし、スキャナー3がデータ入力処理を実行する度に、ユーザーによって指定されてもよい。
【0058】
以上、本発明の実施形態について、図面(
図1〜
図14)を参照しながら説明した。但し、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である。また、上記の実施形態で示す構成、及び形状は、一例であって特に限定されるものではなく、本発明の効果から実質的に逸脱しない範囲で種々の変更が可能である。
【0059】
例えば、本発明の実施形態において、画像処理装置に本発明が適用される場合を例に説明したが、本発明は、例えば、画像形成装置が備える画像処理装置にも適用可能である。
【0060】
また、実施形態1及び実施形態2において説明した事項は、適宜組み合わせ可能である。