特許 6221220 画像処理装置及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6221220

(24)【登録日】2017年10月13日

(45)【発行日】2017年11月1日

(54)【発明の名称】画像処理装置及び画像処理プログラム

(51)【国際特許分類】

   G06K 9/03 20060101AFI20171023BHJP

   G06K 9/20 20060101ALI20171023BHJP

【ＦＩ】

   G06K9/03 B

   G06K9/20 340B

【請求項の数】11

【全頁数】18

(21)【出願番号】特願2012-227015(P2012-227015)

(22)【出願日】2012年10月12日

(65)【公開番号】特開2014-78203(P2014-78203A)

(43)【公開日】2014年5月1日

【審査請求日】2015年8月19日

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士ゼロックス株式会社

(74)【代理人】

【識別番号】100115129

【弁理士】

【氏名又は名称】清水 昇

(74)【代理人】

【識別番号】100102716

【弁理士】

【氏名又は名称】在原 元司

(74)【代理人】

【識別番号】100122275

【弁理士】

【氏名又は名称】竹居 信利

(72)【発明者】

【氏名】木村 俊一

(72)【発明者】

【氏名】関野 雅則

(72)【発明者】

【氏名】河野 功幸

(72)【発明者】

【氏名】越 裕

【審査官】 佐藤 卓馬

(56)【参考文献】

【文献】 特開平０５−０６２００８（ＪＰ，Ａ）

【文献】 特開平０９−０７３５１５（ＪＰ，Ａ）

【文献】 特開平０７−０９３４７２（ＪＰ，Ａ）

【文献】 特開２００２−３６６８９３（ＪＰ，Ａ）

【文献】 特開昭６３−２６３５８９（ＪＰ，Ａ）

【文献】 特開平１０−２７５１９６（ＪＰ，Ａ）

【文献】 特開２００６−３５０９６４（ＪＰ，Ａ）

【文献】 特開２００５−１３４９６８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｋ ９／０３

Ｇ０６Ｋ ９／２０

(57)【特許請求の範囲】

【請求項1】

画像を表示する表示手段と、
前記表示手段によって表示された画像に対して、操作者の操作によって領域を指定する指定手段と、
前記指定手段によって指定された領域内の画像を認識する認識手段と、
前記認識手段による認識結果を表示する認識結果表示手段と、
操作者の操作によって、前記認識結果表示手段によって表示された認識結果を採用するか否かの指定を受け付ける受付手段と、
前記受付手段によって受け付けられた指定が採用である場合に、該採用された認識結果を出力する出力手段
を具備し、
前記認識結果表示手段は、前記指定手段によって指定された順序に基づいて、予め定められた文字種に限定した認識結果を表示する
ことを特徴とする画像処理装置。

【請求項2】

前記受付手段は、一時的に情報を保存しておく記憶領域に前記認識結果を複写させる操作を、該認識結果を採用する指定として受け付ける
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記認識手段による認識結果を記憶する記憶手段
をさらに具備し、
前記受付手段は、認識結果を採用しないとする操作を受け付けた場合は、前記記憶手段に記憶されている認識結果を削除する
ことを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記指定手段によって指定された領域内の画像を、操作者の操作によって編集する編集手段
をさらに具備し、
前記認識手段は、前記編集手段によって編集された領域内の画像を認識する
ことを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。

【請求項5】

前記認識手段は、複数の認識結果を出力し、
前記認識結果表示手段は、前記認識手段による複数の認識結果を表示し、
前記受付手段は、前記認識結果表示手段によって表示された複数の認識結果から選択する操作を、認識結果を採用する指定として受け付ける
ことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。

【請求項6】

前記認識結果表示手段は、現在の前記予め定められた文字種を表示する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項7】

前記認識手段は、認識結果から予め定められた文字列と一致する文字列を、認識結果として出力する
ことを特徴とする請求項５に記載の画像処理装置。

【請求項8】

前記画像は、図面の画像を対象とした
ことを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。

【請求項9】

前記表示手段は、前記画像内の予め定められた領域を表示する
ことを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。

【請求項10】

１行又は１列の文字列を領域として指定することの指示情報を表示する指示情報表示手段
をさらに具備し、
前記認識手段は、前記領域内の画像を１行又は１列の文字列として認識する
ことを特徴とする請求項１から９のいずれか一項に記載の画像処理装置。

【請求項11】

コンピュータを、
画像を表示する表示手段と、
前記表示手段によって表示された画像に対して、操作者の操作によって領域を指定する指定手段と、
前記指定手段によって指定された領域内の画像を認識する認識手段と、
前記認識手段による認識結果を表示する認識結果表示手段と、
操作者の操作によって、前記認識結果表示手段によって表示された認識結果を採用するか否かの指定を受け付ける受付手段と、
前記受付手段によって受け付けられた指定が採用である場合に、該採用された認識結果を出力する出力手段
として機能させ、
前記認識結果表示手段は、前記指定手段によって指定された順序に基づいて、予め定められた文字種に限定した認識結果を表示する
ことを特徴とする画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及び画像処理プログラムに関する。

【背景技術】

【0002】

特許文献１には、文字認識装置により作成された認識データを簡単な表示制御のもとで原稿イメージと変換された文字データを行単位で対応付けて画面に表示し認識データの確認・修正作業を容易になしうるよう構成した認識文字修正装置を提供することを課題とし、ＣＯＵは格納装置から原稿１枚分のイメージデータ及び認識データを読み出しワークメモリに記憶し、ワークメモリに記憶されている原稿１枚分のイメージデータを画面の第１の表示領域に表示すると共にそのイメージデータのうちｉ行以降を表示装置の画面の第２の表示領域に表示し、認識データのうちｉ行以降のｎ行を表示装置の画面の第３の表示領域に表示し、カーソルの上下移動により第１及び第２の表示領域では表示されているイメージデータのうち第３の表示領域でカーソルがある行に対応する行を反転表示し、誤認識文字等がある場合はＣＰＵは修正処理手段を実行し、１原稿分の修正処理が終わった場合には修正処理後の認識データで認識データを更新することが開示されている。

【0003】

特許文献２には、画像イメージと当該画像イメージを文字認識した内容を対比表示し、文字認識における誤認識の修正作業をする際の効率を向上させることができる帳票認識装置、記憶媒体、及びプログラムを提供することを課題とし、文字認識サーバは、シートフィーダ付スキャナとＳＣＳＩを介して接続するイメージコントローラと、ＤＢサーバと、データ修正用端末と、登録用スキャナと接続するレイアウトテーブル編集用端末と、受注ＤＢサーバとに通信回線を介して接続されており、文字認識サーバは、シートフィーダ付スキャナで読み取られた帳票の種別の認識処理、検索されたレイアウトの帳票項目情報に基づく画像イメージの切取処理、及び切り取られた部分毎の文字認識処理を行った後、帳票の種類に関係なく同一のレイアウトの対比表示データを生成することが開示されている。

【0004】

特許文献３には、読み取り誤りをユーザが修正する際に、レイアウト解析レベルの誤りの見落としが無く確認及び修正を行えることを課題とし、格納された画像はレイアウト解析部において、文章、文字行、文字に分割され、文字ピッチ、行ピッチなど施されレイアウト情報が抽出され、誤り候補検出部では、個々の文字サイズと文字ピッチとの比較により、誤りである可能性の高いものにエラーフラグを立て、さらに未修正フラグを付加して出力し、同様に、個々の行の高さも誤りである可能性の高いものを検出し、エラーフラグ及び未修正フラグを立てて出力し、誤り修正処理はユーザからのオペレーションにしたがって格納された候補文字を順に読み出して出力し、それに対応するレイアウト情報及び原画像の出力を行い、誤り修正を行い、レイアウト情報のエラーフラグと未修正フラグを読み出し、ユーザがこれを確認し修正入力し、再びレイアウト情報記憶部に格納することが開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開平０７−０８５２１４号公報

【特許文献2】特開２００３−３０８４７８号公報

【特許文献3】特開平０８−０９６０７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、画像の認識結果を操作者が確認する場合にあって、対象とする画像全体を認識するのではなく、対象画像の一部分を操作者の操作によって指定し、その指定された領域内の画像の認識結果を採用するか否かの指定ができるようにした画像処理装置及び画像処理プログラムを提供することを目的としている。

【課題を解決するための手段】

【0007】

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、画像を表示する表示手段と、前記表示手段によって表示された画像に対して、操作者の操作によって領域を指定する指定手段と、前記指定手段によって指定された領域内の画像を認識する認識手段と、前記認識手段による認識結果を表示する認識結果表示手段と、操作者の操作によって、前記認識結果表示手段によって表示された認識結果を採用するか否かの指定を受け付ける受付手段と、前記受付手段によって受け付けられた指定が採用である場合に、該採用された認識結果を出力する出力手段を具備し、前記認識結果表示手段は、前記指定手段によって指定された順序に基づいて、予め定められた文字種に限定した認識結果を表示することを特徴とする画像処理装置である。

【0008】

請求項２の発明は、前記受付手段は、一時的に情報を保存しておく記憶領域に前記認識結果を複写させる操作を、該認識結果を採用する指定として受け付けることを特徴とする請求項１に記載の画像処理装置である。

【0009】

請求項３の発明は、前記認識手段による認識結果を記憶する記憶手段をさらに具備し、前記受付手段は、認識結果を採用しないとする操作を受け付けた場合は、前記記憶手段に記憶されている認識結果を削除することを特徴とする請求項１又は２に記載の画像処理装置である。

【0010】

請求項４の発明は、前記指定手段によって指定された領域内の画像を、操作者の操作によって編集する編集手段をさらに具備し、前記認識手段は、前記編集手段によって編集された領域内の画像を認識することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置である。

【0011】

請求項５の発明は、前記認識手段は、複数の認識結果を出力し、前記認識結果表示手段は、前記認識手段による複数の認識結果を表示し、前記受付手段は、前記認識結果表示手段によって表示された複数の認識結果から選択する操作を、認識結果を採用する指定として受け付けることを特徴とする請求項１から４のいずれか一項に記載の画像処理装置である。

【0012】

請求項６の発明は、前記認識結果表示手段は、現在の前記予め定められた文字種を表示することを特徴とする請求項１に記載の画像処理装置である。

【0013】

請求項７の発明は、前記認識手段は、認識結果から予め定められた文字列と一致する文字列を、認識結果として出力することを特徴とする請求項５に記載の画像処理装置である。

【0014】

請求項８の発明は、前記画像は、図面の画像を対象としたことを特徴とする請求項１から７のいずれか一項に記載の画像処理装置である。

【0015】

請求項９の発明は、前記表示手段は、前記画像内の予め定められた領域を表示することを特徴とする請求項１から８のいずれか一項に記載の画像処理装置である。

【0016】

請求項１０の発明は、１行又は１列の文字列を領域として指定することの指示情報を表示する指示情報表示手段をさらに具備し、前記認識手段は、前記領域内の画像を１行又は１列の文字列として認識することを特徴とする請求項１から９のいずれか一項に記載の画像処理装置である。

【0017】

請求項１１の発明は、コンピュータを、画像を表示する表示手段と、前記表示手段によって表示された画像に対して、操作者の操作によって領域を指定する指定手段と、前記指定手段によって指定された領域内の画像を認識する認識手段と、前記認識手段による認識結果を表示する認識結果表示手段と、操作者の操作によって、前記認識結果表示手段によって表示された認識結果を採用するか否かの指定を受け付ける受付手段と、前記受付手段によって受け付けられた指定が採用である場合に、該採用された認識結果を出力する出力手段として機能させ、前記認識結果表示手段は、前記指定手段によって指定された順序に基づいて、予め定められた文字種に限定した認識結果を表示することを特徴とする画像処理プログラムである。

【発明の効果】

【0018】

請求項１の画像処理装置によれば、画像の認識結果を操作者が確認する場合にあって、必要な部分のみを認識させることができ、操作者の操作によって指定された領域内の画像の認識結果を採用するか否かの指定ができる。

【0019】

請求項２の画像処理装置によれば、一時的に情報を保存しておく記憶領域に認識結果を複写させる操作を、認識結果を採用する操作とすることができる。

【0020】

請求項３の画像処理装置によれば、採用されなかった認識結果を記憶手段から削除することができる。

【0021】

請求項４の画像処理装置によれば、認識結果が採用されなかった場合に、操作者によって編集された領域内の画像を再度認識することができる。

【0022】

請求項５の画像処理装置によれば、複数の認識結果から選択することができる。

【0023】

請求項６の画像処理装置によれば、認識結果を、予め定められた文字種に限定することができる。

【0024】

請求項７の画像処理装置によれば、認識結果を、予め定められた文字列と一致する文字列とすることができる。

【0025】

請求項８の画像処理装置によれば、各文字の複数の認識結果から予め定められた種別の認識結果を他の種別の認識結果に優先して選択することができる。

【0026】

請求項９の画像処理装置によれば、指定された順序又は領域の位置に基づいて、予め定められた種別を設定することができる。

【0027】

請求項１０の画像処理装置によれば、領域内の画像を１行又は１列の文字列として認識することができる。

【0028】

請求項１１の画像処理プログラムによれば、画像の認識結果を操作者が確認する場合にあって、必要な部分のみを認識させることができ、操作者の操作によって指定された領域内の画像の認識結果を採用するか否かの指定ができる。

【図面の簡単な説明】

【0029】

【図1】本実施の形態の構成例についての概念的なモジュール構成図である。

【図2】本実施の形態における第１の処理例を示すフローチャートである。

【図3】本実施の形態による処理例を示す説明図である。

【図4】本実施の形態における第２の処理例を示すフローチャートである。

【図5】本実施の形態による処理例を示す説明図である。

【図6】本実施の形態による処理例を示す説明図である。

【図7】本実施の形態による処理例を示す説明図である。

【図8】本実施の形態による処理例を示す説明図である。

【図9】本実施の形態による処理例を示す説明図である。

【図10】本実施の形態による処理例を示す説明図である。

【図11】本実施の形態による処理例を示す説明図である。

【図12】本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

【発明を実施するための形態】

【0030】

以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という意味を有する記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。

【0031】

本実施の形態である画像処理装置は、画像の認識結果を操作者（以下、ユーザともいう）が確認する場合に用いられるものであって、図１の例に示すように、画像受付モジュール１１０、画像表示モジュール１２０、領域指定モジュール１３０、認識モジュール１４０、認識結果表示モジュール１５０、可否指定受付モジュール１６０、画像編集モジュール１７０、領域・認識結果対応付モジュール１８０、出力モジュール１９０を有している。

【0032】

画像受付モジュール１１０は、画像表示モジュール１２０と接続されている。画像受付モジュール１１０は、画像を受け付けて、その画像を画像表示モジュール１２０へ渡す。画像を受け付けるとは、例えば、スキャナ、カメラ等で画像を読み込むこと、ファックス等で通信回線を介して外部機器から画像を受信すること、ハードディスク（コンピュータに内蔵されているものの他に、ネットワークを介して接続されているもの等を含む）等に記憶されている画像を読み出すこと等が含まれる。画像は、２値画像、多値画像（カラー画像を含む）であってもよい。受け付ける画像は、１枚であってもよいし、複数枚であってもよい。また、画像の内容として、図面、ビジネスに用いられる文書等であってもよい。
特に図面の場合は、その画像の一部を、認識したいという要望が存在する。例えば、図面の仕様情報を認識して、データベースに入力したいという要望がある。この他に、契約書の画像から、金額のみを認識して抽出したい、１回きりの（又は頻度の少ない）顧客からの受注ファックス画像を認識したい等の要望がある。このような認識の場合には、帳票作成に使うような設計無しに認識させることになる。つまり、帳票作成に使うような設計があれば、その設計情報（枠の位置等の情報）を認識の領域指定として利用可能であるが、設計情報がないような画像の場合は、領域を指定することが必要となる。本実施の形態では、そのような設計情報がない画像を対象とする。

【0033】

画像表示モジュール１２０は、画像受付モジュール１１０、領域指定モジュール１３０と接続されている。画像表示モジュール１２０は、画像受付モジュール１１０によって受け付けられた画像を表示する。例えば、画像処理装置に備え付けられているディスプレイ、タッチパネル等に画像を表示する。縮小を行って画像全体を表示するようにしてもよいし、画像内の予め定められた領域を表示するようにしてもよい。
また、画像表示モジュール１２０は、横書きにおける１行又は縦書きにおける１列の文字列を領域として指定することの指示情報であるメッセージを表示するようにしてもよい。

【0034】

領域指定モジュール１３０は、画像表示モジュール１２０、認識モジュール１４０と接続されている。画像表示モジュール１２０によって表示された画像に対して、操作者の操作によって領域を指定する。つまり、認識する領域が予め定められていない場合であって、操作者が認識する領域をその場で指定するものである。操作者の操作は、マウス、キーボード、タッチパネル等を介して行われる。領域の指定は、例えば、矩形の対角の位置を指定することによって行われる。特に、画像表示モジュール１２０によって前述のメッセージが表示されている場合は、その操作によって指定される領域は、１行又は１列の文字列を囲む領域として指定されたものである。

【0035】

認識モジュール１４０は、領域指定モジュール１３０、認識結果表示モジュール１５０、画像編集モジュール１７０と接続されている。認識モジュール１４０は、領域指定モジュール１３０によって指定された領域内の画像を認識する。知られている文字認識技術を用いて行われる。また、認識モジュール１４０は、領域内の画像を１行又は１列の文字列として認識するようにしてもよい。したがって、文字行の切り出し処理を行う必要がなく、文字行の切り出しが誤ることはない。
また、認識モジュール１４０は、記憶装置を有しており、その記憶装置に認識結果を記憶させるようにしてもよい。
認識モジュール１４０は、画像編集モジュール１７０によって編集された領域内の画像を認識するようにしてもよい。

【0036】

認識モジュール１４０は、複数の認識結果を認識結果表示モジュール１５０に出力してもよい。この処理については図６を用いて後述する。
認識モジュール１４０は、予め定められた文字種に限定したものを、認識結果として認識結果表示モジュール１５０に出力するようにしてもよい。ここで「予め定められた文字種」は、操作者の操作によって選択されたものであってもよい。この処理については図７を用いて後述する。
認識モジュール１４０は、認識結果から予め定められた文字列と一致する文字列を、認識結果として認識結果表示モジュール１５０に出力するようにしてもよい。この処理については図８を用いて後述する。
認識モジュール１４０は、各文字の複数の認識結果から予め定められた種別（以下、モードともいう）の認識結果を他の種別の認識結果に優先して選択したものを、認識結果として認識結果表示モジュール１５０に出力するようにしてもよい。この処理については図９を用いて後述する。
認識モジュール１４０は、領域指定モジュール１３０によって指定された順序又は領域の位置に基づいて、予め定められた種別を設定するようにしてもよい。この処理については図１０、１１を用いて後述する。

【0037】

認識結果表示モジュール１５０は、認識モジュール１４０、可否指定受付モジュール１６０と接続されている。認識結果表示モジュール１５０は、認識モジュール１４０による認識結果を表示する。特に、認識結果を領域の近傍に表示するようにしてもよい。近傍としては、領域から予め定められた距離以内の範囲である。例えば、領域内の文字画像と認識結果を比較しやすいように、領域と並列した位置であってもよい。また、認識結果を半透明に表示し、領域に重ね合わせるように表示してもよい。
また、認識結果表示モジュール１５０は、認識モジュール１４０による複数の認識結果を表示してもよい。この処理については図６を用いて後述する。

【0038】

可否指定受付モジュール１６０は、認識結果表示モジュール１５０、画像編集モジュール１７０、領域・認識結果対応付モジュール１８０、出力モジュール１９０と接続されている。可否指定受付モジュール１６０は、操作者の操作によって、認識結果表示モジュール１５０によって表示された認識結果を採用するか否かの指定を受け付ける。
また、可否指定受付モジュール１６０は、一時的に情報を保存しておく記憶領域に認識結果を複写させる操作を、認識結果を採用する指定として受け付けるようにしてもよい。「一時的に情報を保存しておく記憶領域」とは、いわゆるクリップボードである。クリップボードとは、コンピュータで、一時的にデータを保存しておくメモリの領域であり、カット‐アンド‐ペーストやコピー‐アンド‐ペーストの操作時に使用されるものである。ここでの「複写させる操作」には、複写（コピー）、切り取り（カット）の操作（以下、「貼り付け」操作ともいう）が含まれる。より具体的には、マウス等で操作メニュー内から複写又は切り取りを選択する操作、キーボード内のコントロールキーを押しながら「Ｃ」キー（複写）又は「Ｘ」キー（切り取り）を押す操作等が該当する。
また、可否指定受付モジュール１６０は、認識結果を採用しないとする操作を受け付けた場合は、認識モジュール１４０内の記憶装置に記憶されている認識結果を削除するようにしてもよい。もちろんのことながら、削除する認識結果は、採用しないとする操作が行われた認識結果である。
また、可否指定受付モジュール１６０は、認識結果表示モジュール１５０によって表示された複数の認識結果から選択する操作を、認識結果を採用する指定として受け付けるようにしてもよい。

【0039】

画像編集モジュール１７０は、認識モジュール１４０、可否指定受付モジュール１６０と接続されている。画像編集モジュール１７０は、領域指定モジュール１３０によって指定された領域内の画像を、操作者の操作によって編集する。ノイズの影響、下線があること等によって、認識モジュール１４０による認識に誤りが発生する場合がある。その場合に、領域指定モジュール１３０によって指定された領域内の画像のノイズ、下線等を、操作者の操作によって除去する（消しゴム機能）。画像全面を認識するような場合は、認識対象の画像と認識結果の対応がわかりづらいため操作者が画像を編集することは困難であった。本実施の形態では、画像の一部である領域を認識対象としているため、認識対象の画像と認識結果の対応が明確となり、さらに編集に必要な面積は画像全面よりも小さい。また、認識誤りが存在する場合のみ編集すればよい。この処理については図４、５を用いて後述する。

【0040】

領域・認識結果対応付モジュール１８０は、可否指定受付モジュール１６０、出力モジュール１９０と接続されている。領域・認識結果対応付モジュール１８０は、領域指定モジュール１３０によって指定された領域と可否指定受付モジュール１６０によって採用された認識結果を対応付ける。その対応付け結果を出力モジュール１９０に渡す。

【0041】

出力モジュール１９０は、可否指定受付モジュール１６０、領域・認識結果対応付モジュール１８０と接続されている。出力モジュール１９０は、可否指定受付モジュール１６０によって受け付けられた指定が採用である場合に、その採用された認識結果（領域・認識結果対応付モジュール１８０による対応付け結果を含めてもよい）を出力する。特に、認識結果と画像受付モジュール１１０が受け付けた画像を対応付けて出力するようにしてもよい。つまり、その画像の認識結果として出力されるものである。具体的には、認識結果は、例えば、その画像のファイル名、属性等として記憶される。ここで、出力するとは、例えば、認識結果と対応付けられた画像を、画像データベース等の画像記憶装置へ書き込むこと、メモリーカード等の記憶媒体に記憶すること、他の情報処理装置へ渡すこと、プリンタ等の印刷装置で印刷すること、ディスプレイ等の表示装置に表示すること等が含まれる。

【0042】

図２は、本実施の形態における第１の処理例を示すフローチャートである。図３の例を用いて具体的な処理を示す。
ステップＳ２０２では、画像受付モジュール１１０が、対象画像を受け付ける。
ステップＳ２０４では、画像表示モジュール１２０が、対象画像を表示する。図３（ａ）の例に示すような対象画像３００をディスプレイに表示する。
ステップＳ２０６では、領域指定モジュール１３０が、認識対象とする領域を指定する。例えば、マウス等のポインティングデバイスを用いて、認識を行いたい矩形領域を指定する。図３（ｂ）の例に示すような対象画像３００内の指定領域３１０を、左上端と右下端の位置を選択することによって指定する。

【0043】

ステップＳ２０８では、認識モジュール１４０が、指定領域を認識する。図３（ｂ）の例に示すような対象画像３００内から、指定領域３１０の矩形領域を切り取って、図３（ｃ）の例に示す指定領域３１０内の画像を認識する。認識モジュール１４０は、文字列が１行のみであることを前提として認識する。
ステップＳ２１０では、認識結果表示モジュール１５０が、認識結果を表示する。図３（ｄ）の例に示すように、対象画像３００内の指定領域３１０の近傍に認識結果表示領域３２０を表示する。例えば、認識結果表示領域３２０は、指定領域３１０と重ならない位置に表示する。

【0044】

ステップＳ２１２では、可否指定受付モジュール１６０が、認識結果が正しい場合、ユーザによる「貼り付け」動作を受け付ける。認識結果はクリップボードにコピーされる。
ステップＳ２１４では、可否指定受付モジュール１６０が、次の指示領域が有るか否かを判断し、有る場合はステップＳ２０６へ戻り、無い場合はステップＳ２１６へ進む。
ステップＳ２１６では、出力モジュール１９０が、画像と「貼り付け」動作が行われた認識結果を対応させて出力する。

【0045】

図４は、本実施の形態における第２の処理例を示すフローチャートである。図２の例に示した第１の処理例に、画像の編集処理を加えたものである。図５の例を用いて具体的な処理を示す。
ステップＳ４０２では、画像受付モジュール１１０が、対象画像を受け付ける。
ステップＳ４０４では、画像表示モジュール１２０が、対象画像を表示する。
ステップＳ４０６では、領域指定モジュール１３０が、認識対象とする領域を指定する。図５（ａ）の例に示すような枠内の画像を指定したとする。なお、この画像内には下線を引かれた文字列が記載されている。
ステップＳ４０８では、認識モジュール１４０が、指定領域を認識する。

【0046】

ステップＳ４１０では、認識結果表示モジュール１５０が、認識結果を表示する。１回目認識結果として、図５（ｂ）の例に示すような認識結果を表示する。ここでは、ノイズ（下線）の影響で、誤認識が発生している。２回目認識結果（ステップＳ４１８が行われた後）は、図５（ｄ）の例に示すような認識結果を表示する。ここでは、ステップＳ４１８でノイズ（下線）が除去された後であるので、正しく認識されている。
ステップＳ４１２では、可否指定受付モジュール１６０が、ユーザによる「貼り付け」動作が行われたか否かを判断し、行われた場合はステップＳ４１４へ進み、それ以外の場合はステップＳ４１６へ進む。
ステップＳ４１４では、領域・認識結果対応付モジュール１８０が、「貼り付け」処理の結果と認識領域を対応付けて記憶する。

【0047】

ステップＳ４１６では、画像編集モジュール１７０が、ユーザによる画像編集の指示が行われたか否かを判断し、行われた場合はステップＳ４１８へ進み、それ以外の場合はステップＳ４２０へ進む。
ステップＳ４１８では、画像編集モジュール１７０が、指定領域内の画像を編集する。図５（ｃ）の例に示すような下線を消しゴム機能で除去する画像編集が行われる。この後、ステップＳ４０８、Ｓ４１０による処理が行われ、図５（ｄ）の例に示すような認識結果を表示する。
ステップＳ４２０では、可否指定受付モジュール１６０が、次の指定領域が有るか否かを判断し、有る場合はステップＳ４０６へ戻り、無い場合はステップＳ４２２へ進む。
ステップＳ４２２では、出力モジュール１９０が、ステップＳ４１４による対応付け結果をさらに対象画像に対応させて出力する。

【0048】

図６は、本実施の形態による処理例を示す説明図である。
図６（ａ）に示す例は、ユーザが認識対象とする領域（指定領域６１０）を指定する例を示している。領域指定モジュール１３０は、指定領域６１０内の画像を認識モジュール１４０に渡す。認識モジュール１４０は、指定領域６１０内の画像を１行の文字列として認識する。認識結果として、複数の認識候補を認識結果表示モジュール１５０に出力する。認識結果表示モジュール１５０は、図６（ｂ）の例に示すように、複数の認識候補（認識候補６２２、６２４、６２６）を表示する。ユーザは、この認識候補群の中から、認識結果としてふさわしいものを選択する。可否指定受付モジュール１６０は、この選択操作が認識結果を採用する指定として受け付ける。
なお、各文字の認識結果の確信度を用いて認識候補としての文字列を生成するようにしてもよい。例えば、確信度１位同士の認識結果を組み合わせ、確信度２位以下も同様に組み合わせて文字列を生成するようにしてもよいし、１文字目は確信度１位、２文字目は確信度２位というように組み合わせて文字列を生成するようにしてもよい。なお、確信度とは、認識結果としてふさわしい程度を表す数値であり、例えば、辞書内の典型的なパターンとの距離の逆数としてもよい。

【0049】

図７は、本実施の形態による処理例を示す説明図である。
図７（ａ）に示す例は、図６（ａ）の例に示すものと同等である。図７（ｂ）に示す例のように、指定領域６１０内の各文字画像に対して複数の文字認識結果を生成する。例えば、指定領域６１０内の第１の文字画像（「Ｚ」の文字画像）に対して、認識候補群（文字単位）７２２内の３文字（「Ｚ」、「２」、「え」の文字コード）を出力し、第２の文字画像（「Ｉ」の文字画像）に対して、認識候補群（文字単位）７２４内の３文字（「Ｉ」、「｜」、「ト」の文字コード）を出力し、第３の文字画像（「０」の文字画像）に対して、認識候補群（文字単位）７２６内の３文字（「０」、「Ｏ」、「ロ」の文字コード）を出力する。なお、各認識候補は、認識の確信度順に並んでいる。

【0050】

そして、各文字の複数の認識候補から、認識候補としての文字列を生成する。その場合、例えば、数字優先候補、ローマ字優先候補、ひらがなカタカナ優先候補の３つのモードがある。数字優先候補とは、各文字の認識候補中の最も確信度の高い数字（文字種としての数字）を選択する。数字が無ければ、単純に最も確信度の高い文字を選択する。ローマ字優先候補とは、各文字の候補中の最も確信度の高いローマ字を選択する。ローマ字が無ければ、単純に最も確信度の高い文字を選択する。ひらがなカタカナ優先候補とは、各文字の候補中の最も確信度の高いひらがなカタカナを選択する。ひらがなカタカナが無ければ、単純に最も確信度の高い文字を選択する。数字優先候補のモードで生成された文字列が図７（ｃ）の例に示す認識候補（文字列）７３２である。ローマ字優先候補、のモードで生成された文字列が図７（ｄ）の例に示す認識候補（文字列）７３４である。ひらがなカタカナ優先候補のモードで生成された文字列が図７（ｅ）の例に示す認識候補（文字列）７３６である。
認識結果表示モジュール１５０は、複数の認識候補（認識候補（文字列）７３２、７３４、７３６）を表示する。ユーザは、この認識候補群の中から、認識結果としてふさわしいものを選択する。可否指定受付モジュール１６０は、この選択操作が認識結果を採用する指定として受け付ける。

【0051】

図８は、本実施の形態による処理例を示す説明図である。
図８（ａ）に示す例は、図６（ａ）の例に示すものと同等である。図８（ｂ）に示す例のように、指定領域６１０内の各文字画像に対して複数の文字認識結果を生成する。例えば、指定領域６１０内の第１の文字画像（「Ｚ」の文字画像）に対して、認識候補群（文字単位）７２２内の３文字（「Ｚ」、「２」、「え」の文字コード）を出力し、第２の文字画像（「Ｉ」の文字画像）に対して、認識候補群（文字単位）７２４内の３文字（「Ｉ」、「｜」、「ト」の文字コード）を出力し、第３の文字画像（「０」の文字画像）に対して、認識候補群（文字単位）７２６内の３文字（「０」、「Ｏ」、「ロ」の文字コード）を出力する。なお、各認識候補は、認識の確信度順に並んでいる。
認識モジュール１４０にある検索モジュール８１０は、番号データベース８２０、型番データベース８３０等と接続されている。そして、検索モジュール８１０が、各文字の複数の認識候補を組み合わせた文字列（前述した組み合わせ方法を用いて生成した文字列）を、番号データベース８２０、型番データベース８３０等内の文字列から検索する。検索した結果、同じ文字列がある場合は、その文字列を認識結果表示モジュール１５０に出力する。番号データベース８２０、型番データベース８３０等には、予め、認識結果としてあり得る文字列のデータを蓄積しておく。例えば、対象画像が図面であれば、モーターの種類等をデータとして蓄積しておく。その場合、認識候補の文字列の中で、蓄積されているモーターの種類だけを出力するようになる。この処理によって、認識結果を、データベース内に存在する文字列に限定することとなる。図８（ｃ）の例に示す認識候補（文字列）７３２は、番号データベース８２０に一致する文字列があった場合を示している。つまり、番号データベース８２０に存在している候補を選択したものである。図８（ｄ）の例に示す認識候補（文字列）７３４は、型番データベース８３０に一致する文字列があった場合を示している。つまり、型番データベース８３０に存在している候補を選択したものである。
認識結果表示モジュール１５０は、複数の認識候補（認識候補（文字列）７３２、７３４）を表示する。ユーザは、この認識候補群の中から、認識結果としてふさわしいものを選択する。可否指定受付モジュール１６０は、この選択操作が認識結果を採用する指定として受け付ける。

【0052】

図９は、本実施の形態による処理例を示す説明図である。
図９（ａ）に示す例は、図６（ａ）の例に示すものと同等である。そして、認識モジュール１４０は、図９（ｂ）に示す例のように、ユーザが選択し得るように、選択候補モード群表示領域９１０をディスプレイに表示する。ユーザは選択候補モード群表示領域９１０内のモード（選択候補モード１：９１２、選択候補モード２：９１４、選択候補モード３：９１６）を指定する。認識モジュール１４０は、指定されたモードにしたがって、認識候補の文字列を選択する。ここで、モードとして、例えば、前述したような数字優先モード、ローマ字優先モード、ひらがなカタカナ優先モード等がある。又は、番号データベース８２０から選択する番号モード、型番データベース８３０から選択する型番モード等を含めてもよい。例えば、ユーザによって数字優先モードが選択された場合、図９（ｃ）の例に示すように、数字優先モードを適用して、複数候補からの選択が行われて、認識候補（文字列）７３２が選択される。
認識結果表示モジュール１５０は、認識候補（認識候補（文字列）７３２）を表示する。ユーザは、この認識候補を認識結果として採用するならば貼り付け操作を行い、認識結果として採用しないならば画像を編集する操作を行うか、次の領域の指定する操作を行う。なお、貼り付け操作と編集操作を行わずに、次の領域を指定する操作は、その領域の認識結果は採用しないことを意味する操作となる。可否指定受付モジュール１６０は、この操作を指定として受け付ける。

【0053】

図１０は、本実施の形態による処理例を示す説明図である。対象画像３００内には、型番記載領域１０１０、番号記載領域１０２０がある。そして、ユーザの操作によって、予め定められた位置にある型番記載領域１０１０内の指定領域１０１２、番号記載領域１０２０内の指定領域１０２２を、この順序で選択する。このような型番、番号のように、認識を行わせたい情報が定まっている場合、領域の指定順序又は領域の位置にしたがってモードを選択する。これによってユーザによるモードの選択動作を省略するものである。

【0054】

図１１は、本実施の形態による処理例を示す説明図である。
図１１（ａ）に示す例は、図６（ａ）の例に示すものと同等である。そして、認識モジュール１４０は、図１１（ｂ）に示す例のように、選択候補モード群１１１０内のモード（選択候補モード１：１１１２、選択候補モード２：１１１４、選択候補モード３：１１１６）を遷移させる。その遷移は、領域の指定順序による。また、選択候補モード群１１１０内のモードを領域の位置にしたがって選択するようにしてもよい。例えば、画像内の位置（範囲を示す位置）とモードを対応させたテーブルを予め定められた用意しておき、指定された領域の位置がそのテーブル内の位置と合致する場合は、その位置と対応するモードを採用すればよい。
さらに、現在どのモードであるかをユーザに提示してもよい。そして、領域として囲むもの（例えば、型番、番号等）をユーザに提示してもよい。
例えば、番号モードに遷移している場合、認識モジュール１４０は、指定領域６１０の認識結果として認識候補（文字列）７３２を出力する。

【0055】

図１２を参照して、本実施の形態の画像処理装置のハードウェア構成例について説明する。図１２に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成されるものであり、スキャナ等のデータ読み取り部１２１７と、プリンタなどのデータ出力部１２１８を備えたハードウェア構成例を示している。

【0056】

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２０１は、前述の実施の形態において説明した各種のモジュール、すなわち、画像受付モジュール１１０、画像表示モジュール１２０、領域指定モジュール１３０、認識モジュール１４０、認識結果表示モジュール１５０、可否指定受付モジュール１６０、画像編集モジュール１７０、領域・認識結果対応付モジュール１８０、出力モジュール１９０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。

【0057】

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２０２は、ＣＰＵ１２０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２０３は、ＣＰＵ１２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス１２０４により相互に接続されている。

【0058】

ホストバス１２０４は、ブリッジ１２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１２０６に接続されている。

【0059】

キーボード１２０８、マウス等のポインティングデバイス１２０９は、操作者により操作される入力デバイスである。ディスプレイ１２１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などがあり、各種情報をテキストやイメージ情報として表示する。

【0060】

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１２１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ１２０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、受け付けた画像、認識結果、選択候補モードなどが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

【0061】

ドライブ１２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体１２１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース１２０７、外部バス１２０６、ブリッジ１２０５、及びホストバス１２０４を介して接続されているＲＡＭ１２０３に供給する。リムーバブル記録媒体１２１３も、ハードディスクと同様のデータ記録領域として利用可能である。

【0062】

接続ポート１２１４は、外部接続機器１２１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート１２１４は、インタフェース１２０７、及び外部バス１２０６、ブリッジ１２０５、ホストバス１２０４等を介してＣＰＵ１２０１等に接続されている。通信部１２１６は、通信回線に接続され、外部とのデータ通信処理を実行する。データ読み取り部１２１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部１２１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

【0063】

なお、図１２に示す画像処理装置のハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１２に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図１２に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。

【0064】

前述の実施の形態において、認識結果を採用しない場合は、ユーザがキーボード等を利用してキー入力するようにしてもよい。
なお、前述の各種の処理を組み合わせてもよく、また、各モジュールの処理内容として背景技術で説明した技術を採用してもよい。

【0065】

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読み出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読み出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読み出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。

【符号の説明】

【0066】

１１０…画像受付モジュール
１２０…画像表示モジュール
１３０…領域指定モジュール
１４０…認識モジュール
１５０…認識結果表示モジュール
１６０…可否指定受付モジュール
１７０…画像編集モジュール
１８０…領域・認識結果対応付モジュール
１９０…出力モジュール

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】