特許 7559397 情報処理装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-24

(45)【発行日】2024-10-02

(54)【発明の名称】情報処理装置およびプログラム

(51)【国際特許分類】

   G06V 30/12 20220101AFI20240925BHJP

   H04N 1/387 20060101ALI20240925BHJP

【ＦＩ】

G06V30/12 J

H04N1/387 110

【請求項の数】 9

(21)【出願番号】P 2020125740

(22)【出願日】2020-07-22

(65)【公開番号】P2022021875

(43)【公開日】2022-02-03

【審査請求日】2023-05-11

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】井上 美佳

【審査官】▲柳▼谷 侑

(56)【参考文献】

【文献】特開２０１４－２３２９３０（ＪＰ，Ａ）

【文献】特開２０１５－０２６２８９（ＪＰ，Ａ）

【文献】特開２００８－１５２７００（ＪＰ，Ａ）

【文献】特開平０５－１８２０１４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ３０／１２

Ｈ０４Ｎ １／３８７

(57)【特許請求の範囲】

【請求項1】

原画像を、画像および前記原画像に対する文字認識後のフォントを含む編集可能な電子文書に変換する情報処理装置であって、
前記文字認識の確信度に基づいて、設定された第１処理形式により、前記フォントの色である第１色を決定する第１決定部と、
前記確信度に基づいて、設定された第２処理形式により、前記原画像から前記文字認識により認識された文字の部分の画素である文字画素の色を置換するための色である第２色を決定する第２決定部と、
を備え、
前記第１決定部は、前記確信度が高いほど前記フォントの視認性を高くし、該確信度が低いほど該フォントの視認性を低くする正の相関に基づく処理形式、または、該確信度が低いほど該フォントの視認性を高くし、該確信度が高いほど該フォントの視認性を低くする負の相関に基づく処理形式のうち、設定された処理形式を前記第１処理形式として前記第１色を決定する情報処理装置。

【請求項2】

前記第２決定部は、前記確信度が高いほど前記文字画素の消去具合を高くし、該確信度が低いほど該文字画素の消去具合を低くする正の相関に基づく処理形式、または、該確信度が低いほど該文字画素の消去具合を高くし、該確信度が高いほど該文字画素の消去具合を低くする負の相関に基づく処理形式のうち、設定された処理形式を前記第２処理形式として前記第２色を決定する請求項１に記載の情報処理装置。

【請求項3】

原画像を、画像および前記原画像に対する文字認識後のフォントを含む編集可能な電子文書に変換する情報処理装置であって、
前記文字認識の確信度に基づいて、設定された第１処理形式により、前記フォントの色である第１色を決定する第１決定部と、
前記確信度に基づいて、設定された第２処理形式により、前記原画像から前記文字認識により認識された文字の部分の画素である文字画素の色を置換するための色である第２色を決定する第２決定部と、
を備え、
前記第１決定部は、前記確信度が高いほど前記フォントの視認性を高くし、該確信度が低いほど該フォントの視認性を低くする正の相関に基づく処理形式、該確信度が低いほど該フォントの視認性を高くし、該確信度が高いほど該フォントの視認性を低くする負の相関に基づく処理形式、前記文字画素の色の第１補色に基づく処理形式、または、前記原画像の前記文字画素以外の部分の画素値に基づく背景色の第２補色に基づく処理形式のうち、設定された処理形式を前記第１処理形式として前記第１色を決定する情報処理装置。

【請求項4】

前記第２決定部は、前記確信度が高いほど前記文字画素の消去具合を高くし、該確信度が低いほど該文字画素の消去具合を低くする正の相関に基づく処理形式、該確信度が低いほど該文字画素の消去具合を高くし、該確信度が高いほど該文字画素の消去具合を低くする負の相関に基づく処理形式、前記文字画素の色の第１補色に基づく処理形式、または、前記原画像の前記文字画素以外の部分の画素値に基づく背景色の第２補色に基づく処理形式のうち、設定された処理形式を前記第２処理形式として前記第２色を決定する請求項１または３に記載の情報処理装置。

【請求項5】

原画像を、画像および前記原画像に対する文字認識後のフォントを含む編集可能な電子文書に変換する情報処理装置であって、
前記文字認識の確信度に基づいて、設定された第１処理形式により、前記フォントの色である第１色を決定する第１決定部と、
前記確信度に基づいて、設定された第２処理形式により、前記原画像から前記文字認識により認識された文字の部分の画素である文字画素の色を置換するための色である第２色を決定する第２決定部と、
を備え、
前記第１決定部による前記第１色の決定処理、および前記第２決定部の前記第２色の決定処理のうち少なくともいずれかにおいて、特定の確信度を転換点として、前記確信度に対して前記フォントの視認性または前記文字画素の消去具合についての正の相関、または該確信度に対して該フォントの視認性または該文字画素の消去具合についての負の相関に基づく処理形式と、前記文字画素の色の第１補色、または前記原画像の前記文字画素以外の部分の画素値に基づく背景色の第２補色に基づく処理形式とが切り替えられる情報処理装置。

【請求項6】

前記第１処理形式および前記第２処理形式は、互いに独立した処理形式である請求項１～５のいずれか一項に記載の情報処理装置。

【請求項7】

入力部に対する操作内容に応じて、前記第１処理形式および前記第２処理形式を設定する設定部を、さらに備えた請求項１～６のいずれか一項に記載の情報処理装置。

【請求項8】

前記原画像に対して、前記第２決定部により決定された前記第２色の前記文字画素を重畳し、さらに前記第１決定部により決定された前記第１色の前記フォントを重畳して、前記電子文書を生成する重畳部を、さらに備えた請求項１～７のいずれか一項に記載の情報処理装置。

【請求項9】

原画像を、画像および前記原画像に対する文字認識後のフォントを含む編集可能な電子文書に変換するコンピュータに、
前記文字認識の確信度に基づいて、設定された第１処理形式により、前記フォントの色である第１色を決定する第１決定ステップと、
前記確信度に基づいて、設定された第２処理形式により、前記原画像から前記文字認識により認識された文字の部分の画素である文字画素の色を置換するための色である第２色を決定する第２決定ステップと、
を実行させ、
前記第１決定ステップでは、前記確信度が高いほど前記フォントの視認性を高くし、該確信度が低いほど該フォントの視認性を低くする正の相関に基づく処理形式、または、該確信度が低いほど該フォントの視認性を高くし、該確信度が高いほど該フォントの視認性を低くする負の相関に基づく処理形式のうち、設定された処理形式を前記第１処理形式として前記第１色を決定するためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置およびプログラムに関する。

【背景技術】

【0002】

印刷した紙文書を、印刷前の電子文書（ドキュメントデータ）に戻せるとしたら再利用上利便性が高い。そこで、印刷した文書をスキャナで読み取り、像域分離等を行った後、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ：光学文字認識）を施して、例えばＭｉｃｒｏｓｏｆｔ Ｏｆｆｉｃｅ（登録商標）で採用されているＯｆｆｉｃｅ Ｏｐｅｎ ＸＭＬドキュメント形式のデータ（ドキュメントデータの一例）に変換する技術がある。

【0003】

この変換技術は、上述の再利用を目的とするため、画像の上に文字が重畳されている場合、当該画像から文字画素を抽出し、当該文字画像上の文字跡を消去すると、画像自体の再利用性が向上して望ましい。または、当該変換技術は、ＯＣＲ後のフォントを画像の上から重畳するため、当該フォントとの見た目上の干渉を防ぐためにも文字跡を消去することが望ましい。

【0004】

このようなＯＣＲ結果に基づく各文字について画像処理をする技術として、ＯＣＲで認識された各文字についての確信度に応じて、文字跡を消去の有無を切り替える処理、および確信度によってはフォントおよび文字画像の両方を並列に表示、かつ文字画像の濃度を薄くする技術が開示されている（例えば特許文献１）。

【0005】

また、確信度が予め定めた閾値以下の認識文字を誤認の可能性のある文字と仮定し、該当する文字の表示色を変更して他の認識文字とは異なった表示で表示手段に出力文字と共に表示する動作により、フォントの視認性を変える技術が開示されている（例えば特許文献２）。

【0006】

また、レシート認識システムにおいて、ＯＣＲにより必要なデータを正確に抽出するために簡単な操作で効率よく編集データを作成できるようにする目的で、認識処理の基になった文字画素の色（濃度）を確信度によって異ならせる技術が開示されている（例えば特許文献３）。

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１、３に記載された技術では、文字画素の色（濃度）を変化させるのみで、フォントの色との組み合わせによる見やすさが考慮されていないという問題があった。また、特許文献２に記載された技術では、フォントの視認性を変えるのみで、文字画像の色との組み合わせによる見やすさが考慮されていないという問題があった。

【0008】

本発明は、上記に鑑みてなされたものであり、文字画素の色およびフォントの色の制御の組み合わせにより、読み手にとって見やすく、かつ文字認識における誤認識についての自然な注意喚起を実現することができる情報処理装置およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上述した課題を解決し、目的を達成するために、本発明は、原画像を、画像および前記原画像に対する文字認識後のフォントを含む編集可能な電子文書に変換する情報処理装置であって、前記文字認識の確信度に基づいて、設定された第１処理形式により、前記フォントの色である第１色を決定する第１決定部と、前記確信度に基づいて、設定された第２処理形式により、前記原画像から前記文字認識により認識された文字の部分の画素である文字画素の色を置換するための色である第２色を決定する第２決定部と、を備え、前記第１決定部は、前記確信度が高いほど前記フォントの視認性を高くし、該確信度が低いほど該フォントの視認性を低くする正の相関に基づく処理形式、または、該確信度が低いほど該フォントの視認性を高くし、該確信度が高いほど該フォントの視認性を低くする負の相関に基づく処理形式のうち、設定された処理形式を前記第１処理形式として前記第１色を決定することを特徴とする。

【発明の効果】

【0010】

本発明によれば、文字画素の色およびフォントの色の制御の組み合わせにより、読み手にとって見やすく、かつ文字認識における誤認識についての自然な注意喚起を実現することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、実施形態に係る情報処理システムの全体構成の一例を示す図である。

【図2】図２は、実施形態に係るＭＦＰのハードウェア構成の一例を示す図である。

【図3】図３は、実施形態に係るＭＦＰの機能ブロックの構成の一例を示す図である。

【図4】図４は、フォント視認性および文字画素消去具体の確信度についての正の相関を説明する図である。

【図5】図５は、フォント視認性および文字画素消去具体の確信度についての負の相関を説明する図である。

【図6】図６は、実施形態に係るＭＦＰの言語処理および第２確信度算出処理の流れの一例を示すフローチャートである。

【図7】図７は、実施形態に係るＭＦＰのフォント色決定処理、文字画素置換色決定処理およびラップ処理の流れの一例を示すフローチャートである。

【図8】図８は、実施形態に係るＭＦＰの言語処理の流れの一例を示すフローチャートである。

【図9】図９は、実施形態に係るＭＦＰの第２確信度算出処理の流れの一例を示すフローチャートである。

【図10】図１０は、実施形態に係るＭＦＰのフォント色決定処理の流れの一例を示すフローチャートである。

【図11】図１１は、実施形態に係るＭＦＰの文字画素置換色決定処理の流れの一例を示すフローチャートである。

【図12】図１２は、オレンジ色の地に赤い文字が記載された原画像の一例を示す図である。

【図13】図１３は、二値化した画像の一例を示す図である。

【図14】図１４は、二値画像から切出し処理を行う動作を説明する図である。

【図15】図１５は、文字単位の確信度制御を行わない場合のフォントの一例を示す図である。

【図16】図１６は、文字単位の確信度制御を行った場合のフォントの一例を示す図である。

【図17】図１７は、文字単位の確信度制御を行わない場合の置換文字画素の一例を示す図である。

【図18】図１８は、文字単位の確信度制御を行った場合の置換文字画素の一例を示す図である。

【図19】図１９は、原画像に文字単位の確信度制御を行わない場合の置換文字画素を重畳させた状態の一例を示す図である。

【図20】図２０は、原画像に文字単位の確信度制御を行わない場合の置換文字画素およびフォントを重畳させた状態の一例を示す図である。

【図21】図２１は、原画像に文字単位の確信度制御を行った場合の置換文字画素およびフォントを重畳させた状態の一例を示す図である。

【図22】図２２は、文字単位の確信度制御を行わない場合のフォントの一例を示す図である。

【図23】図２３は、文字単位の確信度制御を行った場合のフォントの一例を示す図である。

【図24】図２４は、文字単位の確信度制御を行わない場合の置換文字画素の一例を示す図である。

【図25】図２５は、文字単位の確信度制御を行った場合の置換文字画素の一例を示す図である。

【図26】図２６は、原画像に文字単位の確信度制御を行わない場合の置換文字画素およびフォントを重畳させた状態の一例を示す図である。

【図27】図２７は、原画像に文字単位の確信度制御を行った場合の置換文字画素およびフォントを重畳させた状態の一例を示す図である。

【図28】図２８は、負の相関に基づいて文字単位の確信度制御を行った場合のフォントの一例を示す図である。

【図29】図２９は、負の相関に基づいて文字単位の確信度制御を行った場合の置換文字画素の一例を示す図である。

【図30】図３０は、原画像に負の相関に基づいて文字単位の確信度制御を行った場合の置換文字画素およびフォントを重畳させた状態の一例を示す図である。

【図31】図３１は、原画像に、負の相関に基づいて文字単位の確信度制御を行った場合の置換文字画素、および正の相関に基づいて文字単位の確信度制御を行った場合のフォントを重畳させた状態の一例を示す図である。

【図32】図３２は、白地に赤い文字が記載された原画像の一例を示す図である。

【図33】図３３は、原画像に、負の相関に基づいて文字単位の確信度制御を行った場合の置換文字画素、および正の相関に基づいて文字単位の確信度制御を行った場合のフォントを重畳させた状態の一例を示す図である。

【図34】図３４は、処理方式選択画面の一例を示す図である。

【図35】図３５は、正の相関に基づく処理および補色処理の組み合わせの一例を説明する図である。

【図36】図３６は、文字画素置換色およびフォント色に対する処理の組み合わせの結果の一例を示す図である。

【発明を実施するための形態】

【0012】

以下、図面を参照しながら、本発明に係る情報処理装置およびプログラムを詳細に説明する。また、以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

【0013】

また、コンピュータソフトウェアとは、コンピュータの動作に関するプログラム、その他コンピュータによる処理の用に供する情報であってプログラムに準ずるものをいう（以下、コンピュータソフトウェアは、ソフトウェアという）。アプリケーションソフトとは、ソフトウェアの分類のうち、特定の作業を行うために使用されるソフトウェアの総称である。一方、オペレーティングシステム（ＯＳ）とは、コンピュータを制御し、アプリケーションソフト等がコンピュータ資源を利用可能にするためのソフトウェアのことである。オペレーティングシステムは、入出力の制御、メモリやハードディスクなどのハードウェアの管理、プロセスの管理といった、コンピュータの基本的な管理・制御を行っている。アプリケーションソフトウェアは、オペレーティングシステムが提供する機能を利用して動作する。プログラムとは、コンピュータに対する指令であって、一の結果を得ることができるように組み合わせたものをいう。また、プログラムに準ずるものとは、コンピュータに対する直接の指令ではないためプログラムとは呼べないが、コンピュータの処理を規定するという点でプログラムに類似する性質を有するものをいう。例えば、データ構造（データ要素間の相互関係で表される、データの有する論理的構造）がプログラムに準ずるものに該当する。

【0014】

以下では、情報処理装置の一例として、ＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ：複合機）を例に挙げて説明するが、これに限られるものではない。例えば、情報処理装置としては、スキャナにより読み込んだ画像に対して画像処理を行うＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等であってもよい。なお、ＭＦＰ（複合機）とは、コピー機能、スキャナ機能、プリンタ機能、およびファクス機能等の複数の異なる機能を有する装置である。

【0015】

（情報処理システムの全体構成）
図１は、実施形態に係る情報処理システムの全体構成の一例を示す図である。図１を参照しながら、本実施形態に係る情報処理システム１の全体構成について説明する。

【0016】

図１に示すように、情報処理システム１は、ＭＦＰ１０と、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）２０と、ファイルサーバ３０と、を含み、これらが通信ネットワークＮを介して相互にデータの送受信を行うことができる構成となっている。通信ネットワークＮは、例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）また、イントラネット、インターネットまたはこれらの混合で構成されたネットワークであり、有線ネットワークだけでなく無線ネットワークを含んでいてもよい。

【0017】

ＭＦＰ１０は、原稿を読み取るスキャナ部１１と、記録媒体に画像を形成するプリンタ部１２と、を備えた複合機であり、スキャナ部１１でＯＣＲにより読み込んだ画像から、テキストを抽出し、当該テキストと読み込んだ画像とに基づいて編集可能なドキュメントデータ（例えばＯｆｆｉｃｅ Ｏｐｅｎ ＸＭＬドキュメント等）に変換する情報処理装置の一例である。スキャナ部１１は、ＡＤＦ（Ａｕｔｏ Ｄｏｃｕｍｅｎｔ Ｆｅｅｄｅｒ：自動原稿送り装置）が設けられている場合、当該ＡＤＦにセットされた原稿を読み取る。プリンタ部１２は、操作表示部５１０を介して利用者からの操作指示を受け付け、または、通信ネットワークを介してＰＣ２０またはファイルサーバ３０から指示を受け付けることによって、画像データ等に基づいて記録媒体に画像を形成する。

【0018】

ＰＣ２０は、例えばファイルサーバ３０に保存されている画像データまたはドキュメントデータ等を、ＭＦＰ１０へ送信して画像形成処理を実行させる情報処理装置である。なお、図１に示す例では、ＰＣ２０は１台としているが複数台であってもよい。

【0019】

ファイルサーバ３０は、画像データおよびドキュメントデータ等を通信ネットワークＮ上で共有するために保管しているサーバである。

【0020】

（ＭＦＰのハードウェア構成）
図２は、実施形態に係るＭＦＰのハードウェア構成の一例を示す図である。図２を参照しながら、本実施形態に係るＭＦＰ１０のハードウェア構成について説明する。

【0021】

図２に示すように、本実施形態に係るＭＦＰ１０は、コントローラ５００と、操作表示部５１０と、ＦＣＵ（Ｆａｃｓｉｍｉｌｅ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）５２０と、プロッタ５３１と、スキャナ５３２と、がＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｆａｃｅ）バスで接続された構成となっている。

【0022】

コントローラ５００は、ＭＦＰ１０全体の制御、描画、通信および操作表示部５１０からの入力を制御する装置である。

【0023】

操作表示部５１０は、例えば、タッチパネル等であり、コントローラ５００に対する入力を受け付ける（入力機能）と共に、ＭＦＰ１０の状態等を表示（表示機能）する装置であり、後述するＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）５０６に直接接続されている。

【0024】

ＦＣＵ５２０は、ファックス機能を実現する装置であり、例えば、ＰＣＩバスによってＡＳＩＣ５０６に接続されている。

【0025】

プロッタ５３１は、印刷機能を実現する装置であり、例えば、ＰＣＩバスによってＡＳＩＣ５０６に接続されている。スキャナ５３２は、スキャナ機能を実現する機能であり、例えば、ＰＣＩバスによってＡＳＩＣ５０６に接続されている。

【0026】

コントローラ５００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１と、システムメモリ（ＭＥＭ－Ｐ）５０２と、ノースブリッジ（ＮＢ）５０３と、サウスブリッジ（ＳＢ）５０４ａと、ネットワークＩ／Ｆ５０４ｂと、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ） Ｉ／Ｆ５０４ｃと、セントロニクスＩ／Ｆ５０４ｄと、ＡＳＩＣ５０６と、ローカルメモリ（ＭＥＭ－Ｃ）５０７と、補助記憶装置５０８と、を有している。

【0027】

ＣＰＵ５０１は、ＭＦＰ１０の全体制御を行うものであり、システムメモリ５０２、ノースブリッジ５０３およびサウスブリッジ５０４ａからなるチップセットに接続され、このチップセットを介して他の機器と接続される。

【0028】

システムメモリ５０２は、プログラムおよびデータの格納用メモリ、プログラムおよびデータの展開用メモリ、ならびにプリンタの描画用メモリ等として用いるメモリであり、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とを有している。このうち、ＲＯＭは、プログラムおよびデータの格納用メモリとして用いる読み出し専用のメモリであり、ＲＡＭは、プログラムおよびデータの展開用メモリ、ならびにプリンタの描画用メモリ等として用いる書き込みおよび読み出し可能なメモリである。

【0029】

ノースブリッジ５０３は、ＣＰＵ５０１と、システムメモリ５０２、サウスブリッジ５０４ａおよびＡＧＰ（Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ）バス５０５とを接続するためのブリッジであり、システムメモリ５０２に対する読み書き等を制御するメモリコントローラと、ＰＣＩマスタおよびＡＧＰターゲットとを有する。

【0030】

サウスブリッジ５０４ａは、ノースブリッジ５０３と、ＰＣＩデバイスおよび周辺デバイスとを接続するためのブリッジである。サウスブリッジ５０４ａは、ＰＣＩバスを介してノースブリッジ５０３と接続されており、ＰＣＩバスには、ネットワークＩ／Ｆ５０４ｂ、ＵＳＢ Ｉ／Ｆ５０４ｃおよびセントロニクスＩ／Ｆ５０４ｄ等が接続されている。

【0031】

ネットワークＩ／Ｆ５０４ｂは、イーサネット（登録商標）に対応し、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）等に準拠した通信が可能なインターフェースである。

【0032】

ＵＳＢ Ｉ／Ｆ５０４ｃは、ＵＳＢ規格に対応した機器とデータ通信を行うためのインターフェースである。セントロニクスＩ／Ｆ５０４ｄは、パラレルデータ転送用のインターフェースである。

【0033】

ＡＧＰバス５０５は、グラフィック処理を高速化するために提案されたグラフィックスアクセラレータカード用のバスインターフェースである。ＡＧＰバス５０５は、システムメモリ５０２に高スループットで直接アクセスすることにより、グラフィックスアクセラレータカードを高速にするバスである。

【0034】

ＡＳＩＣ５０６は、画像処理用のハードウェア要素を有する画像処理用途向けのＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）であり、ＡＧＰバス５０５、ＰＣＩバス、補助記憶装置５０８およびローカルメモリ５０７をそれぞれ接続するブリッジの役割を有する。ＡＳＩＣ５０６は、ＰＣＩターゲットおよびＡＧＰマスタと、ＡＳＩＣ５０６の中核をなすアービタ（ＡＲＢ）と、ローカルメモリ５０７を制御するメモリコントローラと、ハードウェアロジック等により画像データの回転等を行う複数のＤＭＡＣ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌｌｅｒ）と、プロッタ５３１およびスキャナ５３２との間でＰＣＩバスを介したデータ転送を行うＰＣＩユニットとから構成される。ＡＳＩＣ５０６には、例えば、ＰＣＩバスを介してＦＣＵ５２０、プロッタ５３１、およびスキャナ５３２が接続される。

【0035】

ローカルメモリ５０７は、コピー用画像バッファおよび符号バッファとして用いるメモリである。

【0036】

補助記憶装置５０８は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）カードまたはフラッシュメモリ等の記憶装置であり、画像データの蓄積、プログラムの蓄積、フォントデータの蓄積、およびフォームの蓄積等を行うためのストレージである。

【0037】

なお、上述のＭＦＰ１０のプログラムは、インストール可能な形式または実行可能な形式のファイルによって、コンピュータで読み取り可能な記録媒体（補助記憶装置５０８等）に記録されて流通されるようにしてもよい。

【0038】

また、図２に示すＭＦＰ１０のハードウェア構成は、一例であり、すべての構成機器を備えている必要はなく、また、他の構成機器を備えているものとしてもよい。また、ＣＰＵ５０１およびノースブリッジ５０３は、例えばＳｏＣ（Ｓｙｓｔｅｍ ｏｎ ａ Ｃｈｉｐ）により統合されているものとしてもよい。

【0039】

（ＭＦＰの機能ブロック構成および動作）
図３は、実施形態に係るＭＦＰの機能ブロックの構成の一例を示す図である。図４は、フォント視認性および文字画素消去具体の確信度についての正の相関を説明する図である。図５は、フォント視認性および文字画素消去具体の確信度についての負の相関を説明する図である。図３～図５を参照しながら、本実施形態に係るＭＦＰ１０の機能ブロックの構成および構成について説明する。

【0040】

図３に示すように、ＭＦＰ１０は、画像取得部１０１と、二値化部１０２と、切出し処理部１０３と、文字認識部１０４と、組合せ選択部１０５と、ルール処理部１０６と、第１確信度算出部１０７と、言語処理部１０８と、第２確信度算出部１０９と、フォント色決定部１１０（第１決定部）と、文字画素置換色決定部１１１（第２決定部）と、ラップ処理部１１２（重畳部の一例）と、記憶部１２０と、通信部１３１と、表示制御部１３２と、入力部１３３と、設定部１３４と、を有する。

【0041】

画像取得部１０１は、原稿の画像についてスキャナ５３２により読み取られたデータを、画像データとして取得する機能部である。なお、スキャナ５３２により読み取られた画像データが記憶部１２０に記憶されている場合、画像取得部１０１は、記憶部１２０から画像データを取得するものとしてもよい。

【0042】

二値化部１０２は、画像取得部１０１により取得された画像データ（原画像）を二値化して二値画像を得る機能部である。具体的には、二値化部１０２は、画像データがカラー画像である場合、周知の輝度－色差変換（ＹＣｂＣｒ変換）等により輝度を算出し、周知の判別分析方法で原画像から二値画像を生成する。また、二値化部１０２は、画像データがグレースケールの場合、輝度算出は不要で、直接、判別分析法で原画像から二値画像を生成する。なお、画像取得部１０１により取得された画像データ（原画像）および二値化部１０２により二値化された二値画像は、記憶部１２０に記憶されるものとすればよい。

【0043】

切出し処理部１０３は、二値化部１０２により生成された二値画像に含まれる個々の文字をその外接矩形により切り出す機能部である。例えば、切出し処理部１０３は、二値画像の行方向の射影を求め、この射影を利用して文字行の切り出しを行い、切り出した各文字行から行と垂直の方向の射影を利用し、または黒画素の連結成分の外接矩形を統合することにより、個々の文字を切り出す。切出し処理部１０３により切り出された文字の画像部分を文字画像と称するものとする。

【0044】

文字認識部１０４は、切出し処理部１０３により切り出された文字画像を正規化してから特徴量を抽出し、当該特徴量と、記憶部１２０に記憶されているパターン辞書とのマッチングを行うことにより、類似度の大きいまたは相違度（距離）の小さい候補文字を１以上認識（文字認識）する機能部である。この場合、候補文字としては例えば文字コードと特定することによって認識するものとすればよい。

【0045】

組合せ選択部１０５は、連続した文字について文字認識部１０４により決定された候補文字の最適な組み合わせ（パス）を選択する機能部である。

【0046】

ルール処理部１０６は、文字の行内での相対位置についての情報（例えば区切り等を示す「・」、「、」等）、文字も大きさについての情報（例えば「Ｃ」、「ｃ」のように大文字小文字の区別に関係する情報等）、文字種の情報（例えばカタカナ文字列中の漢字の「一」があったら長音記号「－」に修正する等）等の一定のルールに従って、文字認識部１０４により認識された候補文字を修正する機能部である。

【0047】

第１確信度算出部１０７は、文字認識部１０４によりに認識された候補文字の評価値（例えばパターン辞書との距離を総輪郭数で除した値等）、組合せ選択部１０５により最適な組み合わせが選択される場合の評価値、およびルール処理部１０６により適用されたルールの情報を証拠としてデンプスターシェーファー理論を用い、当該候補文字（またはルールに応じて修正された候補文字）の確信度（第１確信度）を算出する機能部である。ここで、確信度とは、認識された文字がどの程度確からしいかを表す指標値であり、例えば０～１００［％］の数値で表される。なお、切出し処理部１０３による切出し処理から第１確信度算出部１０７による第１確信度の算出処理までの処理内容は、例えば特開平４－２１１８８３号に記載の処理と同様とすればよい。また、切出し処理部１０３により切り出された文字画像の外接矩形の左上および右下の座標、文字認識部１０４により認識された候補文字（文字コード）、および第１確信度算出部１０７により算出された第１確信度は、記憶部１２０の第１確信度保持部１２１（後述）に保持されるものとすればよい。

【0048】

言語処理部１０８は、切出し処理部１０３により切り出されたすべての文字画像に対応する第１確信度が記憶部１２０の第１確信度保持部１２１に保持されると、当該第１確信度保持部１２１に保持された候補文字（文字コード）の連続である文字列に対して、周知の形態素解析を行って名詞を抽出し、記憶部１２０の単語辞書１２２（後述）の辞書内単語と照合し、当該名詞とマッチした辞書内単語で当該名詞を置換する処理部である。また、言語処理部１０８により辞書内単語に対応するものと決定された名詞は、記憶部１２０の第２確信度保持部１２３（後述）に保持されるものとすればよい。なお、言語処理部１０８による言語処理の詳細は、図６および図８で後述する。

【0049】

第２確信度算出部１０９は、言語処理部１０８により辞書内単語に置換された名詞の各文字の第１確信度のうち最大の第１確信度を当該各文字の第２確信度として算出する機能部である。また、第２確信度算出部１０９により算出された第２確信度は、記憶部１２０の第２確信度保持部１２３（後述）に保持されるものとすればよい。なお、第２確信度算出部１０９による第２確信度算出処理の詳細は、図６および図９で後述する。

【0050】

フォント色決定部１１０は、フォント視認性が確信度と正の相関があるとした場合、または負の相関があるとした場合等に基づいて、切出し処理部１０３により切り出された文字画像に対応する原画像の画像部分の文字に対応する画素値から算出される文字色（原文字色）に基づいて、言語処理部１０８で言語処理がなされた名詞（フォント）のフォント色（第１色）を決定する機能部である。ここで、フォントとは、言語処理部１０８で言語処理がなされた名詞を示すだけでなく、当該名詞を構成する各文字をも示すものとする。ここで、フォント視認性が確信度と正の相関がある場合とは、図４（ａ）に示すように、確信度が高くなるほど、フォントの視認性が高くなる関係を示す。一方、フォント視認性が確信度と負の相関がある場合とは、図５（ａ）に示すように、確信度が高くなるほど、フォントの視認性が低くなる関係を示す。なお、フォント色決定部１１０によるフォント色決定処理の詳細は、図７および図１０で後述する。

【0051】

文字画素置換色決定部１１１は、原画像での文字画素の消去具合が確信度と正の相関があるとした場合、または負の相関があるとした場合等に基づいて、切出し処理部１０３により切り出された文字画像に対応する原画像の画像部分以外の画像部分の画素値から算出される原背景色に基づいて、文字画像に対応する原画像の画像部分の文字の色を置換するための文字画素置換色（第２色）を決定する機能部である。ここで、原画像での文字画素の消去具合が確信度と正の相関がある場合とは、図４（ｂ）に示すように、確信度が高くなるほど、文字画素の消去具合が高くなる関係を示す。一方、原画像での文字画素の消去具合が確信度と負の相関がある場合とは、図５（ｂ）に示すように、確信度が高くなるほど、原画像での文字画素の消去具合が低くなる関係を示す。なお、文字画素置換色決定部１１１による文字画素置換色決定処理の詳細は、図７および図１１で後述する。

【0052】

ラップ処理部１１２は、原画像に対して、フォント色決定部１１０により決定された文字画素置換色の置換文字画素、および文字画素置換色決定部１１１により決定されたフォント色のフォントを重畳し、ＸＭＬラップ処理等の周知のファイルラップ処理を行う機能部である。ラップ処理部１１２によるファイルラップ処理により生成されるドキュメントデータのファイルフォーマットは、例えばＯｆｆｉｃｅ Ｏｐｅｎ ＸＭＬフォーマットである。当該フォーアットは、複数のファイルおよびフォルダから構成されており、例えばテキストのコンテンツを記述する「ｄｏｃｕｍｅｎｔ．ｘｍｌ」、使用するフォントを規定する「ｆｏｎｔＴａｂｌｅ．ｘｍｌ」、テキストのスタイルを規定する「ｓｔｙｌｅｓ．ｘｍｌ」等のファイルが含まれている。各ファイルはｘｍｌ形式のテキストデータであるため、バイナリデータに比べて容易に視認することができ、かつこれら各ファイルを容易に編集することができる。ラップ処理部１１２、例えば、Ｏｆｆｉｃｅ Ｏｐｅｎ ＸＭＬフォーマットのデータを構成する各ファイル生成した後、これらをＺＩＰ形式に圧縮して１つのファイルにまとめ、当該圧縮したファイルに「ｄｏｃｘ」の拡張子を付与して文書ファイル（ドキュメントデータ）（電子文書）を生成する。

【0053】

記憶部１２０は、各種データおよびプログラム等を記憶する機能部である。具体的には、記憶部１２０は、例えばスキャナ５３２により読み取られた画像データ（原画像）、二値化部１０２により二値化された二値画像、および文字認識部１０４の認識処理に用いるパターン辞書等を記憶する。また、記憶部１２０は、図３に示すように、第１確信度保持部１２１と、単語辞書１２２と、第２確信度保持部１２３と、処理方式設定情報１２４と、を含む。

【0054】

第１確信度保持部１２１は、切出し処理部１０３により切り出された文字画像の外接矩形の左上および右下の座標、文字認識部１０４により認識された候補文字（文字コード）、および第１確信度算出部１０７により算出された第１確信度を保持する記憶領域である。単語辞書１２２は、言語処理部１０８の言語処理で用いる各種単語を含む辞書である。第２確信度保持部１２３は、第２確信度算出部１０９により算出された第２確信度、および言語処理部１０８により辞書内単語に対応するものと決定された名詞を保持する記憶領域である。処理方式設定情報１２４は、後述する設定部１３４により設定されたフォント色決定処理および文字画素置換色決定処理の処理方式についての設定情報である。

【0055】

記憶部１２０は、図２に示すシステムメモリ５０２、ローカルメモリ５０７および補助記憶装置５０８のうち少なくともいずれかによって実現される。

【0056】

通信部１３１は、外部機器（例えばＰＣ２０およびファイルサーバ３０等）とデータ通信を行う機能部である。通信部１３１は、図２に示すネットワークＩ／Ｆ５０４ｂおよびＣＰＵ５０１によりプログラムが実行されることによって実現される。

【0057】

表示制御部１３２は、操作表示部５１０の表示動作を制御する機能部である。

【0058】

入力部１３３は、ユーザからの操作入力を受け付ける機能部である。入力部１３３は、図２に示す操作表示部５１０の入力機能により実現される。

【0059】

設定部１３４は、フォント色決定処理の処理方式（第１処理方式）および文字画素置換色決定処理の処理方式（第２処理方式）を設定する機能部である。なお、設定部１３４による設定処理の詳細は、図３４で後述する。

【0060】

上述の画像取得部１０１、二値化部１０２、切出し処理部１０３、文字認識部１０４、組合せ選択部１０５、ルール処理部１０６、第１確信度算出部１０７、言語処理部１０８、第２確信度算出部１０９、フォント色決定部１１０、文字画素置換色決定部１１１、ラップ処理部１１２、表示制御部１３２および設定部１３４は、例えば図２に示すＣＰＵ５０１によりプログラムが実行されることによって実現される。なお、上述の各機能部のうち少なくともいずれかは、ＡＳＩＣまたはＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路によって実現されるものとしてもよい。

【0061】

また、図３に示したＭＦＰ１０の各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図３に示したＭＦＰ１０で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図３に示したＭＦＰ１０の１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

【0062】

（言語処理および第２確信度算出処理の繰り返し処理について）
図６は、実施形態に係るＭＦＰの言語処理および第２確信度算出処理の流れの一例を示すフローチャートである。図６に示すように、ＭＦＰ１０の言語処理および第２確信度算出処理の繰り返し処理について説明する。

【0063】

＜ステップＳ１１＞
言語処理部１０８は、第１確信度保持部１２１に言語処理を行っていない候補文字の連続である文字列が残っているか否か判定する。文字列が残っている場合（ステップＳ１１：Ｙｅｓ）、ステップＳ１２へ移行し、文字列が残っていない場合（ステップＳ１１：Ｎｏ）、繰り返し処理を終了する。

【0064】

＜ステップＳ１２＞
言語処理部１０８は、第１確信度保持部１２１から言語処理を行っていない候補文字の連続である文字列を入力し、言語処理を実行する。なお、言語処理部１０８による言語処理の詳細は、図８で後述する。そして、ステップＳ１３へ移行する。

【0065】

＜ステップＳ１３＞
第２確信度算出部１０９は、言語処理部１０８で単語とマッチした名詞の各文字の第１確信度を第１確信度保持部１２１から入力し、当該各文字の第１確信度に基づいて、当該各文字の第２確信度を算出する。第２確信度算出部１０９は、算出した第２確信度を第２確信度保持部１２３に保持させる。なお、第２確信度算出部１０９による第２確信度算出処理の詳細は、図９で後述する。そして、ステップＳ１１へ戻る。

【0066】

（フォント色決定処理および文字画素置換色決定処理の繰り返し処理について）
図７は、実施形態に係るＭＦＰのフォント色決定処理、文字画素置換色決定処理およびラップ処理の流れの一例を示すフローチャートである。図７に示すように、ＭＦＰ１０のフォント色決定処理、文字画素置換色決定処理およびラップ処理の繰り返し処理について説明する。

【0067】

＜ステップＳ２１＞
フォント色決定部１１０は、第２確信度保持部１２３にフォント色決定処理を行っていない、第２確信度算出部１０９により第２確信度が算出された文字が残っているか否か判定する。文字が残っている場合（ステップＳ２１：Ｙｅｓ）、ステップＳ２２へ移行し、文字が残っていない場合（ステップＳ２１：Ｎｏ）、繰り返し処理を終了する。

【0068】

＜ステップＳ２２＞
フォント色決定部１１０は、第２確信度保持部１２３からフォント色決定処理を行っていない文字等を入力し、当該文字についてフォント色決定処理を実行する。なお、フォント色決定部１１０によるフォント色決定処理の詳細は、図１０で後述する。そして、ステップＳ２３へ移行する。

【0069】

＜ステップＳ２３＞
文字画素置換色決定部１１１は、フォント色決定部１１０によりフォント色決定処理が行われた文字の文字画像に対応する原画像の画像部分の文字の色を決定する文字画素置換色決定処理を実行する。なお、文字画素置換色決定部１１１による文字画素置換色決定処理の詳細は、図１１で後述する。そして、ステップＳ２４へ移行する。

【0070】

＜ステップＳ２４＞
ラップ処理部１１２は、原画像に対して、フォント色決定部１１０により決定された文字画素置換色の置換文字画素、および文字画素置換色決定部１１１により決定されたフォント色のフォントを重畳し、ＸＭＬラップ処理等のラップ処理を行う。そして、ステップＳ２１へ戻る。

【0071】

（言語処理の詳細）
図８は、実施形態に係るＭＦＰの言語処理の流れの一例を示すフローチャートである。図８を参照しながら、ＭＦＰ１０の言語処理部１０８による言語処理の詳細について説明する。

【0072】

＜ステップＳ１２１＞
言語処理部１０８は、切出し処理部１０３により切り出されたすべての文字画像に対応する第１確信度が記憶部１２０の第１確信度保持部１２１に保持されると、当該第１確信度保持部１２１から候補文字（文字コード）の連続である文字列を入力する。そして、言語処理部１０８は、入力した文字列から周知の形態素解析を行って名詞を抽出する。そして、ステップＳ１２２へ移行する。

【0073】

＜ステップＳ１２２＞
言語処理部１０８は、抽出した名詞のうち、記憶部１２０の単語辞書１２２に含まれる単語（辞書内単語）と比較していない名詞があるか否かを判定する。辞書内単語と比較していない名詞がある場合（ステップＳ１２２：Ｙｅｓ）、ステップＳ１２３へ移行し、比較していない名詞がない場合（ステップＳ１２２：Ｎｏ）、ステップＳ１２９ｂへ移行する。

【0074】

＜ステップＳ１２３＞
言語処理部１０８は、抽出した名詞の文字数ｋをカウントし、かつ、第１確信度の和の最大値Ｓｍａｘを０にリセットする。そして、ステップＳ１２４へ移行する。

【0075】

＜ステップＳ１２４＞
言語処理部１０８は、カウントした文字数ｋが、例えば３≦ｋ≦５（３文字以上５文字以下）であるか否かを判定する。３≦ｋ≦５を満たす場合（ステップＳ１２４：Ｙｅｓ）、ステップＳ１２５へ移行し、３≦ｋ≦５を満たさない場合（ステップＳ１２４：Ｎｏ）、ステップＳ１２２へ戻る。なお、抽出した名詞の文字数ｋの範囲判定としては、３≦ｋ≦５とは異なる範囲で判定を行ってもよい。

【0076】

＜ステップＳ１２５＞
言語処理部１０８は、単語辞書１２２に含まれる辞書内単語のうち、比較を行っていない辞書内単語があるか否かを判定する。比較が行われていない辞書内単語がある場合（ステップＳ１２５：Ｙｅｓ）、ステップＳ１２６へ移行し、比較が行われていない辞書内単語がない場合（ステップＳ１２５：Ｎｏ）ステップＳ１２９ｂへ移行する。

【0077】

＜ステップＳ１２６＞
言語処理部１０８は、単語辞書１２２に含まれる辞書内単語のうち、文字数ｋと同じ文字数の辞書内単語を探索する。そして、ステップＳ１２７へ移行する。

【0078】

＜ステップＳ１２７＞
言語処理部１０８は、検索した辞書内単語の文字と、文字数ｋの名詞の文字とを比較し、一致した文字数が、例えば０．６×ｋより大きいか否かを判定する。一致した文字数が０．６×ｋよりも大きい場合（ステップＳ１２７：Ｙｅｓ）、ステップＳ１２８へ移行し、一致した文字数が０．６×ｋ以下である場合（ステップＳ１２７：Ｎｏ）、ステップＳ１２５へ戻る。なお、一致した文字数と比較する０．６×ｋの係数０．６は、これに限定されるものではなく、他の値であってもよい。

【0079】

＜ステップＳ１２８＞
言語処理部１０８は、名詞を構成する文字のうち、辞書内単語の文字と一致した文字のみについての第１確信度の和を計算して、当該和を確信度和Ｓとする。そして、ステップＳ１２９へ移行する。

【0080】

＜ステップＳ１２９＞
言語処理部１０８は、確信度和Ｓが最大値Ｓｍａｘよりも大きいか否かを判定する。確信度和Ｓが最大値Ｓｍａｘよりも大きい場合（ステップＳ１２９：Ｙｅｓ）、ステップＳ１２９ａへ移行し、確信度和Ｓが最大値Ｓｍａｘ以下である場合（ステップＳ１２９：Ｎｏ）、ステップＳ１２５へ戻る。

【0081】

＜ステップＳ１２９ａ＞
言語処理部１０８は、確信度和Ｓを新たな最大値Ｓｍａｘとし、当該確信度和Ｓに対応する名詞を保持する。そして、ステップＳ１２５へ戻る。

【0082】

＜ステップＳ１２９ｂ＞
言語処理部１０８は、最大値Ｓｍａｘが最大となった辞書内単語（最大値Ｓｍａｘ＝確信度和Ｓとなる、名詞とマッチした辞書内単語）を、名詞とマッチ（一致）した単語と決定し、当該名詞の文字列を当該辞書内単語で置換する。また、Ｓ＝０の場合、言語処理部１０８は、名詞とマッチ（一致）した辞書内単語がないものと判断し、当該名詞をそのまま利用する。そして、言語処理部１０８による言語処理を終了する。

【0083】

（第２確信度算出処理の詳細）
図９は、実施形態に係るＭＦＰの第２確信度算出処理の流れの一例を示すフローチャートである。図９を参照しながら、ＭＦＰ１０の第２確信度算出部１０９による第２確信度処理の詳細について説明する。

【0084】

＜ステップＳ１３１＞
言語処理部１０８により抽出された名詞が辞書内単語とマッチ（一致）した場合（すなわち、確信度和Ｓ＞０の場合）（ステップＳ１３１：Ｙｅｓ）、ステップＳ１３２へ移行し、マッチ（一致）していない場合（すなわち、確信度和Ｓ＝０の場合）（ステップＳ１３１：Ｎｏ）、ステップＳ１３３へ移行する。

【0085】

＜ステップＳ１３２＞
第２確信度算出部１０９は、言語処理部１０８により辞書内単語に置換された名詞の各文字の第１確信度のうち最大の第１確信度を当該各文字の第２確信度として算出し、当該第２確信度を第２確信度保持部１２３に保持させる。そして、第２確信度算出部１０９による第２確信度算出処理を終了する。

【0086】

＜ステップＳ１３３＞
第２確信度算出部１０９は、言語処理部１０８により抽出された名詞が辞書内単語とマッチ（一致）していない場合、当該名詞の第１確信度のうち最小の第１確信度を当該各文字の第２確信度として算出し、当該第２確信度を第２確信度保持部１２３に保持させる。そして、第２確信度算出部１０９による第２確信度算出処理を終了する。

【0087】

（フォント色決定処理の詳細）
図１０は、実施形態に係るＭＦＰのフォント色決定処理の流れの一例を示すフローチャートである。図１０を参照しながら、ＭＦＰ１０のフォント色決定部１１０によるフォント色決定処理の詳細について説明する。

【0088】

なお、図１０の例では、フォント色決定部１１０は、フォント視認性が確信度と正の相関があるとした場合に基づいてフォント色を決定する動作について説明する。すなわち、正の相関があるとした場合、確信度が高いほど、注意喚起が重要であると捉えてフォント色を濃くし、確信度が低いほど、注意喚起が重要でないと捉えてフォント色を薄くする。また、切出し処理部１０３により切り出された外接矩形内の二値の文字画像は文字の形を表すことになるので、当該外接矩形内の文字画像が表す文字の画素と同じ位置にある原画像の画素の画素値の平均を算出することにより、確信度（例えば第２確信度）を反映する前の、原文字色（Ｒｃ，Ｇｃ，Ｂｃ）を得ることができる。ここで、サフィックスｃは「ｃｈａｒａｃｔｅｒ」に由来する。この場合、言語処理部１０８で言語処理がなされた名詞（フォント）のフォント色（Ｒｆ，Ｇｆ，Ｂｆ）は、以下の式（１）および（２）により、原文字色（Ｒｃ，Ｇｃ，Ｂｃ）に基づいて算出されて決定される。ここで、サフィックスｆは「ｆｏｎｔ」に由来する。

【0089】

（確信度Ｃ≧Ｔｈの場合）
Ｒｆ＝Ｒｃ，Ｇｆ＝Ｇｃ，Ｂｆ＝Ｂｃ ・・・（１）
（それ以外の場合）
Ｒｆ＝Ｒｃ＋（２５５－Ｒｃ）×｛（１００－Ｃ）／１００｝＾０．５ ・・・（２）
Ｇｆ＝Ｇｃ＋（２５５－Ｇｃ）×｛（１００－Ｃ）／１００｝＾０．５
Ｂｆ＝Ｂｃ＋（２５５－Ｂｃ）×｛（１００－Ｃ）／１００｝＾０．５

【0090】

上記の確信度Ｃは、０～１００の値をとり、閾値Ｔｈは、例えば８５とする。なお、式（２）中のべき乗を０．５乗としているが、これに限定されるものではなく、例えば１／３乗～１／２乗としてもよい。

【0091】

＜ステップＳ２２１＞
フォント色決定部１１０は、第１確信度保持部１２１からフォント色の決定の対象となる外接矩形（座標情報）を取得する。そして、ステップＳ２２２へ移行する。

【0092】

＜ステップＳ２２２＞
フォント色決定部１１０は、第１確信度保持部１２１から、取得した外接矩形の座標に対応した二値画像の画像部分（すなわち文字画像）、および原画像を取得する。そして、ステップＳ２２３へ移行する。

【0093】

＜ステップＳ２２３＞
フォント色決定部１１０は、外接矩形内の文字画像が表す文字の画素と同じ位置にある原画像の画素の画素値の平均を算出して原文字色（Ｒｃ，Ｇｃ，Ｂｃ）とする。そして、ステップＳ２２４へ移行する。

【0094】

＜ステップＳ２２４＞
フォント色決定部１１０は、算出した原文字色（Ｒｃ，Ｇｃ，Ｂｃ）に基づいて、上述の式（１）および（２）を用いてフォント色（Ｒｆ，Ｇｆ，Ｂｆ）を算出して決定する。具体的には、フォント色決定部１１０は、対象となる文字画像に対応する第２確信度を第２確信度保持部１２３から取得し、当該第２確信度を確信度Ｃとし、当該確信度Ｃが閾値Ｔｈ（例えば８５）以上である場合、上述の式（１）を用いてフォント色（Ｒｆ，Ｇｆ，Ｂｆ）を決定する。また、フォント色決定部１１０は、確信度Ｃが閾値Ｔｈよりも小さい場合、上述の式（２）を用いてフォント色（Ｒｆ，Ｇｆ，Ｂｆ）を算出して決定する。そして、フォント色決定部１１０によるフォント色決定処理を終了する。

【0095】

（文字画素置換色決定処理の詳細）
図１１は、実施形態に係るＭＦＰの文字画素置換色決定処理の流れの一例を示すフローチャートである。図１１を参照しながら、ＭＦＰ１０の文字画素置換色決定部１１１による文字画素置換色決定処理の詳細について説明する。

【0096】

なお、図１１の例では、文字画素置換色決定部１１１は、原画像での文字画素の消去具合が確信度と正の相関があるとした場合に基づいて文字画素置換色を決定する動作について説明する。すなわち、正の相関があるとした場合、確信度が高いほど、原画像の文字画素の色を原背景色から近い色（文字画素の消去具合が高い傾向）に置換し、確信度が低いほど、原画像の文字画素の色を原背景色から遠い色（文字画素の消去具合が低い傾向）に置換する。また、切出し処理部１０３により切り出された外接矩形内の文字画像が表す文字の画素とは別の位置にある原画像の画素の画素値の平均を算出することにより、文字画素置換色（Ｒｒ，Ｇｒ，Ｂｒ）の算出の基となる原背景色（Ｒｂ，Ｇｂ，Ｂｂ）を得ることができる。ここで、サフィックスｒは「ｒｅｐｌａｃｅ」に由来し、サフィックスｂは「ｂａｃｋ ｇｒｏｕｎｄ」に由来する。この場合、原画像において文字画像が示す文字の部分の画素と置換するための画素（置換文字画素）の色（画素値）である文字画素置換色（Ｒｒ，Ｇｒ，Ｂｒ）は、以下の式（３）および（４）により、原背景色（Ｒｂ，Ｇｂ，Ｂｂ）に基づいて算出されて決定される。

【0097】

（確信度Ｃ≧Ｔｈの場合）
Ｒｒ＝Ｒｂ，Ｇｒ＝Ｇｂ，Ｂｒ＝Ｂｂ ・・・（３）
（それ以外の場合）
Ｒｒ＝Ｒｂ＋（２５５－Ｒｂ）×｛（１００－Ｃ）／１００｝＾０．５ ・・・（４）
Ｇｒ＝Ｇｂ＋（２５５－Ｇｂ）×｛（１００－Ｃ）／１００｝＾０．５
Ｂｒ＝Ｂｂ＋（２５５－Ｂｂ）×｛（１００－Ｃ）／１００｝＾０．５

【0098】

上述と同様に、確信度Ｃは、０～１００の値をとり、閾値Ｔｈは、例えば８５とする。なお、式（４）中のべき乗を０．５乗としているが、これに限定されるものではなく、例えば１／３乗～１／２乗としてもよい。

【0099】

＜ステップＳ２３１＞
文字画素置換色決定部１１１は、上述のステップＳ２２１でフォント色決定部１１０により取得された外接矩形内の文字画像が表す文字の画素とは別の位置にある原画像の画素の画素値の平均を算出することにより、文字画素置換色（Ｒｒ，Ｇｒ，Ｂｒ）の算出の基となる原背景色（Ｒｂ，Ｇｂ，Ｂｂ）とする。そして、ステップＳ２３２へ移行する。

【0100】

＜ステップＳ２３２＞
文字画素置換色決定部１１１は、算出した原背景色（Ｒｂ，Ｇｂ，Ｂｂ）に基づいて、上述の式（３）および（４）を用いて文字画素置換色（Ｒｒ，Ｇｒ，Ｂｒ）を算出して決定する。具体的には、文字画素置換色決定部１１１は、ステップＳ２２４でフォント色決定部１１０により取得された第２確信度を確信度Ｃとし、当該確信度Ｃが閾値Ｔｈ（例えば８５）以上である場合、上述の式（３）を用いて文字画素置換色（Ｒｒ，Ｇｒ，Ｂｒ）を決定する。また、文字画素置換色決定部１１１は、確信度Ｃが閾値Ｔｈよりも小さい場合、上述の式（４）を用いて文字画素置換色（Ｒｒ，Ｇｒ，Ｂｒ）を算出して決定する。そして、文字画素置換色決定部１１１による文字画素置換色決定処理を終了する。

【0101】

（原画像から文字画像を切り出すまでの処理の具体例）
図１２は、オレンジ色の地に赤い文字が記載された原画像の一例を示す図である。図１３は、二値化した画像の一例を示す図である。図１４は、二値画像から切出し処理を行う動作を説明する図である。図１２～図１４を参照しながら、ＭＦＰ１０における原画像から文字画像を切り出すまでの処理の具体例について説明する。

【0102】

図１２に示す画像は、オンレジ色の地に赤い文字「とまと」が記載された原画像の一例である。画像取得部１０１は、スキャナ５３２により読み取られた画像データとして、例えば図１２に示す原画像を取得する。

【0103】

次に、二値化部１０２は、図１２に示す原画像を二値化することにより、図１３に示す二値画像を得る。そして、切出し処理部１０３は、図１４に示すように、二値化部１０２により生成された二値画像に含まれる個々の文字「と」、「ま」、「と」をその外接矩形により切り出す。

【0104】

（文字認識処理から第２確信度算出処理までの具体例）
上述の切出し処理部１０３により外接矩形により切り出された「と」、「ま」、「と」の文字画像に対して、引き続き、文字認識部１０４による文字認識処理、組合せ選択部１０５による候補文字の最適な組み合わせ（パス）の選択処理、およびルール処理部１０６による一定のルールに従った候補文字の修正処理が実行される。

【0105】

まず、第１確信度算出部１０７は、ルール処理部１０６により修正処理まで行われた候補文字「と」、「ま」、「と」に対して、下記の（表１）に示すように、第１確信度としてそれぞれ８０［％］、８５［％］、８２［％］と算出した場合を例に説明する。

【0106】

【表1】

【0107】

単語辞書１２２に３文字の単語（辞書内単語）として「とまと」が含まれている場合、言語処理部１０８は、形態素解析により得られた名詞「とまと」と、当該辞書内単語との一致率が３文字／３文字＝１００［％］であり、上述の「０．６×ｋ」が示す６０［％］よりも大きいため、一致した文字についての第１確信度の和（この場合「２４７」）を計算する。そして、言語処理部１０８は、当該名詞と、単語辞書１２２内の辞書内単語のすべてとの比較が終了すると、最大値Ｓｍａｘを決定し、名詞「とまと」を、最大値Ｓｍａｘに対応する辞書内単語「とまと」で置換する。

【0108】

次に、第２確信度算出部１０９は、言語処理部１０８により辞書内単語「とまと」に置換された名詞「とまと」の各文字の第１確信度のうち最大の第１確信度「８５」を当該各文字の第２確信度として算出し、名詞「とまと」の各文字に対して、下記の（表２）に示すように、第２確信度として８５［％］に統一する。

【0109】

【表2】

【0110】

このように、名詞の各文字の第２確信度が同一の値になる結果、フォントの視認性、および原画像での文字画素の消去具合は、当該名詞内で同一となる。すなわち、名詞単位でフォント色決定処理および文字画素置換色決定処理が実行される。ここで、上述の（表１）および（表２）の各文字に対する第１確信度および第２確信度の結果パターンを、パターン（１）と称するものとする。

【0111】

次に、第１確信度算出部１０７は、ルール処理部１０６により修正処理まで行われた候補文字「と」、「ま」、「て」に対して、下記の（表３）に示すように、第１確信度としてそれぞれ８０［％］、８５［％］、６０［％］と算出した場合を例に説明する。

【0112】

【表3】

【0113】

単語辞書１２２に３文字の単語（辞書内単語）として「とまと」が含まれている場合、言語処理部１０８は、形態素解析により得られた名詞「とまて」と、当該辞書内単語との一致率が２文字／３文字≒６７［％］であり、上述の「０．６×ｋ」が示す６０［％］よりも大きいため、一致した文字についての第１確信度の和（この場合「２２５」）を計算する。そして、言語処理部１０８は、当該名詞と、単語辞書１２２内の辞書内単語のすべてとの比較が終了すると、最大値Ｓｍａｘが「２２５」である場合、名詞「とまて」を、最大値Ｓｍａｘに対応する辞書内単語「とまと」で置換する。

【0114】

次に、第２確信度算出部１０９は、言語処理部１０８により辞書内単語「とまと」に置換された名詞「とまと」の各文字の第１確信度のうち最大の第１確信度「８５」を当該各文字の第２確信度として算出し、名詞「とまと」の各文字に対して、下記の（表４）に示すように、第２確信度として８５［％］に統一する。

【0115】

【表4】

【0116】

このように、名詞の各文字の第２確信度が同一の値になる結果、フォントの視認性、および原画像での文字画素の消去具合は、当該名詞内で同一となる。すなわち、名詞単位でフォント色決定処理および文字画素置換色決定処理が実行される。ここで、上述の（表３）および（表４）の各文字に対する第１確信度および第２確信度の結果パターンを、パターン（２）と称するものとする。

【0117】

次に、第１確信度算出部１０７は、ルール処理部１０６により修正処理まで行われた候補文字「て」、「ま」、「て」に対して、下記の（表５）に示すように、第１確信度としてそれぞれ３５［％］、８５［％］、４０［％］と算出した場合を例に説明する。

【0118】

【表5】

【0119】

単語辞書１２２に３文字の単語（辞書内単語）として「とまと」が含まれている（「てまて」は含まれていない）場合、言語処理部１０８は、形態素解析により得られた名詞「てまて」と、当該辞書内単語との一致率が１文字／３文字≒３３［％］であり、上述の「０．６×ｋ」が示す６０［％］よりも小さく、その他の辞書内単語との一致率も６０［％］を超えない場合、名詞「てまて」と一致する辞書内単語がないものと判断し、置換を行わず当該名詞「てまて」をそのまま利用する。

【0120】

次に、第２確信度算出部１０９は、名詞「てまて」が辞書内単語とマッチ（一致）していない場合、当該名詞「てまて」の第１確信度のうち最小の第１確信度「４０」を、ペナルティを課すために当該各文字の第２確信度として算出し、名詞「てまて」の各文字に対して、下記の（表６）に示すように、第２確信度として４０［％］に統一する。

【0121】

【表6】

【0122】

このように、名詞の各文字の第２確信度が同一の値になる結果、フォントの視認性、および原画像での文字画素の消去具合は、当該名詞内で同一となる。すなわち、名詞単位でフォント色決定処理および文字画素置換色決定処理が実行される。ここで、上述の（表５）および（表６）の各文字に対する第１確信度および第２確信度の結果パターンを、パターン（３）と称するものとする。

【0123】

なお、上述の説明では、名詞の各文字の第２確信度を同一の値とすることにより、名詞単位でフォント色決定処理および文字画素置換色決定処理が実行されるものとしたが、文字単位の処理であってもよい。文字単位で処理を行うためには、例えば、名詞の各文字と辞書内単語の各文字とについて、一致した文字の場合、第２確信度＝第１確信度×１．１（ただし、最大で「１００」）とし、一致しない文字の場合、第２確信度＝第１確信度×０．９とすればよい。また、例えば、名詞の各文字と辞書内単語の各文字とについて、一致した文字の場合、第２確信度＝第１確信度＋５（ただし、最大で「１００」）とし、一致しない文字の場合、第２確信度＝第１確信度－１０（ただし、最小で「０」）とすればよい。このように第２確信度を算出することによって、誤り訂正はされる一方で、各文字の第１確信度の名詞内での大小関係は、第２確信度でも維持されることになる。

【0124】

（パターン（１）：正の相関に基づくフォント色決定処理および文字画素置換色決定処理の具体例）
図１５は、文字単位の確信度制御を行わない場合のフォントの一例を示す図である。図１６は、文字単位の確信度制御を行った場合のフォントの一例を示す図である。図１７は、文字単位の確信度制御を行わない場合の置換文字画素の一例を示す図である。図１８は、文字単位の確信度制御を行った場合の置換文字画素の一例を示す図である。図１９は、原画像に文字単位の確信度制御を行わない場合の置換文字画素を重畳させた状態の一例を示す図である。図２０は、原画像に文字単位の確信度制御を行わない場合の置換文字画素およびフォントを重畳させた状態の一例を示す図である。図２１は、原画像に文字単位の確信度制御を行った場合の置換文字画素およびフォントを重畳させた状態の一例を示す図である。図１５～図２１を参照しながら、パターン（１）の場合の正の相関に基づくフォント色決定処理および文字画素置換色決定処理の具体例について説明する。

【0125】

言語処理部１０８により確定した名詞「とまと」の３文字の第１確信度および第２確信度の組み合わせは、上述のパターン（１）、すなわち、下記の（表７）に示すパターンであるものとする。

【0126】

【表7】

【0127】

フォント色決定部１１０は、第１確信度保持部１２１から、フォント色の決定の対象となる外接矩形（座標情報）を取得し、当該外接矩形の座標に対応した二値画像の画像部分（すなわち文字画像）、および原画像を取得する。そして、フォント色決定部１１０は、外接矩形内の文字画像が表す文字の画素と同じ位置にある原画像の画素の画素値の平均を算出した結果、３文字とも原文字色（Ｒｃ，Ｇｃ，Ｂｃ）＝（２５０，３４，２２）とする。なお、原文字色（Ｒｃ，Ｇｃ，Ｂｃ）は、外接矩形ごとに異なる場合もある。

【0128】

この場合、フォント色決定部１１０は、上記の（表７）の第１確信度を確信度Ｃとした場合に、上述の式（１）および（２）を用いて、フォント色（Ｒｆ，Ｇｆ，Ｂｆ）を算出した結果は、以下のようになる。

【0129】

確信度Ｃ＝８５の場合、（Ｒｆ，Ｇｆ，Ｂｆ）＝（２５０，３４，２２）
確信度Ｃ＝８０の場合、（Ｒｆ，Ｇｆ，Ｂｆ）＝（２５２，１３３，１２６）
確信度Ｃ＝８２の場合、（Ｒｆ，Ｇｆ，Ｂｆ）＝（２５２，１２８，１２１）

【0130】

上記のように、第１確信度を確信度Ｃとした場合に算出されるフォント色（Ｒｆ，Ｇｆ，Ｂｆ）は、それぞれ異なるものとなり、フォント色決定部１１０により文字単位でフォント色決定処理が行われた場合のフォントおよびフォント色は、図１５に示したものとなる。

【0131】

一方、「８５」に統一された第２確信度を確信度Ｃとした場合に算出されるフォント色（Ｒｆ，Ｇｆ，Ｂｆ）は、同一のものとなり、フォント色決定部１１０により名詞単位でフォント色決定処理が行われた場合のフォントおよびフォント色は、図１６に示したように統一したものとなる。

【0132】

続いて、文字画素置換色決定部１１１は、上述のステップＳ２２１でフォント色決定部１１０により取得された外接矩形内の文字画像が表す文字の画素とは別の位置にある原画像の画素の画素値の平均を算出した結果、３つの外接矩形とも原背景色（Ｒｂ，Ｇｂ，Ｂｂ）＝（２５５，２３０，１５３）とする。

【0133】

この場合、文字画素置換色決定部１１１は、上記の（表７）の第１確信度をＣとした場合に、上述の式（３）および（４）を用いて、文字画素置換色（Ｒｒ，Ｇｒ，Ｂｒ）を算出した結果は、以下のようになる。

【0134】

確信度Ｃ＝８５の場合、（Ｒｒ，Ｇｒ，Ｂｒ）＝（２５５，２３０，１５３）
確信度Ｃ＝８０の場合、（Ｒｒ，Ｇｒ，Ｂｒ）＝（２５５，２４１，１９９）
確信度Ｃ＝８２の場合、（Ｒｒ，Ｇｒ，Ｂｒ）＝（２５５，２４１，１９６）

【0135】

上記のように、第１確信度を確信度Ｃとした場合に算出される文字画素置換色（Ｒｒ，Ｇｒ，Ｂｒ）は、それぞれ異なるものとなり、文字画素置換色決定部１１１により文字単位で文字画素置換色決定処理が行われた場合の置換文字画素および文字画素置換色は、図１７に示したものとなる。

【0136】

一方、「８５」に統一された第２確信度を確信度Ｃとした場合に算出される文字画素置換色（Ｒｒ，Ｇｒ，Ｂｒ）は、同一のものとなり、文字画素置換色決定部１１１により名詞単位で文字画素置換色決定処理が行われた場合の置換文字画素および文字画素置換色は、図１８に示したように統一したものとなる。

【0137】

続いて、名詞単位で処理をしない場合（文字単位で処理をする場合）、ラップ処理部１１２により、図１２に示した原画像に対して、図１７に示した置換文字画素が重畳された場合、図１９に示したものとなる。さらに、ラップ処理部１１２により、図１９に示した画像に対して、図１５に示したフォントが重畳された場合、図２０に示したものとなる。

【0138】

一方、名詞単位で処理をする場合、ラップ処理部１１２により、図１２に示した原画像に対して、図１８に示した置換文字画素が重畳され、さらにその上から図１６に示したフォントが重畳された場合、図２１に示したものとなる。

【0139】

（パターン（３）：正の相関に基づくフォント色決定処理および文字画素置換色決定処理の具体例）
図２２は、文字単位の確信度制御を行わない場合のフォントの一例を示す図である。図２３は、文字単位の確信度制御を行った場合のフォントの一例を示す図である。図２４は、文字単位の確信度制御を行わない場合の置換文字画素の一例を示す図である。図２５は、文字単位の確信度制御を行った場合の置換文字画素の一例を示す図である。図２６は、原画像に文字単位の確信度制御を行わない場合の置換文字画素およびフォントを重畳させた状態の一例を示す図である。図２７は、原画像に文字単位の確信度制御を行った場合の置換文字画素およびフォントを重畳させた状態の一例を示す図である。図２２～図２７を参照しながら、パターン（３）の場合の正の相関に基づくフォント色決定処理および文字画素置換色決定処理の具体例について説明する。

【0140】

言語処理部１０８により確定した名詞「てまて」の３文字の第１確信度および第２確信度の組み合わせは、上述のパターン（３）、すなわち、下記の（表８）に示すパターンであるものとする。

【0141】

【表8】

【0142】

フォント色決定部１１０は、第１確信度保持部１２１から、フォント色の決定の対象となる外接矩形（座標情報）を取得し、当該外接矩形の座標に対応した二値画像の画像部分（すなわち文字画像）、および原画像を取得する。そして、フォント色決定部１１０は、外接矩形内の文字画像が表す文字の画素と同じ位置にある原画像の画素の画素値の平均を算出した結果、３文字とも原文字色（Ｒｃ，Ｇｃ，Ｂｃ）＝（２５０，３４，２２）とする。なお、原文字色（Ｒｃ，Ｇｃ，Ｂｃ）は、外接矩形ごとに異なる場合もある。

【0143】

この場合、フォント色決定部１１０は、上記の（表８）の第１確信度を確信度Ｃとした場合に、上述の式（１）および（２）を用いて、フォント色（Ｒｆ，Ｇｆ，Ｂｆ）を算出した結果は、以下のようになる。

【0144】

確信度Ｃ＝３５の場合、（Ｒｆ，Ｇｆ，Ｂｆ）＝（２５４，２１２，２１０）
確信度Ｃ＝８５の場合、（Ｒｆ，Ｇｆ，Ｂｆ）＝（２５０，３４，２２）
確信度Ｃ＝４０の場合、（Ｒｆ，Ｇｆ，Ｂｆ）＝（２５２，２０５，２０２）

【0145】

上記のように、第１確信度を確信度Ｃとした場合に算出されるフォント色（Ｒｆ，Ｇｆ，Ｂｆ）は、それぞれ異なるものとなり、フォント色決定部１１０により文字単位でフォント色決定処理が行われた場合のフォントおよびフォント色は、図２２に示したものとなる。

【0146】

一方、「４０」に統一された第２確信度を確信度Ｃとした場合に算出されるフォント色（Ｒｆ，Ｇｆ，Ｂｆ）は、同一のものとなり、フォント色決定部１１０により名詞単位でフォント色決定処理が行われた場合のフォントおよびフォント色は、図２３に示したように統一したものとなる。

【0147】

続いて、文字画素置換色決定部１１１は、上述のステップＳ２２１でフォント色決定部１１０により取得された外接矩形内の文字画像が表す文字の画素とは別の位置にある原画像の画素の画素値の平均を算出した結果、３つの外接矩形とも原背景色（Ｒｂ，Ｇｂ，Ｂｂ）＝（２５５，２３０，１５３）とする。

【0148】

この場合、文字画素置換色決定部１１１は、上記の（表８）の第１確信度をＣとした場合に、上述の式（３）および（４）を用いて、文字画素置換色（Ｒｒ，Ｇｒ，Ｂｒ）を算出した結果は、以下のようになる。

【0149】

確信度Ｃ＝３５の場合、（Ｒｒ，Ｇｒ，Ｂｒ）＝（２５５，２５０，２３５）
確信度Ｃ＝８５の場合、（Ｒｒ，Ｇｒ，Ｂｒ）＝（２５５，２３０，１５３）
確信度Ｃ＝４０の場合、（Ｒｒ，Ｇｒ，Ｂｒ）＝（２５５，２４９，２３２）

【0150】

上記のように、第１確信度を確信度Ｃとした場合に算出される文字画素置換色（Ｒｒ，Ｇｒ，Ｂｒ）は、それぞれ異なるものとなり、文字画素置換色決定部１１１により文字単位で文字画素置換色決定処理が行われた場合の置換文字画素および文字画素置換色は、図２４に示したものとなる。

【0151】

一方、「４０」に統一された第２確信度を確信度Ｃとした場合に算出される文字画素置換色（Ｒｒ，Ｇｒ，Ｂｒ）は、同一のものとなり、文字画素置換色決定部１１１により名詞単位で文字画素置換色決定処理が行われた場合の置換文字画素および文字画素置換色は、図２５に示したように統一したものとなる。

【0152】

続いて、名詞単位で処理をしない場合（文字単位で処理をする場合）、ラップ処理部１１２により、図１２に示した原画像に対して、図２４に示した置換文字画素が重畳され、さらにその上から図２２に示したフォントが重畳された場合、図２６に示したものとなる。

【0153】

一方、名詞単位で処理をする場合、ラップ処理部１１２により、図１２に示した原画像に対して、図２５に示した置換文字画素が重畳され、さらにその上から図２３に示したフォントが重畳された場合、図２７に示したものとなる。

【0154】

以上のように、フォント視認性が確信度と正の相関があるとした場合、確信度が高いほど、注意喚起が重要であると捉えてフォント色を目立たせるため濃くし、確信度が低いほど、注意喚起が重要でないと捉えてフォント色を目立たせないように薄くする。また、原画像での文字画素の消去具合が確信度と正の相関があるとした場合、確信度が高いほど、原画像の文字画素の色を原背景色から近い色（正解の文字が見えにくいような文字画素の消去具合が高い傾向）に置換し、確信度が低いほど、原画像の文字画素の色を原背景色から遠い色（正解の文字が見えやすいような文字画素の消去具合が低い傾向）に置換する。

【0155】

（パターン（３）：負の相関に基づくフォント色決定処理および文字画素置換色決定処理の具体例）
図２８は、負の相関に基づいて文字単位の確信度制御を行った場合のフォントの一例を示す図である。図２９は、負の相関に基づいて文字単位の確信度制御を行った場合の置換文字画素の一例を示す図である。図３０は、原画像に負の相関に基づいて文字単位の確信度制御を行った場合の置換文字画素およびフォントを重畳させた状態の一例を示す図である。図３１は、原画像に、負の相関に基づいて文字単位の確信度制御を行った場合の置換文字画素、および正の相関に基づいて文字単位の確信度制御を行った場合のフォントを重畳させた状態の一例を示す図である。図２８～図３１を参照しながら、パターン（３）の場合の負の相関に基づくフォント色決定処理および文字画素置換色決定処理の具体例について説明する。すなわち、フォント色決定部１１０は、フォント視認性が確信度と負の相関があるとした場合に基づいてフォント色を決定する。すなわち、負の相関があるとした場合、確信度が高いほど、注意喚起が重要でないと捉えてフォント色を薄くし、確信度が低いほど、注意喚起が重要であると捉えてフォント色を濃くする。また、文字画素置換色決定部１１１は、原画像での文字画素の消去具合が確信度と負の相関があるとした場合に基づいて文字画素置換色を決定する。すなわち、負の相関があるとした場合、確信度が高いほど、原画像の文字画素の色を原背景色から遠い色（文字画素の消去具合が低い傾向）に置換し、確信度が低いほど、原画像の文字画素の色を原背景色から近い色（文字画素の消去具合が高い傾向）に置換する。

【0156】

この場合、言語処理部１０８で言語処理がなされた名詞（フォント）のフォント色（Ｒｆ，Ｇｆ，Ｂｆ）は、以下の式（５）および（６）により、原文字色（Ｒｃ，Ｇｃ，Ｂｃ）に基づいて算出されて決定される。

【0157】

（確信度Ｃ≧Ｔｈの場合）
Ｒｆ＝Ｒｃ，Ｇｆ＝Ｇｃ，Ｂｆ＝Ｂｃ ・・・（５）
（それ以外の場合）
Ｒｆ＝Ｒｃ－Ｒｃ×｛（１００－Ｃ）／１００｝＾０．５ ・・・（６）
Ｇｆ＝Ｇｃ－Ｇｃ×｛（１００－Ｃ）／１００｝＾０．５
Ｂｆ＝Ｂｃ－Ｂｃ×｛（１００－Ｃ）／１００｝＾０．５

【0158】

上記の確信度Ｃは、０～１００の値をとり、閾値Ｔｈは、例えば８５とする。なお、式（６）中のべき乗を０．５乗としているが、これに限定されるものではなく、例えば１／３乗～１／２乗としてもよい。

【0159】

この場合、原画像において文字画像が示す文字の部分の画素と置換するための画素（置換文字画素）の色（画素値）である文字画素置換色（Ｒｒ，Ｇｒ，Ｂｒ）は、以下の式（７）および（８）により、原背景色（Ｒｂ，Ｇｂ，Ｂｂ）に基づいて算出されて決定される。

【0160】

（確信度Ｃ≧Ｔｈの場合）
Ｒｒ＝Ｒｂ，Ｇｒ＝Ｇｂ，Ｂｒ＝Ｂｂ ・・・（７）
（それ以外の場合）
Ｒｒ＝Ｒｂ－Ｒｂ×｛（１００－Ｃ）／１００｝＾０．５ ・・・（８）
Ｇｒ＝Ｇｂ－Ｇｂ×｛（１００－Ｃ）／１００｝＾０．５
Ｂｒ＝Ｂｂ－Ｂｂ×｛（１００－Ｃ）／１００｝＾０．５

【0161】

上述と同様に、確信度Ｃは、０～１００の値をとり、閾値Ｔｈは、例えば８５とする。なお、式（８）中のべき乗を０．５乗としているが、これに限定されるものではなく、例えば１／３乗～１／２乗としてもよい。

【0162】

言語処理部１０８により確定した名詞「てまて」の３文字の第１確信度および第２確信度の組み合わせは、上述のパターン（３）、すなわち、上述の（表８）に示すパターンであるものとする。

【0163】

フォント色決定部１１０は、第１確信度保持部１２１から、フォント色の決定の対象となる外接矩形（座標情報）を取得し、当該外接矩形の座標に対応した二値画像の画像部分（すなわち文字画像）、および原画像を取得する。そして、フォント色決定部１１０は、外接矩形内の文字画像が表す文字の画素と同じ位置にある原画像の画素の画素値の平均を算出した結果、３文字とも原文字色（Ｒｃ，Ｇｃ，Ｂｃ）＝（２５０，３４，２２）とする。なお、原文字色（Ｒｃ，Ｇｃ，Ｂｃ）は、外接矩形ごとに異なる場合もある。

【0164】

この場合、フォント色決定部１１０は、上記の（表８）の「４０」に統一された第２確信度を確信度Ｃとした場合に、上述の式（５）および（６）を用いて、フォント色（Ｒｆ，Ｇｆ，Ｂｆ）を算出した結果は、以下のようになる。

【0165】

確信度Ｃ＝４０の場合、（Ｒｆ，Ｇｆ，Ｂｆ）＝（２５０，８，５）

【0166】

このように、「４０」に統一された第２確信度を確信度Ｃとした場合に算出されるフォント色（Ｒｆ，Ｇｆ，Ｂｆ）は、同一のものとなり、フォント色決定部１１０により名詞単位でフォント色決定処理が行われた場合のフォントおよびフォント色は、図２８に示したように統一したものとなる。

【0167】

続いて、文字画素置換色決定部１１１は、上述のステップＳ２２１でフォント色決定部１１０により取得された外接矩形内の文字画像が表す文字の画素とは別の位置にある原画像の画素の画素値の平均を算出した結果、３つの外接矩形とも原背景色（Ｒｂ，Ｇｂ，Ｂｂ）＝（２５５，２３０，１５３）とする。

【0168】

この場合、文字画素置換色決定部１１１は、上記の（表８）の「４０」に統一された第２確信度をＣとした場合に、上述の式（７）および（８）を用いて、文字画素置換色（Ｒｒ，Ｇｒ，Ｂｒ）を算出した結果は、以下のようになる。

【0169】

確信度Ｃ＝４０の場合、（Ｒｒ，Ｇｒ，Ｂｒ）＝（２５５，５２，３５）

【0170】

このように、「４０」に統一された第２確信度を確信度Ｃとした場合に算出される文字画素置換色（Ｒｒ，Ｇｒ，Ｂｒ）は、同一のものとなり、文字画素置換色決定部１１１により名詞単位で文字画素置換色決定処理が行われた場合の置換文字画素および文字画素置換色は、図２９に示したように統一したものとなる。

【0171】

続いて、名詞単位で処理をしない場合（文字単位で処理をする場合）、ラップ処理部１１２により、図１２に示した原画像に対して、図２４に示した置換文字画素が重畳され、さらにその上から図２２に示したフォントが重畳された場合、図２６に示したものとなる。

【0172】

続いて、名詞単位で処理をする場合、ラップ処理部１１２により、図１２に示した原画像に対して、図２９に示した置換文字画素が重畳され、さらにその上から図２８に示したフォントが重畳された場合、図３０に示したものとなる。

【0173】

以上のように、フォント視認性が確信度と負の相関があるとした場合、確信度が高いほど、注意喚起が重要でないと捉えて薄くし、確信度が低いほど、注意喚起が重要でないと捉えて濃くする。また、原画像での文字画素の消去具合が確信度と負の相関があるとした場合、確信度が高いほど、原画像の文字画素の色を原背景色から遠い色（文字画素の消去具合が低い傾向）に置換し、確信度が低いほど、原画像の文字画素の色を原背景色から近い色（文字画素の消去具合が高い傾向）に置換する。

【0174】

なお、図３０では、フォント色決定処理および文字画素置換色決定処理は、共に負の相関に基づいた処理の結果を示しているが、それぞれの処理形式は互いに独立とすることができるため、処理の際の条件（原画像および文字の確信度）は同一として、各処理について正の相関または負の相関の別々に設定して行われるようにしてもよい。例えば、フォント色決定処理は正の相関に基づくものとし、文字画素置換色決定処理は負の相関に基づくものとした場合に、原画像（図１２に示した原画像）に対して、文字画素置換色決定処理が行われた置換文字画素（図２９に示したもの）を重畳し、フォント色決定処理が行われたフォント（図２３に示したもの）を重畳した結果を、図３１に示す。

【0175】

また、フォント色決定処理および文字画素置換色決定処理について、正の相関または負の相関だけでなく、確信度に対して相関を持たない、例えばある確信度からある確信度までは正の相関、他の確信度では負の相関といったように、相関を自由に設定できるようにしてもよい。これによって、視覚的な注意喚起のバリエーションが増え、読み手にとって見やすく、便利で、自然な態様でのドキュメントデータへの出力が可能となる。

【0176】

（パターン（３）：白地の原画像に対応したフォント色決定処理および文字画素置換色決定処理の具体例）
図３２は、白地に赤い文字が記載された原画像の一例を示す図である。図３３は、原画像に、負の相関に基づいて文字単位の確信度制御を行った場合の置換文字画素、および正の相関に基づいて文字単位の確信度制御を行った場合のフォントを重畳させた状態の一例を示す図である。図３２および図３３を参照しながら、パターン（３）の場合であって、かつ原画像の地が白色である場合に対応したフォント色決定処理および文字画素置換色決定処理の具体例について説明する。

【0177】

原背景色の地が白色である場合、すなわち原背景色（Ｒｂ，Ｇｂ，Ｂｂ）＝（２５５，２５５，２５５）である場合に、上述の式（３）および（４）で文字画素置換色を算出すると、確信度Ｃによらずに、文字画素置換色（Ｒｒ，Ｇｒ，Ｂｒ）＝（２５５，２５５，２５５）と一定になり、注意喚起の効果を全く奏さなくなる。この場合、フォント色決定処理および文字画素置換色決定処理は、原文字色（Ｒｃ，Ｇｃ，Ｂｃ）と原背景色（Ｒｂ，Ｇｂ，Ｂｂ）との関係を考慮して設定する必要がある。

【0178】

上述の式（７）および（８）を適用すると、白以外の原背景色は、Ｒ、Ｇ、Ｂのうちいずれかが最大値をとる場合は，原文字色を保持するが，白地の場合は，その限定を入れると白のまま置換されないため，原背景色（Ｒｂ，Ｇｂ，Ｂｂ）＝（２５５，２５５，２５５）の場合のみ限定条件はとって文字画素置換色決定処理を行えば注意喚起の効果を期待できる。

【0179】

例えば、原画像が、図３２に示すように、背景が白地で赤い文字「とまと」が記載された画像であるものとする。言語処理部１０８により確定した名詞「てまて」の３文字の第１確信度および第２確信度の組み合わせは、上述のパターン（３）、すなわち、上述の（表８）に示すパターンであるものとする。

【0180】

フォント色決定部１１０は、第１確信度保持部１２１から、フォント色の決定の対象となる外接矩形（座標情報）を取得し、当該外接矩形の座標に対応した二値画像の画像部分（すなわち文字画像）、および原画像を取得する。そして、フォント色決定部１１０は、外接矩形内の文字画像が表す文字の画素と同じ位置にある原画像の画素の画素値の平均を算出した結果、３文字とも原文字色（Ｒｃ，Ｇｃ，Ｂｃ）＝（２５０，３４，２２）とする。

【0181】

この場合、フォント色決定部１１０は、上記の（表８）の「４０」に統一された第２確信度を確信度Ｃとした場合に、上述の式（１）および（２）を用いて、正の相関に基づいてフォント色（Ｒｆ，Ｇｆ，Ｂｆ）を算出した結果は、以下のようになる。

【0182】

確信度Ｃ＝４０の場合、（Ｒｆ，Ｇｆ，Ｂｆ）＝（２５４，２０５，２０２）

【0183】

この場合、フォント色決定部１１０により名詞単位で正の相関に基づいてフォント色決定処理が行われた場合のフォントおよびフォント色は、図２３に示したように統一したものとなる。

【0184】

続いて、文字画素置換色決定部１１１は、上記の（表８）の「４０」に統一された第２確信度をＣとした場合に、Ｒ、Ｇ、Ｂそれぞれに均一に黒側に濃くしていく方向に処理すると仮定して（負の相関に基づくものとして）、上述の式（７）および（８）を用いて、文字画素置換色（Ｒｒ，Ｇｒ，Ｂｒ）を算出した結果は、以下のようになる。

【0185】

確信度Ｃ＝４０の場合、（Ｒｒ，Ｇｒ，Ｂｒ）＝（５８，５８，５８）

【0186】

続いて、ラップ処理部１１２により、図３２に示した原画像に対して、上述の文字画素置換色決定処理で文字画素置換色（Ｒｒ，Ｇｒ，Ｂｒ）が決定された置換文字画素が重畳され、さらにその上から図２３に示したフォントが重畳された場合、図３３に示したものとなる。

【0187】

なお、上述の白地の原画像についての文字画素置換色決定処理では、文字画素置換色を黒側に濃くしていく動作を説明したが、これに限定されるものではなく、例えば、原背景色（Ｒｂ，Ｇｂ，Ｂｂ）のいずれか１成分または２成分が「２５５」を保持して、それ以外を置換するものとすれば、一次色または二次色で濃くしていくこともできる。例えば、文字画素置換色（Ｒｒ，Ｇｒ，Ｂｒ）は、上述の式（７）および（８）からの派生で、以下の式（９）および（１０）により算出されて決定される。

【0188】

（確信度Ｃ≧Ｔｈの場合）
Ｒｒ＝２５５，Ｇｒ＝２５５，Ｂｒ＝２５５ ・・・（９）
（それ以外の場合）
Ｒｒ＝２５５－２５５×｛（１００－Ｃ）／１００｝＾０．５ ・・・（１０）
Ｇｒ＝２５５－２５５×｛（１００－Ｃ）／１００｝＾０．５
Ｂｒ＝２５５

【0189】

これによって、白地の原画像についての文字画素置換色決定処理により、文字画素置換色を青色に濃くしていく動作とすることができる。

【0190】

（原文字色および原背景色の補色を用いたフォント色決定処理および文字画素置換色決定処理の具体例）
次に、原文字色および原背景色から、フォント色および文字画素置換色を全く異なる色に置き換えることにより、注意喚起をより効果的に行う動作について説明する。

【0191】

例えば、言語処理部１０８で言語処理がなされた名詞（フォント）のフォント色（Ｒｆ，Ｇｆ，Ｂｆ）を、以下の式（１１）～（１３）により、原文字色（Ｒｃ，Ｇｃ，Ｂｃ）の補色（Ｒｃｃ，Ｇｃｃ，Ｂｃｃ）（第１補色）に基づいて算出されて決定される。ここで、後の位置のサフィックスｃは「ｃｏｍｐｌｅｍｅｎｔａｒｙ」に由来する。

【0192】

（確信度Ｃ≧Ｔｈの場合）
Ｒｆ＝Ｒｃｃ，Ｇｆ＝Ｇｃｃ，Ｂｆ＝Ｂｃｃ ・・・（１１）
（それ以外の場合：確信度Ｃが低いほど濃くする）
Ｒｆ＝Ｒｃｃ＋２５５×（Ｃ／１００）＾０．５ ・・・（１２）
Ｇｆ＝Ｇｃｃ＋２５５×（Ｃ／１００）＾０．５
Ｂｆ＝Ｂｃｃ＋２５５×（Ｃ／１００）＾０．５
（それ以外の場合：確信度Ｃが低いほど薄くする）
Ｒｆ＝Ｒｃｃ＋２５５×｛（１００－Ｃ）／１００｝＾０．５ ・・・（１３）
Ｇｆ＝Ｇｃｃ＋２５５×｛（１００－Ｃ）／１００｝＾０．５
Ｂｆ＝Ｂｃｃ＋２５５×｛（１００－Ｃ）／１００｝＾０．５

【0193】

上記の確信度Ｃは、０～１００の値をとり、閾値Ｔｈは、例えば８５とする。なお、式（１２）および（１３）中のべき乗を０．５乗としているが、これに限定されるものではなく、例えば１／３乗～１／２乗としてもよい。

【0194】

同様に、原画像において文字画像が示す文字の部分の画素と置換するための画素（置換文字画素）の色（画素値）である文字画素置換色（Ｒｒ，Ｇｒ，Ｂｒ）は、以下の式（１４）～（１６）により、原背景色（Ｒｂ，Ｇｂ，Ｂｂ）の補色（Ｒｂｃ，Ｇｂｃ，Ｂｂｃ）（第２補色）に基づいて算出されて決定される。ここで、後の位置のサフィックスｃは「ｃｏｍｐｌｅｍｅｎｔａｒｙ」に由来する。

【0195】

（確信度Ｃ≧Ｔｈの場合）
Ｒｒ＝Ｒｂｃ，Ｇｒ＝Ｇｂｃ，Ｂｒ＝Ｂｂｃ ・・・（１４）
（それ以外の場合：確信度Ｃが低いほど濃くする）
Ｒｒ＝Ｒｂｃ＋２５５×（Ｃ／１００）＾０．５ ・・・（１５）
Ｇｒ＝Ｇｂｃ＋２５５×（Ｃ／１００）＾０．５
Ｂｒ＝Ｂｂｃ＋２５５×（Ｃ／１００）＾０．５
（それ以外の場合：確信度Ｃが低いほど薄くする）
Ｒｒ＝Ｒｂｃ＋２５５×｛（１００－Ｃ）／１００｝＾０．５ ・・・（１６）
Ｇｒ＝Ｇｂｃ＋２５５×｛（１００－Ｃ）／１００｝＾０．５
Ｂｒ＝Ｂｂｃ＋２５５×｛（１００－Ｃ）／１００｝＾０．５

【0196】

上記の確信度Ｃは、０～１００の値をとり、閾値Ｔｈは、例えば８５とする。なお、式（１５）および（１６）中のべき乗を０．５乗としているが、これに限定されるものではなく、例えば１／３乗～１／２乗としてもよい。

【0197】

以上の、原文字色および原背景色の補色に基づいて、フォント色決定処理および文字画素置換色決定処理を実行するにより、注意喚起をより効果的に行うことができる。

【0198】

なお、上述の説明では、フォント色を原文字色の補色を用いて決定し、文字画素置換色を原背景色の補色を用いて決定するものとしているが、これに限定されるものではない。例えば、フォント色を原背景色の補足を用いて決定し、文字画素置換色を原文字色の補色を用いて決定するものとしてもよい。これによって、見やすさおよび注意喚起のバリエーションを増やすことができる。

【0199】

（フォント色決定処理および文字画素置換色決定処理の処理方式の選択設定）
図３４は、処理方式選択画面の一例を示す図である。図３４を参照しながら、フォント色決定処理および文字画素置換色決定処理の処理方式を選択して設定する動作について説明する。

【0200】

上述のように、フォント色決定処理および文字画素置換色決定処理の処理方式として、確信度に対する正の相関、負の相関、原文字色の補色、または原背景色の補色に基づいた方式により実行する動作を説明したが、これらが自由に選択して設定できるようにしてもよい。図３４に示す処理方式選択画面１０００は、表示制御部１３２による制御に従って操作表示部５１０に表示される画面であり、フォント色決定処理および文字画素置換色決定処理の処理方式を選択して設定するための画面である。処理方式選択画面１０００は、図３４に示すように、フォント色用選択ラジオボタン１００１と、文字画素置換色用選択ラジオボタン１００２と、ＯＫボタン１０１１と、キャンセルボタン１０１２と、を含む。

【0201】

フォント色用選択ラジオボタン１００１は、フォント色決定部１１０によるフォント色決定処理について、確信度（第１の確信度または第２の確信度）に対する正の相関、負の相関、原文字色の補色、または原背景色の補色に基づいた処理方式のうちいずれの処理方式により実行するのかを選択するためのラジオボタンである。

【0202】

文字画素置換色用選択ラジオボタン１００２は、文字画素置換色決定部１１１による文字画素置換色決定処理について、確信度（第１の確信度または第２の確信度）に対する正の相関、負の相関、原文字色の補色、または原背景色の補色に基づいた処理方式のうちいずれの処理方式により実行するのかを選択するためのラジオボタンである。

【0203】

ＯＫボタン１０１１は、フォント色用選択ラジオボタン１００１および文字画素置換色用選択ラジオボタン１００２それぞれで選択された処理方式の設定内容を確定するためのボタンである。入力部１３３を介してＯＫボタン１０１１が押下されると、設定部１３４は、フォント色用選択ラジオボタン１００１で選択された処理方式をフォント色決定処理に対して設定し、文字画素置換色用選択ラジオボタン１００２で選択された処理方式を文字画素置換色決定処理に対して設定する。このとき、設定部１３４は、フォント色設定処理および文字画素置換色決定処理に対して設定した処理方式の情報を、記憶部１２０に記憶させる。そして、フォント色決定部１１０は、記憶部１２０に記憶されたフォント色決定処理の処理方式の設定内容に基づいて、フォント色決定処理を実行し、文字画素置換色決定部１１１は、記憶部１２０に記憶された文字画素置換色決定処理の処理方式の設定内容に基づいて、文字画素置換色決定処理を実行する。

【0204】

キャンセルボタン１０１２は、フォント色用選択ラジオボタン１００１および文字画素置換色用選択ラジオボタン１００２で選択した内容をキャンセルするためのボタンである。

【0205】

なお、上述では、処理方式選択画面１０００によりユーザが手動で、フォント色決定処理および文字置換色決定処理の処理方式を設定するものとしているが、これに限定されるものではなく、所定の条件に応じて、自動で処理方式が設定されるものとしてもよい。

【0206】

以上のように、本実施形態に係るＭＦＰ１０では、フォント色決定処理および文字画素置換色決定処理において、原画像の原文字色、原背景色に基づいた処理方式を設定可能としている。これによって、文字画素（置換文字画素）の色およびフォントの色の制御（処理方式）の組み合わせにより、読み手にとって見やすく、かつ文字認識における誤認識についての自然な注意喚起を実現することができる。

【0207】

また、本実施形態に係るＭＦＰ１０では、フォント色決定処理および文字画素置換色決定処理の処理方式として、例えば確信度に対する正の相関、負の相関、原文字色の補色、または原背景色の補色のいずれかに基づいた処理方式を設定できるものとしている。これによって、視覚的な注意喚起のバリエーションが増え、読み手にとって見やすく、便利で、自然な態様でのドキュメントデータへの出力が可能となる。

【0208】

（変形例）
変形例に係るＭＦＰ１０について、上述の本実施形態に係るＭＦＰ１０とは異なる動作を中心に説明する。本変形例では、特定の確信度を転換点として、確信度に対する正の相関または負の相関に基づく処理方式と、補色に基づいた処理方式とを切り替える動作について説明する。なお、本変形例に係るＭＦＰ１０のハードウェア構成および機能ブロックの構成は、上述の実施形態に係るＭＦＰ１０と同様である。

【0209】

図３５は、正の相関に基づく処理および補色処理の組み合わせの一例を説明する図である。図３６は、文字画素置換色およびフォント色に対する処理の組み合わせの結果の一例を示す図である。図３５および図３６を参照しながら、本変形例に係るＭＦＰ１０のフォント色決定処理および文字画素置換色決定処理について説明する。

【0210】

上述の実施形態では、フォント色決定処理および文字画素置換色決定処理に対して、それぞれ確信度に対する正の相関、負の相関、原文字色の補色、または原背景色の補色のいずれかの処理方式を設定して、処理を行うものとして説明した。これに対して、本変形例では、フォント色決定処理および文字画素置換色決定処理の少なくともいずれかに対して、特定の確信度を転換点として、確信度に対する正の相関または負の相関に基づく処理方式と、補色に基づいた処理方式とを切り替える動作について説明する。例えば、フォント色決定処理（または文字画素置換色決定処理）について、特定の確信度を転換点として、転換点よりも上の確信度では、文字単位または名詞単位で、正の相関または負の相関に基づいて処理を行い、当該転換点よりも下の確信度では、文字単位または名詞単位で、原文字色または原背景色の補色に基づいて処理を行うものとしてもよい。これによって、原画像と比較して、ＯＣＲによる文字認識の結果との差分が見やすくなる。なお、転換点を境にして、正の相関または負の相関に基づく処理と、原文字色または原背景色の補色に基づく処理とが、逆であってもよい。

【0211】

図３５に示す例では、確信度の転換点を「５０」とし、確信度の閾値Ｔｈを「８０」とし、原文字色または原背景色が赤色とした仮定した場合、確信度が転換点よりも高い場合、確信度が高いほど濃く、確信度が低いほど薄くなっていく正の相関をする処理を行い、確信度が転換点よりも低い場合、原文字色または原背景色の補色に基づいて、確信度が高いほど薄くし、確信度が低いほど濃くする処理を行う動作を示している。この図３５に示す処理の組み合わせを用いて、図１２に示した原画像に対してフォント色決定処理および文字画素置換色決定処理を行った場合の例を、図３６に示す。

【0212】

図３６に示す左側の例では、確信度「４０」が転換点「５０」よりも低いことにより、フォント色決定処理について、原文字色の補色に基づく処理方式により処理を行い、文字画素置換色決定処理については、正の相関に基づく処理方式により処理を行った場合の例を示す。図３６に示す右側の例では、確信度「４０」が転換点「５０」よりも低いことにより、文字画素置換色決定処理について、原背景色の補色に基づく処理方式により処理を行い、フォント色決定処理については、正の相関に基づく処理方式により処理を行った場合の例を示す。

【0213】

これによって、文字画素（置換文字画素）の色およびフォントの色の制御（処理方式）の組み合わせのバリエーションがさらに増え、読み手にとって見やすく、かつ文字認識における誤認識についての自然な注意喚起を実現することができる。

【0214】

なお、原背景色を閾値として処理の転換点を変えてもよく、特定の確信度において、原背景色よりも文字画素置換色が薄くなってしまう場合は、薄くなる手前の確信度の文字画素置換色を保持するといった処理にしてもよい。逆に、原背景色よりも濃くなってしまう場合は、濃くなる手間の確信度の文字画素置換色を保持するといった処理にしてもよい。これによって、原背景色、フォント色、文字置換色間の色の被りを防ぐことができ、より見やすくなることが期待できる。

【0215】

また、本変形例のように、転換点を境にして、確信度に対して相関を有する処理と、補色に基づく処理とを切り替えて処理する動作については、上述の処理方式選択画面１０００において、自由に設定ができるものとしてもよい。この場合、転換点をどの程度にするか等についても設定できるものとしてもよい。

【0216】

なお、上述の実施形態および変形例において、言語処理部１０８による形態素解析により抽出されるものとして名詞を取り上げて説明したが、これに限定されず、形容詞、動詞、副詞、助詞、接続詞等のように広く品詞を抽出するものとしてもよい。

【0217】

また、上述の実施形態および変形例の各機能は、一または複数の処理回路によって実現することが可能である。ここで、「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上述した各機能を実行するよう設計されたＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ ｏｎ ａ Ｃｈｉｐ)、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や従来の回路モジュール等のデバイスを含むものとする。

【0218】

また、上述の実施形態および変形例において、ＭＦＰ１０の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、上述の実施形態および変形例に係るＭＦＰ１０で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤまたはＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）カード等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の実施形態および変形例に係るＭＦＰ１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施形態および変形例に係るＭＦＰ１０で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の実施形態および変形例に係るＭＦＰ１０で実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上述の記憶装置からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置上にロードされて生成されるようになっている。

【符号の説明】

【0219】

１ 情報処理システム
１０ ＭＦＰ
１１ スキャナ部
１２ プリンタ部
２０ ＰＣ
３０ ファイルサーバ
１０１ 画像取得部
１０２ 二値化部
１０３ 切出し処理部
１０４ 文字認識部
１０５ 組合せ選択部
１０６ ルール処理部
１０７ 第１確信度算出部
１０８ 言語処理部
１０９ 第２確信度算出部
１１０ フォント色決定部
１１１ 文字画素置換色決定部
１１２ ラップ処理部
１２０ 記憶部
１２１ 第１確信度保持部
１２２ 単語辞書
１２３ 第２確信度保持部
１２４ 処理方式設定情報
１３１ 通信部
１３２ 表示制御部
１３３ 入力部
１３４ 設定部
５００ コントローラ
５０１ ＣＰＵ
５０２ システムメモリ（ＭＥＭ－Ｐ）
５０３ ノースブリッジ（ＮＢ）
５０４ａ サウスブリッジ（ＳＢ）
５０４ｂ ネットワークＩ／Ｆ
５０４ｃ ＵＳＢ Ｉ／Ｆ
５０４ｄ セントロニクスＩ／Ｆ
５０５ ＡＧＰ
５０６ ＡＳＩＣ
５０７ ローカルメモリ（ＭＥＭ－Ｃ）
５０８ 補助記憶装置
５１０ 操作表示部
５２０ ＦＣＵ
５３１ プロッタ
５３２ スキャナ
１０００ 処理方式選択画面
１００１ フォント色用選択ラジオボタン
１００２ 文字画素置換色用選択ラジオボタン
１０１１ ＯＫボタン
１０１２ キャンセルボタン
Ｎ ネットワーク

【先行技術文献】

【特許文献】

【0220】

【文献】特開２００５－３５２７３５号公報

【文献】特開平１０－０６９５１７号公報

【文献】特開２０１４－１３７６０５号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】