(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0011】
以下、本発明の一実施形態に係る画像処理装置及び画像形成装置について図面を参照して説明する。
図1は、本発明の実施形態に係る画像処理装置としての画像形成装置の主要内部構成を概略的に示した機能ブロック図である。
【0012】
画像形成装置1は、例えば、コピー機能、プリンター機能、スキャナー機能、及びファクシミリ機能のような複数の機能を兼ね備えた複合機である。画像形成装置1は、制御ユニット10、原稿給送部6、原稿読取部5、画像形成部12、HDD92、定着部13、給紙部14、操作部47、及びネットワークインターフェイス部91を備える。
【0013】
画像形成装置1で原稿読取動作が行われる場合について説明する。原稿給送部6により搬送されてきた原稿、又はプラテンガラスに載置されている原稿の画像を、原稿読取部5が光学的に読み取り、そして画像データを生成する。原稿読取部5により生成された画像データは、図略の画像メモリー等に保存される。
【0014】
画像形成装置1で画像形成動作が行われる場合について説明する。原稿読取動作により生成された画像データや、ネットワーク接続された外部装置20としてのコンピューターから受信した画像データ等に基づいて、画像形成部12が、給紙部14から給紙される記録媒体としての記録紙(記録媒体)にトナー像を形成する。
【0015】
定着部13は、熱圧着によりトナー像を記録紙に定着させるものであり、定着処理が施された記録紙は排出トレイに排出される。給紙部14は、給紙カセットを備える。
【0016】
操作部47は、画像形成装置1が実行可能な各種動作及び処理について、操作者から、画像形成動作実行指示等の指示を受け付ける。操作部47は、操作者への操作案内等を表示する表示部473を備えている。表示部473はタッチパネルになっており、操作者は画面表示されるボタンやキーに触れて画像形成装置1を操作することができる。
【0017】
ネットワークインターフェイス部91は、ローカルエリア内、又はインターネット上のPCやサーバー等の外部装置20と種々のデータの送受信を行うものである。なお、ネットワークインターフェイス部91は、特許請求の範囲における通信部の一例である。
【0018】
制御ユニット10は、プロセッサー、RAM(Random Access Memory)、ROM(Read Only Memory)、及び専用のハードウェア回路を含んで構成される。プロセッサーは、例えばCPU(Central Processing Unit)、ASIC(Application Specific Integrated Circuit)、又はMPU(Micro Processing Unit)等である。制御ユニット10は、制御部100と、操作受付部101と、文字認識部103と、翻訳部104と、生成部105と、合成部106と、画像処理部107とを備えている。
【0019】
制御ユニット10は、HDD92に記憶されている制御プログラムに従った動作により、制御部100、操作受付部101、文字認識部103、翻訳部104、生成部105、合成部106、及び画像処理部107として機能するものである。但し、制御部100等は、制御ユニット10による制御プログラムに従った動作によらず、それぞれハードウェア回路により構成することも可能である。以下、特に触れない限り、各実施形態について同様である。
【0020】
制御部100は、画像形成装置1の全体的な動作制御を司る。制御部100は、原稿給送部6、原稿読取部5、画像形成部12、定着部13、給紙部14、操作部47、及びネットワークインターフェイス部91と接続され、これら各部の駆動制御等を行う。
【0021】
操作受付部101は、操作部47を介して、ユーザーからの操作入力を受け付ける。また、操作受付部101は、選択受付部102を備えている。なお、選択受付部102の詳細については、後で説明する。
【0022】
文字認識部103は、原稿読取部5による読み取りで得られたRAW画像データや、HDD92等に保存されているRAW画像データに対して、OCR(Optical Character Recognition)処理等の文字認識の処理を行って、RAW画像データに含まれる文字画像をテキスト化したオリジナルテキストを作成する。
【0023】
翻訳部104は、文字認識部103による処理で得られたオリジナルテキストを、予め定められた言語(例えば、英語)で翻訳することによって、翻訳テキストを作成する。翻訳部104は、上記制御プログラムに含まれる翻訳アプリケーションを実行することにより、上記翻訳の機能を備える。
【0024】
生成部105は、原稿読取部5による読み取りで得られたRAW画像データに基づいて、PDF形式のデータ(以降、PDFデータとも記す)を生成する。
【0025】
合成部106は、生成部105が生成したPDFデータに、文字認識部103による処理で得られたオリジナルテキストを透明テキストとして合成することによって、透明テキスト付きPDFファイルを生成する。更に、合成部106は、当該PDFデータに、翻訳部104による翻訳で得られた翻訳テキストを合成する。
【0026】
画像処理部107は、原稿読取部5による読み取りで得られたRAW画像データが示すオリジナル画像のテキスト部分を、前記オリジナルテキストから、前記翻訳テキストに置き換えた置換画像を生成する。
【0027】
次に、第1実施形態に係る画像処理装置の一実施形態としての画像形成装置1の制御ユニット10で行われる処理動作の一例について、
図2に示したフローチャートに基づいて説明する。
図3は、テキスト領域の検出を説明する図である。
図4は、透明テキスト付きPDFファイルF1の階層構造の一例を説明するための説明図である。
【0028】
操作受付部101が、原稿のスキャン開始のユーザー指示を受け付けると、制御部100は、原稿読取部5の動作を制御することによって、原稿読取部5に原稿を読み取らせる(S1)。
【0029】
続いて、文字認識部103が、原稿読取部5による読み取りで得られたRAW画像データD1(
図3参照)に基づいて、既知の技術により、テキスト領域(例えば、各領域の外接矩形の左上位置座標と、当該外接矩形の幅及び高さ)を検出する(S2)。文字認識部103は、検出したテキスト領域内においてRAW画像データD1に対して文字認識の処理を行って、テキストデータを作成する(S3)。
【0030】
そして、生成部105は、既知の技術により、原稿読取部5による読み取りで得られたRAW画像データD1から、RAW画像データD1のテキスト領域E1,E2それぞれの左上位置座標C1,C2と、幅W1,W2及び高さH1,H2を求める。続いて、生成部105は、RAW画像データD1からPDFデータD2(
図4を参照)を生成する(S4)。
【0031】
合成部106は、PDFデータD2が示す文字位置と、文字認識部103による処理で得られたオリジナルテキストD3(
図4を参照)が示す文字位置とが同じ配置位置となるように、生成部105が生成したPDFデータD2に、オリジナルテキストD3を透明テキストとして合成することによって(S5)、透明テキスト付きPDFファイルF1を生成する。
図4に示すように、PDFファイルF1は、PDFデータD2と第1レイヤーL1とが一体化されている。そして、第1レイヤーL1には、透明テキストとしてオリジナルテキストD3が埋め込まれている。
【0032】
続いて、翻訳部104が、オリジナルテキストD3に基づいて、オリジナルテキストD3が示す文字列(オリジナルテキスト)を予め定められた言語(オリジナルテキストの言語とは異なる言語)に翻訳することによって(S6)、翻訳テキストD4(
図5参照)を作成する。
【0033】
その後、合成部106が、翻訳部104による翻訳で得られた翻訳テキストD4が示す文字列の画像を、表示部473での表示時又は画像形成部12による印刷時のレイアウトで、テキスト領域E1,E2(
図3)内に収めることが可能な文字サイズを算出する(S7)。
【0034】
本実施形態では、画像処理部107が、翻訳テキストD4を、PDFデータD2と同様のレイアウトで配置した印刷用画像又は送信用画像を生成する場合に、翻訳テキストD4の位置を、オリジナルテキストD3が示す文字位置と同じ配置となるように設定したときに、翻訳テキストD4が、対応するオリジナルテキストD3のテキスト領域E1又はE2内に収まる大きさに、翻訳テキストD4が示す各文字画像の文字サイズを設定する。
【0035】
合成部106は、PDFデータD2及びオリジナルテキストD3からなるPDFファイルF1に、翻訳テキストD4、及び上記算出された文字サイズを示す文字サイズデータD5を合成する(S8)。制御部100は、当該合成により作成されたPDFファイルF1をHDD92に保存する(S9)。
【0036】
図5は、透明テキスト付きPDFファイルF1の階層構造の一例を示す図である。
図5に示すように、合成部106は、PDFファイルF1
として、PDFデータD2と第1レイヤーL1と第2レイヤーL2とを一体化させる。第2レイヤーL2には、透明テキストとして翻訳テキストD4が埋め込まれると共に、文字サイズデータD5が埋め込まれている。
【0037】
オリジナルテキストを翻訳した場合、オリジナルテキストと翻訳テキストは、同じ文字サイズである場合、両者の文字列の長さが異なる。例えば、日本語を英語に翻訳した場合、文字列は長くなる。このため、オリジナルテキストと同じ文字サイズでは翻訳テキストは、翻訳テキストを示す画像が表示部473での表示用、又は画像形成部12による印刷用にレイアウトされたときに、テキスト領域E1,E2内に収まらない。このため、翻訳テキストを示す画像をテキスト領域E1,E2(
図3)内に収めるために、合成部106が、翻訳テキストを示す画像をテキスト領域E1,E2(
図3)内に収めることが可能な文字サイズを算出する。
【0038】
次に、PDFファイルF1を出力対象とする場合における出力処理を説明する。
〈印刷の場合〉
(1)操作受付部101が、PDFファイルF1に対する印刷のユーザー指示を受け付けると、制御部100が、
図6に示すような、操作画面T1を表示部473に表示する。操作画面T1には、選択ボタンB1〜B3が形成され、選択ボタンB1〜B3にはそれぞれ「オリジナルテキスト」「翻訳テキスト」「オリジナルテキスト+翻訳テキスト」と表示されている。
【0039】
選択ボタンB1は、オリジナルテキストを有するオリジナル画像を印刷対象とする指示をユーザーから受け付けるための選択ボタンである。また、選択ボタンB2は、テキスト部分についてはオリジナルテキストから翻訳テキストに置き換えた翻訳テキスト画像を印刷対象とする指示をユーザーから受け付けるための選択ボタンである。そして、選択ボタンB3は、上記両方の画像(オリジナル画像及び翻訳テキスト画像)を印刷対象とする指示をユーザーから受け付けるための選択ボタンである。
【0040】
(1−1)選択ボタンB1がユーザーに操作され、選択受付部102が、タッチパネルを介して、オリジナル画像を印刷対象として選択する指示をユーザーから受け付けた場合、制御部100は、PDFデータD2を用いて、画像形成部12により、
図7(A)に示すように、PDFデータD2が示すオリジナル画像G1を記録紙P1に形成させる。
【0041】
(1−2)選択ボタンB2がユーザーに操作され、選択受付部102が、タッチパネルを介して、翻訳テキスト画像を印刷対象として選択する指示をユーザーから受け付けた場合、画像処理部107は、第2レイヤーL2に埋め込まれている翻訳テキストD4を、PDFデータD2と同様のレイアウトで配置した印刷用画像を生成する。このとき、画像処理部107は、翻訳テキストD4の位置が、オリジナルテキストD3が示す文字位置と同じ配置となるように設定する。画像処理部107は、翻訳テキストD4に基づいて生成する文字画像群が、対応するテキスト領域E1又はE2内に収まるように、第2レイヤーL2に埋め込まれている文字サイズデータD5に従って、翻訳テキストD4に基づいて生成する文字画像の文字サイズを拡大又は縮小する。
【0042】
その後、画像処理部107は、文字サイズを上記のように拡大又は縮小した翻訳テキストを示す画像を、オリジナルテキストの代わりに、PDFデータD2が示すオリジナル画像のテキスト領域E1,E2に配置した印刷用画像を生成する。制御部100は、生成された当該印刷用画像を用いて、画像形成部12により、
図7(B)に示すように、テキスト部分(テキスト領域E1,E2)に翻訳テキストを配置した翻訳テキスト画像G2を記録紙P2に形成させる。
【0043】
このとき、
図7(B)に示したように、翻訳テキストは文字サイズが拡大又は縮小されてテキスト領域E1,E2内に収まるので、テキスト部分をオリジナルテキストに代えて翻訳テキストを配置しても、画像のレイアウトが維持される。
【0044】
(1−3)選択ボタンB3がユーザーに操作され、選択受付部102が、上記両方の画像(オリジナル画像G1及び翻訳テキスト画像G2)を印刷対象として選択する指示を、タッチパネルを介して、ユーザーから受け付けた場合、画像処理部107は、上記(1−2)と同様にして文字サイズを拡大又は縮小して作成した翻訳テキストを示す画像を、オリジナルテキストの代わりに、PDFデータD2が示すオリジナル画像のテキスト領域E1,E2に配置した印刷用画像を生成する。制御部100は、PDFデータD2と、当該生成した印刷用画像とを用いて、画像形成部12により、オリジナル画像G1と、テキスト部分については翻訳テキストに置き換えた翻訳テキスト画像G2の両方を記録紙に形成させる。
【0045】
なお、制御部100が画像形成部12により上記両方の画像を記録紙に形成させる形態としては、例えば、(a)
図8(A)に示すように、オリジナル画像G1を記録紙P3に印刷し、翻訳テキスト画像G2を別の記録紙P4に印刷させる「2ページの片面印刷」、(b)
図8(B)に示すように、オリジナル画像G1を記録紙P5の左半分に印刷させ、翻訳テキスト画像G2を同じ記録紙P5の右半分に印刷させる「2in1で1ページに集約した印刷」、更には、(c)
図8(C)に示すように、オリジナル画像G1を記録紙P6の表面P61に印刷させ、翻訳テキスト画像G2を同じ記録紙P6の裏面P62に印刷させる「両面印刷」がある。
【0046】
制御部100は、操作部47の操作により入力されるユーザーからの選択指示に従って、これら(a)(b)(c)のいずれかを選択的に実行する。例えば、制御部100が、
図9に示すような操作画面T2を表示部473に表示し、操作画面T2に基づく操作によりユーザーが印刷方法を任意に選択可能となるようにする。操作画面T2には、選択ボタンB11〜B13が形成され、選択ボタンB11〜B13にはそれぞれ「2ページの片面印刷」「2in1で1ページに集約した印刷」「両面印刷」と表示される。
【0047】
選択受付部102は、選択ボタンB11〜B13のいずれかのユーザー操作を受け付けると、選択ボタンB11の操作に基づいて、片面印刷で2ページを印刷する指示を受け付け、選択ボタンB12の操作に基づいて、2ページを2in1で1ページに集約して印刷する指示を受け付け、選択ボタンB13の操作に基づいては、両面印刷で2ページを印刷する指示を受け付ける。制御部100は、選択受付部102が受け付けた上記指示の内容に従って、画像形成部12に画像形成(印刷)を行わせる。
【0048】
〈送信の場合〉
(2)操作受付部101が、PDFファイルF1を予め定められた外部装置20に送信する指示をユーザーから受け付けた場合、制御部100は、
図10に示すような、操作画面T3を表示部473に表示する。操作画面T3には、選択ボタンB21〜B23が表示され、選択ボタンB21〜B23にはそれぞれ「オリジナルテキスト」「翻訳テキスト」「オリジナルテキスト+翻訳テキスト」と表示されている。
【0049】
(2−1)選択ボタンB21がユーザーに操作され、選択受付部102が、オリジナル画像G1を送信対象として選択する指示を、タッチパネルを介して、ユーザーから受け付けた場合、制御部100は、PDFデータD2を有するファイル(又はPDFデータD2に第1レイヤーL2を合成したファイル)を、ネットワークインターフェイス部91を介して、当該予め定められた外部装置20へ送信する。
【0050】
(2−2)選択ボタンB22がユーザーに操作され、選択受付部102が、翻訳テキスト画像G2を送信対象として選択する指示を、タッチパネルを介して、ユーザーから受け付けた場合、画像処理部107は、上記(1−2)と同様にして、文字サイズを拡大又は縮小した翻訳テキストD4を示す画像を、オリジナルテキストの代わりに、PDFデータD2が示すオリジナル画像のテキスト領域E1,E2に配置して、送信用画像を生成する。制御部100は、生成された当該送信用画像を、ネットワークインターフェイス部91を介して、当該予め定められた外部装置20へ送信する。
【0051】
(2−3)選択ボタンB23がユーザーにより操作され、選択受付部102が、上記両方の画像(オリジナル画像G1及び翻訳テキスト画像G2)を送信対象として選択する指示を、タッチパネルを介して、ユーザーから受け付けた場合、画像処理部107は、上記(2−2)と同様にして文字サイズを拡大又は縮小して作成した翻訳テキストを、オリジナルテキストの代わりに、PDFデータD2が示すオリジナル画像のテキスト領域E1,E2に配置した送信用画像を生成する。制御部100は、PDFデータD2と、当該生成された送信用画像とを、ネットワークインターフェイス部91を介して、当該予め定められた外部装置20へ送信する。
【0052】
なお、上記両方の画像(PDFデータD2及び送信用画像)を外部装置20へ送信する方法としては、例えば、(d)オリジナル画像G1を1ページとし、翻訳テキスト画像G2を別の1ページとする「2ページに配置」、(e)オリジナル画像G1を1ページの左半分に配置し、翻訳テキスト画像G2を同じページの右半分に配置させる「2in1で1ページに集約した配置」がある。
【0053】
制御部100は、操作部47の操作により入力されるユーザーからの選択指示に従って、これら(d)(e)のいずれかを選択的に実行する。例えば、制御部100が、
図11に示すような操作画面T4を表示部473に表示し、操作画面T4に基づく操作により、ユーザーが送信方法を任意に選択可能となるようにする。操作画面T4には、選択ボタンB31,B32が形成され、選択ボタンB31,B32にはそれぞれ「2ページでの送信」「2in1で1ページに集約した送信」と表示される。
【0054】
選択受付部102は、選択ボタンB31,B32のいずれかのユーザー操作を受け付けると、選択ボタンB31の操作に基づいて、上記両画像を2ページに配置して送信する指示を受け付け、選択ボタンB32の操作に基づいて、上記両画像を2in1で1ページに集約して送信する指示を受け付ける。制御部100は、選択受付部102が受け付けた上記指示の内容に従って、PDFデータD2及び上記送信用画像を、ネットワークインターフェイス部91を介して、当該予め定められた外部装置20へ送信する。
【0055】
上記実施形態によれば、オリジナル画像だけでなく、翻訳テキストを有する画像についても印刷や送信の出力対象とすることができるため、ユーザーの利便性が向上する。
【0056】
また、上記第1実施形態では、原稿読取部5による読み取りで得られたRAW画像データを処理対象としているが、処理対象は当該RAW画像データに限定されず、例えば、外部装置20からの受信等によりHDD92に保存されている(いわゆる、BOX保存されている)RAW画像データを処理対象としてもよい。
【0057】
この場合、画像形成装置1により何らのジョブも行われていないときに、文字認識部103、翻訳部104、生成部105、合成部106、及び画像処理部107が、上記文字認識から翻訳テキストの作成までの処理を行うようにしてもよい。
【0058】
また、本発明は上記実施の形態の構成に限られず種々の変形が可能である。また、上記実施形態では、本発明に係る画像処理装置の一実施形態として複合機を用いて説明しているが、これは一例に過ぎず、例えば、コピー機能、スキャナー機能等を有した他の画像処理装置でもよい。
【0059】
また、上記実施形態では、
図1乃至
図11を用いて上記実施形態により示した構成及び処理は、本発明の一実施形態に過ぎず、本発明を当該構成及び処理に限定する趣旨ではない。