(58)【調査した分野】(Int.Cl.,DB名)
前記画像生成手段は、前記複数のメモリエリアのうちの前記評価値が多い順に選んだ設定数個のメモリエリア内に描画されたオブジェクトのみを表わす画像を、前記プレビュー画像として生成する
請求項2記載のプレビュー画像生成装置。
前記評価値算出手段は、予め前記視覚情報の構成要素の候補として選定された画像要素別に得点を定める算出用情報に基づいて、前記部分に存在する複数の画像要素の得点の合計を前記評価値として算出する
請求項1ないし3のいずれかに記載のプレビュー画像生成装置。
前記複数のメモリエリアのうちの前記評価値が多い順に設定数個のメモリエリアを選び、選んだメモリエリア内に描画されているオブジェクトのみを表わす画像を、前記プレビュー画像として生成する
請求項7記載のプレビュー画像生成方法。
予め前記視覚情報の構成要素の候補として選定された画像要素別に得点を定める算出用情報に基づいて、前記部分に存在する複数の画像要素の得点の合計を前記評価値として算出する
請求項6ないし8のいずれかに記載のプレビュー画像生成方法。
前記算出用情報において、画像要素のうちの少なくとも文字については、前記複数のテーブルのうちの大きい表示画面サイズに対応するテーブルにおける得点が、小さい表示画面サイズに対応するテーブルにおける得点よりも大きい
請求項10記載のプレビュー画像生成方法。
【発明を実施するための形態】
【0012】
ネットワークプリンティングに用いられる画像形成装置におけるプレビュー画像の生成を想定する。
【0013】
図1に示される画像形成装置1は、印刷機能および印刷以外の多様な機能を有するMFP(Multi-functional Peripheral)である。画像形成装置1は、無線通信を可能にするアクセスポイント3を備えたLAN(Local Area Network)2に接続されている。画像形成装置1には、操作パネル22による直接の操作によってコピージョブおよびプリントジョブが与えられ、LAN2を介する外部装置からのアクセスによってプリントジョブが与えられる。
【0014】
プリントジョブでは、外部装置から与えられるドキュメント、画像形成装置1内のボックス305に保存されているドキュメント、またはUSBメモリのようなリムーバブルメモリ7から読み込まれるドキュメントが印刷される。プリントジョブの実行に際して、プレビューモードが指定されている場合、後述のようにして生成されるプレビュー画像が操作パネル22または印刷を要求した外部装置において表示される。
【0015】
画像形成装置1に対して印刷を要求する外部装置としては、LAN2にケーブル接続されたパーソナルコンピューター(PC)5a,5b、無線通信によってアクセスする携帯電話機やタブレット型コンピューターといった携帯機器6a,6bがある。また、LAN2に接続されたインターネット4を介してアクセスするクラウドシステム8も外部装置に含まれる。これらの外部装置は、印刷対象のドキュメントデータを画像形成装置1に送信してその印刷を要求したり、予めボックス305に保存されているドキュメントを指定してその印刷を要求したりする。
【0016】
図2は画像形成装置1のハードウェア構成を示している。画像形成装置1の全体制御を担うメインコントローラー10は、制御プログラムや各種アプリケーションを実行するコンピューターとしてのCPU(Central Processing Unit)11、制御プログラムを記憶するROM(Read Only Memory)12、プログラム実行のワークエリアとされるRAM(Random Access Memory)13、および制御に必要な設定データを記憶するバッテリバックアップされたNV−RAM(不揮発性メモリ)14を有する。
【0017】
操作パネル22は、操作画面を表示するディスプレイ225を有する。ADF(Auto Document Feeder)23は、コピー、イメージ入力、またはファクシミリ送信において、原稿シートをイメージスキャナー24における読取り位置へ搬送する。イメージスキャナー24は原稿シートに記録されている画像情報を光学的に読み取る。プリンターエンジン25は、多段式の用紙スタッカー26から供給される用紙の片面または両面に電子写真法によってモノクロまたはカラーの画像をプリントする。
【0018】
モデム27およびNCU(Network Control Unit)28は公衆電話回線によるファクシミリ通信に用いられる。通信インタフェース29は画像形成装置1を外部装置との通信のためのネットワークに接続する。通信インタフェース29には、リムーバブルメモリを含む外付けの機器を接続するためのUSBインタフェースが含まれている。
【0019】
ストレージ30はハードディスクドライブ(HDD)のような大容量記憶デバイスである。ストレージ30は、制御プログラムや制御用のデータを記憶する媒体として用いられる。ストレージ30には、各種のドキュメントを保存するメモリ領域であるボックス305が設けられる。ストレージ30に格納されているデータやプログラムは必要に応じてワークエリアにロードされる。
【0020】
図3はメインコントローラー10におけるプレビュー画像の生成に関わる機能構成を示している。メインコントローラー10は、ジョブ管理部101、描画部102、面積算出部103、データ量算出部104、描画監視部105、およびプレビュー画像生成部106を有する。これらの要素は、CPU11が所定のプログラムを実行することによって実現される機能要素である。そして、これらの要素のうちの描画部102、面積算出部103、データ量算出部104、描画監視部105、およびプレビュー画像生成部106が、プレビュー画像生成装置100としての動作を実現する機能要素である。
【0021】
ジョブ管理部101は、操作パネル22からの指示または外部装置8からの要求に応じて実行すべきジョブを設定し、ジョブの進行を制御する。描画部102は、プリントジョブの実行に際して、印刷対象のドキュメントの各ページの印刷イメージをメモリ上に描画するラスターイメージプロセッサー(Raster image processor : RIP)である。描画部102は、ジョブ管理部101によって指定されたドキュメントに応じて必要な数のメモリエリア31,32,33,35をRAM13内に確保し、出力画像としての印刷イメージを構成する複数のオブジェクを順に描画する。描画(ラスタライズ)によって得られたラスター画像がプリンターエンジン25へ送られ、電子写真プロセスによる印刷に用いられる。
【0022】
プレビュー画像生成装置100は、描画部102による1ページ分の印刷イメージの描画が完了する以前に、描画途中の印刷イメージに基づいてプレビュー画像を生成する。プレビューを行なうユーザーにとって無意味なプレビュー画像を生成することのないよう、プレビュー画像生成装置100はユーザーに提供する情報として無意味ではないと推定し得る程度まで描画が進行した段階でプレビュー画像を生成する。無意味であるかどうかの判定に関わる機能要素が、面積算出部103、データ量算出部104、および描画監視部105である。
【0023】
面積算出部103は、複数のオブジェクトが順に描画される過程において、複数のオブジェクトのいずれかが描画されるごとに、描画に使用されたメモリエリアにおけるオブジェクトが描画された部分の面積(メモリビットの使用量)を算出する。ここでいう面積は、印刷イメージのうちの描画された部分の面積に相当する。この面積の算出に際し、オブジェクトが部分的に重なる場合、重なり部分については面積を重複させない。重なり合うオブジェクトに対応する面積値はこれらオブジェクトの個々の面積の合計よりも小さい値になる。
【0024】
データ量算出部104は、印刷イメージのうちの描画された部分が表わす視覚情報に対する量的評価の評価値を算出する手段である。データ量算出部104は、複数のオブジェクトのいずれかが描画されるごとに、算出用情報に基づいて評価値としての“データ量”を算出する。本実施形態では、データ量は、上記部分に含まれる複数の画像要素についての得点の合計である。予め視覚情報の構成要素の候補として文字・画像のエッジ・図形の輪郭といった画像要素が選定されており、選定された画像要素について、想定される三つのディスプレイサイズ別に得点が定められている。そして、各画像要素の得点を示すディスプレイサイズ別の得点テーブルT1,T2,T3が算出用情報としてストレージ30またはNV−RAM14に記憶されている。データ量算出部104は、記憶されている得点テーブルT1,T2,T3のうちの少なくとも一つを描画開始前にRAM13にロードしておき、描画中に得点テーブルT1,T2,T3を参照してデータ量を算出する。
【0025】
描画監視部105は、面積算出部103およびデータ量算出部104によって算出される面積およびデータ量を描画監視テーブルT5に書き込む。描画監視部105は、描画用のメモリエリア別に面積およびデータ量を記録し、メモリエリア31,32,33,35のいずれかにオブジェクトが描画されるごとに、描画監視テーブルT5における面積およびデータ量の記録を更新するとともに、描画に使用されたメモリエリア31,32,33,35の全てについての面積の合計およびデータ量の合計を算出する。そして、描画監視部105は、面積の合計を閾値テーブルTthが示す面積閾値と比較し、データ量の合計を同様のデータ量閾値と比較する。面積の合計が面積閾値以上になり、かつデータ量の合計がデータ量閾値以上になったとき、描画監視部105はその旨をプレビュー画像生成部106に通知する。
【0026】
プレビュー画像生成部106は、描画監視部105からの通知を受けてプレビュー画像を生成する。すなわち、メモリエリア31,32,33,35から描画されたラスター画像を読み込み、読み込んだ複数のラスター画像を合成し、得られた合成画像をディスプレイサイズに適合するように変倍してプレビュー画像を完成させる。
【0027】
生成されたプレビュー画像はプレビュー表示に用いられる。操作パネル22によってジョブが指定された場合、プレビュー画像は操作パネル22による表示を制御するパネル表示制御部107に引き渡される。外部装置からのアクセスによってジョブが指定された場合、プレビュー画像は外部装置との通信を受け持つ通信制御部107に引き渡される。
【0028】
図4(A)、(B)および(C)はデータ量算出部104によって参照される得点テーブルT1,T2,T3の例を示している。得点テーブルT1は、画面サイズが13インチ以上のディスプレイによるプレビュー表示を想定したPCサイズ(大サイズ)用のテーブルである。得点テーブルT2は、画面サイズが7インチ以上13インチ未満のディスプレイによるプレビュー表示を想定したタブレット端末サイズ(中サイズ)用のテーブルである。得点テーブルT3は、画面サイズが7インチ未満のディスプレイによるプレビュー表示を想定した携帯端末サイズ(小サイズ)用のテーブルである。
【0029】
得点テーブルT1,T2,T3では、オブジェクトが“ラスター画像”、“図形”および“文字列”の三種に大別されている。例えば、写真はラスター画像に該当し、グラフは図形に該当する。オブジェクト種の“ラスター画像”については、画像要素の一つとして“エッジ”が選定されており、メモリエリアに描画されたサイズでの換算による単位長さあたりのエッジの得点が定められている。エッジはラスター画像における濃度の差異が明瞭な部分どうしの間の境界線である。
図5ではオブジェクト59(ラスター画像)からエッジ590が抽出されている。オブジェクト種の“図形”については、画像要素の一つとして“輪郭”が選定されており、上記と同様の換算による単位長さあたりの輪郭の得点が定められている。オブジェクト種の“文字列”については、画像要素の一つとして“文字”が選定されており、1文字あたりの文字サイズ別の得点が示されている。
【0030】
例えば、オブジェクト種の“文字列”に注目すると、大サイズ用の得点テーブルT1では文字サイズが1pt(1ポ)大きくなるごとに得点が3点ずつ大きくなる。これに対して、中サイズ用の得点テーブルT2では2点ずつしか大きくならず、さらに小サイズ用の得点テーブルT3では1点ずつしか大きくならない。つまり、画面サイズが大きいほど得点を大きくする重み付けがなされている。その理由は、画面サイズが小さいほどプレビュー表示において文字が小さくなって文字の視認性が低下するからである。図示の例では、他のオブジェクト種の“ラスター画像”および“図形”についても同様の重み付けがなされている。
【0031】
上述のデータ量算出部104は、
図6に示されるフローチャートのとおり、プレビュー表示をするディスプレイの画面サイズに応じて得点テーブルT1,T2,T3の一つを参照すべき情報として選択する(#11〜#14)。
【0032】
図7は描画監視部105が参照する閾値テーブルTthの例を示している。閾値テーブルTthでは、三つの画面サイズについて面積閾値およびデータ量閾値(得点閾値)が定められている。例示において、PCサイズ(大サイズ)およびタブレット端末サイズ(中サイズ)には共通の面積閾値および共通のデータ量閾値(得点閾値)が対応する。面積閾値の単位は、描画する印刷イメージ全体(1ページ分の描画エリア)に対するオブジェクトの描画された部分の割合(%)である。
【0033】
図7において、携帯端末サイズの面積閾値は90%であって、PCサイズおよびタブレット端末サイズの面積閾値(70%)よりも大きい。これは、携帯端末サイズについては他のサイズと比べて視覚情報の評価の上で描画面積が重要視されていることを意味する。描画面積を重要視するのは、上述のとおり小サイズのプレビュー表示では細部の識別が困難になるおそれがあり、ユーザーが画面の全体的な様相に注目すると考えられるからである。
【0034】
以下、プレビュー画像生成装置100の機能および動作を、
図8に示される六つのオブジェクト51,52,53,54,55,56を描画する場合を例に挙げて説明する。
【0035】
図8において、オブジェクト51,52,53,54,55,56は、マルチレイヤ構成の画像における6個のレイヤ(レイヤ1〜レイヤ6)のそれぞれに順に一つずつ対応する。最下のレイヤ1に対応するオブジェクト51は、1ページ分の描画エリア40の周辺部を除くほぼ全域にわたる大きさをもっている。オブジェクト51は、例えば背景像である。オブジェクト51と比べて小さい他のオブジェクト52〜56は、それぞれ描画エリア40内の所定の位置に描画される。オブジェクト54,56は比較的に大きいサイズの文字を含んでいる。
【0036】
このような六つのオブジェクト51〜56は、基本的には最下レイヤからレイヤの配列順に描画される。ただし、本例では、オブジェクト52,53が透過オブジェクトであって、レイヤ2のオブジェクト52にレイヤ3のオブジェクト53を重ねた画像に対して、それよりも下のレイヤが透けて見えるように画素値を変更する透過処理を加える必要があるものとする。同様にオブジェクト55,56も透過オブジェクトであって、オブジェクト55にオブジェクト56を重ねた画像に対して同様の透過処理を加える必要があるものとする。つまり、単一のメモリエリアを用いてレイヤの配列順に上書きする単純な描画ではジョブが要求する印刷を実現することができない。このため、
図9のように三つのメモリエリア31,32,33を用いて六つのオブジェクト51〜56が描画される。
【0037】
図9において、オブジェクト51,52,53,54,55,56の描画過程は、八つのステート(ステート1〜ステート8)を有する。各ステートでの処理は次のとおりである。
〔ステート1〕第1のメモリエリア31を用いてオブジェクト51を描画し、画像41を得る。
〔ステート2〕第2のメモリエリア32を用いてオブジェクト52を描画し、画像42を得る。
〔ステート3〕第2のメモリエリア32上の画像42にオブジェクト53を上書き形式で描画し、画像43を得る。
〔ステート4〕第1のメモリエリア31上の画像41にオブジェクト54を上書き形式で描画し、画像44を得る。
〔ステート5〕第3のメモリエリア33を用いてオブジェクト55を描画し、画像45を得る。
〔ステート6〕第3のメモリエリア33上の画像45にオブジェクト56を上書き形式で描画し、画像46を得る。
〔ステート7〕第2のメモリエリア32上で画像43に第3のメモリエリア33上の画像46を重ね、透過処理をして画像47を得る。
〔ステート8〕第1のメモリエリア31上で画像44に第2のメモリエリア32上の画像47を重ね、透過処理をし、ジョブが要求する描画すべき印刷イメージとしての画像48を得る。
【0038】
図10はプレビュー画像の生成動作の第1例を示している。図中の描画監視テーブルT5において表記された「メモリ(1)」、「メモリ(2)」、「メモリ(3)」は、順に第1のメモリエリア31、第2のメモリエリア32、第3のメモリエリア33を指し示している。後述の
図11および
図12についても同様である。
【0039】
図10に示された第1例では、オブジェクト51〜56の描画を伴うプリントジョブが操作パネル22による直接の操作によって画像形成装置1に与えられ、操作パネル22のディスプレイ225によってプレビュー表示が行なわれる。ディスプレイ225の画面サイズがタブレット端末サイズ(中サイズ)であるので、データ量の算定には得点テーブルT2が用いられる。
【0040】
描画の過程のステート1において、第1のメモリエリア31にオブジェクト51が描画されたことを受けて、描画監視テーブルT5のデータが更新される。更新された時点で、第1のメモリエリア31について算定された面積は例えば90%であり、同じくデータ量は320点である。第2のメモリエリア32および第3のメモリエリア33にはオブジェクトが描画されていないので、これらについての面積は0%であり、データ量は0点である。したがって、三つのメモリエリア31〜33についての面積の合計は90%であり、データ量の合計は320点である。
【0041】
ステート1の段階で、面積の合計(ここでは90%)が、タブレット端末サイズに対応する面積閾値(70%)を超えている。しかし、データ量の合計(320点)は、タブレット端末サイズに対応するデータ量閾値(1000点)以上になっていない。したがって、この段階ではプレービュー画像は生成されない。
【0042】
ステート2において、第2のメモリエリア32にオブジェクト52が描画されたことを受けて、描画監視テーブルT5のデータが更新される。更新された時点で、第2のメモリエリア32について算定された面積は例えば30%であり、同じくデータ量は200点である。オブジェクト52の描画範囲は、オブジェクト52を有する画像42を先に描画されたオブジェクト51を有する画像41に重ねたときに、オブジェクト51の描画範囲に包含される。このため、三つのメモリエリア31〜33についての面積の合計は、ステート1の段階での値と変わらず90%である。一方、データ量の合計は、第1のメモリエリア31についてのデータ量(320点)と第2のメモリエリア32についてのデータ量(200点)との和、すなわち520点である。ステート2の段階でもデータ量の合計(520点)は、タブレット端末サイズに対応するデータ量閾値(1000点)以上になっていない。
【0043】
同様の手順で、ステート3〜ステート5において、オブジェクト53,54,55が順に描画されるごとに描画監視テーブルT5のデータが更新される。
【0044】
その後、ステート6において、三つのメモリエリア31〜33についてのデータ量の合計がデータ量閾値以よりも多い1060点となる。既にステート1の段階で面積の合計が面積閾値以上になっているので、このステート6の段階でプレビュー表示を行なうべき条件が満たされる。そこで、現時点で描画を終えたオブジェクトを表わすプレビュー画像が生成される。
【0045】
プレビュー画像生成部106(
図3参照)は、CPU11の負担を軽減するため、描画に用いた三つのメモリエリア31,32,33のうちの算出されたデータ量が多い順に選んだ設定数個のメモリエリア内に描画されたオブジェクトのみを表わす画像を、プレビュー画像として生成する。例えば設定数が2であるとすると、
図10では第1のメモリエリア31と第3のメモリエリア33とが選ばれる。そして、第1のメモリエリア31の画像44と第3のメモリエリア33の画像46とを合成し、ディスプレイ225に適合するように変倍し、図示のようなプレビュー画像60Mを生成する。生成されたプレビュー画像60Mは操作パネル22のディスプレイ225によって表示される。
【0046】
なお、タブレットや小型ノートPCのように操作パネル22のディスプレイ225と同じ画面サイズのディスプレイをもつ外部装置においてプレビュー表示を行なう場合も、
図10の要領でプレビュー画像60Mを生成する。
【0047】
図11はプレビュー画像の生成動作の第2例を示している。この第2例では、オブジェクト51〜56の描画を伴うプリントジョブが外部装置からのアクセスによって画像形成装置1に与えられ、外部装置に備わるPCサイズ(大サイズ)のディスプレイによってプレビュー表示が行なわれる。データ量の算定にはPCサイズ用の得点テーブルT1が用いられる。
【0048】
上述の第1例と同様に、オブジェクト51〜56が描画されるごとに描画監視テーブルT5のデータが更新される。ステート1の段階で面積の合計(90%)はPCサイズの面積閾値(70%)以上になるが、データ量の合計(480点)はPCサイズのデータ量閾値(1000点)よりも少ない。
【0049】
ステート4まで描画が進んだ段階で、データ量の合計(1140点)はデータ量閾値以上となる。既にステート1の段階で面積の合計が面積閾値以上になっているので、このステート4の段階でプレビュー画像が生成される。
【0050】
プレビュー画像生成部106は、三つのメモリエリア31,32,33のうちのデータ量が最も多い第1のメモリアリア31と2番目に多い第2のメモリエリア32とを選び、これらのメモリエリア31,32からデータを取り込む。そして、プレビュー画像生成部106は、第1のメモリエリア31の画像44と第2のメモリエリア32の画像43とを合成し、ディスプレイに適合するように変倍し、図示のようなプレビュー画像60Lを生成する。生成されたプレビュー画像60Lは外部装置(図示ではパーソナルコンピューター5a)において表示される。
【0051】
図12はプレビュー画像の生成動作の第3例を示している。この第3例では、オブジェクト51〜56の描画を伴うプリントジョブがスマートフォンや携帯電話機のような小型の外部機器からのアクセスによって画像形成装置1に与えられ、外部装置に備わる携帯端末サイズ(小サイズ)のディスプレイによってプレビュー表示が行なわれる。データ量の算定には携帯端末サイズ用の得点テーブルT3が用いられる。
【0052】
上述の第1例および第2例と同様に、オブジェクト51〜56が描画されるごとに描画監視テーブルT5のデータが更新される。ステート1の段階で面積の合計(90%)は携帯端末サイズの面積閾値(90%)以上になるが、データ量の合計(160点)は携帯端末サイズのデータ量閾値(300点)よりも少ない。
【0053】
ステート3まで描画が進んだ段階で、データ量の合計(300点)はデータ量閾値以上となる。既にステート1の段階で面積の合計が面積閾値以上になっているので、このステート3の段階でプレビュー画像が生成される。
【0054】
プレビュー画像生成部106は、三つのメモリエリア31,32,33のうちのデータ量が最も多い第1のメモリアリア31と2番目に多い第2のメモリエリア32とを選び、これらのメモリエリア31,32からデータを取り込む。そして、プレビュー画像生成部106は、第1のメモリエリア31の画像41と第2のメモリエリア32の画像43とを合成し、ディスプレイに適合するように変倍し、図示のようなプレビュー画像60Sを生成する。生成されたプレビュー画像60Lは外部装置(図示では携帯機器6a)において表示される。
【0055】
以上の実施形態によれば、プレビュー表示に用いるディスプレイの画面サイズに応じた視覚情報を有するプレビュー画像60L,60M,60Sを生成し、画面サイズの異なる各種の機器におけるプレビューの実用性を高めることができる。
【0056】
上述の実施形態において、ジョブが指定する描画の途中でプレビュー画像60L,60M,60Sを生成した後、描画の進行と並行して定期的にプレビュー画像を生成し、プレビュー表示の更新ができるようにしてもよい。描画の途中でプレビュー画像60L,60M,60Sを生成した後、描画が完了するのを待って、完成した印刷イメージに対応するプレビュー画像を生成してもよい。1ページの描画過程において、途中でプレビュー画像60L,60M,60Sを生成した後に新たなプレビュー画像を生成しないようにすることもできる。
【0057】
データ量として、各メモリエリアにおいて描画されたオブジェクトの描画面積の合計を算出してもよい。この場合、複数のオブジェクトが部分的にまたは全体的に重なる部分については面積が重複して加算される。
【0058】
文字については、他の画像要素よりもユーザーが認識する情報量が多いとみなし、得点により大きい重み付けをしてもよい。
【0059】
プレビュー画像60L,60M,60Sを生成する際に選択するメモリエリアの個数は例示の2に限定されない。1でもよいし3以上でもよい。選択を行なわず、描画に用いた全てのメモリエリアから画像を取り込んで合成してもよい。データ量が同じメモリエリアが設定数よりも多く存在する場合、予め各メモリエリアに定めた順番に従って選択してもよいし、細線処理が不要というようにその後の画像処理がより簡単であるものを選ぶようにしてもよい。面積の大小を考慮して総合的により適切なものを選ぶこともできる。データ量ではなく面積が大きい順に選択するようにしてもよい。
【0060】
外部装置の画面サイズを特定するデータが外部装置との通信において得られない場合は、三つの得点テーブルT1,T2,T3のうちの予め決めておいた一つ(例えば大サイズ用の得点テーブルT1)をデータ量の算定に用いるようにすることができる。
【0061】
プレビュー表示を行なうディスプレイの画面サイズが固定である場合には、その画面サイズに適した単一の得点テーブルのみを設け、複数の得点テーブルT1,T2,T3から適用すべき一つを選択する処理を省略することができる。