特開 2024-94284 エンコーダ最適化テキストレンダリング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024094284

(43)【公開日】2024-07-09

(54)【発明の名称】エンコーダ最適化テキストレンダリング

(51)【国際特許分類】

   H04N 19/80 20140101AFI20240702BHJP

   H04N 19/12 20140101ALI20240702BHJP

   H04N 19/176 20140101ALI20240702BHJP

【ＦＩ】

H04N19/80

H04N19/12

H04N19/176

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023216696

(22)【出願日】2023-12-22

(31)【優先権主張番号】22216692

(32)【優先日】2022-12-27

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】ユアン， ソン

(72)【発明者】

【氏名】ハスブリング， ルドビック

(72)【発明者】

【氏名】ニルソン， ジェシカ

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LA02

5C159MA04

5C159MA21

5C159MC11

5C159ME01

5C159PP01

5C159PP02

5C159TA01

5C159TA37

5C159TB08

5C159TD17

5C159UA02

5C159UA05

(57)【要約】      （修正有）

【課題】ブロック単位変換符号化に適したラスタ画像内のテキストをレンダリングする方法及びデバイスを提供する。
【解決手段】ブロック単位変換符号化に適したデジタルラスタ画像内のテキスト文字列をレンダリングするための方法１００は、ブロック単位変換符号化のための符号化ブロックへの画像領域のパーティションを取得すること１１０と、画像領域内の、各グラフィック要素の少なくとも位置、向き及びサイズを定める仮レイアウトに従って配置された書体からの複数のグラフィック要素としてテキスト文字列を表すこと１１４と、スペクトルスパース化動作を少なくとも１つの空でない符号化ブロックに適用することによって仮レイアウトを修正し、それによって修正されたレイアウトを取得すること１１６と、修正されたレイアウトに従って配置されたグラフィック要素のデジタルラスタ画像をレンダリングすること１１８と、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

ブロック単位変換符号化に適したデジタルラスタ画像内のテキスト文字列をレンダリングするための方法であって、
前記ブロック単位変換符号化のための符号化ブロックへの画像領域のパーティションを取得することと、
前記画像領域内の仮レイアウトに従って配置された書体からの複数のグラフィック要素として前記テキスト文字列を表すことであって、前記仮レイアウトは、各グラフィック要素の少なくとも位置、向き、およびサイズを定める、表すことと、
スペクトルスパース化動作を少なくとも１つの空でない符号化ブロックに適用することによって前記仮レイアウトを修正し、それによって修正されたレイアウトを取得することと、
前記修正されたレイアウトに従って配置された前記グラフィック要素のデジタルラスタ画像をレンダリングすることと
を含む、方法。

【請求項2】

前記スペクトルスパース化動作は、グラフィック要素の回転、グラフィック要素の傾斜、完全なグラフィック要素の等方性または異方性再スケーリング、グラフィック要素の一部分のグラフィック要素の等方性または異方性再スケーリング、グラフィック要素の平行移動、書体修正、書体置換、コントラスト修正のうちの１つまたは複数を含む、請求項１に記載の方法。

【請求項3】

前記スペクトルスパース化動作は、グラフィック要素の回転または傾斜を含む、請求項１に記載の方法。

【請求項4】

前記回転または傾斜は、符号化ブロック内の固有の線の向きの数を減少させる、請求項３に記載の方法。

【請求項5】

前記回転または傾斜は、線の向きを垂直軸または水平軸と位置合わせする、請求項３に記載の方法。

【請求項6】

前記スペクトルスパース化動作は、完全なグラフィック要素の等方性もしくは異方性再スケーリング、またはグラフィック要素の一部分のグラフィック要素の等方性もしくは異方性再スケーリングを含む、請求項１に記載の方法。

【請求項7】

前記再スケーリングは、符号化ブロック内の固有の垂直距離または水平距離の数を減少させる、請求項６に記載の方法。

【請求項8】

前記スペクトルスパース化動作は、グラフィック要素の平行移動を含む、請求項１に記載の方法。

【請求項9】

前記平行移動は、符号化ブロックごとに幾何学的に類似のグラフィック要素を集めかつ／または幾何学的に非類似のグラフィック要素を分離し、それによって符号化ブロック内の固有の線の向きの数および／または固有の垂直距離もしくは水平距離の数を減少させる、請求項８に記載の方法。

【請求項10】

前記平行移動は、これらのグラフィック要素の以前のブロック単位変換符号化からの少なくとも１つのキャッシュされたスペクトルに基づいて、符号化ブロックごとにスペクトル的に類似のグラフィック要素を集めかつ／またはスペクトル的に非類似のグラフィック要素を分離する、請求項９に記載の方法。

【請求項11】

前記平行移動は、１つの符号化ブロック内のグラフィック要素を再配置し、それによって符号化ブロック内の固有の線の向きの数および／または固有の垂直距離もしくは水平距離の数を減少させる、請求項８に記載の方法。

【請求項12】

前記平行移動は、グラフィック要素によって占有される符号化ブロックの数を減少させる、請求項８に記載の方法。

【請求項13】

前記スペクトルスパース化動作は、書体修正または書体置換を含む、請求項１に記載の方法。

【請求項14】

前記書体修正または書体置換は、グラフィック要素の幾何学的形状を単純化する、請求項１３に記載の方法。

【請求項15】

前記書体修正または書体置換は、グラフィック要素の終端形状を単純化すること、グラフィック要素上のイヤーまたはセリフを除去すること、グラフィック要素上のストロークの幅を均一化すること、グラフィック要素上の複数のストロークの幅を均一化すること、符号化ブロックにおける書体重みを均一化すること、１つまたは複数のグラフィック要素の開口を均一化することのうちの１つまたは複数を含む、請求項１３に記載の方法。

【請求項16】

請求項１に記載の方法を実行するように配置された処理回路を備える、デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、二次元画像データ生成の分野に関する。特に、本開示は、ブロック単位変換符号化に適したラスタ画像内のテキストをレンダリングするための技術を提示する。

【背景技術】

【0002】

デジタル画像符号化の分野における著しい進歩のおかげで、非常に低いビットレートを有するビットストリームとして入力画像を表すことが可能であり、そこから画像をその視覚的品質を著しく低下させることなく再構成することができる。いくつかのユースケースでは、入力画像は固定されており、例えば、カメラによって記録されているか、または事前に合成されている。そして、デジタル画像符号化プロセスは、通常、非可逆および不非可逆（ｎｏｎ－ｌｏｓｓｙ）圧縮を含む様々なデータ圧縮技術を適用することによってのみビットストリームのビットレートを制御することができる。他のユースケースでは、入力画像は、特定の制限内の修正に従うことが可能である。これは、特に、入力画像が画像符号化と同時に合成（レンダリング）される場合に適用され、合成は、いくつかの側面を未定のままにするエンドユーザのレンダリング仕様を満たすものとする。例えば、レンダリング仕様は、いくつかの三次元オブジェクトの幾何学的形状および位置を定めることができるが、それらの色およびテクスチャを指定せず、かつ／またはシーンの照明を指定しない。言い換えれば、レンダリングを担当する人またはデバイスは、レンダリング時に上記色、テクスチャ、または照明を選択する自由度を有し、各選択は、エンドユーザにとって許容可能である。エンドユーザは、再構成画像を閲覧しようとしている人（例えば、消費者）、再構成画像に対して光学文字認識（ＯＣＲ）を実施するプロセッサ、または実際には、その代わりに画像符号化が実施されるシステム所有者であってもよい。

【0003】

本発明者らは、この自由度を利用して画像符号化プロセスの性能を改善することができることを認識した。特に、本発明者らは、テキストレンダリングの分野において未開発の可能性を発見した。

【発明の概要】

【0004】

本開示の１つの目的は、デジタルラスタ画像がブロック単位変換符号化に適するようにデジタルラスタ画像内のテキスト文字列をレンダリングするための方法を利用可能にすることである。さらなる目的は、疎スペクトルを有するデジタルラスタ画像を発生させるためのテキストレンダリング方法を利用可能にすることである。さらなる目的は、１つまたは複数のレイアウト制約を満たすそのような方法を利用可能にすることである。さらなる目的は、背景デジタル画像と共にエンコードされるオーバーレイテキストを生成するのに適したテキストレンダリング方法を利用可能にすることである。別のさらなる目的は、これらの機能を有するデバイスおよびコンピュータプログラムを提案することである。

【0005】

これらの目的の少なくともいくつかは、独立請求項によって規定される本発明によって達成される。従属請求項は、有利な実施形態に関する。

【0006】

本開示の第１の態様では、ブロック単位変換符号化に適したデジタルラスタ画像内のテキスト文字列をレンダリングするための方法が提供される。テキスト文字列は、方法を実行するエンティティの観点から予め決められており、すなわち、テキスト文字列は、エンドユーザから受信されてもよく（上記の説明を参照）、または実行中のソフトウェアアプリケーションによって作成されてもよく、上記エンティティは、テキスト文字列を修正してはならない。方法は、ブロック単位変換符号化のための符号化ブロックへの画像領域のパーティションを取得することと、画像領域内の仮レイアウトに従って配置された書体からの複数のグラフィック要素としてテキスト文字列を表すことであって、仮レイアウトは、各グラフィック要素の少なくとも位置、向き、およびサイズを定める、表すことと、スペクトルスパース化動作を少なくとも１つの空でない符号化ブロックに適用することによって仮レイアウトを修正し、それによって修正されたレイアウトを取得することと、修正されたレイアウトに従って配置されたグラフィック要素のデジタルラスタ画像をレンダリングすることとを含む。

【0007】

スペクトルスパース化動作（または、別の用語では、スペクトルスパース化動作（ｓｐｅｃｔｒａｌ ｓｐａｒｓｉｆｉｃａｔｉｏｎ ｏｐｅｒａｔｉｏｎ））は、スペクトルスパース化動作が実施されなかった場合よりもデジタルラスタ画像の符号化ブロックのスペクトルを疎にする。すなわち、スペクトルスパース化動作は、符号化ブロックに適用されたときにブロック単位変換符号化が発生する非ゼロ変換係数の数を減少させる可能性が高い。これは、デジタルラスタ画像をわずかに低いビットレートでエンコードすることができることを意味する。本発明者らは、スペクトルスパース化が効率的な画像エンコードのための重要な促進要因であることを認識し、テキスト文字列に適用されたときに非破壊的である有利なスペクトルスパース化動作のクラスを開発した。より正確には、スペクトルスパース化動作は、（任意選択のレイアウト制約を条件として）仮レイアウトを修正するが、テキスト文字列を維持する。第１の態様による方法は、テキストレンダリングプロセスと後続の画像エンコードプロセスをより近づける方法であり、それによってこれらのプロセス間の相乗効果を活用すると考えられ得る。このようにして、レンダリングされたテキスト文字列を有するエンコード画像は、より効率的にシステム内の利用可能な通信帯域幅または記憶空間の量を利用する。

【0008】

以下でさらに指定されるスペクトルスパース化動作は、後続の画像エンコードプロセスとの相互作用を前提としないモデルベースの開ループ動作として特徴付けることができる。スペクトルスパース化法は、本発明者らが蓄積した多くの経験に基づいて、デジタルラスタ画像に対するその影響を正確に予測することができるという意味でモデルベースである。モデルベースの開ループ手法は、処理リソースおよび実行時間の経済的な使用を可能にし、これにより第１の態様による方法が重要なマスマーケットのユースケースに適していることが保証される。スペクトルスパース化動作は、試行錯誤的な手法として正しく特徴付けられていない。対照的に、互換可能なビットレート減少を達成するためのモデルフリーの閉ループ手法は、より計算コストがかかる可能性が高い。閉ループ手法は、例えば、反復探索を含むことができ、各反復は、（１）テキスト文字列を新しいレイアウトでレンダリングすることと、（２）画像をエンコードすることと、（３）十分なサイズに達するまで、エンコード画像のサイズの変化を評価することとを含む。反復探索は、デジタル画像のスペクトルがレイアウト修正にどのように応答するかについての経験によって導かれないため、本明細書で提案される方法よりも効率的でない可能性が高い。例えば、各画像に対してかなりの数のエンコード動作（２）が必要とされ得る。テキスト文字列が多数のランダムに生成されたレイアウトに対してレンダリングされ、最良の性能のレイアウトがエンコード画像のサイズに基づいて選択されるモデルフリーの手法からは、同様に不十分な性能が予想され得る。

【0009】

いくつかの実施形態では、スペクトルスパース化動作は、グラフィック要素の回転、グラフィック要素の傾斜、完全なグラフィック要素の等方性または異方性再スケーリング、グラフィック要素の一部分のグラフィック要素の等方性または異方性再スケーリング、グラフィック要素の平行移動、書体修正、書体置換、コントラスト修正のうちの１つまたは複数を含む。本発明者らは、スペクトルスパース化動作のこれらのサブタイプと共に使用するための具体的なガイドラインを発見しており、以下で詳細に説明する。

【0010】

特に、スペクトルスパース化動作は、回転、傾斜、または平行移動などのグラフィック要素の剛体変換から構成されうる。

【0011】

いくつかの実施形態では、方法は、書体、最大範囲、最小範囲、および／または向きを指定する１つまたは複数のレイアウト制約を取得することをさらに含む。

【0012】

いくつかの実施形態では、ブロック単位変換符号化は、二重周期関数の直交基底に関する射影と、それに続くゼロへの丸め動作（ｒｏｕｎｄ－ｔｏ－ｚｅｒｏ ｏｐｅｒａｔｉｏｎ）とを含み得る。

【0013】

いくつかの実施形態では、グラフィック要素は、キャラクタなどのグリフを含む。

【0014】

本開示の第２の態様は、第１の態様の方法を実行するように配置されたデバイスに関する。これらのデバイスは、画像もしくはビデオ編集、画像もしくはビデオコンテンツ管理、ビデオサブタイトル、画像もしくはビデオ再生、ワードプロセシングなどの異なる主目的を有することができ、または他のオーサリングツールを含むことができる。さらに、デバイスは、テキスト文字列をオーバーレイする自動注釈機能を有する、屋内または屋外ビデオ監視などの特定のユースケース用に設計されてもよい。本開示の第２の態様内のデバイスは、一般に、第１の態様の効果および利点を共有し、それらは同等の程度の技術的変形を伴って具現化することができる。

【0015】

本開示はさらに、コンピュータに上記の方法を実行させるための命令を含むコンピュータプログラムに関する。コンピュータプログラムは、データキャリアに記憶または分配することができる。本明細書で使用される場合、「データキャリア」は、変調された電磁波もしくは光波などの一時的データキャリア、または非一時的データキャリアであってもよい。非一時的データキャリアは、磁気、光学、またはソリッドステートタイプの永続的および非永続的記憶媒体などの揮発性および不揮発性メモリを含む。依然として「データキャリア」の範囲内で、そのようなメモリは固定的に取り付けられてもよく、または携帯可能であってもよい。

【0016】

一般に、特許請求の範囲で使用されるすべての用語は、本明細書で特に明示的に規定されない限り、技術分野におけるそれらの通常の意味に従って解釈されるべきである。「１つの（ａ／ａｎ）／要素、装置、構成要素、手段、ステップなど」へのすべての言及は、特に明記しない限り、要素、装置、構成要素、手段、ステップなどの少なくとも１つの例を指すものとして広く解釈されるべきである。本明細書に開示される任意の方法のステップは、明記しない限り、開示された正確な順序で実施される必要はない。

【0017】

以下、添付の図面を参照して、態様および実施形態を例として説明する。

【図面の簡単な説明】

【0018】

【図1】デジタル画像内でテキスト文字列をレンダリングするための方法のフローチャートである。

【図2】レンダリングされたテキスト文字列を有するエンコードデジタル画像を提供するための方法のフローチャートである。

【図3】特定のレイアウト制約を指定するためのフレームワークを示す図である。

【図4】図１および図２の方法を実行するのに適したデバイスのブロック図である。

【図5】グラフィック要素の回転を含むスペクトルスパース化動作を示す図である。

【図6】グラフィック要素の回転を含むスペクトルスパース化動作を示す図である。

【図7】グラフィック要素を傾斜させることを含むスペクトルスパース化動作を示す図である。

【図8】グラフィック要素の局所的および／または異方性再スケーリングを含むスペクトルスパース化動作を示す図である。

【図9】グラフィック要素の局所的および／または異方性再スケーリングを含むスペクトルスパース化動作を示す図である。

【図10】グラフィック要素の局所的および／または異方性再スケーリングを含むスペクトルスパース化動作を示す図である。

【図11】ラスタ画像の符号化ブロックを示す図である。

【図12】ラスタ画像の符号化ブロックを示す図である。

【図13】グラフィック要素の平行移動を含むスペクトルスパース化動作を示す図である。

【図14】グラフィック要素の平行移動を含むスペクトルスパース化動作を示す図である。

【図15】グラフィック要素の平行移動を含むスペクトルスパース化動作を示す図である。

【図16】グラフィック要素の平行移動を含むスペクトルスパース化動作を示す図である。

【図17】様々な書体修正を含むスペクトルスパース化動作を示す図である。

【図18】様々な書体修正を含むスペクトルスパース化動作を示す図である。

【図19】様々な書体修正を含むスペクトルスパース化動作を示す図である。

【図20】様々な書体修正を含むスペクトルスパース化動作を示す図である。

【図21】各々８×８画素の符号化ブロックに対する二重周期関数の直交基底のプロットを示す図である。

【発明を実施するための形態】

【0019】

次に、本開示の態様は、本発明の特定の実施形態が示されている添付の図面を参照して以下でより完全に説明される。しかし、これらの態様は、多くの異なる形態で具現化されてもよく、限定するものとして解釈されるべきではなく、むしろ、これらの実施形態は、本開示が徹底的かつ完全であり、本発明のすべての態様の範囲を当業者に完全に伝えるように例として提供される。説明全体を通して、同様の番号は同様の要素を指す。

【0020】

図１を参照して、ブロック単位変換符号化に適したデジタルラスタ画像内のテキスト文字列をレンダリングするための方法１００をここで説明する。

【0021】

ラスタ画像は、画素のマトリックスまたはグリッドを含み、画素は、好ましくは正方形または長方形であることが理解される。画素は、画像領域３１０（図３）を形成する。ラスタ画像は、ブロック形式の画素バッファー画像であってもよい。ベクトル形式のグラフィック要素を有する画像は、ラスタ画像ではない。

【0022】

テキスト文字列は、ユニコード表（ＩＳＯ／ＩＥＣ １０６４６）などの予め決められたキャラクタ表から選択されたキャラクタの順序付きシーケンスであることが理解される。キャラクタは、文字、音節、表意文字、修飾文字、マーク、数字、句読点、数学記号、通貨記号、セパレータ、合字などを表すことができる。

【0023】

さらに、変換符号化は、広義には、二重周期関数

の直交基底に関する画像データを射影することを含むことが理解される。

ここで、

は、変換係数であり、

は、画素（ｎ_１，ｎ_２）についての画像データである。［０，Ｎ_１］×［０，Ｎ_２］への

の制限は、最も低い（ｋ_１，ｋ_２）対について、単一の周期または一定値に対応し得ることに留意されたい。特に、基底は、実数値の二重周期調和関数（例えば、ＤＣＴ、ＤＳＴ、ＤＦＴ、ウェーブレット変換）からなることができる。射影動作において計算された変換係数は、画像データのスペクトルの離散表現を構成する。エンコード画像は、場合によっては非破壊的データ圧縮（例えば、エントロピー、ハフマン、Ｌｅｍｐｅｌ－Ｚｉｖ、ランレングス、バイナリまたは非バイナリ算術符号化、例えばコンテキスト適応可変長符号化、ＣＡＶＬＣ、コンテキスト適応バイナリ算術符号化、ＣＡＢＡＣ）および／または他の処理ステップの後に、変換係数を含む。特に、変換係数は、ゼロへの丸め動作、例えば、量子化動作を受けることができる。変換係数が前述の非破壊的データ圧縮技術のうちの１つに供給されるとき、ゼロ変換係数は、典型的にはゼロ値の数（「０．０」）として符号化されないが、非ゼロ変換係数よりも著しく少ない画像ビットストリーム内の空間を占有するように省略することができるので、丸め動作は重要である。意図された変換符号化は、符号化ブロックの処理が他の符号化ブロックの処理から独立しているという意味で、ブロック単位変換である。

【0024】

任意選択で、符号化ブロックの変換係数は、予測的に、特にフレーム内予測（「イントラ予測」）符号化によってエンコードすることができる。そのようなものとしてよく知られているかかる予測符号化技術によれば、１つの符号化ブロックの変換係数は、１つまたは複数の以前のまたは後の符号化ブロックを参照して増分的に表される。これは、特に画像が高度の空間的自己相関を有する自然なシーンを描写する場合、効率的なデータ圧縮をもたらす。本発明者らは、符号化ブロックのスペクトルが疎である場合、すなわち、それらがゼロ変換係数の大部分を含む場合、データ圧縮が一般により重要であることを認識した。

【0025】

方法１００の第１のステップ１１０において、画像領域３１０のパーティション３２０が取得される。パーティション３２０は、エンドユーザからの命令に基づいて、（例えば、事前の合意または標準仕様に従って）予め決められたパーティションとして取得されてもよく、または方法１００を実施するエンティティによって生成されてもよい。パーティション３２０は、画像領域３１０の各点が符号化ブロックに属するような符号化ブロックのセットを画定する。同様に、符号化ブロックの結合は、画像領域３１０に等しい。図３では、パーティション３２０は、符号化ブロックを区切る点線によって示されている。図５、図６、図１０、および図１３～図１９の符号化ブロックの境界を示すために、同じ点線の表記が使用されている。画像がビデオシーケンスのフレームであるとき、符号化ブロックは、ＩＴＵ－Ｔ Ｈ．２６ｘビデオ符号化規格の意味でのマクロブロックであってもよく、変換ブロックもしくは予測ブロック、またはこれらの両方の用途を有するブロックとすることができる。図３は、例示のみを目的とした簡略図であることに留意されたい。本発明の時点における一般的なユースケースでは、はるかに細かいパーティションを使用することが通例である。例えば、ビデオフレーム内のマクロブロックは、４×４画素、８×８画素、１６×１６画素、３２×３２画素、または６４×６４画素とすることができる。

【0026】

図２１は、離散コサイン関数として、８×８画素の場合について決定された実数値の二重周期関数の基底の、（ｎ_１，ｎ_２）平面における各々６４個のプロットを含む。

図２１の一番上の線は、
ρ_０，０（ｎ_１，ｎ_２）、ρ_１，０（ｎ_１，ｎ_２）、ρ_２，０（ｎ_１，ｎ_２）、…、ρ_７，０（ｎ_１，ｎ_２）
のプロットを含み、
ρ_７，７（ｎ_１，ｎ_２）までのプロットが右下隅に見られる。図２１では、白色は、

を表し、黒色は、

を表す。単一の基底関数または少数の基底関数の線形組み合わせに対応する符号化ブロックは、より多数の基底関数によって形成されなければならない複雑な外観および／または高い情報コンテンツを有する符号化ブロックよりもエンコードするのに比較的安価である（すなわち、より疎なスペクトルを有することになる）。図２１の検査に基づいて、等距離の水平線または垂直線を有する符号化ブロックは、例えば、ｋ_１＝０またはｋ_２＝０の基底関数

を使用してエンコードするのが安価である可能性が高いことが認識され得る。主に対角要素を有する符号化ブロックは、一般に、例えば、ｋ_１＝ｋ_２の

を使用してエンコードするのも安価である。ナイキスト－シャノンのサンプリング定理によって、

は、８×８画素符号化ブロックについての完全な基底であることが分かる。

【0027】

レンダリングされるテキスト文字列は、方法１００への入力データを構成する。すなわち、テキスト文字列は、方法を実行するエンティティの観点から予め決定されており、すなわち、テキスト文字列は、エンドユーザから受信されてもよく、またはソフトウェアアプリケーションによって自動的に作成されてもよく、上記エンティティは、通常の条件でテキスト文字列を修正してはならない。方法１００は、任意選択で、入力として１つまたは複数のレイアウト制約を受け入れることができる。任意選択の第２のステップ１１２で取得されるレイアウト制約は、レンダリングされたテキスト文字列の最大範囲３３２（図３）、レンダリングされたテキスト文字列の最小範囲３３４、および／またはレンダリングされたテキスト文字列の向きαを指定する。レイアウト制約は、１つまたは複数の許容可能な書体をさらに指定することができる。テキスト文字列は、これらのレイアウト制約に従ってレンダリングされるべきであり、これは、実施されるスペクトルスパース化動作の有効性を制限することがある。

【0028】

第３のステップ１１４において、テキスト文字列は、画像領域３１０内の仮レイアウトに従って配置された書体からの複数のグラフィック要素として表される。仮レイアウトは、各グラフィック要素の少なくとも位置、向き、およびサイズを定める。グラフィック要素は、グリフ、特にキャラクタを表すグリフを含むことができる。この意味でのグラフィック要素は、抽象的なキャラクタではなく、この書体におけるキャラクタの特定の表現、すなわち、具体的な形状を指すことが強調される。さらに、テキスト文字列のキャラクタおよびグラフィック要素は、必ずしも一対一の関係である必要はなく、一対多や多対一の関係であってもよい。グラフィック要素は、ベクトルグラフィック、例えば、スケーラブルな線、曲線、または多角形として表すことができる。

【0029】

次のステップ１１６において、仮レイアウトは、スペクトルスパース化動作を適用することによって修正される。スペクトルスパース化動作は、一度に単一の符号化ブロック、一度に符号化ブロックのグループ（例えば、近接する符号化ブロック）、または画像領域３１０全体に適用することができる。スペクトルスパース化動作は、好ましくは、空でない符号化ブロック、すなわち、少なくとも１つのグラフィック要素またはグラフィック要素の一部分を含むそのような符号化ブロックに制限される。以下で詳細に説明するように、スペクトルスパース化動作は、グラフィック要素の回転（ステップ１１６．１）、グラフィック要素の傾斜（ステップ１１６．１）、完全なグラフィック要素の等方性もしくは異方性再スケーリング（ステップ１１６．２）、グラフィック要素の一部分のグラフィック要素の等方性もしくは異方性再スケーリング（ステップ１１６．２）、グラフィック要素の平行移動（ステップ１１６．３）、書体修正（ステップ１１６．４）、書体置換もしくはコントラスト修正（ステップ１１６．４）、またはこれらの様々な組み合わせを含んでもよい。

【0030】

ステップ１１６の出力は、修正されたレイアウトであり、修正されたレイアウトに従ってグラフィック要素のデジタルラスタ画像がレンダリングされる第５のステップ１１８についての基底を形成する。レンダリングは、ラスタライゼーション、すなわち、画素のマトリックスとしてのベクトルグラフィックスの変換を含むことができる。ラスタライゼーションは、線描画アルゴリズムまたは曲線描画アルゴリズムを実行することを含むことができる。あるいは、書体がビットマップとしてグラフィック要素を表す場合、ステップ１１８におけるレンダリングは、修正されたレイアウトに従ってそれらのサイズおよび位置を使用してそのようなビットマップを出力デジタルラスタ画像に結合することを含んでもよい。

【0031】

レンダリングは、別々に画像領域全体または各符号化ブロックに対して単一の動作として実行することが可能である。

【0032】

ステップ１１８は、実際のレンダリングの前に前処理ステップをさらに含むことができる。前処理ステップにおいて、修正されたレイアウトに従って配置されたグラフィック要素のいくつかのグループは、例えばグラフィック要素の一部分を互いに向かって変形（拡張）することによって、および／または合字もしくはコネクタを追加することによって接合される。結果として生じる接合された外観は、アラビア語を含む特定の非ラテン語スクリプトで必須であり得、ラテン語スクリプトの選択肢として使用して筆記体に似させることができる。

【0033】

図２に示すように、上述したテキストレンダリング方法１００は、テキスト文字列のエンコードデジタル画像を提供するための方法２００に埋め込まれてもよい。そのような方法２００は、方法１００を実施することによってテキスト文字列のデジタルラスタ画像をレンダリングすることを含むことができる。この後、ブロック単位変換符号化動作２１０が画像領域の上記パーティション３２０の各ブロックに適用される。変換符号化は、二重周期関数（上記の式１を参照）の直交基底に関する射影２１０．１と、それに続くゼロへの丸め動作２１０．２とを含み得る。方法２００の出力は、エンコードデジタル画像であり、予め決められた符号化を有する変換係数値の集合として表すことができる。

【0034】

方法２００の実施形態は、テキストオーバーレイのユースケースに特に適合させることができる。そのような実施形態では、背景画像が取得され（例えば、エンドユーザから受信される、カメラによって記録されるなど）、ステップ１１８でレンダリングされたデジタルラスタ画像と結合される。例えば、レンダリングされたグラフィック要素を表す画素は、背景画像内の対応する画素に置き換えられてもよく、これらの画素の補数は透明として扱われ、すなわち、背景画像はここでは影響を受けない。ブロック単位変換符号化動作２１０は、結合画像に適用される。任意選択で、レンダリングされたグラフィック要素を表す画素は、背景画像がテキストを通して部分的に見えるように、設定可能な程度の透明度で重ね合わされてもよい。背景画像およびデジタルラスタ画像は、例えば、再スケーリング、トリミング、または拡張動作によって、結合する前に互いに適合されなければならない場合があることが理解される。

【0035】

あるいは、テキスト文字列が背景画像の上に表され（ステップ１１４）、スペクトルスパース化動作（ステップ１１６）が仮レイアウトに従って背景画像とテキスト文字列の組み合わせに適用される。これにより、スペクトルスパース化動作は、例えば、配置されたグラフィック要素をいくつかの符号化ブロック内の背景画像に似させることによって背景画像との相乗効果を利用することが可能になり、その結果、スペクトルはより疎になり、したがってエンコードするのがより安価になる。例えば、成功した場合のスペクトルスパース化動作は、オーバーレイされたグラフィック要素のスペクトルが同じ符号化ブロック内の背景画像のスペクトルにおいてゼロ値である変換係数とほぼ同じ変換係数のゼロ値を残すように、符号化ブロック内のレイアウト修正を識別することができる。

【0036】

方法１００、２００は、汎用コンピュータによって実行することができる。特に、方法１００、２００は、図４に示す基本的な機能構造を有するデバイスによって実行することが可能である。図示のように、デバイス４００は、処理回路４１４と、メモリ４１０と、外部インターフェース４１８とを含む。内部データバス４１６は、これらの構成要素間の通信を容易にする。メモリ４１０は、方法１００、２００のいずれかを実施する命令を有するコンピュータプログラム４１２を記憶するのに適し得る。外部インターフェース４１８は、デバイス４００がワイドエリアまたはローカルエリアネットワーク４２０を介して消費者またはビデオコンテンツオーサ（例えば、記録デバイス）によって動作される類似のデバイス（図示せず）と通信することを可能にする通信インターフェースであってもよい。さらに、デバイス４００は、生もしくはエンコード画像データ、書体などを記憶するためのサーバ、または必要に応じてデバイス４００によって利用され得るネットワーク化された（「クラウド」）処理リソースなどのホストコンピュータ４３０と通信することが可能である。ホストコンピュータ４３０は、方法１００、２００内の計算的に要求の厳しい動作のデバイス４００をオフロードするように構成することができることが理解される。

【0037】

図５および図６は、グラフィック要素の回転を含むスペクトルスパース化動作を示している。

【0038】

上記回転は、符号化ブロック内の固有の線の向きの数を減少させるように定められうる。図５の左半分では、記号「／」（フォワードスラッシュ）は、文字「Ａ」の左ストロークにほぼ平行であるため、これらのグラフィック特徴は、同じまたは部分的に同じ基底関数を使用してエンコードされ得ることを予想することができる。しかし、図５の右半分では、文字「Ａ」の記号「／」および左ストロークは異なる向きを有し、非ゼロ値を有するためにより多くの変換係数を必要とする。これを考慮して、方法１００のいくつかの実施形態は、図５の左半分により類似するように図５の右半分に従ってレイアウトを修正するスペクトルスパース化動作を実施することを含む。

【0039】

上記回転は、線の向きを垂直軸または水平軸と位置合わせするように、または線の向きをこれらの軸の対角線と位置合わせするように定められうる。垂直軸または水平軸は、レンダリングされるデジタルラスタ画像の画素マトリックスの軸に対応し、これは基底関数がパラメータ化される方法である（ｎ_１、ｎ_２変数）。図６の右半分では、文字「Ｌ」は、符号化ブロックの軸と位置合わせされていない。ここで、軸は、点線で描かれた文字「Ｌ」が含まれる符号化ブロックの境界に対応する。位置合わせされていない文字「Ｌ」は、少数の基底関数の組み合わせとして表現することができないため、エンコードするのにコストがかかる。図６の左半分の向きは、ブロック単位変換符号化の観点からより好ましい可能性が高い。このため、方法１００のいくつかの実施形態は、図６の左半分により類似するように図６の右半分に従ってレイアウトを修正するスペクトルスパース化動作を実施することを含む。

【0040】

図７は、グラフィック要素を傾斜させることを含むスペクトルスパース化動作を示している。右方向への傾斜は、いくつかの書体において、徐々にイタリック体になっていく文字に対応し得る。逆に、傾斜は、１つまたは複数の文字をある程度まで非イタリック体化するために使用されてもよく、それによりそれらのストローク（例えば、クロスバー、ショルダ、ボウル、ステム）は、垂直軸もしくは水平軸、または対角線方向とより良好に位置合わせすることができる。傾斜は、符号化ブロック内の固有の線の向きの数を減少させること、線の向きを垂直軸もしくは水平（または対角）軸と位置合わせすること、および／または符号化ブロック内の固有の垂直距離もしくは水平距離の数を減少させることに寄与し得る。符号化ブロック内の「距離」は、ストロークの太さまたは分離の長さ（空間、隙間）であってもよい。さらに、基底関数は周期的であるため、変換符号化は符号化ブロックの周期的拡張を効果的にサンプリングし、したがってスペクトルスパース化動作は、符号化ブロックの周期的拡張における固有の距離の数を最小化するように設計されるべきであることに留意されたい。これは、図１２を参照して以下に示される。

【0041】

図８および図９は、グラフィック要素の局所的再スケーリングおよび／またはグラフィック要素の異方性再スケーリングを含むスペクトルスパース化動作を示している。

【0042】

図８では、垂直方向の局所的再スケーリングによって小文字「ｈ」のｘ高さをどのように変化させることができるかが示されており、これにより固有の垂直距離の数を制限することが可能である。図８では、水平再スケーリングは適用されていない。文字「ｈ」が垂直方向に完全な符号化ブロックを占有する限り、図８の中央の形状は、ｘ高さがキャップ高さの約半分であるため、単一の垂直距離を有することに留意されたい。場合によっては、図８の左側および右側の形状は、少なくとも２つの固有の垂直距離（すなわち、ｘ高さおよびアセンダ高さ）を含み、したがってより多数の非ゼロ変換係数を必要とする。したがって、方法１００のいくつかの実施形態は、図８の中央形状により類似するようにレイアウトを修正することができるスペクトルスパース化動作を実施することを含む。

【0043】

図９は、異方性再スケーリングの一例である水平方向のみの全体的な再スケーリングの効果を示している。このような再スケーリングによって、符号化ブロック内の固有の距離の数に影響を与えることができる。異方性再スケーリングはまた、異なる要因による水平および垂直再スケーリング動作の組み合わせを含む。

【0044】

図１０は、スペクトルスパース化の目的で再スケーリング動作を使用することができる一例を示している。図１０の左半分は、仮レイアウトに対応し、小文字「ｏ」および数字「０」（ゼロ）は、共通の符号化ブロックを占有する。文字「ｏ」は、数字「０」よりもわずかに小さく幅が狭い。図１０の右半分は、スペクトルスパース化動作の出力に対応し、数字「０」を表す完全なグラフィック要素は、文字「ｏ」と等しい高さを有するように等方的にダウンスケールされる。スペクトルスパース化動作の一部として、文字「ｏ」と数字「０」との間の水平空間が文字「ｏ」の幅にほぼ等しいことがさらに保証され、これは、水平方向に文字「ｏ」または数字「０」を平行移動させることによって達成することができる。結果として、矢印によって示される３つの水平距離は、２つの垂直距離と同様に、ほぼ等しい。これらの考慮事項に基づいて、方法１００のいくつかの実施形態は、図１０の右半分により類似するように図１０の左半分に従ってレイアウトを修正するスペクトルスパース化動作を実施することを含む。変換符号化はブロック単位であるため、隣接する符号化ブロック内の隣接する文字「Ｎ」および数字「５」を考慮する必要はないことに留意されたい。

【0045】

画素レベルに対するスペクトルスパース化動作の効果を説明するために、図１１および図１２は、ラスタ画像の８×８画素符号化ブロックを示す。図１１の左半分では、線は１つの暗い画素の均一な水平太さを有し、それらは３つの明るい画素によって水平方向に分離されている。上記で説明した理由から、符号化ブロックの水平周期的拡張が考慮され、外側光画素は、２＋１＝３個の光画素の合計分離に結合する。概念的には、符号化ブロックの垂直境界は「互いに接着され」、水平境界も同様に考慮され得る。対照的に、図１１の右半分では、水平方向に２つの明るい画素、１つの暗い画素、３つの明るい画素、および２つの暗い画素が識別される。図１１の右半分では固有の水平距離の数がより大きいため、エンコードするのにコストがかかる。したがって、方法１００のいくつかの実施形態は、図１１の左半分により類似するように図１１の右半分に従ってレイアウトを修正するスペクトルスパース化動作を実施することを含む。

【0046】

図１２の第１の符号化ブロックでは、上側部分は、一定の画像データを含み、下側部分は、フォワードスラッシュに似たグラフィック要素が存在しており、水平距離１および７を含む。（周期的拡張における距離が関連することが想起される。）図１２の第２の符号化ブロックでは、中央の上側部分は、一定の画像データを含み、下側部分は、グラフィック要素の２つのコピーが存在しており、水平距離１および３を含む。これは、図１２の第１および第２の符号化ブロックを符号化するそれぞれのコストがほぼ等しいことを示唆する。したがって、２つの異なる符号化ブロックに位置するレイアウトを使用するのではなく、同じ符号化ブロックに上記グラフィック要素の２つのコピーを集めることが符号化効率に利益をもたらす。さらに、その垂直範囲全体にわたって水平距離１および７を含む図１２の第３の符号化ブロックを考慮することは有益である。第３の符号化ブロックは、図１２の第１および第２の符号化ブロックよりもさらに多くの数のゼロ値変換係数を有すると予想され得る。図１２の第３の符号化ブロックは、左側のグラフィック要素と位置合わせされるまで上方に右側のグラフィック要素を平行移動させることによって、第２の符号化ブロックから取得することができる。

【0047】

これらの考慮事項を考慮して、方法１００のいくつかの実施形態は、幾何学的に類似のグラフィック要素が１つの符号化ブロックに集められるように、および／または幾何学的に非類似のグラフィック要素が異なる符号化ブロックに分離されるように、１つまたは複数のグラフィック要素の平行移動を含むスペクトルスパース化動作を実施することを含む。これにより、符号化ブロック内の固有の線の向きの数および／または固有の垂直距離もしくは水平距離の数が減少される可能性がある。

【0048】

図１３、図１４、図１５、および図１６は、グラフィック要素の平行移動を含むスペクトルスパース化動作を示している。上述したように、そのような平行移動の目的は、符号化ブロックごとに幾何学的に類似のグラフィック要素を集めること、および／または幾何学的に非類似のグラフィック要素を分離することであり得る。これらの表現は、通常の意味で理解され得る。あるいは、いくつかの実施形態では、「幾何学的に類似の」および「幾何学的に非類似の」グラフィック要素の識別は、スペクトル的に類似のおよびスペクトル的に非類似のグラフィック要素を識別するように体系化されてもよい。これは、様々なグラフィック要素の以前のブロック単位変換符号化からのスペクトル（変換係数）をキャッシュすることによって達成される。スペクトルは、完全にまたは単純化された形式でキャッシュされ得、有用な単純化されたフォーマットは、各スペクトルにおいてどの変換係数が非ゼロであるかを記述することができる。例えば、２つのグラフィック要素は、それらが同一またはほぼ同一の非ゼロ変換係数のセットを有する場合にはスペクトル的に類似であるとみなされ得、そうでない場合にはスペクトル的に非類似であるとみなされる。スペクトル的に類似のグラフィック要素は集められるものとし、スペクトル的に非類似のグラフィック要素は異なる符号化ブロックに分離されるものとする。

【0049】

グラフィック要素の載置の近すぎた（非大域的な）最適化を回避するために、グラフィック要素の平行移動を含むそのようなスペクトルスパース化動作は、好ましくは、一度に複数の隣接する符号化ブロックの探索ウィンドウに適用される。探索ウィンドウ内で、異なる符号化ブロックへのグラフィック要素の可能な再分配の数が評価され、有利なものが選択される。グラフィック要素の様々な可能な再分配の中で、より適切なものは、以下の基準：非ゼロ変換係数の総数がより小さい、高周波係数（ｋ_１およびｋ_２の値が大きい）の割合が小さい、連続する符号化ブロック間で（イントラ予測走査順序に対して）非ゼロ変換係数のセットの構成のより小さい変動が存在する、のうちの１つまたは複数を満たすことができる。明らかに、テキスト文字列内のキャラクタは、上記再分配の下で並べ替えられないが、それらのシーケンスを保持する。しかし、計算の複雑さを制限するために、長いテキスト文字列の全体が単一のスペクトルスパース化動作で処理される場合のように、ウィンドウも広すぎてはならない。例えば、探索ウィンドウは、３つ、４つ、または５つの符号化ブロックなど、書き込み方向に２～１０個の符号化ブロックを含むことができる。また、スライディング探索ウィンドウを使用することが可能である。

【0050】

図１３は、符号化ブロックごとに幾何学的に類似のグラフィック要素を集めるための平行移動の使用を示している。図１３の左半分では、左符号化ブロックは、文字「Ｆ」およびキャラクタ「＼」（バックスラッシュ）の断片によって共有され、右符号化ブロックは、キャラクタ「＼」の１つの部分コピーおよび２つの完全なコピーを含む。一方、文字「Ｆ」およびキャラクタ「＼」の断片は幾何学的に非類似であるため、これは符号化目的には最適ではない可能性がある。キャラクタ「＼」は２つの符号化ブロックを占有するため、さらに最適ではない。２つの垂直境界が「互いに接着される」ことが想定される符号化ブロックの周期的拡張では、これは大きな不連続性に対応し、周期的基底関数で表現するにはコストがかかる。図１３の右側では、キャラクタ「＼」の３つのコピーが右に平行移動されているため、３つすべてが右符号化ブロックに含まれ、文字「Ｆ」は左符号化ブロックに単独で含まれている。左符号化ブロックには２つの固有の線の向きしかなく、右符号化ブロックには単一の固有の線の向きしかないため、この平行移動は、結果として生じる非ゼロ変換係数の総数を減少させることが予想され得る。さらに、平行移動はまた、左端のキャラクタ「＼」によって占有される符号化ブロックの数を減少させた。これを考慮して、方法１００のいくつかの実施形態は、図１３の右半分により類似するように図１３の左半分に従ってレイアウトを修正するスペクトルスパース化動作を実施することを含む。

【0051】

図１４は、符号化ブロックごとに幾何学的に非類似のグラフィック要素を分離するための平行移動の使用を示している。図１４の左半分では、文字「Ｐ」を表すグラフィック要素が１つの符号化ブロックに含まれている。この文字のボウルおよびステムは幾何学的に非類似であるため、比較的多数の基底関数によって、すなわち、比較的高いコストで表現されなければならない。これは、例えば、図１４の右半分に示すように、文字を１つの「Ｄ」様部分と１つの「Ｉ」様部分に分割し、これらを２つの異なる符号化ブロックに平行移動させることによって改善することができ、部分間の分離は、視認性のために誇張されている。これは、テキスト文字列のキャラクタおよびグラフィック要素が一対多の関係にあり得ることを示している。あるいは、文字「Ｐ」は、２つの異なる符号化ブロックに載置されるように、１つの「Ｉ」様部分と水平方向にフリップされた「Ｃ」に似た１つの部分に分割され得る。これを考慮して、方法１００のいくつかの実施形態は、図１４の右半分により類似するように図１４の左半分に従ってレイアウトを修正するスペクトルスパース化動作を実施することを含む。

【0052】

図１５は、符号化ブロック内の固有の垂直距離の数を減少させるために、１つの符号化ブロック内のグラフィック要素を再配置するための平行移動の使用を示している。図１５の左半分では、ウムラウトドットの形態の２つのグラフィック要素が、小文字「ｏ」を表す第３のグラフィック要素の近くに位置する。したがって、符号化ブロックは多数の垂直距離を有する。対照的に、図１５の右半分では、ウムラウトドットは上方に平行移動され、「ｏ」自体の高さとほぼ同じ高さで「ｏ」の上に位置している。その結果、ドットの太さに対応する垂直距離および「ｏ」は、ほぼ等しくなる。さらに、「ｏ」の高さに対応する空間（ｘ高さ、下側垂直二重矢印）、ウムラウトの２つの点々から「ｏ」の上部までの垂直空間（上側垂直二重矢印）、および符号化ブロック内の完全な文字

の上下の自由空間の合計は、ほぼ等しい空間のトリプレットを構成する。（符号化ブロックの周期的拡張における距離が最も重要なことであることが想起され、垂直距離の場合、垂直周期的拡張が考慮される。）したがって、方法１００のいくつかの実施形態は、図１５の右半分により類似するように図１５の左半分に従ってレイアウトを修正するスペクトルスパース化動作を実施することを含む。

【0053】

図１６は、符号化ブロック内の固有の垂直距離および水平距離の数を減少させるために、１つの符号化ブロック内のグラフィック要素を再配置するための平行移動の使用を示している。図１６の左半分は、図１５の左半分と同一である。図１６の右半分では、ウムラウトドットは、図１５のように上方に平行移動されているだけでなく、「ｏ」の幅とほぼ同じ水平方向の間隔を有するように、水平方向の平行移動によってさらに離間されている。図１６の右半分では、固有の垂直距離の数だけでなく、固有の水平距離の数も最小限に抑えられている。これは、ある程度、後の予測符号化の観点から有利であり得る。平行移動は、フレーム内予測符号化が適用される場合、さらに大きな利点を表すことができる。したがって、方法１００のいくつかの実施形態は、図１６の右半分により類似するように図１６の左半分に従ってレイアウトを修正するスペクトルスパース化動作を実施することを含む。

【0054】

図１６の右半分から開始して、さらに別のスペクトルスパース化は、ウムラウトドットをウムラウトオーバーバーに変換することによって取得することができ、これは一部の読者によってアログラフとして受け入れられ得る。数学的にこれを説明するために、図１６の右半分の以下の画素表現が考慮される。

そのような符号化ブロックのＤＣＴスペクトルは、以下の外観を有し、ここで、＊は、非ゼロ変換係数を表す。

ウムラウトドットがウムラウトオーバーバーに置き換えられる場合、以下の通りである。

次いでＤＣＴスペクトルは、

となる。
非ゼロ変換係数の数が３だけ減少するので、符号化ブロックをよりコンパクトにデジタル的に表すことができることが分かる。

【0055】

上述したように、ステップ１１８は、１つまたは複数のグラフィック要素を接合する前処理ステップを含むことができる。接合は、修正されたレイアウトの視覚的外観を改善することができる、平行移動によるスペクトルスパース化動作の場面において潜在的に有用である。例えば、接合は、文字間の不均一な空間をより均一に見えるようにし、したがって見えにくくすることができる。別の用途は、画像領域３１０内のテキスト文字列の最小範囲３３４（図３）を指定するレイアウト制約を満たすことである。例えば、単語を表すテキスト文字列の文字は、上記最小範囲３３４にわたって分配することができるが、合字のおかげで、依然として単語として認識される。文字の接合は、典型的には、無視できる符号化労力を追加し、有益でさえあり得る。アラビア語スクリプトの特定の場合、そのような接合は、いわゆるｋａｓｈｉｄａによって、すなわち、グラフィック要素の一部分を拡張することによって、または合字として機能するグリフ（ｔａｔｗｉｌ）を挿入することによって達成することができる。さらなる詳細については、研究論文Ｍ．Ｊ．Ｅ．Ｂｅｎａｔｉａ ｅｔ ａｌ．，「Ａｒａｂｉｃ ｔｅｘｔ ｊｕｓｔｉｆｉｃａｔｉｏｎ．Ｓｕｒｖｅｙ ｏｆ ｈｉｓｔｏｒｉｃａｌ ｍｅｔｈｏｄｓ ｏｆ Ａｒａｂｉｃ ｔｅｘｔ ｊｕｓｔｉｆｉｃａｔｉｏｎ，ａｎｄ ａ ｒｅｃｏｍｍｅｎｄｅｄ ａｌｇｏｒｉｔｈｍ」，ＴＵＧｂｏａｔ，ｖｏｌ．２７（２００６），ｎｏ．２，ｐａｇｅ １３７－１４６を参照されたい。

【0056】

図１７、図１８、図１９、および図２０は、様々な書体修正または書体置換を含むスペクトルスパース化動作を示している。一般的に言えば、検討される書体修正および書体置換は、グラフィック要素の幾何学的形状を単純化する。これは、符号化ブロック内の固有の線の向きの数を減少させること、線の向きを垂直軸もしくは水平（または対角）軸と位置合わせさせること、および／または符号化ブロック内の固有の垂直距離もしくは水平距離の数を減少させることに寄与し得る。方法１００が、書体または許容可能な書体のリストを指定するレイアウト制約に従って実施される場合、考慮中の書体置換はそれに応じて制限されなければならないことに留意されたい。

【0057】

図１７は、セリフ書体における大文字「Ｅ」を表すグラフィック要素（図１７の左半分）が、セリフなしの「Ｅ」についてのアログラフ（右半分）に変換される書体修正を示している。言い換えれば、変換は、すなわち、セリフを除去することによってグラフィック要素の終端形状を単純化する。書体修正は、文字「Ｅ」上の異なるストロークの幅をさらに均一化する。図１７の右半分のグラフィック要素はより少ない固有の線の向きおよび／またはより少ない固有の距離を有するので、エンコードする方が安価である可能性が高い。これを考慮して、方法１００のいくつかの実施形態は、図１７の右半分により類似するように図１７の左半分に従ってレイアウトを修正するスペクトルスパース化動作を実施することを含む。同様に、スペクトルスパース化動作は、セリフ書体からの「Ｅ」を、サンセリフ書体からの、特に均一なストローク幅を有するサンセリフ書体からの「Ｅ」に置き換えることができる。

【0058】

図１８は、符号化ブロック内の書体重み（ｔｙｐｅｆａｃｅ ｗｅｉｇｈｔ）が均一化される書体修正を示している。例示的な書体重みには、超極細、細、中、太、および超極太が挙げられる。図１８の左半分では、小文字「ａ」を表す３つのグラフィック要素は３つの異なる重みを有し、これは符号化ブロック内の多数の固有の垂直距離および水平距離に対応する。右半分では、重みは、書体置換または適切な再スケーリングによってほぼ均一にされており、経済的な変換符号化に有利である。したがって、方法１００のいくつかの実施形態は、図１８の右半分により類似するように図１８の左半分に従ってレイアウトを修正するスペクトルスパース化動作を実施することを含む。

【0059】

図１７を参照すると、グラフィック要素上の異なるストロークのそれぞれの幅を均一化することができることが示された。図１９は、グラフィック要素上の特定のストロークの幅を均一にする書体修正を示している。図１９の右半分では、不均一なストローク重みを有する書体からのグラフィック要素が、テキスト文字列「ａｂｃ」を形成するために使用されている。同図の左半分では、均一なストローク重みを有する書体が使用されている。さらに、図１９の右半分に見られる小さなイヤーおよびセリフは、左半分には存在しない。これらの変更の両方は、エンコードするために左半分のグラフィック記号の配置をより安価にする傾向がある。したがって、方法１００のいくつかの実施形態は、図１９の左半分により類似するように図１９の右半分に従ってレイアウトを修正するスペクトルスパース化動作を実施することを含む。

【0060】

図２０は、グラフィック要素の開口を修正することができる書体修正を示している。より正確には、図２０は、小文字「ｅ」を表し、下側開放円弧の長さに関して異なる３つのグラフィック要素を示す。頂部からクロスバーまでの間隔は、グラフィック要素が文字「ｅ」としてのその重要性を失わずに変更することができる。この事実は、符号化ブロック内の固有の水平距離および／または垂直距離の数を制御するために利用することができる。これらの考慮事項を考慮して、方法１００のいくつかの実施形態は、図２０の３つのグラフィック要素間の変動と類似のグラフィック要素の開口を変換するスペクトルスパース化動作を実施することを含む。

【0061】

図２１は、上述されている。

【0062】

多数の例が示したように、本発明者らは、効率的な変換符号化を容易にする方式で、符号化ブロックパターンに対して所与のテキスト文字列を構成するグラフィック要素を配置する方法を提案している。より詳細には、本発明者らは、グラフィック要素の仮レイアウトを、より疎なスペクトルを有し、したがってよりコンパクトに表すことができる修正されたレイアウトに変更するための動作のツールボックスを開発した。これらの動作は、テキスト文字列を無傷のままにし、したがってその通信上の重要性を維持し、一般に非専門家の視聴者には視覚的に気付かれない。スペクトルスパース化動作の離散性は、レイアウト制約が受け入れられ観察される実施形態のうちの１つを実装することによってさらに保証することができる。

【0063】

本開示の態様は、いくつかの実施形態を参照して主に上述されている。しかし、当業者によって容易に理解されるように、上記で開示されたもの以外の他の実施形態も本発明の範囲内で等しく可能であり、これは添付の特許請求の範囲によって規定される。例えば、例は主にラテン文字からの文字に関係しているが、当業者は、本明細書に開示された技術が、ギリシャ語、キリル語、アラビア語などの他のスクリプト、および表意文字スクリプトに容易に適用可能であることを理解するであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【外国語明細書】