特許 6471023 画像処理システムおよび画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6471023

(24)【登録日】2019年1月25日

(45)【発行日】2019年2月13日

(54)【発明の名称】画像処理システムおよび画像処理方法

(51)【国際特許分類】

   H04N 19/167 20140101AFI20190204BHJP

   H04N 19/122 20140101ALI20190204BHJP

   H04N 19/169 20140101ALI20190204BHJP

   H04N 19/63 20140101ALI20190204BHJP

【ＦＩ】

   H04N19/167

   H04N19/122

   H04N19/169 300

   H04N19/63

【請求項の数】36

【全頁数】76

(21)【出願番号】特願2015-71408(P2015-71408)

(22)【出願日】2015年3月31日

(65)【公開番号】特開2016-192669(P2016-192669A)

(43)【公開日】2016年11月10日

【審査請求日】2018年2月9日

(73)【特許権者】

【識別番号】591128453

【氏名又は名称】株式会社メガチップス

(74)【代理人】

【識別番号】100088672

【弁理士】

【氏名又は名称】吉竹 英俊

(74)【代理人】

【識別番号】100088845

【弁理士】

【氏名又は名称】有田 貴弘

(72)【発明者】

【氏名】水野 雄介

【審査官】 岩井 健二

(56)【参考文献】

【文献】 特開２００７−２５１４７６（ＪＰ，Ａ）

【文献】 特開２００７−１８０８０１（ＪＰ，Ａ）

【文献】 特開２００７−１０４６４５（ＪＰ，Ａ）

【文献】 特開２００６−２０３４０９（ＪＰ，Ａ）

【文献】 特開２００２−０９４９９１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

第１対象画像中のＲＯＩ（関心領域）と第２対象画像とを合成する画像合成システムを備え、
前記第２対象画像は前記第１対象画像と相似形を成し、前記第１対象画像に対する前記第２対象画像の相似比が１以下であり、
前記画像合成システムは、
前記第１対象画像のデータである第１対象画像データ用の符号化ビットストリームを取得し、
第２基礎画像のデータである第２基礎画像データを取得し、前記第２基礎画像を前記第２対象画像として利用するために前記第２基礎画像データを前記第２対象画像のデータである第２対象画像データとして利用し、または、前記第２基礎画像から前記第２対象画像を生成するために所定の第２対象画像生成処理によって前記第２基礎画像データから前記第２対象画像データを生成し、
合成具合を制御するための合成制御データを取得し、
前記符号化ビットストリームの生成処理は、
前記第１対象画像データに対して、予め設定された初期の分解レベルまで、ウエーブレット変換を行うことによって、第１ウエーブレット係数データを生成する、ウエーブレット変換処理と、
前記第１ウエーブレット係数データについて前記ＲＯＩに関与するＲＯＩ係数と非ＲＯＩに関与する非ＲＯＩ係数とを判別するためのマスクのデータであるマスクデータを生成する、マスク生成処理と、
前記マスクデータに基づいて前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と前記非ＲＯＩ係数とを判別し、前記非ＲＯＩ係数が０になるように前記第１ウエーブレット係数データに対して量子化を行い、それにより量子化ウエーブレット係数データを生成する、量子化処理と、
前記量子化ウエーブレット係数データを符号化して符号化データを生成する符号化処理と、
前記符号化データから前記符号化ビットストリームを生成するビットストリーム生成処理と
を含み、
前記画像合成システムは、
前記符号化ビットストリームから前記符号化データを抽出するビットストリーム解析部と、
前記符号化データを復号化して前記量子化ウエーブレット係数データを生成する復号化部と、
前記量子化ウエーブレット係数データを構成する各データの値が０であるか否かを判別することによって、前記量子化ウエーブレット係数データ中の前記ＲＯＩ係数と前記非ＲＯＩ係数とを判別し、判別結果に基づいて前記初期の分解レベルの前記マスクデータを再現する、マスク再現部と、
前記量子化ウエーブレット係数データに対して逆量子化を行うことによって、前記初期の分解レベルの前記第１ウエーブレット係数データを生成する、逆量子化部と、
前記第１ウエーブレット係数データおよび前記マスクデータを、前記初期の分解レベルから、前記合成制御データによって指定された第１の分解レベルに変換する分解レベル変換処理を行う、分解レベル変換部と、
前記第２対象画像データに対して、前記第１の分解レベルおよび前記相似比に応じて決まる第２の分解レベルまで前記ウエーブレット変換を行うことによって、第２ウエーブレット係数データを生成する、ウエーブレット変換部と
を含み、
前記第１ウエーブレット係数データの前記第１の分解レベルをＰ１とし、前記第２ウエーブレット係数データの前記第２の分解レベルをＰ２とし、前記相似比を１／２^Ｐ３とした場合、Ｐ２＝Ｐ１−Ｐ３であり、
前記画像合成システムは、さらに、
前記第１の分解レベルの前記第１ウエーブレット係数データについて前記ＲＯＩ係数と前記非ＲＯＩ係数とを、前記第１の分解レベルの前記マスクデータに基づいて判別し、前記第１の分解レベルの前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と、前記第２ウエーブレット係数データ中の係数とを合成する係数合成処理を行い、それにより、画像サイズおよび分解レベルが前記第２ウエーブレット係数データと同じである合成済み係数データを生成する、合成実行部と、
前記合成済み係数データに対して、分解レベルが所定の終了レベルになるまで逆ウエーブレット変換を行うことによって、合成画像データを生成する、逆ウエーブレット変換部と
を含む、画像処理システム。

【請求項2】

請求項１に記載の画像処理システムであって、
前記分解レベル変換部は、前記マスクデータを、前記初期の分解レベルから分解レベル０に変換し、分解レベル０から前記第１の分解レベルに変換する、画像処理システム。

【請求項3】

請求項１または２に記載の画像処理システムであって、
前記画像合成システムは、前記合成制御データを、前記符号化ビットストリームと同じ媒体によって取得する、画像処理システム。

【請求項4】

請求項３に記載の画像処理システムであって、
前記合成制御データは、前記符号化ビットストリームのうちで前記符号化データに影響しない領域に埋め込まれた状態で、前記画像合成システムに供給され、
前記ビットストリーム解析部は、前記符号化ビットストリームから前記符号化データおよび前記合成制御データを抽出する、
画像処理システム。

【請求項5】

請求項１または２に記載の画像処理システムであって、
前記画像合成システムは、前記合成制御データを、前記符号化ビットストリームを供給する媒体とは異なる媒体によって取得する、画像処理システム。

【請求項6】

請求項５に記載の画像処理システムであって、
前記画像合成システムは、前記符号化ビットストリームを無線もしくは有線の通信媒体または外部記憶媒体によって取得し、前記合成制御データを、前記画像合成システムの側に設けられた操作媒体によってユーザから取得する、画像処理システム。

【請求項7】

請求項１〜６のうちのいずれか１つに記載の画像処理システムであって、
前記画像合成システムは、複数の合成制御データのうちの１つを選択的に前記分解レベル変換部および前記ウエーブレット変換部に供給するセレクタを含む、画像処理システム。

【請求項8】

請求項７に記載の画像処理システムであって、
前記複数の合成制御データは、
前記画像合成システムの側に設けられた操作媒体にユーザが入力することによって供給された第１合成制御データと、
前記操作媒体とは異なる媒体によって供給された第２合成制御データと
を含み、
前記セレクタは、前記第１合成制御データを優先的に選択する、
画像処理システム。

【請求項9】

請求項１〜８のうちのいずれか１つに記載の画像処理システムであって、
前記画像合成システムは、
前記第２基礎画像中に、前記相似比で以て前記第１対象画像と相似形を成す相似形範囲を設定し、前記第２基礎画像データのうちで前記相似形範囲内のデータを前記第２対象画像データとして切り取る、第２画像切り取り部
をさらに含む、画像処理システム。

【請求項10】

請求項９に記載の画像処理システムであって、
画像合成システムは、
前記逆ウエーブレット変換を分解レベルが０になるまで行うことによって得られた前記合成画像データを、前記第２基礎画像データ中の前記相似形範囲に埋め込む、埋め込み部
をさらに含む、画像処理システム。

【請求項11】

請求項１〜８のうちのいずれか１つに記載の画像処理システムであって、
前記画像合成システムは、
前記第２基礎画像の少なくとも一部分を縮小して前記第２対象画像を生成する画像縮小部
をさらに含む、画像処理システム。

【請求項12】

請求項１〜１１のうちのいずれか１つに記載の画像処理システムであって、
前記符号化ビットストリームの前記生成処理を行い、前記符号化ビットストリームを前記画像合成システムに供給する、データ供給システム
をさらに備える、画像処理システム。

【請求項13】

第１対象画像中のＲＯＩ（関心領域）と第２対象画像とを合成する画像合成処理に使用するデータを出力するデータ供給システムを備え、
前記第２対象画像は前記第１対象画像と相似形を成し、前記第１対象画像に対する前記第２対象画像の相似比が１以下であり、
前記データ供給システムは、
前記第１対象画像のデータである第１対象画像データに対して、予め設定された初期の分解レベルまで、ウエーブレット変換を行うことによって、第１ウエーブレット係数データを生成する、ウエーブレット変換部と、
前記第１ウエーブレット係数データについて前記ＲＯＩに関与するＲＯＩ係数と非ＲＯＩに関与する非ＲＯＩ係数とを判別するためのマスクのデータであるマスクデータを生成するマスク生成処理を行う、マスク生成部と、
前記マスクデータに基づいて前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と前記非ＲＯＩ係数とを判別し、前記非ＲＯＩ係数が０になるように前記第１ウエーブレット係数データに対して量子化を行い、それにより量子化ウエーブレット係数データを生成する、量子化部と、
前記量子化ウエーブレット係数データを符号化して符号化データを生成する符号化部と、
前記符号化データから符号化ビットストリームを生成するビットストリーム生成部と
を含み、
前記画像合成処理は、
前記符号化ビットストリームから前記符号化データを抽出するビットストリーム解析処理と、
前記符号化データを復号化して前記量子化ウエーブレット係数データを生成する復号化処理と、
前記量子化ウエーブレット係数データを構成する各データの値が０であるか否かを判別することによって、前記量子化ウエーブレット係数データ中の前記ＲＯＩ係数と前記非ＲＯＩ係数とを判別し、判別結果に基づいて前記初期の分解レベルの前記マスクデータを再現する、マスク再現処理と、
前記量子化ウエーブレット係数データに対して逆量子化を行うことによって、前記初期の分解レベルの前記第１ウエーブレット係数データを生成する、逆量子化処理と、
前記第１ウエーブレット係数データおよび前記マスクデータを、前記初期の分解レベルから第１の分解レベルに変換する、分解レベル変換処理と、
前記第２対象画像のデータである第２対象画像データに対して、前記第１の分解レベルおよび前記相似比に応じて決まる第２の分解レベルまで前記ウエーブレット変換を行うことによって、第２ウエーブレット係数データを生成する、ウエーブレット変換処理と
を含み、
前記第１ウエーブレット係数データの前記第１の分解レベルをＰ１とし、前記第２ウエーブレット係数データの前記第２の分解レベルをＰ２とし、前記相似比を１／２^Ｐ３とした場合、Ｐ２＝Ｐ１−Ｐ３であり、
前記画像合成処理は、さらに、
前記第１の分解レベルの前記第１ウエーブレット係数データについて前記ＲＯＩ係数と前記非ＲＯＩ係数とを、前記第１の分解レベルの前記マスクデータに基づいて判別し、前記第１の分解レベルの前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と、前記第２ウエーブレット係数データ中の係数とを合成する係数合成処理を行い、それにより、画像サイズおよび分解レベルが前記第２ウエーブレット係数データと同じである合成済み係数データを生成する、合成実行処理と、
前記合成済み係数データに対して、分解レベルが所定の終了レベルになるまで逆ウエーブレット変換を行うことによって、合成画像データを生成する、逆ウエーブレット変換処理と
を含み、
前記データ供給システムは、前記符号化ビットストリームと、前記画像合成処理の前記分解レベル変換処理において前記第１の分解レベルを指定するための合成制御データとを出力する、
画像処理システム。

【請求項14】

請求項１３に記載の画像処理システムであって、
前記ビットストリーム生成部は、前記符号化ビットストリームのうちで前記符号化データに影響しない領域に前記合成制御データを埋め込み、
前記データ供給システムは、前記合成制御データが埋め込まれた状態の前記符号化ビットストリームを出力する、
画像処理システム。

【請求項15】

請求項１３に記載の画像処理システムであって、
前記データ供給システムは、前記合成制御データを前記符号化ビットストリームと別に出力する、画像処理システム。

【請求項16】

請求項１３〜１５のうちのいずれか１つに記載の画像処理システムであって、
前記マスク生成部は、
前記ＲＯＩを含む第１基礎画像の範囲において前記ＲＯＩと前記非ＲＯＩとを判別するための基礎マスクのデータである基礎マスクデータを、前記第１基礎画像のデータである第１基礎画像データに基づいて生成する、基礎マスク生成部と、
前記第１基礎画像における前記第１対象画像の範囲である切り取り範囲を決定する切り取り範囲決定処理を前記基礎マスクデータと前記初期の分解レベルと前記第１の分解レベルとに基づいて行い、前記切り取り範囲を特定するための切り取り範囲特定データを生成する、切り取り範囲決定部と、
前記切り取り範囲特定データに基づいて、前記基礎マスクデータのうちで前記切り取り範囲内のデータを切り取る、マスク切り取り部と、
前記マスク切り取り部によって切り取られたデータを、前記第１ウエーブレット係数データに含まれる各帯域成分用に展開することによって、前記第１ウエーブレット係数データ用の展開マスクである前記マスクを生成する、マスク展開処理を行うマスク展開部と
を有し、
前記データ供給システムは、
前記切り取り範囲特定データに基づいて、前記第１基礎画像データのうちで前記切り取り範囲内のデータを前記第１対象画像データとして切り取る、第１画像切り取り部
をさらに含む、
画像処理システム。

【請求項17】

請求項１６に記載の画像処理システムであって、
前記切り取り範囲決定処理は、
前記基礎マスクに基づいて、前記ＲＯＩを含む矩形の最小範囲を特定する、最小範囲特定処理と、
前記初期の分解レベルと前記第１の分解レベルとのうちで高い方の分解レベルである最高分解レベルのウエーブレット平面の最も分解された最上位帯域成分において、前記最小範囲に対応する範囲を追跡最小範囲として特定する、追跡処理と、
前記追跡最小範囲内のウエーブレット係数を算出するために必要なデータが、切り取り前の前記第１基礎画像のどの範囲に存在するのかを特定する、必要範囲特定処理と
を含み、
前記必要範囲特定処理によって特定された前記範囲を、前記切り取り範囲に設定する、
画像処理システム。

【請求項18】

請求項１７に記載の画像処理システムであって、
前記ウエーブレット変換は、各分解レベルのウエーブレット平面に含まれる最低域の帯域成分を再帰的に分解する方式であり、
前記最上位帯域成分は、前記最高分解レベルのウエーブレット平面における最低域の帯域成分である、
画像処理システム。

【請求項19】

請求項１７または１８に記載の画像処理システムであって、
前記最小範囲の左上端座標を（ＡＸ１，ＡＹ１）とし、
前記最小範囲の右下端座標を（ＢＸ１，ＢＹ１）とし、
前記追跡最小範囲の左上端座標を（ＡＸ２，ＡＹ２）とし、
前記追跡最小範囲の右下端座標を（ＢＸ２，ＢＹ２）とし、
前記切り取り範囲の左上端座標を（ＡＸ３，ＡＹ３）とし、
前記切り取り範囲の右下端座標を（ＢＸ３，ＢＹ３）とし、
前記ウエーブレット変換に５×３フィルタが使用される場合、
前記最小範囲特定処理では、前記ＡＸ１と前記ＡＹ１と前記ＢＸ１と前記ＢＹ１を求め、
前記追跡処理では、
前記ＡＸ１が偶数ならばＡＸ１／２を新たなＡＸ１に設定し、前記ＡＸ１が奇数ならば｛ＡＸ１−１｝／２を新たなＡＸ１に設定するという第１再帰処理を、前記最高分解レベルの値によって指定された指定回数行い、最終的に得られたＡＸ１を前記ＡＸ２に設定し、
前記ＡＹ１が偶数ならばＡＹ１／２を新たなＡＹ１に設定し、前記ＡＹ１が奇数ならば｛ＡＹ１−１｝／２を新たなＡＹ１に設定するという第２再帰処理を前記指定回数行い、最終的に得られたＡＹ１を前記ＡＹ２に設定し、
前記ＢＸ１が偶数ならばＢＸ１／２を新たなＢＸ１に設定し、前記ＢＸ１が奇数ならば｛ＢＸ１＋１｝／２を新たなＢＸ１に設定するという第３再帰処理を前記指定回数行い、最終的に得られたＢＸ１を前記ＢＸ２に設定し、
前記ＢＹ１が偶数ならばＢＹ１／２を新たなＢＹ１に設定し、前記ＢＹ１が奇数ならば｛ＢＹ１＋１｝／２を新たなＢＹ１に設定するという第４再帰処理を前記指定回数行い、最終的に得られたＢＹ１を前記ＢＹ２に設定し、
前記必要範囲特定処理では、
｛ＡＸ２×２−２｝を新たなＡＸ２に設定するという第５再帰処理を前記指定回数行い、最終的に得られたＡＸ２を前記ＡＸ３に設定し、
｛ＡＹ２×２−２｝を新たなＡＹ２に設定するという第６再帰処理を前記指定回数行い、最終的に得られたＡＹ２を前記ＡＹ３に設定し、
｛ＢＸ２×２＋２｝を新たなＢＸ２に設定するという第７再帰処理を前記指定回数行い、最終的に得られたＢＸ２を前記ＢＸ３に設定し、
｛ＢＹ２×２＋２｝を新たなＢＹ２に設定するという第８再帰処理を前記指定回数行い、最終的に得られたＢＹ２を前記ＢＹ３に設定する、
画像処理システム。

【請求項20】

請求項１７または１８に記載の画像処理システムであって、
前記最小範囲の左上端座標を（ＡＸ１，ＡＹ１）とし、
前記最小範囲の右下端座標を（ＢＸ１，ＢＹ１）とし、
前記追跡最小範囲の左上端座標を（ＡＸ２，ＡＹ２）とし、
前記追跡最小範囲の右下端座標を（ＢＸ２，ＢＹ２）とし、
前記切り取り範囲の左上端座標を（ＡＸ３，ＡＹ３）とし、
前記切り取り範囲の右下端座標を（ＢＸ３，ＢＹ３）とし、
前記ウエーブレット変換にDaubechies９×７フィルタが使用される場合、
前記最小範囲特定処理では、前記ＡＸ１と前記ＡＹ１と前記ＢＸ１と前記ＢＹ１を求め、
前記追跡処理では、
前記ＡＸ１が偶数ならば｛ＡＸ１／２−１｝を新たなＡＸ１に設定し、前記ＡＸ１が奇数ならば｛ＡＸ１−３｝／２を新たなＡＸ１に設定するという第９再帰処理を、前記最高分解レベルの値によって指定された指定回数行い、最終的に得られたＡＸ１を前記ＡＸ２に設定し、
前記ＡＹ１が偶数ならば｛ＡＹ１／２−１｝を新たなＡＹ１に設定し、前記ＡＹ１が奇数ならば｛ＡＹ１−３｝／２を新たなＡＹ１に設定するという第１０再帰処理を前記指定回数行い、最終的に得られたＡＹ１を前記ＡＹ２に設定し、
前記ＢＸ１が偶数ならば｛ＢＸ１＋２｝／２を新たなＢＸ１に設定し、前記ＢＸ１が奇数ならば｛ＢＸ１＋３｝／２を新たなＢＸ１に設定するという第１１再帰処理を前記指定回数行い、最終的に得られたＢＸ１を前記ＢＸ２に設定し、
前記ＢＹ１が偶数ならば｛ＢＹ１＋２｝／２を新たなＢＹ１に設定し、前記ＢＹ１が奇数ならば｛ＢＹ１＋３｝／２を新たなＢＹ１に設定するという第１２再帰処理を前記指定回数行い、最終的に得られたＢＹ１を前記ＢＹ２に設定し、
前記必要範囲特定処理では、
｛ＡＸ２×２−４｝を新たなＡＸ２に設定するという第１３再帰処理を前記指定回数行い、最終的に得られたＡＸ２を前記ＡＸ３に設定し、
｛ＡＹ２×２−４｝を新たなＡＹ２に設定するという第１４再帰処理を前記指定回数行い、最終的に得られたＡＹ２を前記ＡＹ３に設定し、
｛ＢＸ２×２＋４｝を新たなＢＸ２に設定するという第１５再帰処理を前記指定回数行い、最終的に得られたＢＸ２を前記ＢＸ３に設定し、
｛ＢＹ２×２＋４｝を新たなＢＹ２に設定するという第１６再帰処理を前記指定回数行い、最終的に得られたＢＹ２を前記ＢＹ３に設定する、
画像処理システム。

【請求項21】

請求項１３〜２０のうちのいずれか１つに記載の画像処理システムであって、
前記データ供給システムは、
前記量子化部によって生成された前記量子化ウエーブレット係数データに基づいて前記マスク再現処理および前記逆量子化処理を行い、前記マスク再現処理および前記逆量子化処理の結果に基づいて前記分解レベル変換処理を行い、前記第２対象画像データに対して前記ウエーブレット変換処理を行い、前記分解レベル変換処理および前記ウエーブレット変換処理の結果に基づいて前記合成実行処理と前記逆ウエーブレット変換処理とを行う、合成部
をさらに含む、画像処理システム。

【請求項22】

請求項２１に記載の画像処理システムであって、
前記合成部は、
第２基礎画像中に、前記相似比で以て前記第１対象画像と相似形を成す相似形範囲を設定し、前記第２基礎画像のデータである第２基礎画像データのうちで前記相似形範囲内のデータを前記第２対象画像データとして切り取る、第２画像切り取り部
を有する、画像処理システム。

【請求項23】

請求項２２に記載の画像処理システムであって、
前記合成部は、
前記逆ウエーブレット変換を分解レベルが０になるまで行うことによって得られた前記合成画像データを、前記第２基礎画像データ中の前記相似形範囲に埋め込む、埋め込み部
をさらに有する、画像処理システム。

【請求項24】

請求項２１に記載の画像処理システムであって、
前記合成部は、
第２基礎画像の少なくとも一部分を縮小して前記第２対象画像を生成する画像縮小部
を有する、画像処理システム。

【請求項25】

請求項１〜２４のうちのいずれか１つに記載の画像処理システムであって、
前記係数合成処理は、
前記第１ウエーブレット係数データ中の前記非ＲＯＩ係数を、前記第２ウエーブレット係数データ中の対応するウエーブレット係数で置換する、第１係数合成処理と、
前記第１ウエーブレット係数データ中の前記ＲＯＩ係数を、前記第２ウエーブレット係数データ中の対応する位置に埋め込む、第２係数合成処理と
のうちのいずれかである、
画像処理システム。

【請求項26】

請求項１または１３に記載の画像処理システムであって、
前記マスク生成処理は、
前記ＲＯＩを有する第１基礎画像の範囲において前記ＲＯＩと前記非ＲＯＩとを判別するための基礎マスクのデータである基礎マスクデータを、前記第１基礎画像のデータである第１基礎画像データに基づいて生成する、基礎マスク生成処理
を含み、
前記第１基礎画像データは、前記第１基礎画像を前記第１対象画像として利用するために前記第１対象画像のデータである第１対象画像データとして利用されるデータ、または、前記第１基礎画像から前記第１対象画像を生成するために所定の第１対象画像生成処理によって前記第１基礎画像データから前記第１対象画像データを生成するのに利用されるデータであり、
前記マスク生成処理は、
前記基礎マスクを、前記第１ウエーブレット係数データに含まれる各帯域成分用に展開することによって、前記第１ウエーブレット係数データ用の展開マスクである前記マスクを生成する、マスク展開処理
を含む、画像処理システム。

【請求項27】

請求項１または１３に記載の画像処理システムであって、
前記分解レベル変換処理は、
前記第１ウエーブレット係数データに対して前記第１の分解レベルになるまで前記ウエーブレット変換を行い、前記マスクデータを、前記第１の分解レベルの前記第１ウエーブレット係数データに含まれる各帯域成分用に展開するマスク展開処理を行う、分解レベル増加処理
を含む、画像処理システム。

【請求項28】

請求項１６，２６，２７のうちのいずれか１つに記載の画像処理システムであって、
前記マスク展開処理では、第１ウエーブレット平面用の第１マスクを、前記第１ウエーブレット平面よりも分解レベルが１段階高い第２ウエーブレット平面用の第２マスクに、マスク展開条件に基づいて変換するレベル増加単位処理を行い、前記第２ウエーブレット平面を前記第１の分解レベルにするために前記レベル増加単位処理を複数回行う場合には、前記レベル増加単位処理を前記ウエーブレット変換の方式に従って再帰的に行い、
前記ウエーブレット変換に５×３フィルタが使用される場合における前記マスク展開条件は、ｎを整数として、
前記第１ウエーブレット平面上の２ｎ番目のデータが前記第１マスクによって前記ＲＯＩに対応付けられているとき、前記第２ウエーブレット平面において低域成分のｎ番目ならびに高域成分の｛ｎ−１｝番目およびｎ番目のデータが前記ＲＯＩに対応付けられるように前記第２マスクを形成する、という第１展開条件と、
前記第１ウエーブレット平面上の｛２ｎ＋１｝番目のデータが前記第１マスクによって前記ＲＯＩに対応付けられているとき、前記第２ウエーブレット平面において前記低域成分のｎ番目および｛ｎ＋１｝番目ならびに前記高域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目のデータが前記ＲＯＩに対応付けられるように前記第２マスクを形成する、という第２展開条件と
を含む、
画像処理システム。

【請求項29】

請求項１６，２６，２７のうちのいずれか１つに記載の画像処理システムであって、
前記マスク展開処理では、第１ウエーブレット平面用の第１マスクを、前記第１ウエーブレット平面よりも分解レベルが１段階高い第２ウエーブレット平面用の第２マスクに、マスク展開条件に基づいて変換するレベル増加単位処理を行い、前記第２ウエーブレット平面を前記第１の分解レベルにするために前記レベル増加単位処理を複数回行う場合には、前記レベル増加単位処理を前記ウエーブレット変換の方式に従って再帰的に行い、
前記ウエーブレット変換にDaubechies９×７フィルタが使用される場合における前記マスク展開条件は、ｎを整数として、
前記第１ウエーブレット平面上の２ｎ番目のデータが前記第１マスクによって前記ＲＯＩに対応付けられているとき、前記第２ウエーブレット平面において低域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目および高域成分の｛ｎ−２｝番目から｛ｎ＋１｝番目のデータが前記ＲＯＩに対応付けられるように前記第２マスクを形成する、という第３展開条件と、
前記第１ウエーブレット平面上の｛２ｎ＋１｝番目のデータが前記第１マスクによって前記ＲＯＩに対応付けられているとき、前記第２ウエーブレット平面において前記低域成分の｛ｎ−１｝番目から｛ｎ＋２｝番目および前記高域成分の｛ｎ−２｝番目から｛ｎ＋２｝番目のデータが前記ＲＯＩに対応付けられるように前記第２マスクを形成する、という第４展開条件と
を含む、
画像処理システム。

【請求項30】

請求項１または１３に記載の画像処理システムであって、
前記分解レベル変換処理は、
前記第１ウエーブレット係数データに対して前記第１の分解レベルになるまで前記逆ウエーブレット変換を行い、前記マスクデータを、前記第１の分解レベルの前記第１ウエーブレット係数データに含まれる各帯域成分用に復元するマスク復元処理を行う、分解レベル減少処理
を含む、画像処理システム。

【請求項31】

請求項３０に記載の画像処理システムであって、
前記マスク復元処理では、第１ウエーブレット平面用の第１マスクを、前記第１ウエーブレット平面よりも分解レベルが１段階低い第２ウエーブレット平面用の第２マスクに、マスク復元条件に基づいて変換するレベル減少単位処理を行い、前記第２ウエーブレット平面を前記第１の分解レベルにするために前記レベル減少単位処理を複数回行う場合には、前記レベル減少単位処理を前記ウエーブレット変換の方式に従って再帰的に行い、
前記マスク復元条件は、前記第１ウエーブレット平面の指定位置のデータが前記第１マスクによって前記ＲＯＩに対応付けられている場合に、前記第２ウエーブレット平面において前記指定位置に対応付けられた位置のデータが前記ＲＯＩに対応付けられるように前記第２マスクを形成することを規定しており、前記指定位置がマスク調整指示によって指示される、
画像処理システム。

【請求項32】

請求項３１に記載の画像処理システムであって、
前記マスク復元条件は、ｎを整数として、
前記第２ウエーブレット平面において２ｎ番目のデータが前記ＲＯＩに対応付けられるように前記第２マスクを形成するための第１復元条件と、
前記第２ウエーブレット平面において｛２ｎ＋１｝番目のデータが前記ＲＯＩに対応付けられるように前記第２マスクを形成するための第２復元条件と
を含み、
前記逆ウエーブレット変換に５×３フィルタが使用される場合、前記マスク調整指示の下、
前記第１復元条件は、前記第１ウエーブレット平面の低域成分のｎ番目のデータが前記第１マスクによって前記ＲＯＩに対応付けられ、且つ、前記第１ウエーブレット平面の高域成分の｛ｎ−１｝番目とｎ番目との全てのデータが前記第１マスクによって前記ＲＯＩに対応付けられていることを課し、
前記第２復元条件は、前記第１ウエーブレット平面の前記低域成分のｎ番目と｛ｎ＋１｝番目との全てのデータが前記第１マスクによって前記ＲＯＩに対応付けられ、且つ、前記第１ウエーブレット平面の前記高域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目の全てのデータが前記第１マスクによって前記ＲＯＩに対応付けられていることを課す、
画像処理システム。

【請求項33】

請求項３１に記載の画像処理システムであって、
前記マスク復元条件は、ｎを整数として、
前記第２ウエーブレット平面において２ｎ番目のデータが前記ＲＯＩに対応付けられるように前記第２マスクを形成するための第１復元条件と、
前記第２ウエーブレット平面において｛２ｎ＋１｝番目のデータが前記ＲＯＩに対応付けられるように前記第２マスクを形成するための第２復元条件と
を含み、
前記逆ウエーブレット変換にDaubechies９×７フィルタが使用される場合、前記マスク調整指示の下、
前記第１復元条件は、前記第１ウエーブレット平面の低域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目の全てのデータが前記第１マスクによって前記ＲＯＩに対応付けられ、且つ、前記第１ウエーブレット平面の高域成分の｛ｎ−２｝番目から｛ｎ＋１｝番目の全てのデータが前記第１マスクによって前記ＲＯＩに対応付けられていることを課し、
前記第２復元条件は、前記第１ウエーブレット平面の前記低域成分の｛ｎ−１｝番目から｛ｎ＋２｝番目の全てのデータが前記第１マスクによって前記ＲＯＩに対応付けられ、且つ、前記第１ウエーブレット平面の前記高域成分の｛ｎ−２｝番目から｛ｎ＋２｝番目の全てのデータが前記第１マスクによって前記ＲＯＩに対応付けられていることを課す、
画像処理システム。

【請求項34】

請求項１または１３に記載の画像処理システムであって、
前記符号化ビットストリームはＪＰＥＧ（Joint Photographic Experts Group）２０００に準拠している、画像処理システム。

【請求項35】

第１対象画像中のＲＯＩ（関心領域）と第２対象画像とを合成する画像処理システムであって、
メモリと、
前記メモリにバスを介して繋がっているデータ準備部および合成部と
を備え、
前記メモリは、
前記ＲＯＩを有する第１基礎画像のデータである第１基礎画像データと、
第２基礎画像のデータである第２基礎画像データと
を格納するために設けられており、
前記第１基礎画像データは、前記第１基礎画像を前記第１対象画像として利用するために前記第１対象画像のデータである第１対象画像データとして利用されるデータ、または、前記第１基礎画像から前記第１対象画像を生成するために所定の第１対象画像生成処理によって前記第１基礎画像データから前記第１対象画像データを生成するのに利用されるデータであり、
前記第２基礎画像データは、前記第２基礎画像を前記第２対象画像として利用するために前記第２対象画像のデータである第２対象画像データとして利用されるデータ、または、前記第２基礎画像から前記第２対象画像を生成するために所定の第２対象画像生成処理によって前記第２基礎画像データから前記第２対象画像データを生成するのに利用されるデータであり、
前記第２対象画像は前記第１対象画像と相似形を成し、前記第１対象画像に対する前記第２対象画像の相似比が１以下であり、
前記データ準備部は、前記メモリから前記第１基礎画像データを取得し、
前記データ準備部は、
前記第１対象画像データに対して、予め設定された初期の分解レベルまで、ウエーブレット変換を行うことによって、第１ウエーブレット係数データを生成する、第１のウエーブレット変換部と、
前記第１ウエーブレット係数データについて前記ＲＯＩに関与するＲＯＩ係数と非ＲＯＩに関与する非ＲＯＩ係数とを判別するためのマスクのデータであるマスクデータを生成するマスク生成処理を行う、マスク生成部と、
前記マスクデータに基づいて前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と前記非ＲＯＩ係数とを判別し、前記非ＲＯＩ係数が０になるように前記第１ウエーブレット係数データに対して量子化を行い、それにより量子化ウエーブレット係数データを生成する、量子化部と
を含み、
前記合成部は、前記量子化ウエーブレット係数データを前記量子化部から取得し、前記第２基礎画像データを前記メモリから取得し、合成具合を制御するための合成制御データを取得し、
前記合成部は、
前記量子化ウエーブレット係数データを構成する各データの値が０であるか否かを判別することによって、前記量子化ウエーブレット係数データ中の前記ＲＯＩ係数と前記非ＲＯＩ係数とを判別し、判別結果に基づいて前記初期の分解レベルの前記マスクデータを再現する、マスク再現部と、
前記量子化ウエーブレット係数データに対して逆量子化を行うことによって、前記初期の分解レベルの前記第１ウエーブレット係数データを生成する、逆量子化部と、
前記第１ウエーブレット係数データおよび前記マスクデータを、前記初期の分解レベルから、前記合成制御データによって指定された第１の分解レベルに変換する分解レベル変換処理を行う、分解レベル変換部と、
前記第２対象画像データに対して、前記第１の分解レベルおよび前記相似比に応じて決まる第２の分解レベルまで前記ウエーブレット変換を行うことによって、第２ウエーブレット係数データを生成する、第２のウエーブレット変換部と
を含み、
前記第１ウエーブレット係数データの前記第１の分解レベルをＰ１とし、前記第２ウエーブレット係数データの前記第２の分解レベルをＰ２とし、前記相似比を１／２^Ｐ３とした場合、Ｐ２＝Ｐ１−Ｐ３であり、
前記合成部は、さらに、
前記第１の分解レベルの前記第１ウエーブレット係数データについて前記ＲＯＩ係数と前記非ＲＯＩ係数とを、前記第１の分解レベルの前記マスクデータに基づいて判別し、前記第１の分解レベルの前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と、前記第２ウエーブレット係数データ中の係数とを合成する係数合成処理を行い、それにより、画像サイズおよび分解レベルが前記第２ウエーブレット係数データと同じである合成済み係数データを生成する、合成実行部と、
前記合成済み係数データに対して、分解レベルが所定の終了レベルになるまで逆ウエーブレット変換を行うことによって、合成画像データを生成する、逆ウエーブレット変換部と
を含む、画像処理システム。

【請求項36】

第１対象画像中のＲＯＩ（関心領域）と第２対象画像との合成を含む画像処理方法であって、
（ａ）前記ＲＯＩを有する第１基礎画像のデータである第１基礎画像データを取得し、前記第１基礎画像を前記第１対象画像として利用するために前記第１基礎画像データを前記第１対象画像のデータである第１対象画像データとして利用し、または、前記第１基礎画像から前記第１対象画像を生成するために所定の第１対象画像生成処理によって前記第１基礎画像データから前記第１対象画像データを生成するステップと、
（ｂ）第２基礎画像のデータである第２基礎画像データを取得し、前記第２基礎画像を前記第２対象画像として利用するために前記第２基礎画像データを前記第２対象画像のデータである第２対象画像データとして利用し、または、前記第２基礎画像から前記第２対象画像を生成するために所定の第２対象画像生成処理によって前記第２基礎画像データから前記第２対象画像データを生成するステップと
を備え、
前記第２対象画像は前記第１対象画像と相似形を成し、前記第１対象画像に対する前記第２対象画像の相似比が１以下であり、
（ｃ）合成具合を制御するための合成制御データを取得するステップと、
（ｄ）前記第１対象画像データに対して、予め設定された初期の分解レベルまで、ウエーブレット変換を行うことによって、第１ウエーブレット係数データを生成するステップと、
（ｅ）前記第１ウエーブレット係数データについて前記ＲＯＩに関与するＲＯＩ係数と非ＲＯＩに関与する非ＲＯＩ係数とを判別するためのマスクのデータであるマスクデータを生成するマスク生成処理を行うステップと、
（ｆ）前記マスクデータに基づいて前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と前記非ＲＯＩ係数とを判別し、前記非ＲＯＩ係数が０になるように前記第１ウエーブレット係数データに対して量子化を行い、それにより量子化ウエーブレット係数データを生成するステップと、
（ｇ）前記量子化ウエーブレット係数データを構成する各データの値が０であるか否かを判別することによって、前記量子化ウエーブレット係数データ中の前記ＲＯＩ係数と前記非ＲＯＩ係数とを判別し、判別結果に基づいて前記初期の分解レベルの前記マスクデータを再現するステップと、
（ｈ）前記量子化ウエーブレット係数データに対して逆量子化を行うことによって、前記初期の分解レベルの前記第１ウエーブレット係数データを生成するステップと、
（ｉ）前記第１ウエーブレット係数データおよび前記マスクデータを、前記初期の分解レベルから、前記合成制御データによって指定された第１の分解レベルに変換する分解レベル変換処理を行うステップと、
（ｊ）前記第２対象画像データに対して、前記第１の分解レベルおよび前記相似比に応じて決まる第２の分解レベルまで前記ウエーブレット変換を行うことによって、第２ウエーブレット係数データを生成するステップと、
を備え、
前記第１ウエーブレット係数データの前記第１の分解レベルをＰ１とし、前記第２ウエーブレット係数データの前記第２の分解レベルをＰ２とし、前記相似比を１／２^Ｐ３とした場合、Ｐ２＝Ｐ１−Ｐ３であり、
（ｋ）前記第１の分解レベルの前記第１ウエーブレット係数データについて前記ＲＯＩ係数と前記非ＲＯＩ係数とを、前記第１の分解レベルの前記マスクデータに基づいて判別し、前記第１の分解レベルの前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と、前記第２ウエーブレット係数データ中の係数とを合成する係数合成処理を行い、それにより、画像サイズおよび分解レベルが前記第２ウエーブレット係数データと同じである合成済み係数データを生成するステップと、
（ｌ）前記合成済み係数データに対して、分解レベルが所定の終了レベルになるまで逆ウエーブレット変換を行うことによって、合成画像データを生成するステップと
を備える、画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理システムおよび画像処理方法に関する。

【背景技術】

【0002】

特許文献１〜３には、動画像中の動体を検出する技術が開示されている。また、特許文献４，５には、パーティクルフィルタを利用して動体を追跡する技術が開示されている。このような動体検出技術を利用すれば、画像中の動体をＲＯＩ（関心領域）として切り取ることができる。

【0003】

また、デジタルカメラによって撮影された静止画像を対象として、グラフカットによって、画像全体から前景画像と背景画像とを分離する技術が知られている。このような画像分離技術を利用すれば、前景画像をＲＯＩとして切り取ることができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３−２５４２９１号公報

【特許文献2】特開２００７−０８８８９７号公報

【特許文献3】特開２００６−０９３７８４号公報

【特許文献4】特開２００９−１９９３６３号公報

【特許文献5】特開２００５−１６５６８８号公報

【特許文献6】特開２００６−２０３４０９号公報

【特許文献7】特表２００１−５２０４６６号公報

【特許文献8】特開２００３−３２４６１３号公報

【非特許文献】

【0005】

【非特許文献1】INTERNATIONAL STANDARD ISO/IEC 15444-1 ITU-T RECOMMENDATION T.800 Information technology - JPEG 2000 image coding system: Core coding system Annex H - Coding of images with regions of interest

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記のようにＲＯＩを自動的に設定する種々の技術が開発されている。しかし、ＲＯＩとして設定されるべき所期の領域を精度良く検出することは、技術的に未だ難しいと思われる。

【0007】

例えば、ＲＯＩの輪郭、換言すればＲＯＩと非ＲＯＩとの境界を正確に判別することは、難しい。このため、所期の領域から局所的に張り出した部分を有して、あるいは逆に所期の領域を局所的に侵食した部分を有して、ＲＯＩが設定されることがある。また、所期の領域内に欠損を有して、ＲＯＩが設定されることがある。すなわち、本来は所期の領域の全域がＲＯＩとして設定されるべきところ、当該領域内に非ＲＯＩが存在すると判別され、その非ＲＯＩがＲＯＩの欠損を成すのである。輪郭および／または内部にそのような不具合を有した不十分なＲＯＩを別の画像と合成しても、不自然さを感じるであろう。

【0008】

本発明は、不十分なＲＯＩを利用しても、修復されたＲＯＩを有する合成画像を生成可能であり、さらには合成具合を調整可能な技術を提供することを目的とする。また、関連技術を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の一態様によれば、第１対象画像中のＲＯＩ（関心領域）と第２対象画像とを合成する画像合成システムを含む画像処理システムが提供される。ここで、前記第２対象画像は前記第１対象画像と相似形を成し、前記第１対象画像に対する前記第２対象画像の相似比が１以下である。前記画像合成システムは、前記第１対象画像のデータである第１対象画像データ用の符号化ビットストリームを取得する。前記画像合成システムは、第２基礎画像のデータである第２基礎画像データを取得し、前記第２基礎画像を前記第２対象画像として利用するために前記第２基礎画像データを前記第２対象画像のデータである第２対象画像データとして利用し、または、前記第２基礎画像から前記第２対象画像を生成するために所定の第２対象画像生成処理によって前記第２基礎画像データから前記第２対象画像データを生成する。前記画像合成システムは、合成具合を制御するための合成制御データを取得する。ここで、前記符号化ビットストリームの生成処理は、前記第１対象画像データに対して、予め設定された初期の分解レベルまで、ウエーブレット変換を行うことによって、第１ウエーブレット係数データを生成する、ウエーブレット変換処理と、前記第１ウエーブレット係数データについて前記ＲＯＩに関与するＲＯＩ係数と非ＲＯＩに関与する非ＲＯＩ係数とを判別するためのマスクのデータであるマスクデータを生成する、マスク生成処理と、前記マスクデータに基づいて前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と前記非ＲＯＩ係数とを判別し、前記非ＲＯＩ係数が０になるように前記第１ウエーブレット係数データに対して量子化を行い、それにより量子化ウエーブレット係数データを生成する、量子化処理と、前記量子化ウエーブレット係数データを符号化して符号化データを生成する符号化処理と、前記符号化データから前記符号化ビットストリームを生成するビットストリーム生成処理とを含む。前記画像合成システムは、前記符号化ビットストリームから前記符号化データを抽出するビットストリーム解析部と、前記符号化データを復号化して前記量子化ウエーブレット係数データを生成する復号化部と、前記量子化ウエーブレット係数データを構成する各データの値が０であるか否かを判別することによって、前記量子化ウエーブレット係数データ中の前記ＲＯＩ係数と前記非ＲＯＩ係数とを判別し、判別結果に基づいて前記初期の分解レベルの前記マスクデータを再現する、マスク再現部と、前記量子化ウエーブレット係数データに対して逆量子化を行うことによって、前記初期の分解レベルの前記第１ウエーブレット係数データを生成する、逆量子化部と、前記第１ウエーブレット係数データおよび前記マスクデータを、前記初期の分解レベルから、前記合成制御データによって指定された第１の分解レベルに変換する分解レベル変換処理を行う、分解レベル変換部と、前記第２対象画像データに対して、前記第１の分解レベルおよび前記相似比に応じて決まる第２の分解レベルまで前記ウエーブレット変換を行うことによって、第２ウエーブレット係数データを生成する、ウエーブレット変換部とを含む。ここで、前記第１ウエーブレット係数データの前記第１の分解レベルをＰ１とし、前記第２ウエーブレット係数データの前記第２の分解レベルをＰ２とし、前記相似比を１／２^Ｐ３とした場合、Ｐ２＝Ｐ１−Ｐ３である。前記画像合成システムは、さらに、前記第１の分解レベルの前記第１ウエーブレット係数データについて前記ＲＯＩ係数と前記非ＲＯＩ係数とを、前記第１の分解レベルの前記マスクデータに基づいて判別し、前記第１の分解レベルの前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と、前記第２ウエーブレット係数データ中の係数とを合成する係数合成処理を行い、それにより、画像サイズおよび分解レベルが前記第２ウエーブレット係数データと同じである合成済み係数データを生成する、合成実行部と、前記合成済み係数データに対して、分解レベルが所定の終了レベルになるまで逆ウエーブレット変換を行うことによって、合成画像データを生成する、逆ウエーブレット変換部とを含む。

【発明の効果】

【0010】

上記一態様によれば、第１対象画像中のＲＯＩと第２対象画像との合成は、第１対象画像データおよび第２対象画像データを変換した第１ウエーブレット係数データおよび第２ウエーブレット係数データを用いて行われる。また、第１対象画像中のＲＯＩの判別は、第１ウエーブレット係数データについてＲＯＩ係数を判別することによって行われる。このため、不十分なＲＯＩを利用しても、合成画像上では、修復されたＲＯＩを提供できる。すなわち、第１対象画像データおよび第２対象画像データをそのまま合成する場合に比べて、良好な合成画像が得られる。また、ウエーブレット変換の分解レベルを合成制御データで制御することによって、合成具合（ＲＯＩの修復、ＲＯＩの拡張、等）を調整できる。また、合成画像の画像サイズを調整できる。

【0011】

本発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

【図面の簡単な説明】

【0012】

【図1】実施の形態１について、画像処理システムの概念図である。

【図2】実施の形態１について、画像処理システムを説明するブロック図である。

【図3】実施の形態１について、データ供給システムを説明するブロック図である。

【図4】実施の形態１について、Ｍａｌｌａｔ型のウエーブレット平面を説明する図である（分解レベル１）。

【図5】実施の形態１について、Ｍａｌｌａｔ型のウエーブレット平面を説明する図である（分解レベル２）。

【図6】実施の形態１について、Ｍａｌｌａｔ型のウエーブレット平面を説明する図である（分解レベル３）。

【図7】実施の形態１について、マスク生成部を説明するブロック図である。

【図8】実施の形態１について、第１基礎画像の例を示す図である。

【図9】実施の形態１について、基礎マスクの例を示す図である。

【図10】実施の形態１について、展開マスクを説明する図である（分解レベル１）。

【図11】実施の形態１について、展開マスクを説明する図である（分解レベル２）。

【図12】実施の形態１について、展開マスクを説明する図である（分解レベル３）。

【図13】実施の形態１について、マスク展開処理を説明するフローチャートである。

【図14】実施の形態１について、ウエーブレット変換に５×３フィルタが使用される場合のマスク展開処理を説明する図である。

【図15】実施の形態１について、ウエーブレット変換にDaubechies９×７フィルタが使用される場合のマスク展開処理を説明する図である。

【図16】実施の形態１について、データ供給システムの動作を説明するフローチャートである。

【図17】実施の形態１について、画像合成システムを説明するブロック図である。

【図18】実施の形態１について、マスク再現処理を説明するフローチャートである。

【図19】実施の形態１について、分解レベル変換部を説明するブロック図である。

【図20】実施の形態１について、マスク復元処理を説明するフローチャートである。

【図21】実施の形態１について、ウエーブレット変換に５×３フィルタが使用される場合のマスク復元処理を説明する図である。

【図22】実施の形態１について、ウエーブレット変換にDaubechies９×７フィルタが使用される場合のマスク復元処理を説明する図である。

【図23】実施の形態１について、係数合成処理（第１係数合成処理）を説明するフローチャートである。

【図24】実施の形態１について、係数合成処理（第２係数合成処理）を説明するフローチャートである。

【図25】実施の形態１について、画像合成システムの動作を説明するフローチャートである。

【図26】実施の形態１について、画像合成システムの動作を説明するフローチャートである。

【図27】実施の形態２について、分解レベル変換部を説明するブロック図である。

【図28】実施の形態２について、分解レベル変換部の動作を説明するフローチャートである。

【図29】実施の形態３について、データ供給システムを説明するブロック図である。

【図30】実施の形態３について、画像合成システムを説明するブロック図である。

【図31】実施の形態３について、データ供給システムの動作を説明するフローチャートである。

【図32】実施の形態３について、画像合成システムの動作を説明するフローチャートである。

【図33】実施の形態４について、データ供給システムを説明するブロック図である。

【図34】実施の形態４について、画像合成システムを説明するブロック図である。

【図35】実施の形態５について、画像合成システムを説明するブロック図である。

【図36】実施の形態６について、切り取り範囲を説明するための図である。

【図37】実施の形態６について、切り取り範囲を説明するための図である。

【図38】実施の形態６について、切り取り範囲を説明するための図である。

【図39】実施の形態６について、切り取り範囲を説明するための図である。

【図40】実施の形態６について、切り取り範囲決定処理を説明するフローチャートである。

【図41】実施の形態６について、ウエーブレット変換で１画素分の出力を得るために必要な画素の範囲を説明する図である（５×３フィルタ）。

【図42】実施の形態６について、ウエーブレット変換で１画素分の出力を得るために必要な画素の範囲を説明する図である（５×３フィルタ）。

【図43】実施の形態６について、ウエーブレット変換で１画素分の出力を得るために必要な画素の範囲を説明する図である（Daubechies９×７フィルタ）。

【図44】実施の形態６について、ウエーブレット変換で１画素分の出力を得るために必要な画素の範囲を説明する図である（Daubechies９×７フィルタ）。

【図45】実施の形態６について、追跡最小範囲を説明するための図である。

【図46】実施の形態６について、追跡最小範囲の左上端座標の求め方を説明するフローチャートである（５×３フィルタ）。

【図47】実施の形態６について、追跡最小範囲の右下端座標の求め方を説明するフローチャートである（５×３フィルタ）。

【図48】実施の形態６について、追跡最小範囲の左上端座標の求め方を説明するフローチャートである（Daubechies９×７フィルタ）。

【図49】実施の形態６について、追跡最小範囲の右下端座標の求め方を説明するフローチャートである（Daubechies９×７フィルタ）。

【図50】実施の形態６について、必要範囲（切り取り範囲）の求め方を説明するフローチャートである（５×３フィルタ）。

【図51】実施の形態６について、必要範囲（切り取り範囲）の求め方を説明するフローチャートである（Daubechies９×７フィルタ）。

【図52】実施の形態６について、データ供給システムを説明するブロック図である。

【図53】実施の形態６について、マスク生成部を説明するブロック図である。

【図54】実施の形態６について、画像合成システムを説明するブロック図である。

【図55】実施の形態６について、データ供給システムの動作を説明するフローチャートである。

【図56】実施の形態６について、データ供給システムの動作を説明するフローチャートである。

【図57】実施の形態６について、画像合成システムの動作を説明するフローチャートである。

【図58】実施の形態６について、画像合成システムの動作を説明するフローチャートである。

【図59】実施の形態７について、画像合成の概念図である。

【図60】実施の形態７について、逆ウエーブレット変換部を説明するブロック図である。

【図61】実施の形態８について、画像合成の概念図である。

【図62】実施の形態８について、画像合成の概念図である。

【図63】実施の形態８について、画像合成の概念図である。

【図64】実施の形態８について、画像合成システムを説明するブロック図である。

【図65】実施の形態８について、画像合成システムの動作を説明するフローチャートである。

【図66】実施の形態９について、画像合成の概念図である。

【図67】実施の形態９について、画像合成システムを説明するブロック図である。

【図68】実施の形態９について、画像合成システムの動作を説明するフローチャートである。

【図69】実施の形態１０について、供給システムを説明するブロック図である。

【図70】実施の形態１０について、画像処理装置を説明するハードウェア構成図である。

【発明を実施するための形態】

【0013】

＜実施の形態１＞
＜システムの概要＞
図１に、実施の形態１に係る画像処理システム１の概念図を示す。図１に示すように、画像処理システム１は２つの画像処理システム１０，２０を含んでいる。一方の画像処理システム１０はデータ供給システム１１を含み、もう一方の画像処理システム２０は画像合成システム２１を含んでいる。画像合成システム２１は画像合成処理を実行する。データ供給システム１１は画像合成処理に使用するデータを出力する。以下では、画像処理システム１を全体システム１と呼び、データ供給システム１１を供給システム１１と呼び、画像合成システム２１を合成システム２１と呼ぶ場合もある。

【0014】

画像処理システム１０は、供給システム１１だけで構成されてもよいし、他の処理システムをさらに含んでもよい。同様に、画像処理システム２０は、合成システム２１だけで構成されてもよいし、他の処理システムをさらに含んでもよい。また、図１から分かるように、供給システム１１は、画像処理システム１０に含まれると共に全体システム１にも含まれる。同様に、合成システム２１は、画像処理システム２０に含まれると共に全体システム１にも含まれる。

【0015】

画像処理システム１０，２０は、ここでは、半導体集積回路によって提供される。すなわち、画像処理システム１０，２０の各種の機能および処理は、回路的に、換言すればハードウェア的に実現される。但し、機能および処理の一部または全部を、マイクロプロセッサを機能させるプログラムによって、換言すればソフトウェアによって実現することも可能である。

【0016】

＜全体システム１の例＞
図２に、全体システム１の適用例を示す。図２の例では、画像処理システム１０がデータ供給側装置３０に設けられ、画像処理システム２０が画像合成側装置４０に設けられている。以下では、データ供給側装置３０を供給側装置３０と呼び、画像合成側装置４０を合成側装置４０と呼ぶ場合もある。供給側装置３０のユーザは合成側装置４０のユーザとは異なるものとするが、この例に限定されるものではない。

【0017】

供給側装置３０は、画像処理システム１０の他に、表示部３１と、操作部３２と、外部インターフェース３３と、画像入力部３４とを含んでいる。合成側装置４０は、画像処理システム２０の他に、表示部４１と、操作部４２と、外部インターフェース４３と、画像入力部４４とを含んでいる。以下では、外部インターフェース３３，４３をＩ／Ｆ３３，４３と呼ぶ場合もある。

【0018】

表示部３１，４１は例えば液晶表示装置で構成されるが、表示部３１，４１は異なる種類の表示装置で構成されてもよい。操作部３２，４２は、ユーザが装置３０，４０に対して、換言すれば画像処理システム１０，２０に対して、指示、データ等を入力するための操作媒体である。操作部３２，４２はキーボード、マウス、ボタン、スイッチ等の１つまたは複数の装置によって構成される。

【0019】

Ｉ／Ｆ３３は供給側装置３０が装置外部と信号の入出力を行う部分である。同様に、Ｉ／Ｆ４３は合成側装置４０が装置外部と信号の入出力を行う部分である。Ｉ／Ｆ３３，４３を利用することによって、供給側装置３０と合成側装置４０との間で情報（データ、指示等）の伝達が可能になる。

【0020】

具体的にＩ／Ｆ３３，４３は通信インターフェースを含んでおり、それにより供給側装置３０と合成側装置４０とがＩ／Ｆ３３，４３によって通信可能になる。装置３０，４０間の通信方式は、有線と、無線と、それらの組み合わせとのいずれでもよい。装置３０，４０間の情報伝達には、媒体５０が介在する。上記のように通信の場合、媒体５０は無線または有線の通信媒体（換言すれば通信経路）である。

【0021】

Ｉ／Ｆ３３，４３は、通信インターフェースに加えてまたは代えて、外部記憶媒体用のインターフェースを含んでもよい。その場合、供給側装置３０と合成側装置４０との間の情報伝達は外部記憶媒体を介して行うことが可能であり、その外部記憶媒体が装置３０，４０間に介在する媒体５０に該当する。

【0022】

画像入力部３４は、デジタルカメラによって構成される。あるいは、画像入力部３４は、画像データを供給する記憶装置であってもよい。画像入力部４４も同様に構成される。なお、画像入力部３４，４４は異なる種類の装置で構成されてもよい。

【0023】

なお、供給側装置３０および合成側装置４０の構成は図２の例に限定されるものではない。すなわち、上記の構成要素のうちの一部を省略してもよいし、他の構成要素を追加してもよい。

【0024】

＜供給システム１１の例＞
図３に、供給システム１１の構成例を示す。供給システム１１は、以下に説明するように画像データの符号化機能を有している。かかる符号化機能によって、合成システム２１に供給する第１対象画像のデータである第１対象画像データＡ２０を符号化し、符号化画像データＡ５０を生成する。なお、符号化画像データＡ５０を単に符号化データＡ５０とも呼ぶ場合もある。

【0025】

なお、一般的に、画像データの圧縮には符号化が採用されている。このため「圧縮」と「符号化」とが同義で用いられ、例えば画像圧縮が画像符号化または画像圧縮符号化と表現される場合がある。同様に、「伸張」と「復号化」とが同義で用いられ、例えば画像伸張が画像復号化または画像伸張復号化と表現される場合がある。

【0026】

符号化データＡ５０は、符号化データＡ５０用のビットストリーム（以下、符号化ビットストリームとも呼ぶ）Ａｂｓによって供給システム１１から出力され、合成システム２１に供給される。

【0027】

一方、供給システム１１に入力される画像は第１対象画像の源となる画像であり、このため当該入力画像を第１基礎画像と呼ぶ場合もある。実施の形態１では、第１基礎画像の全体が第１対象画像を構成する場合、すなわち第１基礎画像と第１対象画像とは同じである場合を説明する。なお、後述の説明のために、第１基礎画像のデータである第１基礎画像データに対しては、第１対象画像データの符号Ａ２０とは異なる符号Ａ１０を付している。

【0028】

第１対象画像は、ＲＯＩ（関心領域）を含む画像であり、合成システム２１での画像合成において主画像を提供する。第１対象画像中のＲＯＩは当然、第１基礎画像中にも存在する。なお、第１基礎画像および第１対象画像は、デジタルカメラ等によって撮影した画像であってもよいし、あるいは、コンピュータグラフィックスであってもよい。

【0029】

図３の例によれば、供給システム１１は、前処理部１０２０と、ウエーブレット変換部１０３０と、量子化部１０４０と、マスク生成部１０５０と、符号化部１０６０と、ビットストリーム生成部１０７０とを含んでいる。

【0030】

＜前処理部１０２０＞
前処理部１０２０は、第１対象画像データＡ２０に対して所定の前処理を行う。図３の例では、前処理部１０２０は、ＤＣレベルシフト部１０２１と、色空間変換部１０２２と、タイリング部１０２３とを含んでいる。

【0031】

ＤＣレベルシフト部１０２１は、第１対象画像データＡ２０のＤＣレベルを必要に応じて変換する。色空間変換部１０２２は、ＤＣレベル変換後の画像データの色空間を変換する。例えば、ＲＧＢ成分がＹＣｂＣｒ成分（輝度成分Ｙと色差成分Ｃｂ，Ｃｒとから成る）に変換される。タイリング部１０２３は、色空間変換後の画像データを、「タイル」と呼ばれる矩形状の複数の領域成分に分割する。そして、タイリング部１０２３は、タイルごとに画像データをウエーブレット変換部１０３０に供給する。なお、必ずしも画像データをタイルに分割する必要はなく、色空間変換部１０２２から出力された１フレーム分の画像データを、そのままウエーブレット変換部１０３０に供給してもよい。

【0032】

＜ウエーブレット変換部１０３０＞
ウエーブレット変換部１０３０はウエーブレット変換処理を行う。具体的には、ウエーブレット変換部１０３０は、前処理後の第１対象画像データＡ２０に対して、整数型または実数型の離散ウエーブレット変換（ＤＷＴ）を行い、その結果得られた変換係数を出力する。以下では、変換係数を例えば、ウエーブレット変換係数、または、ウエーブレット係数と呼ぶ場合もある。また、第１対象画像データＡ２０に対してウエーブレット変換を行うことによって生成されるデータ（ウエーブレット係数の群）を、第１ウエーブレット係数データＡ２１と呼ぶことにする。

【0033】

ウエーブレット変換では、２次元画像データが高域成分（換言すれば高周波成分）と低域成分（換言すれば低周波成分）とに分解される。かかる周波数分解は例えば帯域分割とも呼ばれる。また、周波数分解によって得られた各帯域成分（すなわち低域成分と高域成分のそれぞれ）はサブバンドとも呼ばれる。ここでは、ＪＰＥＧ（Joint Photographic Experts Group）２０００の基本方式に倣い、垂直方向と水平方向の両方について低域側に分割された帯域成分のみを再帰的に帯域分割していく、オクターブ分割方式を採用するものとする。再帰的な帯域分割を行った回数は、分解レベルと呼ばれる。

【0034】

ウエーブレット変換部１０３０では、所定の分解レベルまで第１対象画像データＡ２０が分解される。一般的には分解レベルが３〜５程度の場合に、良好な符号化効率が得られる。なお、ウエーブレット変換部１０３０における上記所定の分解レベルを、初期の分解レベルと呼ぶ場合もある。

【0035】

図４〜図６に、２次元でのウエーブレット変換について、Ｍａｌｌａｔ型のウエーブレット平面６１〜６３を示す。図４〜図６の例によれば、入力画像（２次元画像）は、分解レベル１において（図４参照）、垂直方向と水平方向のそれぞれについて周波数分解が行われる。これにより、図４のウエーブレット平面６１に示すように、４つの帯域成分ＨＨ１，ＨＬ１，ＬＨ１，ＬＬ１に分解される。分解レベル１で得られた帯域成分ＬＬ１は、分解レベル２において（図５のウエーブレット平面６２を参照）、更に４つの帯域成分ＨＨ２，ＨＬ２，ＬＨ２，ＬＬ２に分解される。分解レベル２で得られた帯域成分ＬＬ２は、分解レベル３において（図６のウエーブレット平面６３を参照）、更に４つの帯域成分ＨＨ３，ＨＬ３，ＬＨ３，ＬＬ３に分解される。

【0036】

２次元のウエーブレット変換に関する表記について、例えばＨＬ１は、分解レベル１における水平方向の高域成分Ｈと垂直方向の低域成分Ｌとからなる帯域成分である。その表記法は「ＸＹｍ」と一般化される（ＸおよびＹはそれぞれＨ，Ｌのいずれか。ｍは１以上の整数）。すなわち、分解レベルｍにおける水平方向の帯域成分Ｘと垂直方向の帯域成分Ｙとからなる帯域成分は「ＸＹｍ」と表記される。

【0037】

ここで、ウエーブレット平面（図４〜図６参照）は、ウエーブレット変換の演算結果データを、原画像（ウエーブレット変換が行われていない状態の画像）中の画素の並びに対応付けて２次元配列したデータ群である。例えばウエーブレット平面において帯域成分ＬＬ１として示されている領域内には、原画像中のある画素を注目画素として得られた演算結果データ（ＬＬ成分データ）が、原画像中での当該注目画素の位置に対応して並べられている。なお、ウエーブレット平面はウエーブレット空間、ウエーブレット領域、または、ウエーブレット画像と呼ばれる場合もある。

【0038】

分解レベル１において、帯域成分ＬＬ１は画像の本質的な情報に対応する。なお、帯域成分ＬＬ１によれば、分解前の画像の１／４のサイズの画像（換言すれば、分解前の画像に対する縮小比が１／２の画像）を提供可能である。帯域成分ＨＬ１は垂直方向に伸びるエッジの情報に対応し、帯域成分ＬＨ１は水平方向に伸びるエッジの情報に対応する。帯域成分ＨＨ１は斜め方向に伸びるエッジの情報に対応する。これらの点は他の分解レベルについても同様である。例えば、分解レベル２の帯域成分ＬＬ２，ＨＬ２，ＬＨ２，ＨＨ２は、分解前の帯域成分ＬＬ１を原画像と見なした場合における帯域成分ＬＬ１，ＨＬ１，ＬＨ１，ＨＨ１とそれぞれ同様の関係にある。

【0039】

以下では、ウエーブレット変換が行われていない状態の原画像を分解レベル０に対応させ、当該原画像を分解レベル０のウエーブレット平面と表現する場合もある。

【0040】

また、ウエーブレット平面において最も分解された帯域成分を、最上位帯域成分と呼ぶことにする。具体的には、分解レベル３のウエーブレット平面６３（図６参照）において、最上位帯域成分はＬＬ３，ＨＬ３，ＬＨ３，ＨＨ３である。一般化するならば、分解レベルｋのウエーブレット平面において、最上位帯域成分はＬＬｋ，ＨＬｋ，ＬＨｋ，ＨＨｋである。また、分解回数が同じ帯域成分において、帯域成分ＬＬを最低域の帯域成分と呼び、帯域成分ＨＨを最高域の帯域成分と呼ぶことにする。

【0041】

なお、Ｍａｌｌａｔ型では、上記のように、ＬＬ成分を水平方向と垂直方向のそれぞれについて同じ回数で、再帰的に分解する。また後述のように、Ｍａｌｌａｔ型では分解とは逆の手順で帯域成分が合成される。但し、水平方向と垂直方向のそれぞれのＬ成分とＨ成分を同じ回数で、分解および合成する必要はない。すなわち、Ｍａｌｌａｔ型とは異なる型式のウエーブレット変換を用いてもよい。

【0042】

また、原画像およびウエーブレット平面において左上端を座標系の原点に採り、原点を０として扱い、ウエーブレット変換のＬ成分出力を偶数として扱い、Ｈ成分出力を奇数として扱う例を挙げる。但し、Ｌ成分出力を奇数として扱い、Ｈ成分出力を偶数として扱うことも可能である。なお、ウエーブレット平面（図４〜図６参照）は、ウエーブレット変換の偶数番目および奇数番目の出力を、帯域成分ごとに再配置した概念的な平面である。

【0043】

＜量子化部１０４０＞
図３に戻り、量子化部１０４０は量子化処理を行う。具体的には、量子化部１０４０は、ウエーブレット変換部１０３０から供給された第１ウエーブレット係数データＡ２１に対して、量子化ステップサイズに基づいて、スカラー量子化を行い、それにより量子化ウエーブレット係数データＡ２２を生成する。量子化ステップサイズは、例えば目標画質に応じて設定される。

【0044】

特に量子化部１０４０は、第１ウエーブレット係数データＡ２１を構成する各データ（換言すれば、各係数値）について、第１対象画像中のＲＯＩに関与する係数（以下、ＲＯＩ係数とも呼ぶ）と、非ＲＯＩに関与する係数（以下、非ＲＯＩ係数とも呼ぶ）とを判別する係数判別処理を行う。そして、量子化部１０４０は、量子化後の非ＲＯＩ係数が０になるように、第１ウエーブレット係数データＡ２１の量子化を行う。このような量子化は、例えばノルムに基づいて量子化値を決定する技術（特許文献６参照）によって、実現可能である。

【0045】

量子化部１０４０は、係数判別処理を、マスク生成部１０５０から供給されるマスクデータＢ２１に基づいて行う。マスクデータＢ２１は、第１ウエーブレット係数データＡ２１についてＲＯＩ係数と非ＲＯＩ係数とを判別するためのマスクを提供する。

【0046】

＜マスク生成部１０５０＞
マスク生成部１０５０はマスク生成処理を行う。具体的には、マスク生成部１０５０は、第１ウエーブレット係数データＡ２１についてＲＯＩ係数と非ＲＯＩ係数とを判別するためのマスクのデータであるマスクデータＢ２１を生成する。

【0047】

図７に、マスク生成部１０５０の構成例を示す。図７の例によれば、マスク生成部１０５０は、基礎マスク生成部１０５１と、マスク展開部１０５２とを含んでいる。

【0048】

＜基礎マスク生成部１０５１＞
基礎マスク生成部１０５１は基礎マスク生成処理を行う。具体的には、基礎マスク生成部１０５１は、第１基礎画像データＡ１０に基づいて、第１基礎画像の範囲においてＲＯＩと非ＲＯＩとを判別するための基礎マスクのデータである基礎マスクデータＢ１０を生成する。

【0049】

基礎マスク生成部１０５１は、各種のマスク生成技術によって構成可能である。例えば動画像中の動体を検出する技術が知られており、この動体検出技術を利用すれば、画像中の動体をＲＯＩに設定したマスクを生成できる。動体検出技術に関しては、例えば特許文献１〜３を参照。また、例えば特許文献４，５にはパーティクルフィルタを利用して動体を追跡する技術が記載されており、かかる動体追跡技術によれば動体検出精度を向上でき、また、演算量を削減できる。

【0050】

また、デジタルカメラによって撮影された静止画像を対象として、グラフカットによって、画像全体から前景画像と背景画像とを分離する技術が知られている。この画像分離技術を利用して基礎マスク生成部１０５１を構成すれば、前景画像をＲＯＩに設定したマスクを生成できる。

【0051】

なお、基礎マスク生成部１０５１は、マスク生成に際して適宜、前処理を行う。例えば、第１基礎画像データＡ１０が、デジタルカメラによる撮影画像データ（Ｂａｙｅｒデータ）である場合、ＢａｙｅｒデータをＲＧＢカラーデータに変換する。また、第１基礎画像のサイズが大きい場合、演算量を減らすために縮小処理を行う。また、特徴量を抽出するために、白黒、ＹＵＶ、ＨＳＶ等への色空間変換を行う。

【0052】

ここで、図８に第１基礎画像６０の例を示す。第１基礎画像６０において、移動中の人物の部分をＲＯＩ６０ａに設定し、それ以外の部分を非ＲＯＩ６０ｂに設定するものとする。

【0053】

第１基礎画像６０の全範囲に対応する基礎マスク７０を、図９に示す。基礎マスク７０は、第１基礎画像６０中の各画素がＲＯＩ６０ａと非ＲＯＩ６０ｂのどちらに属するのかを示す画像として理解できる。基礎マスク７０は、第１基礎画像６０中のＲＯＩ６０ａおよび非ＲＯＩ６０ｂに対応するＲＯＩ対応部分７０ａおよび非ＲＯＩ対応部分７０ｂを有している。図９において、白抜き部分がＲＯＩ対応部分７０ａであり、黒塗り部分が非ＲＯＩ対応部分７０ｂである。

【0054】

なお、動画像の場合、全てのフレーム画像を対象にして基礎マスク７０を生成してもよいし、あるいは、例えば一定フレーム毎または一定時間毎に基礎マスク７０を生成してもよい。また、静止画像が順次入力される場合についても、同様である。

【0055】

＜マスク展開部１０５２＞
マスク展開部１０５２はマスク展開処理を行う。具体的には、マスク展開部１０５２は、基礎マスクのＲＯＩ対応部分および非ＲＯＩ対応部分を、第１ウエーブレット係数データＡ２１に含まれる各帯域成分用に（換言すれば、第１ウエーブレット係数データＡ２１に対応するウエーブレット平面に含まれる各帯域成分用に）展開する。このようなマスク展開処理によって、第１ウエーブレット係数データＡ２１用のマスクである展開マスクが生成される。マスクの展開に関しては、例えば特許文献６，７および非特許文献１を参照。

【0056】

マスク展開部１０５２によって生成された展開マスクが、第１ウエーブレット係数データＡ２１についてＲＯＩ係数と非ＲＯＩ係数とを判別するための上記マスクである。すなわち、マスク生成部１０５０は、上記マスクデータＢ２１として展開マスクのデータを生成して出力する。

【0057】

図１０〜図１２に、図９の基礎マスク７０を分解レベル１，２，３のウエーブレット平面６１〜６３（図４〜図６参照）に展開した展開マスク７１，７２，７３をそれぞれ示す。展開マスク７１，７２，７３において、ＲＯＩ対応部分７１ａ，７２ａ，７３ａが白抜きで図示され、非ＲＯＩ対応部分７１ｂ，７２ｂ，７３ｂが黒塗りで図示されている。

【0058】

図１３に、マスク展開処理のフローチャートを示す。図１３のマスク展開処理Ｓ２００によれば、マスクの分解レベルを１段階上げる処理（以下、レベル増加単位処理とも呼ぶ）Ｓ２０２が行われる。第１ウエーブレット係数データＡ２１の分解レベルが２以上である場合、その分解レベルのマスクが得られるまで、レベル増加単位処理Ｓ２０２が繰り返される（ステップＳ２０１参照）。

【0059】

レベル増加単位処理Ｓ２０２では、第１ウエーブレット平面用の第１マスクを、第１ウエーブレット平面よりも分解レベルが１段階高い第２ウエーブレット平面用の第２マスクに、変換する。なお、展開対象の第１マスクが原マスクである場合、上記の第１ウエーブレット平面はウエーブレット変換前の原画像が対応する。上記のように原画像を分解レベル０のウエーブレット平面と表現することによって、第１ウエーブレット平面には原画像も含まれることが理解できる。

【0060】

レベル増加単位処理Ｓ２０２の繰り返しは、再帰的に行われる。すなわち、第２マスクを新たな第１マスクに設定することによって、レベル増加単位処理Ｓ２０２が再度、行われる。また、レベル増加単位処理Ｓ２０２の繰り返しは、ウエーブレット変換の方式に従って行われる。例えば上記のＭａｌｌａｔ型の方式が採用されている場合（図４〜図６参照）、ウエーブレット平面は最低域の帯域成分ＬＬのみを再帰的に分解していく。このため、マスクの展開も帯域成分ＬＬに対応する部分に対してのみ再帰的に行う。

【0061】

レベル増加単位処理Ｓ２０２は所定のマスク展開条件に基づいて行われ、マスク展開条件はウエーブレット変換のフィルタのタップ数に依存する。

【0062】

例えばウエーブレット変換の演算処理において５×３フィルタが使用される場合、マスク展開条件は、図１４に基づいた２つの条件（第１展開条件と第２展開条件と呼ぶことにする）を含む。なお、５×３フィルタでは、分解側のローパスフィルタが５タップであり、分解側のハイパスフィルタが３タップである。

【0063】

第１展開条件：第１ウエーブレット平面上の偶数番目（ｎを整数として、２ｎ番目と表記できる）のデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において低域成分（ローパスフィルタの側の出力データに対応する）のｎ番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。それと共に、第２ウエーブレット平面において高域成分（ハイパスフィルタの側の出力データに対応する）の｛ｎ−１｝番目およびｎ番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。

【0064】

第２展開条件：第１ウエーブレット平面上の｛２ｎ＋１｝番目のデータが第１マスクによってＲＯＩに対応付けられているとき、第２ウエーブレット平面において低域成分のｎ番目および｛ｎ＋１｝番目ならびに高域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。

【0065】

また、ウエーブレット変換の演算処理においてDaubechies９×７フィルタが用いられる場合、マスク展開条件は、図１５に基づいた２つの条件（第３展開条件と第４展開条件と呼ぶことにする）を含む。なお、Daubechies９×７フィルタでは、分解側のローパスフィルタが９タップであり、分解側のハイパスフィルタが７タップである。

【0066】

第３展開条件：第１ウエーブレット平面上の２ｎ番目のデータが第１マスクによってＲＯＩに対応付けられているとき、第２ウエーブレット平面において低域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目および高域成分の｛ｎ−２｝番目から｛ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。

【0067】

第４展開条件：第１ウエーブレット平面上の｛２ｎ＋１｝番目のデータが第１マスクによってＲＯＩに対応付けられているとき、第２ウエーブレット平面において低域成分の｛ｎ−１｝番目から｛ｎ＋２｝番目および高域成分の｛ｎ−２｝番目から｛ｎ＋２｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。

【0068】

第１ウエーブレット係数データＡ２１の分解レベルが３の場合、マスク生成部１０５０は、分解レベル３の展開マスク７３（図１２参照）を生成し、当該展開マスク７３を量子化部１０４０に供給する。量子化部１０４０は、展開マスク７３におけるＲＯＩ対応部分７３ａと非ＲＯＩ対応部分７３ｂとの区別に基づいて、分解レベル３の第１ウエーブレット係数データＡ２１、換言すれば分解レベル３のウエーブレット平面６３（図６参照）の係数判別処理を行う。そして上記のように、量子化部１０４０は、係数判別結果に基づいて、第１ウエーブレット係数データＡ２１中の非ＲＯＩ係数の量子化後の値が０になるように、分解レベル３の量子化ウエーブレット係数データＡ２２を生成する。

【0069】

＜符号化部１０６０＞
図３に戻り、符号化部１０６０は符号化処理を行う。具体的には、符号化部１０６０は、量子化部１０４０によって生成された量子化ウエーブレット係数データＡ２２に対して、所定の符号化を行い、それにより符号化データＡ５０を生成する。所定の符号化では、例えば、ビットプレーン符号化を行うＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）に従ってエントロピー符号化が行われる。図３の例では、符号化部１０６０は、係数ビットモデリング部１０６１と、エントロピー符号化部１０６２とを含んでいる。

【0070】

係数ビットモデリング部１０６１は、量子化されたウエーブレット係数に対して、ビットモデリング処理を行う。ここでは、ビットモデリング処理は既知技術を利用するものとし、詳細な説明は省略する。

【0071】

なお、係数ビットモデリング部１０６１は、入力された帯域成分を３２×３２または６４×６４程度の「コードブロック」と呼ばれる領域に分割する。そして、係数ビットモデリング部１０６１は、コードブロック中の各量子化ウエーブレット係数の二進値を構成する各ビット値を別々のビットプレーンに割り当てる。ビットモデリング処理は、そのようなビットプレーン単位で行われる。

【0072】

エントロピー符号化部１０６２は、係数ビットモデリング部１０６１で生成されたデータに対してエントロピー符号化を行って、符号化画像データを生成する。エントロピー符号化として、例えば既知の算術符号化が利用される。

【0073】

なお、符号化部１０６０では、エントロピー符号化部１０６２によって生成された符号化画像データに対してレート制御を行って、符号量を制御してもよい。

【0074】

＜ビットストリーム生成部１０７０＞
ビットストリーム生成部１０７０はビットストリーム生成処理を行う。具体的には、ビットストリーム生成部１０７０は、符号化部１０６０から出力される符号化データＡ５０を付加情報と多重化し、それによりＪＰＥＧ２０００に準拠した符号化ビットストリームＡｂｓを生成する。付加情報として例えば、ヘッダ情報，レイヤー構成、スケーラビリティ情報、量子化テーブル、等が挙げられる。

【0075】

特に、ビットストリーム生成部１０７０は、図３に示すように、合成制御データＣ５０を取得し、合成制御データＣ５０も符号化ビットストリームＡｂｓに埋め込む。合成制御データＣ５０は、合成システム２１での画像合成処理において合成具合を制御するためのデータである。ここでは、合成制御データＣ５０は、供給システム１１の側に設けられた操作部３２にユーザが入力することによって、供給システム１１に供給される。

【0076】

符号化ビットストリームＡｂｓは符号化データに影響しない領域を有しており、ビットストリーム生成部１０７０はその領域に合成制御データＣ５０を埋め込む。符号化ビットストリームＡｂｓのそのような領域として、例えば、ヘッダ領域、符号化ストリームのフォーマット中のコメント領域、アプリケーションマーカ（ＡＰＰマーカ）領域、等を利用できる。

【0077】

＜供給システム１１の動作＞
図１６に、供給システム１１の動作を説明するフローチャートを示す。図１６の動作フローＳ１０００によれば、供給システム１１に第１基礎画像データＡ１０が入力されると、前処理部１０２０およびマスク生成部１０５０が第１基礎画像データＡ１０を取得する（ステップＳ１００１）。

【0078】

前処理部１０２０は、第１基礎画像データＡ１０に対して、換言すれば第１対象画像データＡ２０に対して、所定の前処理を行う（ステップＳ１１０１）。次に、ウエーブレット変換部１０３０が、前処理後の第１対象画像データＡ２０に対して所定の分解レベルまでウエーブレット変換を行い、それにより第１ウエーブレット係数データＡ２１を生成する（ステップＳ１１０２）。

【0079】

一方、マスク生成部１０５０は、第１基礎画像データＡ１０に基づいて、第１ウエーブレット係数データＡ２１用のマスク、すなわち第１ウエーブレット係数データＡ２１の分解レベルに対応した展開マスクのデータＢ２１を生成する（ステップＳ１２００）。具体的には、基礎マスク生成部１０５１が上記の基礎マスク生成処理を行い（ステップＳ１２０１）、マスク展開部１０５２が上記のマスク展開処理を行う（ステップＳ１２０２）。

【0080】

なお、図１６の例では、ステップＳ１２００をステップＳ１１０１，Ｓ１１０２と並行して実行するが、ステップＳ１２００をステップＳ１１０１，Ｓ１１０２の前または後で実行することも可能である。

【0081】

ステップＳ１１０２で生成された第１ウエーブレット係数データＡ２１と、ステップＳ１２００で生成されたマスクデータＢ２１とは、量子化部１０４０に入力される。量子化部１０４０は、上記のように、マスクデータＢ２１に基づいて、第１ウエーブレット係数データＡ２１中の非ＲＯＩ係数の量子化後の値が０になるように、第１ウエーブレット係数データＡ２１に対して量子化を行う（ステップＳ１００２）。それにより、量子化ウエーブレット係数データＡ２２が生成される。

【0082】

量子化ウエーブレット係数データＡ２２は符号化部１０６０によって符号化され、符号化データＡ５０が生成される（ステップＳ１００３）。符号化データＡ５０はビットストリーム生成部１０７０によって、第１対象画像用の符号化ビットストリームＡｂｓに変換される（ステップＳ１００４）。

【0083】

また、ビットストリーム生成部１０７０は、合成制御データＣ５０を取得し、合成制御データＣ５０を上記のように符号化ビットストリームＡｂｓに埋め込む（ステップＳ１００５）。なお、合成制御データＣ５０はステップＳ１００５において入力されてもよいし、あるいは、事前に入力され保持していた合成制御データＣ５０をステップＳ１００５で利用してもよい。

【0084】

その後、符号化ビットストリームＡｂｓは、ビットストリーム生成部１０７０から出力される（ステップＳ１００６）。

【0085】

＜媒体５０＞
符号化ビットストリームＡｂｓは、上記のように合成制御データＣ５０が埋め込まれた状態で供給システム１１から出力され、図２の例ではＩ／Ｆ３３から供給側装置３０の外部に出力される。そして、符号化ビットストリームＡｂｓは、合成制御データＣ５０が埋め込まれた状態で、Ｉ／Ｆ４３を介して合成システム２１に入力される。その際、媒体５０（図２参照）が利用される。ここでは符号化データＡ５０用の符号化ビットストリームＡｂｓに合成制御データＣ５０が埋め込まれているので、符号化データＡ５０と合成制御データＣ５０とが、同じ媒体５０（例えば通信媒体または外部記憶媒体）によって、合成システム２１に供給される。

【0086】

＜合成システム２１の例＞
図１７に、合成システム２１の構成例を示す。図１７の例によれば、合成システム２１は、ビットストリーム解析部１２１０と、復号化部１２２０と、マスク再現部１２３０と、逆量子化部１２４０と、分解レベル変換部１２５０と、ウエーブレット変換部１２６０と、合成実行部１２７０と、逆ウエーブレット変換部１２８０と、後処理部１２９０とを含んでいる。

【0087】

＜ビットストリーム解析部１２１０＞
ビットストリーム解析部１２１０はビットストリーム解析処理を行う。具体的には、ビットストリーム解析部１２１０は、符号化ビットストリームＡｂｓをＪＰＥＧ２０００の仕様に準拠して解析し、当該符号化ビットストリームＡｂｓから符号化データＡ５０と付加情報と合成制御データＣ５０とを抽出する。符号化データＡ５０は復号化部１２２０に供給される。各種の付加情報はそれぞれ所定の処理部に供給される。合成制御データＣ５０は、分解レベル変換部１２５０とウエーブレット変換部１２６０とに供給される。

【0088】

＜復号化部１２２０＞
復号化部１２２０は復号化処理を行う。具体的には、復号化部１２２０は、符号化データＡ５０に対して、所定の復号化を行う。所定の復号化は、符号量制御を除いて、基本的には、図３の符号化部１０６０における符号化とは逆の処理にあたる。所定の復号化によって、符号化データＡ５０から、量子化ウエーブレット係数データＡ２２が生成される。図１７の例では、復号化部１２２０は、エントロピー復号化部１２２１と、係数ビットモデリング部１２２２とを含んでいる。

【0089】

エントロピー復号化部１２２１は、符号化データＡ５０に対してエントロピー復号化を行って、ビットデータを生成する。エントロピー復号化は、図３のエントロピー符号化部１０６２におけるエントロピー符号化とは逆の処理にあたる。

【0090】

係数ビットモデリング部１２２２は、エントロピー復号化部１２２１によって生成されたビットデータに対してビットモデリング処理を行って、量子化ウエーブレット係数データＡ２２を復元する。ここでのビットモデリング処理は、図３の係数ビットモデリング部１０６１におけるそれとは逆の処理にあたる。係数ビットモデリング部１２２２によって生成された量子化ウエーブレット係数データＡ２２は、マスク再現部１２３０と逆量子化部１２４０に供給される。

【0091】

＜マスク再現部１２３０＞
マスク再現部１２３０はマスク再現処理を行う。具体的には、マスク再現部１２３０は、量子化ウエーブレット係数データＡ２２を構成する各データの値を判別することによって、供給システム１１において量子化ウエーブレット係数データＡ２２の生成時に適用された展開マスクを再現する。

【0092】

すなわち、上記のように量子化ウエーブレット係数データＡ２２は、第１ウエーブレット係数データＡ２１のうちで非ＲＯＩ係数の量子化後の値が０になるように、生成されている。かかる点に鑑み、マスク再現部１２３０は、量子化ウエーブレット係数データＡ２２を構成する各データの値が０であるか否かを判別することによって、量子化ウエーブレット係数データＡ２２中のＲＯＩ係数と非ＲＯＩ係数とを判別する（図１８のマスク再現処理Ｓ１０のステップＳ１１参照）。そして、マスク再現部１２３０は、判別結果に基づいて、量子化ウエーブレット係数データＡ２２に対応する上記展開マスクのデータであるマスクデータＢ２１を再現する（図１８のマスク再現処理Ｓ１０のステップＳ１２，Ｓ１３参照）。

【0093】

＜逆量子化部１２４０＞
図１７に戻り、逆量子化部１２４０は逆量子化処理を行う。具体的には、逆量子化部１２４０は、量子化ウエーブレット係数データＡ２２に対して、逆量子化を行う。ここでの逆量子化は、図３の量子化部１０４０における量子化とは逆の処理にあたる。逆量子化によって、量子化ウエーブレット係数データＡ２２は、第１ウエーブレット係数データＡ２１に変換される。

【0094】

＜分解レベル変換部１２５０＞
分解レベル変換部１２５０は、逆量子化部１２４０から第１ウエーブレット係数データＡ２１を取得し、マスク再現部１２３０からマスクデータＢ２１を取得し、ビットストリーム解析部１２１０から合成制御データＣ５０を取得する。そして、分解レベル変換部１２５０は、第１ウエーブレット係数データＡ２１およびマスクデータＢ２１の分解レベルを変換する処理である分解レベル変換処理を行う。

【0095】

特に、変換後の分解レベルは、合成制御データＣ５０によって指定される。なお、合成制御データＣ５０によって指定された分解レベルを、第１の分解レベルと呼ぶ場合もある。ここでは、第１の分解レベルは１以上の整数とする。

【0096】

第１ウエーブレット係数データＡ２１およびマスクデータＢ２１の分解レベルは、この時点において（換言すれば、合成システム２１に供給された時点において）、供給システム１１で設定されたレベルである。分解レベル変換部１２５０では、この初期の分解レベルを、合成制御データＣ５０によって指定された第１の分解レベルに変換する。すなわち、分解レベル変換部１２５０は、供給システム１１で設定された分解レベルに在る第１ウエーブレット係数データＡ２１およびマスクデータＢ２１を、第１の分解レベルの第１ウエーブレット係数データＡ６１およびマスクデータＢ６１に変換する。

【0097】

ここで、図１９に、分解レベル変換部１２５０の構成例を示す。図１９の例によれば、分解レベル変換部１２５０は、分解レベル減少部１２５１と、分解レベル増加部１２５６とを含んでいる。

【0098】

分解レベル減少部１２５１は、合成制御データＣ５０によって指定された第１の分解レベルが、第１ウエーブレット係数データＡ２１およびマスクデータＢ２１の初期の分解レベルよりも小さい場合に、第１ウエーブレット係数データＡ２１およびマスクデータＢ２１の分解レベルを減少させる分解レベル減少処理を行う。逆に、分解レベル増加部１２５６は、第１の分解レベルが初期の分解レベルよりも大きい場合に、第１ウエーブレット係数データＡ２１およびマスクデータＢ２１の分解レベルを増加させる分解レベル増加処理を行う。

【0099】

ここでは、第１の分解レベルが初期の分解レベルと等しい場合、分解レベル変換部１２５０は、入力された第１ウエーブレット係数データＡ２１およびマスクデータＢ２１をそのまま、第１ウエーブレット係数データＡ６１およびマスクデータＢ６１として出力するものとする。

【0100】

＜分解レベル減少部１２５１＞
分解レベル減少部１２５１は、逆ウエーブレット変換部１２５２と、マスク復元部１２５３とを含んでいる。

【0101】

＜逆ウエーブレット変換部１２５２＞
逆ウエーブレット変換部１２５２は、第１ウエーブレット係数データＡ２１と合成制御データＣ５０とを取得し、第１ウエーブレット係数データＡ２１に対して、合成制御データＣ５０によって指定された第１の分解レベルになるまで逆ウエーブレット変換（ＩＤＷＴ）を行う。それにより、第１の分解レベルの第１ウエーブレット係数データＡ６１が生成される。

【0102】

逆ウエーブレット変換は、供給システム１１のウエーブレット変換部１０３０で行われるウエーブレット変換とは逆の処理である。逆ウエーブレット変換では、帯域成分が再帰的に合成される。逆ウエーブレット変換における合成回数は、合成レベルと呼ばれる。なお、逆ウエーブレット変換前の状態の合成レベルを０と表現することにする。

【0103】

逆ウエーブレット変換部１２５２と後述の逆ウエーブレット変換部１２８０とは、同じ回路によって実現されてもよいし、あるいは別々の回路によって実現されてもよい。

【0104】

＜マスク復元部１２５３＞
マスク復元部１２５３は、マスクデータＢ２１と合成制御データＣ５０とを取得し、マスク復元処理を行う。マスク復元処理は、与えられたマスクから、分解レベルがより低いマスクを復元する処理であり、上記のマスク展開処理（図１３〜図１５参照）の逆の処理にあたる。より具体的には、マスクデータＢ２１を、分解レベル変換部１２５０で生成しようとしている（すなわち、合成制御データＣ５０によって指定された第１の分解レベルを有する）第１ウエーブレット係数データＡ６１に含まれる各帯域成分用に変換する。それにより、第１の分解レベルのマスクデータＢ６１が生成される。マスクの復元に関しては、例えば特許文献６，７および非特許文献１を参照。

【0105】

図２０に、マスク復元処理のフローチャートを示す。図２０のマスク復元処理Ｓ２２０によれば、マスクの分解レベルを１段階下げる処理（以下、レベル減少単位処理とも呼ぶ）Ｓ２２２が行われる。初期の分解レベルと第１の分解レベルとの差が２以上である場合、第１の分解レベルのマスクが得られるまで、レベル減少単位処理Ｓ２２２が繰り返される（ステップＳ２２１参照）。

【0106】

レベル減少単位処理Ｓ２２２では、第１ウエーブレット平面用の第１マスクを、第１ウエーブレット平面よりも分解レベルが１段階低い第２ウエーブレット平面用の第２マスクに、変換する。なお、上記のように合成制御データＣ５０によって指定される第１の分解レベルは１以上の整数であるので、復元後の第２マスクは原マスクにはならない。

【0107】

レベル減少単位処理Ｓ２２２の繰り返しは、再帰的に行われる。すなわち、第２マスクを新たな第１マスクに設定することによって、レベル減少単位処理Ｓ２２２が再度、行われる。また、レベル減少単位処理Ｓ２２２の繰り返しは、逆ウエーブレット変換の方式に従って行われる。例えば上記のＭａｌｌａｔ型の方式が採用されている場合（図４〜図６参照）、ウエーブレット平面中の最上位帯域成分（分解レベルｋではＬＬｋ，ＨＬｋ，ＬＨｋ，ＨＨｋ）のみを再帰的に分解していく。このため、マスクの復元は最上位帯域成分に対応する部分に対してのみ再帰的に行う。

【0108】

＜マスク復元条件＞
レベル減少単位処理Ｓ２２２は所定のマスク復元条件に基づいて行われる。マスク復元条件は、第１ウエーブレット平面の指定位置のデータが第１マスクによってＲＯＩに対応付けられている場合に、第２ウエーブレット平面において上記指定位置に対応付けられた位置のデータがＲＯＩに対応付けられるように第２マスクを形成することを規定している。

【0109】

マスク復元条件は逆ウエーブレット変換のフィルタのタップ数に依存する。例えば逆ウエーブレット変換の演算処理において５×３フィルタが使用される場合、マスク復元条件は図２１に基づく。また、逆ウエーブレット変換の演算処理においてDaubechies９×７フィルタが用いられる場合、マスク復元条件は図２２に基づく。

【0110】

図２１および図２２のいずれの場合にも、マスク復元条件は２つの条件（第１復元条件と第２復元条件と呼ぶことにする）に大別される。すなわち、第１復元条件は、第２ウエーブレット平面において２ｎ番目（ｎは整数）のデータがＲＯＩに対応付けられるように第２マスクを形成するためのものである。第２復元条件は、第２ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように第２マスクを形成するためのものである。

【0111】

ここで、第１復元条件および第２復元条件も、第１ウエーブレット平面の指定位置のデータが第１マスクによってＲＯＩに対応付けられているという条件（復元実行条件と呼ぶことにする）を課している。

【0112】

第１復元条件において上記指定位置は、第２ウエーブレット平面の上記２ｎ番目に対応付けられた位置である。当該位置を以下、第１指定位置と呼ぶ場合もある。図２１を参照すると５×３フィルタの場合、第１指定位置の候補は、第１ウエーブレット平面において低域成分（ローパスフィルタの側の入力データに対応する）のｎ番目および高域成分（ハイパスフィルタの側の入力データに対応する）の｛ｎ−１｝番目とｎ番目である。図２２を参照するとDaubechies９×７フィルタの場合、第１ウエーブレット平面において低域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目および高域成分の｛ｎ−２｝番目から｛ｎ＋１｝番目が、第１指定位置の候補になる。

【0113】

同様に、第２復元条件において上記指定位置は、第２ウエーブレット平面の上記｛２ｎ＋１｝番目に対応付けられた位置である。当該位置を以下、第２指定位置と呼ぶ場合もある。図２１を参照すると５×３フィルタの場合、第２指定位置の候補は、第１ウエーブレット平面において低域成分のｎ番目と｛ｎ＋１｝番目および高域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目である。図２２を参照するとDaubechies９×７フィルタの場合、第１ウエーブレット平面において低域成分の｛ｎ−１｝番目から｛ｎ＋２｝番目および高域成分の｛ｎ−２｝番目から｛ｎ＋２｝番目が、第２指定位置の候補になる。

【0114】

指定位置のこれらの候補の利用形態に応じて、第１復元条件および第２復元条件を様々に規定可能である。その結果、第２マスクを様々に調整可能である。ここでは、指定位置の候補の利用形態は、ユーザの指示によって設定されるものとする。以下、このユーザ指示を、マスク調整指示と呼ぶことにする。また、合成制御データＣ５０がマスク調整指示を含むものとし、それによりマスク調整指示が合成システム２１におけるレベル減少単位処理Ｓ２２２に供給されるものとする（図２０参照）。但し、マスク調整指示を、合成制御データＣ５０とは別個に供給することも可能である。

【0115】

指定位置の候補の利用形態、換言すればマスク調整指示の内容は、数多く想定される。以下では、マスク調整指示がモード指示と低域選択指示と高域選択指示という３つの指示によって構成される例を説明する。

【0116】

モード指示（ＭＯＤＥ）は、第１ウエーブレット平面の低域成分と高域成分とのうちでどの帯域成分を利用するのか否かに関する。低域成分のみを利用する指示を、ＭＯＤＥ＝Ｌと表現することにする。また、低域成分と高域成分の両方を利用する指示を、ＭＯＤＥ＝ＬＨと表現することにする。

【0117】

低域選択指示（ＬＳＥＬ）は、第１ウエーブレット平面の低域成分に含まれる全ての候補に復元実行条件を課すのか否かに関する。低域成分に含まれる全ての候補が復元実行条件を満足することを要求する場合、ＬＳＥＬ＝ＡＮＤと表現することにする。逆に、低域成分に含まれる少なくとも１つの候補が復元実行条件を満足すれば良い場合、ＬＳＥＬ＝ＯＲと表現することにする。

【0118】

高域選択指示（ＨＳＥＬ）は、第１ウエーブレット平面の高域成分に含まれる全ての候補に復元実行条件を課すのか否かに関する。高域成分に含まれる全ての候補が復元実行条件を満足することを要求する場合、ＨＳＥＬ＝ＡＮＤと表現することにする。逆に、高域成分に含まれる少なくとも１つの候補が復元実行条件を満足すれば良い場合、ＨＳＥＬ＝ＯＲと表現することにする。

【0119】

なお、モード指示ＭＯＤＥと低域選択指示ＬＳＥＬと高域選択指示ＨＳＥＬとは、回路的には、各指示用に割り当てられた３つの信号によって、マスク復元部１２５３（図１９参照）に供給可能である。

【0120】

マスク調整指示の具体例のいくつかを表１に示す。但し、マスク調整指示の内容は表１の例に限定されるものではない。

【0121】

【表1】

【0122】

表１において、マスク調整指示＃１はロスレス圧縮向けである。すなわち、供給システム１１での画像圧縮（より具体的にはＲＯＩ係数の量子化）がロスレスである場合、マスク調整指示＃１が好適である。なお、ロスレス圧縮によれば、量子化後のＲＯＩ係数は０にならない。

【0123】

マスク調整指示＃２はニアロスレス圧縮向けである。ニアロスレス圧縮によれば、ロスレス圧縮に比べてデータロスは大きくなるが、ロスレス圧縮と同程度の画質が得られる。かかる点に鑑みれば、ニアロスレス圧縮は、データ上は非可逆性であるが画質上は可逆性の圧縮として捉えることができる。但し、ロスレスとロッシーという２つの大分類においては、ニアロスレスはロッシーに分類されることが多い。

【0124】

マスク調整指示＃３〜＃７はロッシー圧縮用である。ロッシー圧縮によれば、高域成分において量子化後のＲＯＩ係数が０になりやすい傾向がある。この傾向が強くなるほど（換言すれば、量子化値が大きい（つまり圧縮率が大きい）、高域成分において、量子化後の値が０になるＲＯＩ係数が多い場合）、＃４、＃７、＃３、＃６、＃５の順に指示を適用するのが好ましい。

【0125】

なお、表１の例ではマスク調整指示＃１，＃２，＃５は同じであるが、説明のために重複して記載している。

【0126】

＜５×３フィルタの場合＞
以下、表１を参照しつつ、逆ウエーブレット変換に５×３フィルタが使用される場合について、マスク調整指示ごとに、第１復元条件および第２復元条件を説明する。

【0127】

＜５×３フィルタの場合のマスク調整指示＃１，＃２，＃５＞
マスク調整指示＃１，＃２，＃５（ＭＯＤＥ＝ＬＨ、且つ、ＬＳＥＬ＝ＡＮＤ、且つ、ＨＳＥＬ＝ＡＮＤ）によれば、第１復元条件および第２復元条件は次のように規定される。

【0128】

第１復元条件：第１ウエーブレット平面の低域成分のｎ番目のデータが第１マスクによってＲＯＩに対応付けられ、且つ、第１ウエーブレット平面の高域成分の｛ｎ−１｝番目とｎ番目との全てのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。

【0129】

第２復元条件：第１ウエーブレット平面の低域成分のｎ番目と｛ｎ＋１｝番目との全てのデータが第１マスクによってＲＯＩに対応付けられ、且つ、第１ウエーブレット平面の高域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目の全てのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。

【0130】

＜５×３フィルタの場合のマスク調整指示＃３＞
マスク調整指示＃３（ＭＯＤＥ＝Ｌ、且つ、ＬＳＥＬ＝ＡＮＤ）によれば、第１復元条件および第２復元条件は次のように規定される。

【0131】

第１復元条件：第１ウエーブレット平面の低域成分のｎ番目のデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。

【0132】

第２復元条件：第１ウエーブレット平面の低域成分のｎ番目と｛ｎ＋１｝番目との全てのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。

【0133】

＜５×３フィルタの場合のマスク調整指示＃４＞
マスク調整指示＃４（ＭＯＤＥ＝Ｌ、且つ、ＬＳＥＬ＝ＯＲ）によれば、第１復元条件および第２復元条件は次のように規定される。

【0134】

第１復元条件：第１ウエーブレット平面の低域成分のｎ番目のデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。

【0135】

ここでは、低域成分のｎ番目のみが候補であるので、この第１復元条件は上記のマスク調整指示＃３と同じになる。

【0136】

第２復元条件：第１ウエーブレット平面の低域成分のｎ番目と｛ｎ＋１｝番目とのうちの少なくとも１つのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。

【0137】

＜５×３フィルタの場合のマスク調整指示＃６＞
マスク調整指示＃６（ＭＯＤＥ＝ＬＨ、且つ、ＬＳＥＬ＝ＡＮＤ、且つ、ＨＳＥＬ＝ＯＲ）によれば、第１復元条件および第２復元条件は次のように規定される。

【0138】

第１復元条件：第１ウエーブレット平面の低域成分のｎ番目のデータが第１マスクによってＲＯＩに対応付けられ、且つ、第１ウエーブレット平面の高域成分の｛ｎ−１｝番目とｎ番目とのうちの少なくとも１つのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。

【0139】

第２復元条件：第１ウエーブレット平面の低域成分のｎ番目と｛ｎ＋１｝番目との全てのデータが第１マスクによってＲＯＩに対応付けられ、且つ、第１ウエーブレット平面の高域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目のうちの少なくとも１つのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。

【0140】

＜５×３フィルタの場合のマスク調整指示＃７＞
マスク調整指示＃７（ＭＯＤＥ＝ＬＨ、且つ、ＬＳＥＬ＝ＯＲ、且つ、ＨＳＥＬ＝ＯＲ）によれば、第１復元条件および第２復元条件は次のように規定される。

【0141】

第１復元条件：第１ウエーブレット平面の低域成分のｎ番目のデータが第１マスクによってＲＯＩに対応付けられ、且つ、第１ウエーブレット平面の高域成分の｛ｎ−１｝番目とｎ番目とのうちの少なくとも１つのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。

【0142】

ここでは、低域成分のｎ番目のみが候補であるので、この第１復元条件は上記のマスク調整指示＃６と同じになる。

【0143】

第２復元条件：第１ウエーブレット平面の低域成分のｎ番目と｛ｎ＋１｝番目とのうちの少なくとも１つのデータが第１マスクによってＲＯＩに対応付けられ、且つ、第１ウエーブレット平面の高域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目のうちの少なくとも１つのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。

【0144】

＜Daubechies９×７フィルタの場合＞
以下、表１を参照しつつ、逆ウエーブレット変換にDaubechies９×７フィルタが使用される場合について、マスク調整指示ごとに、第１復元条件および第２復元条件を説明する。

【0145】

＜Daubechies９×７フィルタの場合のマスク調整指示＃１，＃２，＃５＞
マスク調整指示＃１，＃２，＃５（ＭＯＤＥ＝ＬＨ、且つ、ＬＳＥＬ＝ＡＮＤ、且つ、ＨＳＥＬ＝ＡＮＤ）によれば、第１復元条件および第２復元条件は次のように規定される。

【0146】

第１復元条件：第１ウエーブレット平面の低域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目の全てのデータが第１マスクによってＲＯＩに対応付けられ、且つ、第１ウエーブレット平面の高域成分の｛ｎ−２｝番目から｛ｎ＋１｝番目の全てのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。

【0147】

第２復元条件：第１ウエーブレット平面の低域成分の｛ｎ−１｝番目から｛ｎ＋２｝番目の全てのデータが第１マスクによってＲＯＩに対応付けられ、且つ、第１ウエーブレット平面の高域成分の｛ｎ−２｝番目から｛ｎ＋２｝番目の全てのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。

【0148】

＜Daubechies９×７フィルタの場合のマスク調整指示＃３＞
マスク調整指示＃３（ＭＯＤＥ＝Ｌ、且つ、ＬＳＥＬ＝ＡＮＤ）によれば、第１復元条件および第２復元条件は次のように規定される。

【0149】

第１復元条件：第１ウエーブレット平面の低域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目の全てのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。

【0150】

第２復元条件：第１ウエーブレット平面の低域成分の｛ｎ−１｝番目から｛ｎ＋２｝番目の全てのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。

【0151】

＜Daubechies９×７フィルタの場合のマスク調整指示＃４＞
マスク調整指示＃４（ＭＯＤＥ＝Ｌ、且つ、ＬＳＥＬ＝ＯＲ）によれば、第１復元条件および第２復元条件は次のように規定される。

【0152】

第１復元条件：第１ウエーブレット平面の低域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目のうちの少なくとも１つのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。

【0153】

第２復元条件：第１ウエーブレット平面の低域成分の｛ｎ−１｝番目から｛ｎ＋２｝番目のうちの少なくとも１つのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。

【0154】

＜Daubechies９×７フィルタの場合のマスク調整指示＃６＞
マスク調整指示＃６（ＭＯＤＥ＝ＬＨ、且つ、ＬＳＥＬ＝ＡＮＤ、且つ、ＨＳＥＬ＝ＯＲ）によれば、第１復元条件および第２復元条件は次のように規定される。

【0155】

第１復元条件：第１ウエーブレット平面の低域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目の全てのデータが第１マスクによってＲＯＩに対応付けられ、且つ、第１ウエーブレット平面の高域成分の｛ｎ−２｝番目から｛ｎ＋１｝番目のうちの少なくとも１つのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。

【0156】

第２復元条件：第１ウエーブレット平面の低域成分の｛ｎ−１｝番目から｛ｎ＋２｝番目の全てのデータが第１マスクによってＲＯＩに対応付けられ、且つ、第１ウエーブレット平面の高域成分の｛ｎ−２｝番目から｛ｎ＋２｝番目のうちの少なくとも１つのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。

【0157】

＜Daubechies９×７フィルタの場合のマスク調整指示＃７＞
マスク調整指示＃７（ＭＯＤＥ＝ＬＨ、且つ、ＬＳＥＬ＝ＯＲ、且つ、ＨＳＥＬ＝ＯＲ）によれば、第１復元条件および第２復元条件は次のように規定される。

【0158】

第１復元条件：第１ウエーブレット平面の低域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目のうちの少なくとも１つのデータが第１マスクによってＲＯＩに対応付けられ、且つ、第１ウエーブレット平面の高域成分の｛ｎ−２｝番目から｛ｎ＋１｝番目のうちの少なくとも１つのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において２ｎ番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。

【0159】

第２復元条件：第１ウエーブレット平面の低域成分の｛ｎ−１｝番目から｛ｎ＋２｝番目のうちの少なくとも１つデータが第１マスクによってＲＯＩに対応付けられ、且つ、第１ウエーブレット平面の高域成分の｛ｎ−２｝番目から｛ｎ＋２｝番目のうちの少なくとも１つのデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において｛２ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。

【0160】

＜マスク調整指示＞
このように、第１復元条件および第２復元条件における上記指定位置を、マスク調整指示によって指示できる。ユーザは、モード指示（ＭＯＤＥ）と低域選択指示（ＬＳＥＬ）と高域選択指示（ＨＳＥＬ）とをそれぞれ入力することによって、マスク調整指示を入力することが可能である。あるいは、表１のように、モード指示（ＭＯＤＥ）と低域選択指示（ＬＳＥＬ）と高域選択指示（ＨＳＥＬ）とを予め組み合わせて複数のマスク調整指示を予め規定しておき、ユーザはその中からマスク調整指示を選ぶようにしてもよい。

【0161】

なお、モード指示（ＭＯＤＥ）を低域選択指示（ＬＳＥＬ）と高域選択指示（ＨＳＥＬ）のそれぞれに組み込むことも可能である。例えば、低域成分を利用しない指示としてＬＳＥＬ＝ＮＯを追加し、高域成分を利用しない指示としてＨＳＥＬ＝ＮＯを追加すれば、モード指示（ＭＯＤＥ）を別途設ける必要がない。

【0162】

＜分解レベル増加部１２５６＞
図１９に戻り、分解レベル増加部１２５６は、ウエーブレット変換部１２５７と、マスク展開部１２５８とを含んでいる。

【0163】

＜ウエーブレット変換部１２５７＞
ウエーブレット変換部１２５７は、第１ウエーブレット係数データＡ２１と合成制御データＣ５０とを取得し、第１ウエーブレット係数データＡ２１に対して、合成制御データＣ５０によって指定された第１の分解レベルになるまでウエーブレット変換を行う。それにより、第１の分解レベルの第１ウエーブレット係数データＡ６１が生成される。

【0164】

なお、ウエーブレット変換部１２５７と後述のウエーブレット変換部１２６０とは、同じ回路によって実現されてもよいし、あるいは別々の回路によって実現されてもよい。

【0165】

＜マスク展開部１２５８＞
マスク展開部１２５８は、マスクデータＢ２１と合成制御データＣ５０とを取得し、マスク展開処理を行う。具体的には、マスクデータＢ２１を、分解レベル変換部１２５０で生成しようとしている（すなわち、合成制御データＣ５０によって指定された第１の分解レベルを有する）第１ウエーブレット係数データＡ６１に含まれる各帯域成分用に変換する。それにより、第１の分解レベルのマスクデータＢ６１が生成される。

【0166】

マスク展開部１２５８は、供給システム１１のマスク展開部１０５２と同様に動作する（図７、図１３〜図１５参照）。このため、ここでは重複の説明を省略する。

【0167】

＜分解レベル変換部１２５０の変形例＞
なお、分解レベル減少部１２５１または分解レベル増加部１２５６を省略してもよい。分解レベル減少部１２５１のみが設けられた場合、分解レベル変換部１２５０は、合成制御データＣ５０によって指定された第１の分解レベルが、第１ウエーブレット係数データＡ２１およびマスクデータＢ２１の初期の分解レベル以下であるという使用条件に特化される。逆に、分解レベル増加部１２５６のみが設けられた場合、分解レベル変換部１２５０は、第１の分解レベルが初期の分解レベル以上であるという使用条件に特化される。

【0168】

＜ウエーブレット変換部１２６０＞
図１７に戻り、ウエーブレット変換部１２６０は、第２対象画像のデータである第２対象画像データＤ５０と、合成制御データＣ５０とを取得する。第２対象画像は、第１対象画像のＲＯＩと合成される画像であり、画像合成のための背景画像を提供する。

【0169】

ここで、合成システム２１には、第２対象画像の源となる第２基礎画像のデータである第２基礎画像データＤ１０が入力されるものとする。但し、実施の形態１では、第２基礎画像の全体が第２対象画像を構成する場合、すなわち第２基礎画像と第２対象画像とは同じである場合を説明する。

【0170】

第２基礎画像データＤ１０は、例えば、合成システム２１の側に設けられた画像入力部４４、または、画像処理システム２０（図１参照）の他のシステムから供給される。なお、第２基礎画像および第２対象画像は、デジタルカメラ等によって撮影した画像であってもよいし、あるいは、コンピュータグラフィックスであってもよい。

【0171】

ウエーブレット変換部１２６０は、第２対象画像データＤ５０に対して、所定の分解レベル（第２の分解レベルと呼ぶことにする）までウエーブレット変換を行い、それにより第２ウエーブレット係数データＤ６１を生成する。ウエーブレット変換部１２６０は、供給システム１１のウエーブレット変換部１０３０（図３参照）と同様の仕様によって動作する。実施の形態１では、第２ウエーブレット係数データＤ６１の分解レベル（第２の分解レベル）は、合成制御データＣ５０によって指定された第１の分解レベルと等しいものとする。

【0172】

なお、例えば、合成システム２１のウエーブレット変換部１２６０を供給システム１１のウエーブレット変換部１０３０と区別する場合、供給システム１１のウエーブレット変換部１０３０を第１のウエーブレット変換部１０３０と呼び、合成システム２１のウエーブレット変換部１２６０を第２のウエーブレット変換部１２６０と呼べばよい。この例に限らず、第１の、第２の、…を付記することによって、同様の名称をより明確に区別できる。

【0173】

＜合成実行部１２７０＞
合成実行部１２７０は、分解レベル変換部１２５０から第１の分解レベルの第１ウエーブレット係数データＡ６１およびマスクデータＢ６１を取得し、ウエーブレット変換部１２６０から第２の分解レベル（ここでは第１の分解レベルに等しい）の第２ウエーブレット係数データＤ６１を取得する。そして、合成実行部１２７０は、これらのデータＡ６１，Ｂ６１，Ｄ６１に基づいて、第１対象画像中のＲＯＩと第２対象画像との画像合成を行う（合成実行処理）。

【0174】

合成実行処理では、合成実行部１２７０は、第１の分解レベルの第１ウエーブレット係数データＡ６１についてＲＯＩ係数と非ＲＯＩ係数とを、第１の分解レベルのマスクデータＢ６１に基づいて判別する（係数判別処理）。そして、判別結果に基づいて、合成実行部１２７０は、第１ウエーブレット係数データＡ６１中のＲＯＩ係数と、第２ウエーブレット係数データＤ６１中の係数とを合成する（係数合成処理）。それにより、合成実行部１２７０は合成済み係数データＥ６１を生成する。

【0175】

具体的には、第１ウエーブレット係数データＡ６１によるウエーブレット平面上の或る位置のデータが、ＲＯＩ係数でない（換言すれば非ＲＯＩ係数である）場合、当該非ＲＯＩ係数を、第２ウエーブレット係数データＤ６１によるウエーブレット平面上で同じ位置に存在するデータで置換する。これによれば、第１ウエーブレット係数データＡ６１が、合成済み係数データＥ６１に変換される。

【0176】

図２３に、係数合成処理を説明するフローチャートを示す。図２３の係数合成処理Ｓ３００によれば、まず、第１ウエーブレット係数データＡ６１中から検査対象とするウエーブレット係数を１つ選択する（ステップＳ３０１）。そして、その検査対象係数がＲＯＩ係数と非ＲＯＩ係数のどちらであるかを判別する（ステップＳ３０２）。すなわち、ステップＳ３０２において、係数判別処理が行われる。

【0177】

検査対象係数が非ＲＯＩ係数である場合、その検査対象係数を、第２ウエーブレット係数データＤ６１中の対応するウエーブレット係数で置換する（ステップＳ３０３）。これに対し、検査対象係数がＲＯＩ係数である場合、ステップＳ３０３は行わない。第１ウエーブレット係数データＡ６１中の全てのウエーブレット係数を検査し終えるまで、ステップＳ３０１〜Ｓ３０３を繰り返す（ステップＳ３０４）。

【0178】

図２４に、係数合成処理を説明する別のフローチャートを示す。図２４の係数合成処理Ｓ３００Ｂでは、上記ステップＳ３０３の代わりに、ステップＳ３０３Ｂが設けられている。すなわち、係数判別処理ステップＳ３０２において検査対象係数がＲＯＩ係数であると判別された場合、ステップＳ３０３Ｂにおいて第１ウエーブレット係数データＡ６１中の当該ＲＯＩ係数を、第２ウエーブレット係数データＤ６１中の対応する位置に埋め込む。これによれば、第２ウエーブレット係数データＤ６１が、合成済み係数データＥ６１に変換される。

【0179】

このように、第１ウエーブレット係数データＡ６１中のＲＯＩ係数と第２ウエーブレット係数データＤ６１中のウエーブレット係数との合成には、２種類の具体的手法（第１係数合成処理と第２係数合成処理と呼ぶことにする）がある。

【0180】

第１係数合成処理（図２３のＳ３００を参照）：第１ウエーブレット係数データＡ６１中の非ＲＯＩ係数を、第２ウエーブレット係数データＤ６１中の対応するウエーブレット係数で置換する。

【0181】

第２係数合成処理（図２４のＳ３００Ｂを参照）：第１ウエーブレット係数データＡ６１中のＲＯＩ係数を、第２ウエーブレット係数データＤ６１中の対応する位置に埋め込む。

【0182】

＜逆ウエーブレット変換部１２８０＞
図１７に戻り、逆ウエーブレット変換部１２８０は、合成実行部１２７０によって生成された合成済み係数データＥ６１に対して、分解レベルが０になるまで逆ウエーブレット変換を行う。これにより、合成済み係数データＥ６１から、合成画像データＥ８０が生成される。

【0183】

＜後処理部１２９０＞
後処理部１２９０は、逆ウエーブレット変換部１２８０から合成画像データＥ８０を取得し、合成画像データＥ８０に対して所定の後処理を行う。所定の後処理は、ここでは、図３の供給システム１１の前処理部１０２０で行われる所定の前処理とは逆の処理にあたる。図１７の例では、後処理部１２９０は、タイリング部１２９１と、色空間変換部１２９２と、ＤＣレベルシフト部１２９３とを含んでいる。

【0184】

タイリング部１２９１は、図３の供給システム１１のタイリング部１０２３とは逆の処理を行う。具体的には、タイリング部１２９１は、逆ウエーブレット変換部１２８０から出力されるタイル単位の合成画像データＥ８０を合成して、１フレーム分の画像データを生成する。なお、合成画像データＥ８０がタイル単位で供給されない場合、換言すれば供給システム１１においてウエーブレット変換がタイル単位で行われていなかった場合、タイリング部１２９１による処理は省略される。あるいは、タイリング部１２９１自体を省略してもよい。

【0185】

色空間変換部１２９２は、図３の供給システム１１の色空間変換部１０２２とは逆の処理を行う。例えば、タイリング部１２９１から出力された画像データをＲＧＢ成分に変換する。ＤＣレベルシフト部１２９３は、色空間変換部１２９２から出力された画像データのＤＣレベルを必要に応じて変換する。図１７の例では、ＤＣレベルシフト部１２９３から出力される合成画像データＥ１００が、合成システム２１の出力画像データとなる。

【0186】

合成画像データＥ１００に基づいて表示部４１に表示動作を行わせることによって、第１対象画像中のＲＯＩと第２対象画像との合成画像が表示される。

【0187】

＜合成システム２１の動作＞
図２５および図２６に、合成システム２１の動作を説明するフローチャートを示す。なお、図２５および図２６のフローは結合子Ｃ１によって繋がっている。

【0188】

図２５および図２６の動作フローＳ２０００によれば、合成システム２１に符号化ビットストリームＡｂｓが入力されると、ビットストリーム解析部１２１０が符号化ビットストリームＡｂｓを取得し（ステップＳ２１０１）、符号ビットストリームＡｂｓから符号化データＡ５０と合成制御データＣ５０とを抽出する（ステップＳ２１０２）。

【0189】

そして、符号化データＡ５０は、復号化部１２２０によって復号化され、量子化ウエーブレット係数データＡ２２が生成される（ステップＳ２１０３）。量子化ウエーブレット係数データＡ２２は、逆量子化部１２４０とマスク再現部１２３０とに入力される（図１７参照）。

【0190】

逆量子化部１２４０は、量子化ウエーブレット係数データＡ２２に対して逆量子化を行い、第１ウエーブレット係数データＡ２１を生成する（ステップＳ２１０４）。一方、マスク再現部１２３０は、上記のように、量子化ウエーブレット係数データＡ２２に基づいて、供給システム１１において量子化ウエーブレット係数データＡ２２の生成時に適用されたマスクデータＢ２１を再現する（ステップＳ２１０５）。なお、図２５の例では、ステップＳ２１０４，Ｓ２１０５を並行して実行するが、ステップＳ２１０４をステップＳ２１０５の前または後で実行することも可能である。

【0191】

そして、分解レベル変換部１２５０が、上記のように、第１ウエーブレット係数データＡ２１およびマスクデータＢ２１の分解レベルを、合成制御データＣ５０によって指定された第１の分解レベルに変換する（ステップＳ２１０６）。これにより、第１の分解レベルの第１ウエーブレット係数データＡ６１およびマスクデータＢ２１が生成される。

【0192】

ここで、合成システム２１に第２基礎画像データＤ１０が入力されると、ウエーブレット変換部１２６０が第２基礎画像データＤ１０を取得し（ステップＳ２２０１）、第２基礎画像データＤ１０に対して第２の分解レベルまでウエーブレット変換を行う（ステップＳ２２０２）。これにより、第２ウエーブレット係数データＤ６１が生成される。

【0193】

上記のように実施の形態１では、第２の分解レベルは、合成制御データＣ５０によって指定された第１の分解レベルに等しい。このため、ウエーブレット変換のステップＳ２２０２は、合成制御データＣ５０が取得されるステップＳ２１０２よりも後で実行される。また、実施の形態１では上記のように、第２基礎画像データＤ１０は、画像合成に供される第２対象画像データＤ５０として扱われる。

【0194】

ステップＳ２１０６，Ｓ２２０２の後、合成実行部１２７０が、第１ウエーブレット係数データＡ６１と第２ウエーブレット係数データＤ６１とを合成し、合成済み係数データＥ６１を生成する（ステップＳ２３０１）。そして、合成済み係数データＥ６１に対して、逆ウエーブレット変換部１２８０が分解レベル０まで逆ウエーブレット変換を行う（ステップＳ２３０２）。これにより、合成画像データＥ８０が生成される。

【0195】

その後、合成画像データＥ８０に対して後処理部１２９０が所定の後処理を行い（ステップＳ２３０３）、ステップＳ２３０３後の合成画像データＥ１００が合成システム２１から出力される（ステップＳ２３０４）。

【0196】

＜効果＞
実施の形態１によれば、第１対象画像中のＲＯＩと第２対象画像との合成は、第１ウエーブレット係数データＡ６１および第２ウエーブレット係数データＤ６１を用いて行われる。また、第１対象画像中のＲＯＩの判別は、第１ウエーブレット係数データＡ６１についてＲＯＩ係数を判別することによって行われる。かかる係数判別は、第１ウエーブレット係数データＡ６１用の展開マスクのデータＢ６１に基づいて、行われる。

【0197】

ウエーブレット変換および逆ウエーブレット変換では、処理対象の注目画素の情報だけでなくその周辺の画素の情報も利用する。ウエーブレット係数用の展開マスクの生成についても同様である。このため、実施の形態１によれば、第１対象画像データおよび第２対象画像データをそのまま合成する場合に比べて、良好な合成画像が得られる。すなわち、輪郭および／または内部に不具合を有した不十分なＲＯＩを利用しても（換言すれば、そのような不十分なＲＯＩ用の原マスクを利用しても）、合成画像上では、修復されたＲＯＩを提供できる。

【0198】

また、ウエーブレット変換の分解レベルを合成制御データＣ５０によって制御することによって、合成具合（ＲＯＩの修復、ＲＯＩの拡張、等）を調整できる。

【0199】

これらに鑑みると、実施の形態１によれば、ＲＯＩの設定に高コストな技術を利用しなくても済む。つまり、良好な合成画像を低コストで生成できる。

【0200】

また、上記のように、供給システム１１の量子化部１０４０は、量子化後の非ＲＯＩ係数が０になるように、第１ウエーブレット係数データＡ２１の量子化を行う。したがって、マスクデータＢ６１自体を供給システム１１から出力する必要がない。このため、供給システム１１と合成システム２１とが有線または無線によって通信する場合、通信量を削減でき、伝送の即時性に役立つ。その結果、画像合成の高速化、換言すれば画像合成の即時性が向上する。

【0201】

ここで、マスクデータを量子化ウエーブレット係数に反映させる手法として、ＪＰＥＧ２０００のオプション機能であるＭａｘ−ｓｈｉｆｔ法がある。このＭａｘ−ｓｈｉｆｔ法によれば、量子化および逆量子化においてウエーブレット係数のスケールアップおよびスケールダウンが行われる。これに対し、実施の形態１に係る量子化、逆量子化およびマスク再現では、そのようなスケーリング処理は必要ない。

【0202】

また、合成制御データＣ５０が、第１対象画像用のビットストリームＡｂｓのうちで第１対象画像の符号化データＡ５０に影響しない領域に埋め込まれている。このため、既存の符号化ストリームに対する後方互換性を確保することができる。

【0203】

＜実施の形態２＞
実施の形態１では、マスクデータＢ２１を量子化ウエーブレット係数データＡ２２に反映させる。具体的には、供給システム１１の量子化部１０４０が、量子化後の非ＲＯＩ係数が０になるように、第１ウエーブレット係数データＡ２１の量子化を行う。かかる手法によれば、効率良く符号化しようとすると、第１ウエーブレット係数のうちのＲＯＩ係数の量子化後の値が０になってしまう場合がある。特に値が小さいＲＯＩ係数について、その傾向が大きい。

【0204】

このような問題点は、分解レベル変換部１２５０（図１７および図１９参照）を変形することによって、解消可能である。図２７および図２８に、実施の形態２に係る分解レベル変換部１２５０Ｂを説明するブロック図およびフローチャートを示す。

【0205】

図２７の分解レベル変換部１２５０Ｂは、既述の図１９との比較から分かるように、マスクデータＢ２１は、マスク復元部１２５３に供給されるが、マスク展開部１２５８には供給されない。また、合成制御データＣ５０は、マスク展開部１２５８に供給されるが、マスク復元部１２５３には供給されない。

【0206】

かかる構成の下、図２８の処理フローＳ２４０のステップＳ２４１，Ｓ２２２に示すように、マスク復元部１２５３は、マスクデータＢ２１に対して、分解レベルが０になるまでマスク復元処理を行う。これにより、分解レベル０のマスク、すなわち原マスクが生成される。原マスクデータはマスク展開部１２５８に入力され、原マスクデータに対して、合成制御データＣ５０によって指定された第１の分解レベルまで、マスク展開処理が行われる（図２８のステップＳ２０１，Ｓ２０２参照）。

【0207】

処理フローＳ２４０は、合成制御データＣ５０によって指定された第１の分解レベルと、第１ウエーブレット係数データＡ２１の初期の分解レベルとの大小関係に関わらず、実行される。なお、上記問題点を解消するためには、第１の分解レベルと初期の分解レベルとが等しい場合にも処理フローＳ２４０が実行されることが、好ましい。

【0208】

なお、逆ウエーブレット変換部１２５２およびウエーブレット変換部１２５７は、合成制御データＣ５０によって指定された第１の分解レベルと、第１ウエーブレット係数データＡ２１の初期の分解レベルとの大小関係に応じて、実施の形態１と同様に動作する。そして、逆ウエーブレット変換部１２５２とウエーブレット変換部１２５７とのいずれか一方の出力データが、第１ウエーブレット係数データＡ６１として、合成実行部１２７０に供給される。

【0209】

実施の形態２によれば、実施の形態１の効果が得られると共に、上記問題点を解消することができる。

【0210】

＜実施の形態３＞
図２９および図３０に、実施の形態３に係る供給システム１１Ｃおよび合成システム２１Ｃの構成例を示す。供給システム１１Ｃおよび合成システム２１Ｃは、実施の形態１に係る供給システム１１および合成システム２１に代えて、画像処理システム１，１０，２０等に適用可能である。

【0211】

図２９および図３０から分かるように、供給システム１１Ｃおよび合成システム２１Ｃは、基本的には、実施の形態１に係る供給システム１１および合成システム２１（図３および図１７参照）と同じ構成を有している。但し、供給システム１１Ｃは、ユーザによって入力された合成制御データＣ５０を、符号化ビットストリームＡｂｓに埋め込まずに出力する。このため、供給システム１１Ｃのビットストリーム生成部１０７０は合成制御データＣ５０の埋め込みを行わず、合成システム２１Ｃのビットストリーム解析部１２１０は合成制御データＣ５０の抽出を行わない。

【0212】

図３１に、供給システム１１Ｃの動作を説明するフローチャートを示す。図３１の動作フローＳ１０００Ｃによれば、実施の形態１に係る動作フローＳ１０００（図１６参照）からステップＳ１００５が削除されている。また、ステップＳ１００６の代わりに設けられたステップＳ１００６Ｃにおいて、符号化ビットリームＡｂｓと合成制御データＣ５０とが出力される。

【0213】

図３２に、合成システム２１Ｃの動作を説明するフローチャートを示す。図３２の動作フローＳ２０００Ｃによれば、実施の形態１に係る動作フローＳ２０００（図２５参照）からステップＳ２１０２が削除されている。また、ステップＳ２１０１の代わりに設けられたステップＳ２１０１Ｃにおいて、符号化ビットリームＡｂｓと合成制御データＣ５０とが取得される。図３２とは違えて、符号化ビットリームＡｂｓと合成制御データＣ５０とを別々のステップで、換言すれば別々のタイミングで取得してもよい。

【0214】

ここでは、符号化ビットストリームＡｂｓ（すなわち符号化データＡ５０）と合成制御データＣ５０とが、同じ媒体５０（例えば通信媒体または外部記憶媒体）によって、合成システム２１Ｃに供給されるものとする。但し、異なる媒体５０を利用してもよい。例えば、符号化データＡ５０の供給に通信媒体を利用し、合成制御データＣ５０の供給に外部記憶媒体を利用してもよい。

【0215】

実施の形態３によれば、実施の形態１と同様の効果を得ることができる。なお、実施の形態３は実施の形態２と組み合わせ可能であり、それにより実施の形態２と同様の効果を得ることができる。

【0216】

＜実施の形態４＞
図３３および図３４に、実施の形態４に係る供給システム１１Ｄおよび合成システム２１Ｄの構成例を示す。供給システム１１Ｄおよび合成システム２１Ｄは、実施の形態１に係る供給システム１１および合成システム２１に代えて、画像処理システム１，１０，２０等に適用可能である。

【0217】

図３３および図３４から分かるように、供給システム１１Ｄおよび合成システム２１Ｄは、基本的には、実施の形態１に係る供給システム１１および合成システム２１（図３および図１７参照）と同じ構成を有している。但し、合成制御データＣ５０は、合成システム２１Ｄの側に設けられた操作部４２（図２参照）にユーザが入力することによって、合成システム２１Ｄに供給される。このため、供給システム１１Ｄは、合成制御データＣ５０の入力受付およびシステム外部への出力を行わない。

【0218】

他方、符号化ビットストリームＡｂｓ（すなわち符号化データＡ５０）は、実施の形態３と同様に、媒体５０（例えば通信媒体または外部記憶媒体）によって、合成システム２１Ｄに供給される。合成システム２１Ｄは、合成制御データＣ５０を、符号化データＡ５０を供給する媒体とは異なる媒体によって取得する。

【0219】

実施の形態４によれば、実施の形態１と同様の効果を得ることができる。特に実施の形態４によれば、合成制御データＣ５０を合成システム２１Ｄの側で入力することができるので、合成システム２１Ｄの側で合成具合を調整できる。なお、実施の形態４は実施の形態２と組み合わせ可能であり、それにより実施の形態２と同様の効果を得ることができる。

【0220】

＜実施の形態５＞
図３５に、実施の形態５に係る合成システム２１Ｅの構成例を示す。合成システム２１Ｅは、実施の形態１に係る合成システム２１に代えて、画像処理システム１，２０等に適用可能である。ここでは、合成システム２１Ｅは、実施の形態１に係る供給システム１１（図３参照）と組み合わされるものとする。

【0221】

図３５を図１７と比較すれば分かるように、合成システム２１Ｅは、実施の形態１に係る合成システム２１に、セレクタ１３００が追加された構成を有している。セレクタ１３００は、複数の合成制御データのうちの１つを選択的に、分解レベル変換部１２５０およびウエーブレット変換部１２６０に供給する。図３５の例では、セレクタ１３００に２つの合成制御データＣ４１，Ｃ４２が入力され、いずれか一方の合成制御データが合成制御データＣ５０として出力される。

【0222】

第１合成制御データＣ４１は、合成システム２１Ｅの側に設けられた操作部４２（図２参照）に、合成システム２１Ｅのユーザが入力することによって、セレクタ１３００に供給される。

【0223】

第２合成制御データＣ４２は、供給システム１１から媒体５０によって、セレクタ１３００に供給される。より具体的には、第２合成制御データＣ４２は供給システム１１において符号化ビットストリームＡｂｓに埋め込まれ、その符号化ビットストリームＡｂｓが媒体５０によってビットストリーム解析部１２１０に供給される。そして、第２合成制御データＣ４２は、ビットストリーム解析部１２１０によって抽出され、セレクタ１３００に入力される。つまり、第２合成制御データＣ４２は、第１合成制御データＣ４１とは異なる媒体によって供給される。

【0224】

セレクタ１３００は、第１合成制御データＣ４１を優先的に選択して出力するように設定されている。これによれば、実施の形態４と同様に、合成システム２１Ｅの側で合成具合を調整できる。一方、第１合成制御データＣ４１が入力されない場合には第２合成制御データＣ４２が出力されるので、合成システム２１Ｅの側での手間が省ける。

【0225】

複数の合成制御データの選択優先度は固定されていてもよいし、あるいは変更可能であってもよい。選択優先度の変更は、例えば、合成システム２１Ｅの側に設けられた操作部４２と、供給システム１１の側に設けられた操作部３２との一方または両方によって、行うことが想定される。

【0226】

また、実施の形態５によれば、実施の形態１と同様の効果も得ることができる。なお、実施の形態５は実施の形態２等と組み合わせ可能であり、それにより実施の形態２等と同様の効果を得ることができる。

【0227】

なお、図３５を応用すれば、第１の分解レベルの指示が供給システム１１に入力され、マスク調整指示が合成システム２１Ｅに入力されるといった形態、および、その逆の形態も実現可能である。

【0228】

＜実施の形態６＞
実施の形態１では、第１基礎画像の全体が、画像合成に供される第１対象画像を構成する場合を説明した。実施の形態２〜５についても同様である。ここで、画像合成において基本的には第１基礎画像中の非ＲＯＩは不要である点に鑑みると、第１基礎画像のうちでＲＯＩを含む一部分だけを切り取り、切り取った画像を第１対象画像として合成システム２１に供給する例が考えられる。

【0229】

第１基礎画像の一部分を第１対象画像として切り取ることによって、第１対象画像用の符号化データＡ５０のサイズを削減でき、したがって符号化ビットストリームのサイズを削減することができる。このため、符号化ビットストリームが有線または無線の通信によって伝送される場合、符号化データＡ５０の削減は、通信量を削減でき、伝送の即時性に役立つ。また、第１対象画像が小さくなるのに合わせて、第２対象画像も小さくなるので、合成システムでの演算負荷を削減できる。このため、画像合成の高速化に役立つ。これらに鑑みると、画像合成の即時性が向上する。

【0230】

＜切り取り範囲決定処理＞
実施の形態６に係るシステムの構成例を説明する前に、第１基礎画像から第１対象画像として切り取る範囲について説明する。

【0231】

上記のように、第１基礎画像の一部分を第１対象画像として切り取れば、供給システムから出力する符号化データのサイズを小さくできる。このため、基本的には、第１基礎画像のうちでＲＯＩを含む任意の範囲を、第１対象画像として設定可能である。そして、データサイズを大きく削減するためには、第１対象画像はできるだけ小さい方が好ましい。

【0232】

その一方で、第１対象画像と第２対象画像とはウエーブレット変換後に合成されるので、ウエーブレット係数データにおいても（換言すれば、ウエーブレット平面上においても）ＲＯＩの範囲が歪まないように、切り取り範囲を決定する必要がある。

【0233】

図３６〜図３９に、切り取り範囲を説明するための図を示す。図３６には、図８の第１基礎画像６０を例にして、ＲＯＩ６０ａを含む矩形の最小範囲８１を示している。最小範囲８１は矩形に設定しているので、最小範囲８１の左上端座標（ＡＸ１，ＡＹ１）および右下端座標（ＢＸ１，ＢＹ１）によって、最小範囲８１の位置および範囲を特定可能である。図３６等では、第１基礎画像６０の左上端を座標系の原点Ｏ（０，０）に採り、第１基礎画像６０の水平方向および垂直方向に直交する２つの軸を採っている。

【0234】

図３７には、第１対象画像として切り取る範囲８３を示している。切り取り範囲８３は、最小範囲８１を含み且つ最小範囲８１よりも大きい。切り取り範囲８３について、左上端座標を（ＡＸ３，ＡＹ３）とし、右下端座標を（ＢＸ３，ＢＹ３）とする。

【0235】

図３８および図３９は、最小範囲８１および切り取り範囲８３を、第１基礎画像に対応する基礎マスク７０に示した図である。

【0236】

図４０に、切り取り範囲８３の決定処理のフローチャートを示す。図４０のフローＳ５００によれば、ステップＳ５０１において最小範囲特定処理が行われ、ステップＳ５０２において追跡処理が行われ、ステップＳ５０３において必要範囲特定処理が行われる。

【0237】

＜最小範囲特定処理＞
最小範囲特定処理のステップＳ５０１では、切り取り前の原画像である第１基礎画像６０において、ＲＯＩ６０ａを含む矩形の最小範囲８１を特定する。最小範囲８１の特定は、第１基礎画像６０を対象とした原マスク、すなわち基礎マスク７０に基づいて行われる。

【0238】

例えば、基礎マスク７０の各行を上から順に選択して行き、選択した行が、ＲＯＩ対応部分７０ａに属する画素を有するか否かを判別する。ＲＯＩ対応部分７０ａに属する画素を有すると最初に判別された行の位置が、ＡＹ１に当たる。同様に、基礎マスク７０の各行を下から順に選択して行くことによって、ＢＹ１を求めることができる。さらに、基礎マスク７０の各列を左から順に選択して行くことによってＡＸ１を求めることができ、基礎マスク７０の各列を右から順に選択して行くことによってＢＸ１を求めることができる。

【0239】

＜追跡処理＞
ウエーブレット平面上においてＲＯＩの範囲が歪まないようにするためには、最小範囲８１の全域に対してウエーブレット変換を実行可能であることが必要である。ウエーブレット変換では、注目画素のデータだけでなく、その両側の画素のデータも利用する。このため、最小範囲８１の外縁付近の画素に対してウエーブレット変換を行う場合、最小範囲８１よりも外側の画素のデータが必要になる。かかる理由により、切り取り範囲８３は最小範囲８１よりも大きくなるのである。

【0240】

最小範囲８１よりも外側に必要な画素の範囲の求め方は、例えば特許文献８を参照することができる。最小範囲８１よりも外側に必要な画素の範囲は、ウエーブレット変換の分割フィルタのタップ数に依存する。

【0241】

例えば、分解側のローパスフィルタが５タップであり分解側のハイパスフィルタが３タップである５×３フィルタの場合、図４１に示すように、ローパスフィルタのｎ番目の出力を得るためには、入力側において｛２ｎ−２｝番目から｛２ｎ＋２｝番目の５画素分のデータが必要である。また、図４２に示すように、ハイパスフィルタのｎ番目の出力を得るためには、入力側において２ｎ番目から｛２ｎ＋２｝番目の３画素分のデータが必要である。

【0242】

また、分解側のローパスフィルタが９タップであり分解側のハイパスフィルタが７タップであるDaubechies９×７フィルタの場合、図４３に示すように、ローパスフィルタのｎ番目の出力を得るためには、入力側において｛２ｎ−４｝番目から｛２ｎ＋４｝番目の９画素分のデータが必要である。また、図４４に示すように、ハイパスフィルタのｎ番目の出力を得るためには、入力側において｛２ｎ−２｝番目から｛２ｎ＋４｝番目の７画素分のデータが必要である。

【0243】

さらに、最小範囲８１よりも外側に必要な画素の範囲は、ウエーブレット変換の分解レベルにも依存する。なぜならば、ウエーブレット平面において最上位帯域成分（すなわち最も分解された帯域成分）については、分割フィルタによる処理が、分解レベルの回数だけ繰り返されるからである。

【0244】

これらの点に鑑み、追跡処理のステップＳ５０２では、最終的なウエーブレット平面の最上位帯域成分において、最小範囲８１に対応する範囲を追跡最小範囲として特定する。

【0245】

ここで、ウエーブレット変換は供給システムのウエーブレット変換部１０３０（図３等参照）において行われる。また、供給システム側におけるこの初期の分解レベルよりも、合成制御データＣ５０によって指定された第１の分解レベルの方が大きい場合、合成システムの分解レベル変換部１２５０（図１７、図２７等参照）においてもウエーブレット変換が行われる。かかる点に鑑みると、初期の分解レベルと第１の分解レベルとのうちで高い方の分解レベルのウエーブレット平面を、上記の最終的なウエーブレット平面として想定することによって、ＲＯＩの範囲が歪むのをより確実に回避できる。なお、初期の分解レベルと第１の分解レベルとのうちで高い方の分解レベルを、最高分解レベルと呼ぶことにする。

【0246】

図４５に、追跡最小範囲を説明するための図を示す。図４５では、分解レベル３のウエーブレット平面６３のうちで最上位帯域成分ＬＬ３，ＨＬ３，ＬＨ３，ＨＨ３を拡大して図示している。また、図４５は、最上位帯域成分ＬＬ３，ＨＬ３，ＬＨ３，ＨＨ３のうちで最低域の帯域成分ＬＬ３において、最小範囲８１に対応する追跡最小範囲８２を特定する場合を示している。なお、ウエーブレット平面の原点Ｏ（０，０）は、原画像（すなわち第１基礎画像６０）の原点Ｏに対応する。ウエーブレット平面６３上の追跡最小範囲８２について、左上端座標を（ＡＸ２，ＡＹ２）とし、右下端座標を（ＢＸ２，ＢＹ２）とする。

【0247】

図４６および図４７に、ウエーブレット変換に５×３フィルタが使用される場合において、追跡最小範囲８２を求めるためのフローチャートを示す。なお、図４６は左上端座標（ＡＸ２，ＡＹ２）の求め方を示し、図４７は右下端座標（ＢＸ２，ＢＹ２）の求め方を示している。

【0248】

図４６の処理フローＳ５１０によれば、ステップＳ５１１においてパラメータｑに最小範囲８１の左上端座標（ＡＸ１，ＡＹ１）が設定される。ここでは、まず、ｑ＝ＡＸ１が設定されるとする。

【0249】

ステップＳ５１２においてｑが偶数と判別された場合、ステップＳ５１３においてパラメータｐ＝ｑ／２に設定される。これに対し、ステップＳ５１２においてｑが奇数と判別された場合、ステップＳ５１４においてｐ＝（ｑ−１）／２に設定される。

【0250】

そして、ステップＳ５１５において現在の分解レベルが、最高分解レベルに達していないと判別された場合、ステップＳ５１６においてｐの現在値をｑの新たな値に設定する（ｑ＝ｐ）。その後、ステップＳ５１７において分解レベルを上げ、ステップＳ５１２に戻る。

【0251】

これに対し、ステップＳ５１５において現在の分解レベルが最高分解レベルに達したと判別された場合、ステップＳ５１８においてその時点のｐの値を追跡最小範囲８２のＡＸ２に設定する。

【0252】

ステップＳ５１１においてｑ＝ＡＹ１に設定することによって、ステップＳ５１８において追跡最小範囲８２のＡＹ２が求められる。

【0253】

図４７の処理フローＳ５２０によれば、最小範囲８１のＢＸ１から追跡最小範囲８２のＢＸ２が求められ、最小範囲８１のＢＹ１から追跡最小範囲８２のＢＹ２が求められる。処理フローＳ５２０は、ステップＳ５２４での演算内容を除いて、基本的には図４６の処理フローＳ５１０と同様である。すなわち、ステップＳ５２２においてｑが奇数と判別された場合、ステップＳ５２４においてｐ＝（ｑ＋１）／２に設定される。

【0254】

処理フローＳ５１０，Ｓ５２０に鑑みると、ウエーブレット変換に５×３フィルタが使用される場合の追跡処理は次のようにも表現できる。

【0255】

ＡＸ１が偶数ならばＡＸ１／２を新たなＡＸ１に設定し、ＡＸ１が奇数ならば｛ＡＸ１−１｝／２を新たなＡＸ１に設定するという処理（第１再帰処理と呼ぶことにする）を、最高分解レベルの値によって指定された指定回数行い、最終的に得られたＡＸ１をＡＸ２に設定する。

【0256】

ＡＹ１が偶数ならばＡＹ１／２を新たなＡＹ１に設定し、ＡＹ１が奇数ならば｛ＡＹ１−１｝／２を新たなＡＹ１に設定するという処理（第２再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＡＹ１をＡＹ２に設定する。

【0257】

ＢＸ１が偶数ならばＢＸ１／２を新たなＢＸ１に設定し、ＢＸ１が奇数ならば｛ＢＸ１＋１｝／２を新たなＢＸ１に設定するという処理（第３再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＢＸ１をＢＸ２に設定する。

【0258】

ＢＹ１が偶数ならばＢＹ１／２を新たなＢＹ１に設定し、ＢＹ１が奇数ならば｛ＢＹ１＋１｝／２を新たなＢＹ１に設定するという処理（第４再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＢＹ１をＢＹ２に設定する。

【0259】

図４８および図４９に、ウエーブレット変換にDaubechies９×７フィルタが使用される場合において、追跡最小範囲８２を求めるためのフローチャートを示す。なお、図４８は左上端座標（ＡＸ２，ＡＹ２）の求め方を示し、図４９は右下端座標（ＢＸ２，ＢＹ２）の求め方を示している。

【0260】

図４８の処理フローＳ５３０によれば、最小範囲８１のＡＸ１から追跡最小範囲８２のＡＸ２が求められ、最小範囲８１のＡＹ１から追跡最小範囲８２のＡＹ２が求められる。処理フローＳ５３０は、ステップＳ５３３，Ｓ５３４での演算内容を除いて、基本的には図４６の処理フローＳ５１０と同様である。すなわち、ステップＳ５３２においてｑが偶数と判別された場合、ステップＳ５３３においてｐ＝ｑ／２−１に設定される。これに対し、ステップＳ５３２においてｑが奇数と判別された場合、ステップＳ５３４においてｐ＝（ｑ−３）／２に設定される。

【0261】

図４９の処理フローＳ５４０によれば、最小範囲８１のＢＸ１から追跡最小範囲８２のＢＸ２が求められ、最小範囲８１のＢＹ１から追跡最小範囲８２のＢＹ２が求められる。処理フローＳ５４０は、ステップＳ５４３，Ｓ５４４での演算内容を除いて、基本的には図４６の処理フローＳ５１０と同様である。すなわち、ステップＳ５４２においてｑが偶数と判別された場合、ステップＳ５４３においてｐ＝（ｑ＋２）／２に設定される。これに対し、ステップＳ５４２においてｑが奇数と判別された場合、ステップＳ５４４においてｐ＝（ｑ＋３）／２に設定される。

【0262】

処理フローＳ５３０，Ｓ５４０に鑑みると、ウエーブレット変換にDaubechies９×７フィルタが使用される場合の追跡処理は次のようにも表現できる。

【0263】

ＡＸ１が偶数ならば｛ＡＸ１／２−１｝を新たなＡＸ１に設定し、ＡＸ１が奇数ならば｛ＡＸ１−３｝／２を新たなＡＸ１に設定するという処理（第９再帰処理と呼ぶことにする）を、最高分解レベルの値によって指定された指定回数行い、最終的に得られたＡＸ１をＡＸ２に設定する。

【0264】

ＡＹ１が偶数ならば｛ＡＹ１／２−１｝を新たなＡＹ１に設定し、ＡＹ１が奇数ならば｛ＡＹ１−３｝／２を新たなＡＹ１に設定するという処理（第１０再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＡＹ１をＡＹ２に設定する。

【0265】

ＢＸ１が偶数ならば｛ＢＸ１＋２｝／２を新たなＢＸ１に設定し、ＢＸ１が奇数ならば｛ＢＸ１＋３｝／２を新たなＢＸ１に設定するという処理（第１１再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＢＸ１をＢＸ２に設定する。

【0266】

ＢＹ１が偶数ならば｛ＢＹ１＋２｝／２を新たなＢＹ１に設定し、ＢＹ１が奇数ならば｛ＢＹ１＋３｝／２を新たなＢＹ１に設定するという処理（第１２再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＢＹ１をＢＹ２に設定する。

【0267】

なお、ステップＳ５１３，Ｓ５１４，Ｓ５２３，Ｓ５２４，Ｓ５３３，Ｓ５３４，Ｓ５４３，Ｓ５４４での演算内容は、フィルタのタップ数に応じて規定されている。また、演算のしやすさに鑑みて、偶数単位への桁上げを行っている。

【0268】

＜必要範囲特定処理＞
図４０に戻り、必要範囲特定処理のステップＳ５０３では、追跡最小範囲８２内のウエーブレット係数を算出するために必要なデータが、切り取り前の第１基礎画像６０のどの範囲に存在するのかを特定する。特定された必要範囲が切り取り範囲８３になる。

【0269】

図５０に、ウエーブレット変換に５×３フィルタが使用される場合において、追跡最小範囲８２から切り取り範囲８３を求めるためのフローチャートを示す。

【0270】

図５０の処理フローＳ５５０によれば、ステップＳ５５１においてパラメータｒに追跡最小範囲８２のＡＸ２，ＡＹ２，ＢＸ２，ＢＹ２が設定される。ここでは、まず、ｒ＝ＡＸ２が設定されるとする。

【0271】

ステップＳ５５２においてｒがＢＸ２またはＢＹ２ではないと判別された場合（換言すれば、ｒが追跡最小範囲８２の左上端座標であると判別された場合）、ステップＳ５５３においてパラメータｓ＝２ｒ−２に設定される。これに対し、ステップＳ５５２においてｒがＢＸ２またはＢＹ２であると判別された場合（換言すれば、ｒが追跡最小範囲８２の右下端座標であると判別された場合）、ステップＳ５５４においてｓ＝２ｒ＋２に設定される。

【0272】

そして、ステップＳ５５５において現在の分解レベルが０に達していないと判別された場合、ステップＳ５５６においてｓの現在値をｒの新たな値に設定する（ｒ＝ｓ）。その後、ステップＳ５５７において分解レベルを下げ、ステップＳ５５２に戻る。

【0273】

これに対し、ステップＳ５５５において現在の分解レベルが０に達したと判別された場合、ステップＳ５５８においてその時点のｓの値を切り取り範囲８３のＡＸ３に設定する。

【0274】

ステップＳ５５１においてｒ＝ＡＹ２，ＢＸ２，ＢＹ２に設定することによって、ステップＳ５５８において切り取り範囲８３のＡＹ３，ＢＸ３，ＢＹ３が求められる。

【0275】

処理フローＳ５５０に鑑みると、ウエーブレット変換に５×３フィルタが使用される場合の必要範囲特定処理は次のようにも表現できる。

【0276】

｛ＡＸ２×２−２｝を新たなＡＸ２に設定するという処理（第５再帰処理と呼ぶことにする）を、最高分解レベルの値によって指定された指定回数行い、最終的に得られたＡＸ２をＡＸ３に設定する。

【0277】

｛ＡＹ２×２−２｝を新たなＡＹ２に設定するという処理（第６再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＡＹ２をＡＹ３に設定する。

【0278】

｛ＢＸ２×２＋２｝を新たなＢＸ２に設定するという処理（第７再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＢＸ２をＢＸ３に設定する。

【0279】

｛ＢＹ２×２＋２｝を新たなＢＹ２に設定するという処理（第８再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＢＹ２をＢＹ３に設定する。

【0280】

図５１に、ウエーブレット変換にDaubechies９×７フィルタが使用される場合において、追跡最小範囲８２から切り取り範囲８３を求めるためのフローチャートを示す。

【0281】

図５１の処理フローＳ５６０は、ステップＳ５６３，Ｓ５６４での演算内容を除いて、基本的には図５０の処理フローＳ５５０と同様である。すなわち、ステップＳ５６２においてｒがＢＸ２またはＢＹ２ではないと判別された場合、ステップＳ５６３においてｓ＝２ｒ−４に設定される。これに対し、ステップＳ５６２においてｒがＢＸ２またはＢＹ２であると判別された場合、ステップＳ５６４においてｓ＝２ｒ＋４に設定される。

【0282】

処理フローＳ５６０に鑑みると、ウエーブレット変換にDaubechies９×７フィルタが使用される場合の必要範囲特定処理は次のようにも表現できる。

【0283】

｛ＡＸ２×２−４｝を新たなＡＸ２に設定するという処理（第１３再帰処理と呼ぶことにする）を、最高分解レベルの値によって指定された指定回数行い、最終的に得られたＡＸ２をＡＸ３に設定する。

【0284】

｛ＡＹ２×２−４｝を新たなＡＹ２に設定するという処理（第１４再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＡＹ２をＡＹ３に設定する。

【0285】

｛ＢＸ２×２＋４｝を新たなＢＸ２に設定するという処理（第１５再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＢＸ２をＢＸ３に設定する。

【0286】

｛ＢＹ２×２＋４｝を新たなＢＹ２に設定するという処理（第１６再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＢＹ２をＢＹ３に設定する。

【0287】

＜供給システム１１Ｆ＞
図５２に、実施の形態６に係る供給システム１１Ｆの構成例を示す。供給システム１１Ｆは、実施の形態１に係る供給システム１１に代えて、画像処理システム１，１０等に適用可能である。供給システム１１Ｆでは、マスク生成部１０５０に代えてマスク生成部１０５０Ｆが設けられ、第１画像切り取り部１０８０が追加されている。供給システム１１Ｆのその他の構成は、実施の形態１に係る供給システム１１と同様である。

【0288】

図５３に、マスク生成部１０５０Ｆの構成例を示す。図５３に示すように、マスク生成部１０５０Ｆは、既述の基礎マスク生成部１０５１およびマスク展開部１０５２と、切り取り範囲決定部１０５３と、マスク切り取り部１０５４とを含んでいる。

【0289】

切り取り範囲決定部１０５３は、切り取り範囲８３を決定する。具体的には、切り取り範囲決定部１０５３は、切り取り範囲決定処理Ｓ５００（図４０参照）を、基礎マスクデータＢ１０と、合成制御データＣ５０によって指定された第１の分解レベルと、ウエーブレット変換部１０３０における初期の分解レベル（初期設定データＨ５０によって与えられる）に基づいて行う。そして、切り取り範囲決定部１０５３は、切り取り範囲８３を特定するためのデータである切り取り範囲特定データＦ５０を生成する。切り取り範囲特定データＦ５０は、具体的には、切り取り範囲８３の左上端座標（ＡＸ３，ＡＹ３）および右下端座標（ＢＸ３，ＢＹ３）のデータである。

【0290】

マスク切り取り部１０５４は、切り取り範囲特定データＦ５０に基づいて、基礎マスクデータＢ１０のうちで切り取り範囲８３（図３９参照）内のデータを、展開マスクのデータＢ２１用に（換言すれば、展開マスクのための原マスクのデータＢ２０として）切り取る。切り取られたマスクは、マスク展開部１０５２において、初期設定データＨ５０によって指定された初期の分解レベルまで展開される。すなわち、原マスクデータＢ２０から展開マスクデータＢ２１が生成される。

【0291】

図５２に戻り、マスク生成部１０５０Ｆで生成されたマスクデータＢ２１は、実施の形態１と同様に量子化部１０４０に供給される。切り取り範囲特定データＦ５０は、ビットストリーム生成部１０７０に供給され、合成制御データＣ５０と共に符号化ビットストリームＡｂｓに埋め込まれる。また、切り取り範囲特定データＦ５０は、第１画像切り取り部１０８０に供給される。

【0292】

第１画像切り取り部１０８０は、切り取り範囲特定データＦ５０に基づいて、第１基礎画像データＡ１０のうちで切り取り範囲８３内のデータを切り取る（図３７参照）。切り取ったデータは、第１対象画像データＡ２０として、前処理部１０２０に供給される。

【0293】

＜合成システム２１Ｆ＞
図５４に、実施の形態６に係る合成システム２１Ｆの構成例を示す。合成システム２１Ｆは、実施の形態１に係る合成システム２１に代えて、画像処理システム１，２０等に適用可能である。合成システム２１Ｆでは、第２画像切り取り部１３１０および埋め込み部１３２０が追加されている。合成システム２１Ｆのその他の構成は、実施の形態１に係る合成システム２１と同様である。

【0294】

第２画像切り取り部１３１０は、第２基礎画像データＤ１０と、切り取り範囲特定データＦ５０と、合成位置指定データＧ５０とを取得する。切り取り範囲特定データＦ５０は、ビットストリーム解析部１２１０において符号化ビットストリームＡｂｓから抽出され、第２画像切り取り部１３１０に供給される。

【0295】

合成位置指定データＧ５０は、第２基礎画像において第１対象画像中のＲＯＩを合成する位置を指定するデータである。合成位置指定データＧ５０は、例えば、後述のように合成画像データＥ８０の埋め込み位置のデータとして理解できる。より具体的には、合成画像データＥ８０の埋め込み位置は、合成画像データＥ８０の埋め込み範囲の左上端部の位置、あるいは、当該埋め込み範囲の中心位置、等によって指定可能である。合成位置指定データＧ５０は、合成システム２１Ｆの側に設けられた操作部４２（図２参照）に、合成システム２１Ｆのユーザが入力することによって、第２画像切り取り部１３１０に供給される。

【0296】

第２画像切り取り部１３１０は、合成位置指定データＧ５０に基づいて、第２基礎画像中に合成先範囲を設定する。合成先範囲は、第１対象画像と同じ形状および大きさの範囲であり、このため第１対象画像と合同である。あるいは、合成先範囲は、第１対象画像に対する相似比が１の相似形範囲である、と表現してもよい。合成先範囲は、ここでは切り取り範囲特定データＦ５０によって特定されるものとする。但し、切り取り範囲特定データＦ５０に代えて、符号化データＡ５０から第１対象画像の同じ形状および大きさを特定するようにしてもよい。第２画像切り取り部１３１０は、第２基礎画像データＤ１０のうちで合成先範囲内のデータを切り取る。切り取ったデータは、第２対象画像データＤ５０として、ウエーブレット変換部１２６０に供給される。

【0297】

埋め込み部１３２０は、逆ウエーブレット変換部１２８０によって生成され後処理部１２９０で処理された合成画像データＥ８０を、第２基礎画像データＤ１０中の合成先範囲に埋め込む。合成画像データＥ８０がはめ込まれた第２基礎画像データＤ１０が、合成システム２１Ｆの出力データである合成画像データＥ１００として出力される。

【0298】

＜動作＞
図５５および図５６に、供給システム１１Ｆの動作を説明するフローチャートを示す。なお、図５５および図５６のフローは結合子Ｃ２によって繋がっている。図５５および図５６の動作フローＳ１０００Ｆは基本的には実施の形態１に係る動作フローＳ１０００（図１６参照）と同様であるが、次の点が異なる。動作フローＳ１０００Ｆでは、マスク生成ステップＳ１２００に代えて、マスク生成ステップＳ１２００Ｆが設けられている。また、第１基礎画像切り取りステップＳ１１０３が追加されている。また、データ埋め込みステップＳ１００５に代えて、データ埋め込みステップＳ１００５Ｆが設けられている。

【0299】

マスク生成ステップＳ１２００Ｆによれば、基礎マスク生成ステップＳ１２０１において、基礎マスク生成部１０５１が基礎マスクデータＢ１０を生成する。次に、切り取り範囲決定ステップＳ１２０３において、切り取り範囲決定部１０５３が切り取り範囲８３を決定する。そして、マスク切り取りステップＳ１２０４において、マスク切り取り部１０５４が、基礎マスクデータＢ１０から、展開マスク用の原マスクデータＢ２０を生成する。次に、マスク展開ステップＳ１２０２において、マスク展開部１０５２が、原マスクデータＢ２０に対してマスク展開処理を行い、展開マスクデータＢ２１を生成する。

【0300】

第１基礎画像切り取りステップＳ１１０３では、第１画像切り取り部１０８０が、ステップＳ１２０３で生成された切り取り範囲特定データＦ５０に基づいて、第１基礎画像データＡ１０から第１対象画像データＡ２０を切り取る。このため、ステップＳ１１０３は、ステップＳ１２０３の後に実行される。ステップＳ１１０３の後、前処理ステップＳ１１０１が実行される。

【0301】

データ埋め込みステップＳ１００５Ｆでは、ビットストリーム生成部１０７０が、符号化ビットストリームＡｂｓに、合成制御データＣ５０と切り取り範囲特定データＦ５０を埋め込む。

【0302】

図５７および図５８に、合成システム２１Ｆの動作を説明するフローチャートを示す。なお、図５７および図５８のフローは結合子Ｃ３によって繋がっている。図５７および図５８の動作フローＳ２０００Ｆは基本的には実施の形態１に係る動作フローＳ２０００（図２５および図２６参照）と同様であるが、次の点が異なる。動作フローＳ２０００Ｆでは、データ抽出ステップＳ２１０２（図２５参照）に代えて、データ抽出ステップＳ２１０２Ｆが設けられている。また、第２基礎画像切り取りステップＳ２２０３と画像埋め込みステップＳ２３０５が追加されている。

【0303】

データ抽出ステップＳ２１０２Ｆでは、ビットストリーム解析部１２１０が符号化ビットストリームＡｂｓから、符号化データＡ５０と合成制御データＣ５０と切り取り範囲特定データＦ５０とを抽出する。

【0304】

第２基礎画像切り取りステップＳ２２０３では、第２画像切り取り部１３１０が、ステップＳ２１０２Ｆで抽出された切り取り範囲特定データＦ５０に基づいて、第２基礎画像データＤ１０から第２対象画像データＤ５０を切り取る。このため、ステップＳ２２０３は、ステップＳ２１０２Ｆの後に実行される。ステップＳ２２０３の後、ウエーブレット変換ステップＳ２２０２が実行される。

【0305】

画像埋め込みステップＳ２３０５は、後処理ステップＳ２３０３の後に実行される。当該ステップＳ２３０５では、埋め込み部１３２０が、後処理後の合成画像データＥ８０を、第２基礎画像データＤ１０中の合成先範囲に埋め込む。当該ステップＳ２３０５の後に、出力ステップＳ２３０４が実行される。

【0306】

＜効果＞
実施の形態６によれば、実施の形態１等と同様の効果を得ることができる。

【0307】

特に実施の形態６によれば、供給システム１１Ｆは、第１基礎画像から第１対象画像を切り取って出力する。このため、符号化データＡ５０のサイズを削減でき、したがって符号化ビットストリームＡｂｓのサイズを削減することができる。したがって、符号化ビットストリームＡｂｓが有線または無線の通信によって伝送される場合、通信量を削減でき、伝送の即時性に役立つ。また、第１対象画像および第２対象画像のサイズが小さくなるので、合成システム２１Ｆでの演算負荷を削減できる。このため、画像合成の高速化に役立つ。これらに鑑みると、画像合成の即時性が向上する。

【0308】

なお、実施の形態６は実施の形態２等と組み合わせ可能であり、それにより実施の形態２等と同様の効果を得ることができる。

【0309】

＜追跡処理についての考察＞
ここで、上記ではウエーブレット変換が各分解レベルのウエーブレット平面に含まれる最低域の帯域成分を再帰的に分解する方式を採用していることに鑑み、追跡処理の対象にする最上位帯域成分を、最高分解レベルのウエーブレット平面において最低域の帯域成分ＬＬ３とした。これに対し、例えばウエーブレット変換がウエーブレット平面の最高域の帯域成分を再帰的に分解する方式を採用している場合、最高分解レベルのウエーブレット平面において最高域の帯域成分が追跡処理の対象になる。

【0310】

また、上記では、４つの最上位帯域成分ＬＬ３，ＨＬ３，ＬＨ３，ＨＨ３のうちで最低域の帯域成分ＬＬ３のみを、追跡処理の対象にした。すなわち、ローパスフィルタの出力のみを、追跡処理の対象にした。追跡処理に関してハイパスフィルタが不要である理由を、以下に説明する。

【0311】

＜図４６のステップＳ５１４について（５×３フィルタ）＞
図４６のステップＳ５１２においてパラメータｑ、すなわち最小範囲８１の左端座標ＡＸ１または上端座標ＡＹ１が奇数と判別された場合、図１４を参照して低域成分の左側（上側に相当）の出力をｐとすると、
ｑ＝２ｎ＋１ …（式１）
ｐ＝ｎ …（式２）
これを解くと、ｐ＝（ｑ−１）／２となる（式３）。これはステップＳ５１４に係る上記式になる。

【0312】

ここで図１４を参照して高域成分（すなわちハイパスフィルタ側）についても考える。高域成分の左側（上側に相当）の出力をｐとすると、
ｑ＝２ｎ＋１ …（式４）
ｐ＝ｎ−１ …（式５）
これを解くとｐ＝（ｑ−３）／２となる（式６）。

【0313】

＜図４６のステップＳ５１３について（５×３フィルタ）＞
図４６のステップＳ５１２においてパラメータｑ、すなわち最小範囲８１の左端座標ＡＸ１または上端座標ＡＹ１が偶数と判別された場合、図１４を参照して低域成分の左側（上側に相当）の出力をｐとすると、
ｑ＝２ｎ …（式７）
ｐ＝ｎ …（式８）
これを解くとｐ＝ｑ／２となる（式９）。これはステップＳ５１３に係る式になる。

【0314】

ここで図１４を参照して高域成分（すなわちハイパスフィルタ側）についても考える。高域成分の左側（上側に相当）の出力をｐとすると、
ｑ＝２ｎ …（式１０）
ｐ＝ｎ−１ …（式１１）
これを解くとｐ＝ｑ／２−１となる（式１２）。

【0315】

ここで、高域成分を再帰的に入力しない場合のＭａｌｌａｔ型を考えると、高域側の出力は入力側にはならない。よって、高域成分は最後の分解レベルだけを考えればよいことになる。低域成分を再帰的に入力する場合は、入力側のみを考えればよい。

【0316】

＜図５０のステップＳ５５３について（５×３フィルタ）＞
図４１の５タップのローパスフィルタに、低域成分が入力されたとする。また、図４１においてｎ＝ｐとする。図５０のステップＳ５５１において追跡最小範囲８２の左端座標ＡＸ２または上端座標ＡＹ２が入力された場合（ステップＳ５５２参照）、
ｒ＝ｐ …（式１３）
ｓ＝２ｐ−２ …（式１４）
これを解くとｓ＝２ｒ−２となる（式１５）。これはステップＳ５５３に係る式になる。

【0317】

図４２の３タップのハイパスフィルタに、高域成分が入力されたとする。また、図４２においてｎ＝ｐとする。図５０のステップＳ５５１において追跡最小範囲８２の左端座標ＡＸ２または上端座標ＡＹ２が入力された場合（ステップＳ５５２参照）、
ｒ＝ｐ …（式１６）
ｓ＝２ｐ …（式１７）
これを解くとｓ＝２ｒとなる（式１８）。

【0318】

ここで、上記のように、図４６のステップＳ５１２においてパラメータｑ、すなわち最小範囲８１の左端座標ＡＸ１または上端座標ＡＹ１が奇数と判別された場合、低域成分については式１３，３から、ｒ＝（ｑ−１）／２が得られる（式１９）。また、式１９，１５からｓ＝ｑ−３が得られる（式２０）。これに対し、高域成分については式１６，６から、ｒ＝（ｑ−３）／２が得られる（式２１）。また、式２１，１８からｓ＝ｑ−３が得られる（式２２）。式２０，２２を見れば分かるように、低域成分と高域成分とのいずれについても同様の結果になる。

【0319】

また、上記のように、図４６のステップＳ５１２においてパラメータｑ、すなわち最小範囲８１の左端座標ＡＸ１または上端座標ＡＹ１が偶数と判別された場合、低域成分については式１３，９から、ｒ＝ｑ／２が得られる（式２３）。また、式２３，１５からｓ＝ｑ−２が得られる（式２４）。これに対し、高域成分については式１６，１２から、ｒ＝ｑ／２−１が得られる（式２５）。また、式２５，１８からｓ＝ｑ−２が得られる（式２６）。式２４，２６を見れば分かるように、低域成分と高域成分とのいずれについても同様の結果になる。

【0320】

このように高域成分を再帰的に入力しない場合のＭａｌｌａｔ型を考えると、低域成分と高域成分のいずれを追跡しても同じ結果になる。このため、ウエーブレット変換に５×３フィルタが使用される場合の図４６、図４７および図５０の処理フローＳ５１０，Ｓ５２０，Ｓ５５０では低域成分だけに着目している。

【0321】

＜図４８のステップＳ５３４について（９×７フィルタ）＞
図４８のステップＳ５３２においてパラメータｑ、すなわち最小範囲８１の左端座標ＡＸ１または上端座標ＡＹ１が奇数と判別された場合、図１５を参照して低域成分の左側（上側に相当）の出力をｐとすると、
ｑ＝２ｎ＋１ …（式２７）
ｐ＝ｎ−１ …（式２８）
これを解くと、ｐ＝（ｑ−３）／２となる（式２９）。これはステップＳ５３４に係る上記式になる。

【0322】

ここで図１５を参照して高域成分（すなわちハイパスフィルタ側）についても考える。高域成分の左側（上側に相当）の出力をｐとすると、
ｑ＝２ｎ＋１ …（式３０）
ｐ＝ｎ−２ …（式３１）
これを解くとｐ＝（ｑ−５）／２となる（式３２）。

【0323】

＜図４８のステップＳ５３３について（９×７フィルタ）＞
図４８のステップＳ５３２においてパラメータｑ、すなわち最小範囲８１の左端座標ＡＸ１または上端座標ＡＹ１が偶数と判別された場合、図１５を参照して低域成分の左側（上側に相当）の出力をｐとすると、
ｑ＝２ｎ …（式３３）
ｐ＝ｎ−１ …（式３４）
これを解くとｐ＝ｑ／２−１となる（式３５）。これはステップＳ５３３に係る式になる。

【0324】

ここで図１５を参照して高域成分（すなわちハイパスフィルタ側）についても考える。高域成分の左側（上側に相当）の出力をｐとすると、
ｑ＝２ｎ …（式３６）
ｐ＝ｎ−２ …（式３７）
これを解くとｐ＝ｑ／２−２となる（式３８）。

【0325】

ここで、高域成分を再帰的に入力しない場合のＭａｌｌａｔ型を考えると、高域側の出力は入力側にはならない。よって、高域成分は最後の分解レベルだけを考えればよいことになる。低域成分を再帰的に入力する場合は、入力側のみを考えればよい。

【0326】

＜図５１のステップＳ５６３について（９×７フィルタ）＞
図４３の９タップのローパスフィルタに、低域成分が入力されたとする。また、図４３においてｎ＝ｐとする。図５１のステップＳ５６１において追跡最小範囲８２の左端座標ＡＸ２または上端座標ＡＹ２が入力された場合（ステップＳ５６２参照）、
ｒ＝ｐ …（式３９）
ｓ＝２ｐ−４ …（式４０）
これを解くとｓ＝２ｒ−４となる（式４１）。これはステップＳ５６３に係る式になる。

【0327】

図４４の７タップのハイパスフィルタに、高域成分が入力されたとする。また、図４４においてｎ＝ｐとする。図５１のステップＳ５６１において追跡最小範囲８２の左端座標ＡＸ２または上端座標ＡＹ２が入力された場合（ステップＳ５６２参照）、
ｒ＝ｐ …（式４２）
ｓ＝２ｐ−２ …（式４３）
これを解くとｓ＝２ｒ−２となる（式４４）。

【0328】

ここで、上記のように、図４８のステップＳ５３２においてパラメータｑ、すなわち最小範囲８１の左端座標ＡＸ１または上端座標ＡＹ１が奇数と判別された場合、低域成分については式３９，２９から、ｒ＝（ｑ−３）／２が得られる（式４５）。また、式４５，４１からｓ＝ｑ−７が得られる（式４６）。これに対し、高域成分については式４２，３２から、ｒ＝（ｑ−５）／２が得られる（式４７）。また、式４７，４４からｓ＝ｑ−７が得られる（式４８）。式４６，４８を見れば分かるように、低域成分と高域成分とのいずれについても同様の結果になる。

【0329】

また、上記のように、図４８のステップＳ５３２においてパラメータｑ、すなわち最小範囲８１の左端座標ＡＸ１または上端座標ＡＹ１が偶数と判別された場合、低域成分については式３９，３５から、ｒ＝ｑ／２が得られる（式４９）。また、式４９，４１からｓ＝ｑ−６が得られる（式５０）。これに対し、高域成分については式４２，３８から、ｒ＝ｑ／２−２が得られる（式５１）。また、式５１，４４からｓ＝ｑ−６が得られる（式５２）。式５０，５２を見れば分かるように、低域成分と高域成分とのいずれについても同様の結果になる。

【0330】

このように高域成分を再帰的に入力しない場合のＭａｌｌａｔ型を考えると、低域成分と高域成分のいずれを追跡しても同じ結果になる。このため、ウエーブレット変換に９×７フィルタが使用される場合の図４８、図４９および図５１の処理フローＳ５３０，Ｓ５４０，Ｓ５６０では低域成分だけに着目している。

【0331】

＜実施の形態６の変形例＞
実施の形態６では第２基礎画像は第１対象画像および第２対象画像よりも大きいものとした。しかし、第２基礎画像自体が第１対象画像および第２対象画像と同じ大きさであってもよい。この場合、第２画像切り取り部１３１０を削除してもよい。但し、第２画像切り取り部１３１０が設けられていることによって、様々な大きさの第２基礎画像に対応でき、利便性が向上する。

【0332】

＜実施の形態７＞
上記のように、分解レベル１において最低域の帯域成分ＬＬ１は、原画像に対する縮小比が１／２の画像（換言すれば、画像サイズが１／４の画像）を提供可能である。最低域の帯域成分ＬＬを再帰的に分解する方式によれば、分解レベル２の帯域成分ＬＬ２は、分解前の帯域成分ＬＬ１によって提供される画像に対する縮小比が１／２の画像を提供可能であり、したがって原画像に対する縮小比が１／４（＝１／２^２）の画像を提供可能である。

【0333】

一般化するならば、分解レベルｍにおける最低域の帯域成分ＬＬｍは、原画像に対する縮小比が１／２^ｍの画像を提供可能である（図５９参照）。なお、上記のようにウエーブレット変換が行われていない状態の原画像を分解レベル０に対応させることによって、ｍは０以上の整数である。

【0334】

逆に考えると、原画像を１／２^ｍで縮小した場合の画像サイズは、原画像を分解レベルｍまで分解した場合の最低域の帯域成分ＬＬｍによって提供される画像サイズと等しい。このため、１／２^ｍの縮小画像のサイズを、分解レベルｍ相当の画像サイズと表現してもよい。なお、画像サイズについての当該表現は、縮小画像を、原画像と同じ画像サイズを有する他の画像と比較する場合にも使える。

【0335】

上記の点に鑑みると、図５９の概念図に示すように、逆ウエーブレット変換の回数によって、合成画像の画像サイズを制御可能である。図６０に、実施の形態７に係る逆ウエーブレット変換部１２８０Ｇを説明するブロック図を示す。逆ウエーブレット変換部１２８０Ｇは、合成システム２１等の逆ウエーブレット変換部１２８０（図１７等参照）に代えて、実施の形態１〜５に適用可能である。

【0336】

逆ウエーブレット変換部１２８０Ｇは、逆ウエーブレット変換処理ステップ（図２６のステップＳ２３０２を参照）において、合成済み係数データＥ６１に対して、分解レベルが所定の終了レベルになるまで逆ウエーブレット変換を行い、逆ウエーブレット変換後のデータのうちで最低域の帯域成分ＬＬを合成画像データＥ８０に設定する。逆ウエーブレット変換の終了レベル、換言すれば合成画像の画像サイズは、画像サイズ制御データＣ６０によって、逆ウエーブレット変換部１２８０Ｇに指示される。ここでは、画像サイズ制御データＣ６０は、合成システムに、当該合成システムのユーザによって入力されるものとする。但し、画像サイズ制御データＣ６０は、合成制御データＣ５０と同様に、供給システムから供給されてもよい（図３および図２９参照）。

【0337】

画像サイズ制御データＣ６０は、例えば、逆ウエーブレット変換の終了レベルを直接的に示す数値である。あるいは、画像サイズ制御データＣ６０は、逆ウエーブレット変換の終了レベルを導出可能なデータであってもよい。逆ウエーブレット変換の終了レベルを導出可能なデータの例として、逆ウエーブレット変換の回数を示す数値、原画像サイズに対する縮小比を示す数値、等が挙げられる。

【0338】

逆ウエーブレット変換の終了レベルは、分解レベル０以上、且つ、合成済み係数データＥ６１の分解レベル（すなわち、合成制御データＣ５０によって指定された分解レベル）以下の範囲で設定可能である。逆ウエーブレット変換の終了レベルが分解レベル０に設定された場合、実施の形態１〜５と同様に、原画像サイズの合成画像を得ることができる。換言すれば、実施の形態１〜５は逆ウエーブレット変換の終了レベルが０に固定された例であり、本実施の形態７は逆ウエーブレット変換の終了レベルを可変にした例である。他方、逆ウエーブレット変換の終了レベルが合成済み係数データＥ６１の分解レベルと同じレベルに設定された場合、逆ウエーブレット変換は行われず、合成済み係数データＥ６１中の最低域の帯域成分ＬＬが合成画像データＥ８０として抽出される。

【0339】

実施の形態７によれば、合成画像の画像サイズを制御することができ、原画像と同じサイズだけでなく原画像よりも小さいサイズの合成画像を得ることができる。

【0340】

＜実施の形態８＞
実施の形態８では、実施の形態７とは異なる手法によって、合成画像の画像サイズを制御する例を説明する。図６１に、実施の形態８に係る画像合成の概念図を示す。図６１によれば、第１基礎画像はそのまま第１対象画像として利用され、第１対象画像から第１ウエーブレット係数データが生成される。ここでは、第１ウエーブレット係数データの分解レベルが３である例を挙げる。

【0341】

他方、第２基礎画像の全体が縮小され、その縮小画像が第２対象画像として利用される。図６１の例では、第２基礎画像は第１基礎画像と同じ大きさおよび形状を有し（換言すれば、第２基礎画像は第１基礎画像と合同である）、第２基礎画像の全体が１／２の縮小比で以て縮小される。すなわち、第２基礎画像および第１基礎画像に対する第２対象画像の縮小比は、１／２である。換言すれば、第２対象画像の画像サイズは、第２基礎画像および第１基礎画像に対して１／４である。

【0342】

そして、第２対象画像から第２ウエーブレット係数データが生成される。ここでは、第２ウエーブレット係数データの分解レベルは２であり、第１ウエーブレット係数データの分解レベル（＝３）よりも１レベル低い。

【0343】

次に、第１ウエーブレット係数データと第２ウエーブレット係数データとが、実施の形態１と同様に合成される。但し、第１対象画像と第２対象画像との画像サイズが異なるので、画像サイズの小さい第２対象画像の範囲に合わせて、換言すれば第２ウエーブレット係数データの範囲に合わせて、合成が行われる。すなわち、第１ウエーブレット係数データの一部（第２ウエーブレット係数データに対応する部分）と、第２ウエーブレット係数データの全体とが、係数合成処理に利用される。図６１の例では、第１ウエーブレット係数データの上記一部とは、第１ウエーブレット係数データのうちで、最も分解された帯域成分（すなわち最上位帯域成分）ＬＬ３，ＨＬ３，ＬＨ３，ＨＨ３と、最上位帯域成分よりも１レベル低い帯域ＨＬ２，ＬＨ２，ＨＨ２である。

【0344】

このような合成によって、第２ウエーブレット係数データと同じ分解レベル（ここでは分解レベル２）の合成済み係数データが生成される。そして、合成済み係数データに対して、分解レベル０まで逆ウエーブレット変換を行うことによって、合成画像データが生成される。この合成画像データによれば、第２対象画像と同じ大きさおよび形状を有する合成画像、換言すれば第２基礎画像および第１基礎画像に対する縮小比が１／２の合成画像が提供される。

【0345】

図６２に、第２基礎画像に対する第２対象画像の縮小比が１／４（＝１／２^２）である例を示す。図６２においても、第１基礎画像はそのまま第１対象画像として利用され、第１対象画像から分解レベル３の第１ウエーブレット係数データが生成される。他方、第２対象画像から分解レベル１の第２ウエーブレット係数データが生成される。この場合、第２ウエーブレット係数データの分解レベル（＝１）は、第１ウエーブレット係数データの分解レベル（＝３）よりも２レベル低い。

【0346】

次に、第１ウエーブレット係数データ（図６２の例では、第１ウエーブレット係数データのうちで最上位帯域成分ＬＬ３，ＨＬ３，ＬＨ３，ＨＨ３）と、第２ウエーブレット係数データとが合成される。

【0347】

このような合成によって、第２ウエーブレット係数データと同じ分解レベル（ここでは分解レベル１）の合成済み係数データが生成される。そして、合成済み係数データに対して、分解レベル０まで逆ウエーブレット変換を行うことによって、合成画像データが生成される。この合成画像データによれば、合成画像は、第２対象画像と同じ画像サイズで以て、換言すれば第２基礎画像および第１基礎画像に対して縮小比１／４（＝１／２^２）で以て提供される。

【0348】

図６３に、第１ウエーブレット係数の分解レベルが４であり、第２基礎画像に対する第２対象画像の縮小比が１／２である例を示す。この場合、第２ウエーブレット係数データの分解レベルは３であり、第１ウエーブレット係数データの分解レベル（＝４）よりも１レベル低い。図６３の場合、第１ウエーブレット係数データのうちで、最上位帯域成分ＬＬ４，ＨＬ４，ＬＨ４，ＨＨ４から、最上位帯域成分よりも２レベル低い帯域ＨＬ２，ＬＨ２，ＨＨ２までの範囲のデータが、合成に利用される。そして、合成画像は、第２対象画像と同じ画像サイズで以て、換言すれば第２基礎画像および第１基礎画像に対して縮小比１／２で以て提供される。

【0349】

図６１〜図６３から分かるように、第２対象画像の画像サイズを制御することによって、合成画像の画像サイズを制御できる。図６１〜図６３の例から、次の知見が得られる。

【0350】

第２対象画像は第１対象画像と相似形を成し、第１対象画像に対する第２対象画像の相似比は１未満である。なお、１未満の相似比を縮小比と呼んでもよい。第２ウエーブレット係数データの分解レベルは、第１ウエーブレット係数データの分解レベルと上記相似比とに応じて決まる。すなわち、第１ウエーブレット係数データの分解レベル（第１の分解レベル）をＰ１とし、第２ウエーブレット係数データの分解レベル（第２の分解レベル）をＰ２とし、第１対象画像に対する第２対象画像の相似比を１／２^Ｐ３とした場合、Ｐ２＝Ｐ１−Ｐ３が成り立つ。ここではＰ１，Ｐ２，Ｐ３は自然数である。

【0351】

また、上記のように、係数合成処理は第２ウエーブレット係数データの範囲に合わせて行われる。このため、第１ウエーブレット係数データについては、最上位帯域成分から数えて所定のレベル数の範囲の帯域成分データが利用され、当該所定のレベル数は第２ウエーブレット係数データの分解レベルを表す数値で与えられる。

【0352】

係数合成処理は第２ウエーブレット係数データの範囲に合わせて行われるので、合成済み係数データの分解レベルは第２ウエーブレット係数データと同じになる。合成済み係数データに対して、分解レベル０まで逆ウエーブレット変換を行うことによって、第２対象画像と同じ画像サイズの合成画像が得られる。

【0353】

図６４に、上記知見を実施の形態１に応用した例について、合成システム２１Ｈの構成例を示す。合成システム２１Ｈは、実施の形態１に係る合成システム２１（図１７参照）に画像縮小部１３３０が追加された構成を有する。画像縮小部１３３０は、第２基礎画像データＤ１０を取得し、第２基礎画像を縮小することによって、第１対象画像と相似形を成す第２対象画像を生成する。生成された第２対象画像データＤ５０は、ウエーブレット変換部１２６０に供給される。

【0354】

例えば、第２基礎画像を１／２^Ｐ３に縮小する場合、画像縮小部１３３０は、第２基礎画像データＤ１０に対するウエーブレット変換を、最低域の帯域成分ＬＬを再帰的に分解する方式によって、分解レベルＰ３まで行う。そして、画像縮小部１３３０は、分解レベルＰ３における最低域の帯域成分ＬＬを、第２対象画像データＤ５０として抽出する。

【0355】

あるいは、平均フィルタを利用した一般的な画像縮小処理によって第２対象画像を生成するように、画像縮小部１３３０を構成してもよい。その場合、１／２の縮小をＰ３回行ってもよいし、一度に１／２^Ｐ３の縮小を行ってもよい。

【0356】

第２対象画像の画像サイズ、換言すれば合成画像の画像サイズは、画像サイズ制御データＣ７０によって、画像縮小部１３３０に指示される。ここでは、画像サイズ制御データＣ７０は、合成システム２１Ｈに、当該合成システム２１Ｈのユーザによって入力されるものとする。但し、画像サイズ制御データＣ７０は、合成制御データＣ５０と同様に、供給システムから供給されてもよい（図３および図２９参照）。

【0357】

ここでは説明を分かりやすくするために、画像サイズ制御データＣ７０が、第１対象画像に対する第２対象画像の相似比を上記のように１／２^Ｐ３と表現した場合におけるＰ３の値とする。あるいは、画像サイズ制御データＣ７０は、Ｐ３の値を導出可能なデータであってもよい。Ｐ３の値を導出可能なデータの例として、上記相似比（１／２^Ｐ３）の値等が挙げられる。

【0358】

画像サイズ制御データＣ７０は、ウエーブレット変換部１２６０にも供給される。ウエーブレット変換部１２６０は、既述の合成制御データＣ５０から、第１ウエーブレット係数データＡ６１に対して指定される第１の分解レベル、すなわち上記Ｐ１の値を取得可能である。これにより、ウエーブレット変換部１２６０は、合成制御データＣ５０および画像サイズ制御データＣ７０から得られたＰ１およびＰ３に基づいて、第２ウエーブレット係数データＤ６１の分解レベルＰ２（＝Ｐ１−Ｐ３）を算出する。そして、ウエーブレット変換部１２６０は、得られたＰ２が示す分解レベル（第２の分解レベル）まで、第２対象画像データＤ５０に対してウエーブレット変換を行う。

【0359】

画像サイズ制御データＣ７０は、図６４の例では合成実行部１２７０にも供給され、第１ウエーブレット係数データＡ６１のうちで係数合成処理に供する範囲を特定するために利用される。第１ウエーブレット係数データＡ６１のうちの当該範囲は、上記のように第２ウエーブレット係数データの分解レベルＰ２を表す数値に応じて決まる。図６４の例では、合成実行部１２７０がＰ２の値を算出するものとする。但し、合成実行部１２７０がウエーブレット変換部１２６０から、算出済みのＰ２の値を取得してもよい。その場合、合成実行部１２７０に対する画像サイズ制御データＣ７０の供給を省略可能である。

【0360】

画像サイズ制御データＣ７０は、逆ウエーブレット変換部１２８０にも供給され、逆ウエーブレット変換の回数を設定するために、換言すれば合成済み係数データＥ６１の分解レベルを知るために利用される。

【0361】

図６５に、合成システム２１Ｈの動作を説明するフローチャートを示す。図６５の動作フローＳ２０００Ｈでは、実施の形態１に係る動作フローＳ２０００（図２５参照）に、ステップＳ２２０４が追加されている。当該ステップＳ２２０４では、画像縮小部１３３０が第２基礎画像を縮小することによって第２対象画像を生成する。

【0362】

実施の形態８によれば、合成画像の画像サイズを制御することができ、原画像よりも小さいサイズの合成画像を得ることができる。なお、実施の形態８は実施の形態２等と組み合わせ可能であり、それにより実施の形態２等と同様の効果を得ることができる。

【0363】

ここで、上記では第２基礎画像の全体を縮小することによって、第２対象画像を生成するものとした。但し、第２対象画像が第１対象画像と相似形であるという要件を満たす限り、第２基礎画像の一部分を縮小することによって、第２対象画像を生成することも可能である。同様に、縮小前の第２基礎画像は、第１対象画像と相似形でなくてもよい。第２基礎画像が第１対象画像と相似形ではなく且つ第２基礎画像の全体を縮小する場合、第２基礎画像の横方向および縦方向の縮小比を異ならせればよい。

【0364】

また、上記では、第１対象画像に対する第２対象画像の相似比を１未満とした。すなわち、当該相似比を１／２^Ｐ３と表現した場合のＰ３が自然数であるとした。しかし、相似比が１（このときＰ３は０）の場合、すなわち第２対象画像が第１対象画像と合同である場合にも、合成システム２１Ｈを利用可能である。

【0365】

例えば、第２基礎画像が第１基礎画像および第１対象画像と合同であり、且つ、画像サイズ制御データＣ７０によって与えられるＰ３の値が０である場合、画像縮小部１３３０は、第２基礎画像を縮小せずに、ウエーブレット変換部１２６０に供給すればよい。この場合、実施の形態１〜５と同様に、原画像サイズの合成画像を得ることができる。換言すれば、実施の形態１〜５は、第１対象画像に対する第２対象画像の相似比を１である場合に特化した例である。これに対し、実施の形態８によれば、当該相似比が１以下において対応可能である。

【0366】

＜実施の形態９＞
実施の形態８では、第２基礎画像の少なくとも一部分を縮小することによって、第１対象画像と相似形を成す第２対象画像を生成する（図６１〜図６３参照）。これに対し、実施の形態９では、図６６に示すように、第２基礎画像の一部分を、第１対象画像と相似形を成す第２対象画像として切り取る例を説明する。すなわち、第２対象画像が第１対象画像と相似形であるという要件を満たす限り、切り取りによって第２対象画像を生成することも可能である。

【0367】

図６７に、実施の形態９に係る合成システム２１Ｉの構成例を示す。合成システム２１Ｉは、実施の形態８に係る合成システム２１Ｈ（図６４参照）において画像縮小部１３３０の代わりに第２画像切り取り部１３４０を設けた構成を有する。合成システム２１Ｉのその他の構成は、実施の形態８に係る合成システム２１Ｈと同様である。

【0368】

第２画像切り取り部１３４０は、第２基礎画像データＤ１０を取得し、第２基礎画像中に、上記相似比（すなわち第１対象画像に対する第２対象画像の相似比）で以て第１対象画像と相似形を成す相似形範囲を設定し、第２基礎画像データＤ１０のうちで当該相似形範囲内のデータを第２対象画像データＤ５０として切り取る。生成された第２対象画像データＤ５０は、ウエーブレット変換部１２６０に供給される。

【0369】

第２対象画像の画像サイズ、換言すれば合成画像の画像サイズは、画像サイズ制御データＣ７０によって、第２画像切り取り部１３４０に指示される。また、実施の形態９では、画像サイズ制御データＣ７０が、第２対象画像として切り取る上記相似形範囲の位置を指示するデータも含むものとする。

【0370】

図６８に、合成システム２１Ｉの動作を説明するフローチャートを示す。図６８の動作フローＳ２０００Ｉでは、実施の形態８に係る動作フローＳ２０００Ｈ（図６５参照）と比較すれば分かるように、画像縮小ステップＳ２２０４の代わりに画像切り取りステップＳ２２０５が設けられている。ステップＳ２２０５では、第２画像切り取り部１３４０が、上記のように第２基礎画像データＤ１０から第２対象画像データＤ５０を切り取る。動作フローＳ２０００Ｉのその他のステップは図６５の動作フローＳ２０００Ｈと同様である。

【0371】

実施の形態９によれば、合成画像の画像サイズを制御することができ、原画像よりも小さいサイズの合成画像を得ることができる。なお、実施の形態９は実施の形態２等と組み合わせ可能であり、それにより実施の形態２等と同様の効果を得ることができる。

【0372】

なお、実施の形態８と同様に、相似比が１未満である場合だけでなく１以下の場合にも、合成システム２１Ｉを利用可能である。例えば、第２基礎画像が第１基礎画像および第１対象画像と合同であり、且つ、画像サイズ制御データＣ７０によって与えられるＰ３の値が０である場合、第２画像切り取り部１３４０は第２基礎画像を、切り取りを行わずに、ウエーブレット変換部１２６０に供給すればよい。この場合、実施の形態１〜５と同様に、原画像サイズの合成画像を得ることができる。

【0373】

＜実施の形態１０＞
図６９に、実施の形態１０に係る供給システム１１Ｊの構成例を示す。供給システム１１Ｊは、実施の形態１に係る供給システム１１に代えて、画像処理システム１，１０等に適用可能である。供給システム１１Ｊは、実施の形態１に係る供給システム１１に合成部１１００が追加された構成を有している。

【0374】

合成部１１００は、合成システム２１（図１７参照）からビットストリーム解析部１２１０および復号化部１２２０を削除した構成を有しており、合成システム２１と同様に動作して合成画像データＥ１００を生成する。具体的には、合成部１１００は、量子化部１０４０によって生成された量子化ウエーブレット係数データＡ２２に基づいてマスク再現処理および逆量子化処理を行い、マスク再現処理および逆量子化処理の結果に基づいて分解レベル変換処理を行う。また、合成部１１００は、第２対象画像データに対してウエーブレット変換処理を行う。なお、第２対象画像データの源となる第２基礎画像データＤ１０は例えば、合成システム２１から取得可能である。そして、合成部１１００は、分解レベル変換処理およびウエーブレット変換処理の結果に基づいて、合成実行処理と逆ウエーブレット変換処理とを行う。逆ウエーブレット変換処理後のデータに対して、必要に応じて、後処理が行われる。これにより、合成画像データＥ１００が生成される。

【0375】

合成部１１００によって生成された合成画像データＥ１００に基づいて、供給システム１１Ｊの側の表示部３１（図２参照）に表示動作を行わせることによって、第１対象画像中のＲＯＩと第２対象画像との合成画像を表示できる。このため、例えば、合成システム２１に符号化ビットストリームＡｂｓを供給する前に（換言すれば、符号化データＡ５０を供給する前に）、供給システム１１Ｊの側において合成画像を確認することができる。特に、合成制御データＣ５０に応じた合成具合を確認することができる。

【0376】

ここで、合成部１１００の追加により、供給側装置３０（図２参照）を単独で、画像合成機能を有する画像処理装置として応用可能である。そのような画像処理装置３０Ｊについてハードウェア構成例を、図７０に示す。

【0377】

図７０によれば、画像処理装置３０Ｊは、画像処理システム９０と、表示部３１と、操作部３２とを含んでいる。なお、供給側装置３０に倣って、画像処理装置３０ＪはＩ／Ｆ３３と画像入力部３４との一方または両方を含んでもよい。画像処理システム９０は画像合成システム９１を含み、画像合成システム９１は、合成部１１００と、データ準備部１１１０と、半導体メモリ（以下、メモリとも呼ぶ）１１２０とを含んでいる。合成部１１００と、データ準備部１１１０と、メモリ１１２０とは、バス（有線の通信媒体の一例である）を介して繋がっている。画像処理システム９０は、単一の半導体集積回路、換言すれば単一のチップとして形成可能である。画像処理システム９０は、画像合成システム９１だけで構成されてもよいし、他の処理システムをさらに含んでもよい。

【0378】

データ準備部１１１０は、供給システム１１（図３参照）から符号化部１０６０およびビットストリーム生成部１０７０を削除した構成を有しており、第１基礎画像データＡ１０を取得する。これにより、データ準備部１１１０は、供給システム１１と同様に動作して、第１対象画像用の量子化ウエーブレット係数データＡ２２を生成する。

【0379】

メモリ１１２０は、画像合成システム９１に供給された第１基礎画像データＡ１０および第２基礎画像データＤ１０を格納する。これにより、データ準備部１１１０は、メモリ１１２０から第１基礎画像データＡ１０を読み出し、第１基礎画像データＡ１０に基づいて量子化ウエーブレット係数データＡ２２を生成する。また、合成部１１００は、メモリ１１２０から第２基礎画像データＤ１０を読み出して、画像合成に利用する。

【0380】

合成制御データＣ５０は、操作部３２にユーザが入力することによって、合成部１１００に供給される。また、合成部１１００が生成した合成画像データＥ１００に基づいて、表示部３１が合成画像を表示する。

【0381】

なお、合成部１１００に、実施の形態２等に係る合成システムの構成を応用することも可能である。

【0382】

ここで、メモリ１１２０とデータ準備部１１１０とで形成される構成を、量子化ウエーブレット係数データＡ２２を供給するデータ供給システムとして捉えることが可能である。この場合、さらに合成部１１００を画像合成システムとして捉えると、図７０の構成は、データ供給システムと画像合成システムとがバス（上記のように有線の通信媒体の一例である）を介して繋がっている、と捉えることが可能である。

【0383】

また、図７０の例に鑑みると、例えばデータ供給システム１１と合成システム２１との組み合わせを、単一の半導体集積回路で形成することも可能である。その場合、データ供給システム１１と合成システム２１とがバスを介して繋げられる。単一の半導体集積回路内においてデータ供給システム１１と合成システム２１とは、図２とは異なり外部Ｉ／Ｆ３３，４３を介さずに通信するが、媒体５０に相当する上記バスを介して通信する。また、単一の半導体集積回路内でデータを転送する場合（特に画像合成機能のための一連の処理においてデータを転送する場合）、転送データの符号化および復号化を省略することが可能である。具体的には、符号化部１０６０とビットストリーム生成部１０７０とビットストリーム解析部１２１０と復号化部１２２０とを利用しなくてもよい。あるいは、符号化部１０６０とビットストリーム生成部１０７０とビットストリーム解析部１２１０と復号化部１２２０とを省略することも可能である。同様にして、データ供給システム１１Ｂ等と合成システム２１Ｂ等とによる他の組み合わせについても、単一の半導体集積回路で形成することが可能である。

【0384】

＜付記＞
本発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、本発明の範囲から外れることなく想定され得るものと解される。

【符号の説明】

【0385】

１ 画像処理システム（全体システム）
１０，２０，９０ 画像処理システム
１１，１１Ｃ，１１Ｄ，１１Ｆ，１１Ｊ データ供給システム
２１，２１Ｃ〜２１Ｆ，２１Ｈ，２１Ｉ，９１ 画像合成システム
３２，４２ 操作部（操作媒体）
５０ 媒体
６０ 第１基礎画像
６０ａ ＲＯＩ
６０ｂ 非ＲＯＩ
６１〜６３ ウエーブレット平面
７０ 基礎マスク
７１〜７３ 展開マスク
７０ａ，７１ａ，７２ａ，７３ａ，７０ａＳ ＲＯＩ対応部分
７０ｂ，７１ｂ，７２ｂ，７３ｂ，７０ｂＳ 非ＲＯＩ対応部分
８１ 最小範囲
８２ 追跡最小範囲
８３ 切り取り範囲
１０３０ ウエーブレット変換部
１０４０ 量子化部
１０５０，１０５０Ｆ マスク生成部
１０５１ 基礎マスク生成部
１０５２ マスク展開部
１０５３ 切り取り範囲決定部
１０５４ マスク切り取り部
１０６０ 符号化部
１０７０ ビットストリーム生成部
１０８０ 第１画像切り取り部
１１００ 合成部
１１１０ データ準備部
１１２０ 半導体メモリ
１２１０ ビットストリーム解析部
１２２０ 復号化部
１２３０ マスク再現部
１２４０ 逆量子化部
１２５０，１２５０Ｂ 分解レベル変換部
１２５１ 分解レベル減少部
１２５２ 逆ウエーブレット変換部
１２５３ マスク復元部
１２５６ 分解レベル増加部
１２５７ ウエーブレット変換部
１２５８ マスク展開部
１２６０ ウエーブレット変換部
１２７０ 合成実行部
１２８０，１２８０Ｇ 逆ウエーブレット変換部
１３００ セレクタ
１３１０，１３４０ 第２画像切り取り部
１３２０ 埋め込み部
１３３０ 画像縮小部
Ａ１０ 第１基礎画像データ
Ａ２０ 第１対象画像データ
Ａ２１，Ａ６１ 第１ウエーブレット係数データ
Ａ２２ 量子化ウエーブレット係数データ
Ａｂｓ 符号化ビットストリーム
Ｂ１０ 基礎マスクデータ
Ｂ２１，Ｂ６１ マスクデータ（展開マスクデータ）
Ｃ５０ 合成制御データ
Ｃ６０，Ｃ７０ 画像サイズ制御データ
Ｄ５０ 第２対象画像データ
Ｄ６１ 第２ウエーブレット係数データ
Ｅ６１ 合成済み係数データ
Ｅ８０，Ｅ１００ 合成画像データ
Ｆ５０ 切り取り範囲特定データ
Ｇ５０ 合成位置指定データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】

【図44】

【図45】

【図46】

【図47】

【図48】

【図49】

【図50】

【図51】

【図52】

【図53】

【図54】

【図55】

【図56】

【図57】

【図58】

【図59】

【図60】

【図61】

【図62】

【図63】

【図64】

【図65】

【図66】

【図67】

【図68】

【図69】

【図70】