特開 2016-192054 画像処理システムおよび画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2016-192054(P2016-192054A)

(43)【公開日】2016年11月10日

(54)【発明の名称】画像処理システムおよび画像処理方法

(51)【国際特許分類】

   G06T 5/50 20060101AFI20161014BHJP

   H04N 19/63 20140101ALI20161014BHJP

   H04N 19/20 20140101ALI20161014BHJP

   H04N 1/387 20060101ALI20161014BHJP

   H04N 5/275 20060101ALI20161014BHJP

【ＦＩ】

   G06T5/50

   H04N19/63

   H04N19/20

   H04N1/387

   H04N5/275

【審査請求】未請求

【請求項の数】80

【出願形態】ＯＬ

【全頁数】108

(21)【出願番号】特願2015-71365(P2015-71365)

(22)【出願日】2015年3月31日

(71)【出願人】

【識別番号】591128453

【氏名又は名称】株式会社メガチップス

(74)【代理人】

【識別番号】100088672

【弁理士】

【氏名又は名称】吉竹 英俊

(74)【代理人】

【識別番号】100088845

【弁理士】

【氏名又は名称】有田 貴弘

(72)【発明者】

【氏名】水野 雄介

【テーマコード（参考）】

5B057

5C023

5C076

5C159

【Ｆターム（参考）】

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC01

5B057CD05

5B057CE06

5B057CE08

5B057CG01

5C023AA06

5C023AA16

5C023AA27

5C023AA28

5C023BA02

5C023BA11

5C023CA03

5C023CA08

5C023DA04

5C023EA10

5C076AA13

5C076BA06

5C159KK37

5C159MA41

5C159MB22

5C159PP01

5C159PP04

5C159PP14

5C159UA02

5C159UA05

5C159UA15

(57)【要約】

【課題】不十分なＲＯＩを利用しても、修復されたＲＯＩを有する合成画像を生成する。さらに合成具合等を調整する。
【解決手段】ウエーブレット変換部５１０は、画像データＡ６０，Ｄ６０に対して、合成制御データＣ５０によって指定された指定の分解レベルまでウエーブレット変換を行って、ウエーブレット係数データＡ６１，Ｄ６１を生成する。合成実行部５２０は、上記係数データＡ６１についてＲＯＩに関与するＲＯＩ係数と非ＲＯＩ係数とを、マスクデータＢ６０に基づいて判別し、上記係数データＡ６１中のＲＯＩ係数と上記係数データＤ６１中のウエーブレット係数とを合成することによって、合成済み係数データＥ６１を生成する。逆ウエーブレット変換部５３０は、上記係数データＥ６１に対して、分解レベルが０になるまで逆ウエーブレット変換を行って、合成画像データＥ８０を生成する。
【選択図】図１３

【特許請求の範囲】

【請求項1】

第１対象画像中のＲＯＩ（関心領域）と第２対象画像とを合成する合成部を含む画像合成システムを備え、
前記第２対象画像は前記第１対象画像と相似形を成し、前記第１対象画像に対する前記第２対象画像の相似比が１以下であり、
前記合成部は、
前記第１対象画像の源となる第１基礎画像のデータである第１基礎画像データと、
前記第１対象画像の範囲において前記ＲＯＩと非ＲＯＩとを判別するための対象マスクの源となる基礎マスクのデータである基礎マスクデータと、
前記第２対象画像の源となる第２基礎画像のデータである第２基礎画像データと、
合成具合を制御するための合成制御データと
を取得し、
前記合成部は、
前記第１対象画像のデータである第１対象画像データに対して、前記合成制御データによって指定された指定の分解レベルまでウエーブレット変換を行うことによって、第１ウエーブレット係数データを生成し、前記第２対象画像のデータである第２対象画像データに対して、前記指定の分解レベルおよび前記相似比に応じて決まる分解レベルまで前記ウエーブレット変換を行うことによって、第２ウエーブレット係数データを生成する、ウエーブレット変換部
を有し、
前記第１ウエーブレット係数データの前記指定の分解レベルをＰ１とし、前記第２ウエーブレット係数データの前記分解レベルをＰ２とし、前記相似比を１／２^Ｐ３とした場合、Ｐ２＝Ｐ１−Ｐ３であり、
前記合成部は、さらに、
前記第１ウエーブレット係数データについて前記ＲＯＩに関与するＲＯＩ係数と前記非ＲＯＩに関与する非ＲＯＩ係数とを、前記対象マスクのデータである対象マスクデータに基づいて判別する係数判別処理を行い、前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と前記第２ウエーブレット係数データ中のウエーブレット係数とを合成する係数合成処理を行い、それにより、画像サイズおよび分解レベルが前記第２ウエーブレット係数データと同じである合成済み係数データを生成する、合成実行部と、
前記合成済み係数データに対して、分解レベルが所定の終了レベルになるまで逆ウエーブレット変換を行うことによって、合成画像データを生成する、逆ウエーブレット変換部と
を有する、画像処理システム。

【請求項2】

請求項１に記載の画像処理システムであって、
前記第１基礎画像データと前記基礎マスクデータとを出力するデータ供給システムをさらに備える、画像処理システム。

【請求項3】

請求項１に記載の画像処理システムであって、
前記画像合成システムは、前記合成制御データを、前記第１基礎画像データおよび前記基礎マスクデータを供給する媒体と同じ媒体によって取得する、画像処理システム。

【請求項4】

請求項３に記載の画像処理システムであって、
前記第１基礎画像データと前記基礎マスクデータと前記合成制御データとを、無線または有線の通信媒体によって出力するデータ供給システムをさらに備える、画像処理システム。

【請求項5】

請求項１に記載の画像処理システムであって、
前記画像合成システムは、前記合成制御データを、前記第１基礎画像データおよび前記基礎マスクデータを供給する媒体とは異なる媒体によって取得する、画像処理システム。

【請求項6】

請求項５に記載の画像処理システムであって、
前記画像合成システムは、前記第１基礎画像データおよび前記基礎マスクデータを、無線もしくは有線の通信媒体または外部記憶媒体によって取得し、前記合成制御データを、前記画像合成システムの側に設けられた操作媒体によってユーザから取得する、画像処理システム。

【請求項7】

請求項５または６に記載の画像処理システムであって、
前記第１基礎画像データと前記基礎マスクデータとを、無線または有線の通信媒体によって出力するデータ供給システムをさらに備える、画像処理システム。

【請求項8】

請求項１〜７のうちのいずれか１つに記載の画像処理システムであって、
前記画像合成システムは、複数の合成制御データのうちの１つを選択的に前記合成部に供給するセレクタを含む、画像処理システム。

【請求項9】

請求項８に記載の画像処理システムであって、
前記複数の合成制御データは、
前記画像合成システムの側に設けられた操作媒体にユーザが入力することによって供給された第１合成制御データと、
前記操作媒体とは異なる媒体によって供給された第２合成制御データと
を含み、
前記セレクタは、前記第１合成制御データを優先的に選択する、
画像処理システム。

【請求項10】

請求項１〜９のうちのいずれか１つに記載の画像処理システムであって、
前記画像合成システムは、
前記第１基礎画像データの符号化ビットストリームである画像ビットストリームを取得し、前記画像ビットストリームを復号化することによって前記第１基礎画像データを取得する、画像デコーダと、
前記基礎マスクデータのビットストリームであるマスクビットストリームを取得し、前記画像ビットストリームの復号化から独立したアルゴリズムによって前記マスクビットストリームから前記基礎マスクデータを復元する、マスクデータ復元部と
をさらに含み、
前記画像合成システムは、前記画像ビットストリームと前記マスクビットストリームとを、別個のビットストリームによって取得する、
画像処理システム。

【請求項11】

請求項１０に記載の画像処理システムであって、
前記第１基礎画像データと前記基礎マスクデータとを出力するデータ供給システムをさらに備え、
前記データ供給システムは、
前記第１基礎画像データを符号化して前記画像ビットストリームを生成する画像エンコーダを有する、画像データ出力部と、
前記第１基礎画像データの符号化から独立したアルゴリズムで前記基礎マスクデータを生成するマスク生成部と、前記基礎マスクデータから前記マスクビットストリームを生成するマスクビットストリーム生成部とを有する、マスクデータ出力部と
を含み、
前記画像ビットストリームによって前記第１基礎画像データが前記データ供給システムから出力され、
前記マスクビットストリームによって前記基礎マスクデータが前記データ供給システムから出力され、
前記データ供給システムは、前記画像ビットストリームと前記マスクビットストリームとを、別個のビットストリームによって出力する、
画像処理システム。

【請求項12】

請求項１０に記載の画像処理システムであって、
前記合成制御データは、前記マスクビットストリームのうちで前記基礎マスクデータに影響しない領域に埋め込まれた状態で、前記画像合成システムに供給され、
前記マスクデータ復元部は、前記合成制御データを前記マスクビットストリームから抽出する、
画像処理システム。

【請求項13】

請求項１２に記載の画像処理システムであって、
前記第１基礎画像データと前記基礎マスクデータとを出力するデータ供給システムをさらに備え、
前記データ供給システムは、
前記第１基礎画像データを符号化して前記画像ビットストリームを生成する画像エンコーダを有する、画像データ出力部と、
前記第１基礎画像データの符号化から独立したアルゴリズムで前記基礎マスクデータを生成するマスク生成部と、前記基礎マスクデータから前記マスクビットストリームを生成するマスクビットストリーム生成部とを有する、マスクデータ出力部と
を含み、
前記マスクビットストリーム生成部は、前記マスクビットストリームの前記領域に前記合成制御データを埋め込み、
前記画像ビットストリームによって前記第１基礎画像データが前記データ供給システムから出力され、
前記マスクビットストリームによって前記基礎マスクデータと前記合成制御データとが前記データ供給システムから出力され、
前記データ供給システムは、前記画像ビットストリームと前記マスクビットストリームとを、別個のビットストリームによって出力する、
画像処理システム。

【請求項14】

請求項１〜９のうちのいずれか１つに記載の画像処理システムであって、
前記画像合成システムは、
前記第１基礎画像データの符号化ビットストリームである画像ビットストリームを取得し、前記画像ビットストリームを復号化することによって前記第１基礎画像データを取得する、画像デコーダと、
前記基礎マスクデータのビットストリームであるマスクビットストリームを取得し、前記画像ビットストリームの復号化から独立したアルゴリズムによって前記マスクビットストリームから前記基礎マスクデータを復元する、マスクデータ復元部と
をさらに含み、
前記マスクビットストリームは、前記画像ビットストリームのうちで前記第１基礎画像データに影響しない領域に埋め込まれた状態で、前記画像合成システムに供給され、
前記画像デコーダは、前記マスクビットストリームを前記画像ビットストリームから抽出して前記マスクデータ復元部に供給する、
画像処理システム。

【請求項15】

請求項１４に記載の画像処理システムであって、
前記第１基礎画像データと前記基礎マスクデータとを出力するデータ供給システムをさらに備え、
前記データ供給システムは、
前記第１基礎画像データを符号化して前記画像ビットストリームを生成する画像エンコーダを有する、画像データ出力部と、
前記第１基礎画像データの符号化から独立したアルゴリズムで前記基礎マスクデータを生成するマスク生成部と、前記基礎マスクデータから前記マスクビットストリームを生成するマスクビットストリーム生成部とを有する、マスクデータ出力部と
を含み、
前記画像ビットストリームによって前記第１基礎画像データが前記データ供給システムから出力され、
前記マスクビットストリームによって前記基礎マスクデータが前記データ供給システムから出力され、
前記画像エンコーダが、前記画像ビットストリームの前記領域に前記マスクビットストリームを埋め込み、それにより前記データ供給システムは、前記画像ビットストリームと前記マスクビットストリームとを単一のビットストリームによって出力する、
画像処理システム。

【請求項16】

請求項１４に記載の画像処理システムであって、
前記合成制御データは、前記画像ビットストリームの前記領域に埋め込まれた状態で、前記画像合成システムに供給され、
前記画像デコーダは、前記合成制御データを前記画像ビットストリームから抽出する、
画像処理システム。

【請求項17】

請求項１６に記載の画像処理システムであって、
前記第１基礎画像データと前記基礎マスクデータとを出力するデータ供給システムをさらに備え、
前記データ供給システムは、
前記第１基礎画像データを符号化して前記画像ビットストリームを生成する画像エンコーダを有する、画像データ出力部と、
前記第１基礎画像データの符号化から独立したアルゴリズムで前記基礎マスクデータを生成するマスク生成部と、前記基礎マスクデータから前記マスクビットストリームを生成するマスクビットストリーム生成部とを有する、マスクデータ出力部と
を含み、
前記画像ビットストリームによって前記第１基礎画像データが前記データ供給システムから出力され、
前記マスクビットストリームによって前記基礎マスクデータが前記データ供給システムから出力され、
前記画像エンコーダが、前記画像ビットストリームの前記領域に前記マスクビットストリームと前記合成制御データとを埋め込み、それにより前記データ供給システムは、前記画像ビットストリームと前記マスクビットストリームと前記合成制御データとを単一のビットストリームによって出力する、
画像処理システム。

【請求項18】

請求項１〜１７のうちのいずれか１つに記載の画像処理システムであって、
前記係数合成処理は、
前記第１ウエーブレット係数データ中の前記非ＲＯＩ係数を、前記第２ウエーブレット係数データ中の対応するウエーブレット係数で置換する、第１係数合成処理と、
前記第１ウエーブレット係数データ中の前記ＲＯＩ係数を、前記第２ウエーブレット係数データ中の対応する位置に埋め込む、第２係数合成処理と
のうちのいずれかである、
画像処理システム。

【請求項19】

請求項１〜１８のうちのいずれか１つに記載の画像処理システムであって、
前記基礎マスクは、前記ウエーブレット変換が行われていない状態の画像である原画像を対象にした原マスクであり、前記原マスクは、前記原画像中の各画素が前記ＲＯＩと前記非ＲＯＩのどちらに属するのかを示し且つ前記原画像中の前記ＲＯＩおよび前記非ＲＯＩに対応するＲＯＩ対応部分および非ＲＯＩ対応部分を有し、
前記合成実行部は、
前記基礎マスクに含まれる前記対象マスクの前記ＲＯＩ対応部分および前記非ＲＯＩを、前記第１ウエーブレット係数データに含まれる各帯域成分用に展開するマスク展開処理を行うことによって、前記第１ウエーブレット係数データ用の展開マスクを生成する、マスク展開部
を有し、
前記合成実行部は、前記展開マスクにおける前記ＲＯＩ対応部分と前記非ＲＯＩ対応部分との区別に基づいて、前記係数判別処理を行う、
画像処理システム。

【請求項20】

請求項１９に記載の画像処理システムであって、
前記第１基礎画像データと前記基礎マスクデータとを出力するデータ供給システムをさらに備え、
前記データ供給システムは、前記基礎画像の範囲について前記原マスクを生成し、前記原マスクのデータを前記基礎マスクデータとして出力する、
画像処理システム。

【請求項21】

請求項１〜１８のうちのいずれか１つに記載の画像処理システムであって、
前記基礎マスクは、前記第１ウエーブレット係数データ用の展開マスクであり、前記展開マスクは、前記ウエーブレット変換が行われていない状態の画像である原画像を対象にした原マスクを、前記第１ウエーブレット係数データに含まれる各帯域成分用に展開するマスク展開処理を行うことによって、生成されたものであり、
前記原マスクは、前記原画像中の各画素が前記ＲＯＩと前記非ＲＯＩのどちらに属するのかを示し且つ前記原画像中の前記ＲＯＩおよび前記非ＲＯＩに対応するＲＯＩ対応部分および非ＲＯＩ対応部分を有し、
前記合成実行部は、前記展開マスクに展開された前記ＲＯＩ対応部分と前記非ＲＯＩ対応部分との区別に基づいて、前記係数判別処理を行う、
画像処理システム。

【請求項22】

請求項２１に記載の画像処理システムであって、
前記第１基礎画像データと前記基礎マスクデータとを出力するデータ供給システムをさらに備え、
前記データ供給システムは、
前記基礎画像の範囲について前記原マスクを生成する、原マスク生成部と、
前記原マスクに対して前記マスク展開処理を行うことによって、前記展開マスクを生成する、マスク展開部と
を含み、
前記データ供給システムは、前記展開マスクのデータを前記基礎マスクデータとして出力する、
画像処理システム。

【請求項23】

請求項１〜２２のうちのいずれか１つに記載の画像処理システムであって、
前記合成部は、前記第１基礎画像の全範囲を前記第１対象画像として使用し、前記基礎マスクの全範囲を前記対象マスクとして使用する、画像処理システム。

【請求項24】

請求項２３に記載の画像処理システムであって、
前記第１対象画像データを前記第１基礎画像データとして出力し、前記第１対象画像の範囲について前記対象マスクを生成し前記対象マスクデータを前記基礎マスクデータとして出力する、データ供給システムをさらに備える、画像処理システム。

【請求項25】

請求項２３に記載の画像処理システムであって、
前記ＲＯＩを含む全体画像から前記第１対象画像を切り取り前記第１対象画像データを前記第１基礎画像データとして出力し、前記第１対象画像の範囲について前記対象マスクを生成し前記対象マスクデータを前記基礎マスクデータとして出力する、データ供給システムをさらに備える、画像処理システム。

【請求項26】

請求項２５に記載の画像処理システムであって、
前記データ供給システムは、
前記全体画像の範囲において前記ＲＯＩと前記非ＲＯＩとを判別するための全体マスクのデータである全体マスクデータを、前記全体画像のデータである全体画像データに基づいて生成する、全体マスク生成部と、
前記全体画像における前記第１対象画像の範囲である切り取り範囲を決定する切り取り範囲決定処理を前記全体マスクデータと前記合成制御データとに基づいて行い、前記切り取り範囲を特定するための切り取り範囲特定データを生成する、切り取り範囲決定部と、
前記切り取り範囲特定データに基づいて、前記全体マスクデータのうちで前記切り取り範囲内のデータを前記基礎マスクデータ用に切り取る、マスク切り取り部と、
前記切り取り範囲特定データに基づいて、前記全体画像データのうちで前記切り取り範囲内のデータを前記第１基礎画像データとして切り取る、第１画像切り取り部と
を含む、
画像処理システム。

【請求項27】

請求項１〜２２のうちのいずれか１つに記載の画像処理システムであって、
前記合成部は、前記第１基礎画像の一部分を前記第１対象画像として使用し、前記基礎マスクの全範囲を前記対象マスクとして使用し、
前記合成部は、前記第１基礎画像における前記第１対象画像の範囲である切り取り範囲を特定するための切り取り範囲特定データをさらに取得し、
前記合成部は、
前記切り取り範囲特定データに基づいて、前記第１基礎画像データのうちで前記切り取り範囲内のデータを前記第１対象画像データとして切り取る、第１画像切り取り部
をさらに有する、
画像処理システム。

【請求項28】

請求項２７に記載の画像処理システムであって、
前記第１対象画像を一部分に含む全体画像のデータである全体画像データを前記第１基礎画像データとして出力し、前記第１対象画像の範囲について前記対象マスクを生成し前記対象マスクデータを前記基礎マスクデータとして出力する、データ供給システムをさらに備え、
前記データ供給システムは、
前記全体画像の範囲において前記ＲＯＩと前記非ＲＯＩとを判別するための全体マスクのデータである全体マスクデータを、前記全体画像データに基づいて生成する、全体マスク生成部と、
前記全体画像における前記第１対象画像の範囲である前記切り取り範囲を決定する切り取り範囲決定処理を前記全体マスクデータと前記合成制御データとに基づいて行い、前記切り取り範囲特定データを生成する、切り取り範囲決定部と、
前記切り取り範囲特定データに基づいて、前記全体マスクデータのうちで前記切り取り範囲内のデータを前記基礎マスクデータ用に切り取る、マスク切り取り部と
を含み、
前記データ供給システムは、前記切り取り範囲特定データをさらに出力する、
画像処理システム。

【請求項29】

請求項１〜２２のうちのいずれか１つに記載の画像処理システムであって、
前記合成部は、前記第１基礎画像の一部分を前記第１対象画像として使用し、前記基礎マスクの一部分を前記対象マスクとして使用し、
前記合成部は、前記第１基礎画像における前記第１対象画像の範囲である切り取り範囲を特定するための切り取り範囲特定データをさらに取得し、
前記合成部は、
前記切り取り範囲特定データに基づいて、前記基礎マスクデータのうちで前記切り取り範囲内のデータを前記対象マスクデータ用に切り取る、マスク切り取り部と、
前記切り取り範囲特定データに基づいて、前記第１基礎画像データのうちで前記切り取り範囲内のデータを前記第１対象画像データとして切り取る、第１画像切り取り部と
をさらに有する、
画像処理システム。

【請求項30】

請求項２９に記載の画像処理システムであって、
前記第１対象画像を一部分に含む全体画像のデータである全体画像データを前記第１基礎画像データとして出力し、前記全体画像の範囲について前記基礎マスクデータを生成して出力する、データ供給システムをさらに備え、
前記データ供給システムは、
前記全体画像の範囲において前記ＲＯＩと前記非ＲＯＩとを判別するための全体マスクのデータである全体マスクデータを、前記全体画像データに基づいて生成する、全体マスク生成部と、
前記全体画像における前記第１対象画像の範囲である前記切り取り範囲を決定する切り取り範囲決定処理を前記全体マスクデータと前記合成制御データとに基づいて行い、前記切り取り範囲特定データを生成する、切り取り範囲決定部と
を含み、
前記データ供給システムは、前記切り取り範囲特定データをさらに出力する、
画像処理システム。

【請求項31】

請求項１〜２２のうちのいずれか１つに記載の画像処理システムであって、
前記合成部は、前記第１基礎画像の全範囲を前記第１対象画像として使用し、前記基礎マスクの一部分を前記対象マスクとして使用し、
前記合成部は、前記基礎マスクにおける前記対象マスクの範囲である切り取り範囲を特定するための切り取り範囲特定データをさらに取得し、
前記合成部は、
前記切り取り範囲特定データに基づいて、前記基礎マスクデータのうちで前記切り取り範囲内のデータを前記対象マスクデータ用に切り取る、マスク切り取り部
をさらに有する、
画像処理システム。

【請求項32】

請求項３１に記載の画像処理システムであって、
前記ＲＯＩを含む全体画像から前記第１対象画像を切り取り前記第１対象画像データを前記第１基礎画像データとして出力し、前記全体画像の範囲について前記基礎マスクデータを生成して出力する、データ供給システムをさらに備え、
前記データ供給システムは、
前記全体画像の範囲において前記ＲＯＩと前記非ＲＯＩとを判別するための全体マスクのデータである全体マスクデータを、前記全体画像のデータである全体画像データに基づいて生成する、全体マスク生成部と、
前記全体画像における前記第１対象画像の範囲である前記切り取り範囲を決定する切り取り範囲決定処理を前記全体マスクデータと前記合成制御データとに基づいて行い、前記切り取り範囲特定データを生成する、切り取り範囲決定部と
前記切り取り範囲特定データに基づいて、前記全体画像データのうちで前記切り取り範囲内のデータを前記第１基礎画像データとして切り取る、第１画像切り取り部と
を含み、
前記データ供給システムは、前記切り取り範囲特定データをさらに出力する、
画像処理システム。

【請求項33】

請求項１〜２２のうちのいずれか１つに記載の画像処理システムであって、
前記合成部は、前記第１基礎画像の一部分を前記第１対象画像として使用し、前記基礎マスクの一部分を前記対象マスクとして使用し、
前記合成部は、
前記第１基礎画像における前記第１対象画像の範囲である切り取り範囲を決定する切り取り範囲決定処理を前記基礎マスクデータと前記合成制御データとに基づいて行い、前記切り取り範囲を特定するための切り取り範囲特定データを生成する、切り取り範囲決定部と、
前記切り取り範囲特定データに基づいて、前記基礎マスクデータのうちで前記切り取り範囲内のデータを前記対象マスクデータ用に切り取る、マスク切り取り部と、
前記切り取り範囲特定データに基づいて、前記基礎画像データのうちで前記切り取り範囲内のデータを前記第１対象画像データとして切り取る、第１画像切り取り部と
をさらに有する、
画像処理システム。

【請求項34】

請求項１に記載の画像処理システムであって、
前記第１基礎画像データと前記基礎マスクデータとを出力するデータ供給システムをさらに備え、
前記データ供給システムは、
ＲＯＩを含む全体画像を縮小して小画像を生成する小画像生成部と、
前記小画像を対象にした小マスクを生成する小マスク生成部と
前記小マスクを前記全体画像と同じ画像サイズに拡大して拡大マスクを生成するマスク拡大部と
を有し、
前記データ供給システムは、前記拡大マスクのデータを前記基礎マスクデータとして出力する、
画像処理システム。

【請求項35】

請求項１に記載の画像処理システムであって、
前記基礎マスクは、前記第１基礎画像の縮小画像を対象にした小マスクの全体、または、前記小マスクのうちでＲＯＩ対応部分を含んだ一部分であり、
前記合成部は、
前記基礎マスクを第１対象画像の画像サイズに拡大して拡大マスクを生成するマスク拡大部
をさらに有し、
前記合成部は、前記拡大マスクを前記対象マスクとして利用する、
画像処理システム。

【請求項36】

請求項３５に記載の画像処理システムであって、
前記ＲＯＩを含む全体画像を縮小して小画像を生成し、前記小画像を対象にして前記小マスクを生成し、前記小マスクの全体または前記一部分を前記基礎マスクとして出力する、データ供給システムをさらに備える、画像処理システム。

【請求項37】

請求項３４〜３６のうちのいずれか１つに記載の画像処理システムであって、
前記第１基礎画像に対する前記小マスクの縮小比は１／２^Ｒであり（Ｒは自然数）、
前記マスク拡大部は、前記小マスクに対して、拡大比２の拡大処理をＲ回行うことによって、前記拡大マスクを生成し、
前記拡大処理では、拡大前のマスクにおいてｉ番目（ｉは整数）のデータが前記ＲＯＩに対応する場合、拡大後のマスクにおいて｛２ｉ−１｝番目から｛２ｉ＋１｝番目までのデータを前記ＲＯＩに対応付ける、
画像処理システム。

【請求項38】

請求項３４〜３７のうちのいずれか１つに記載の画像処理システムであって、
前記マスク拡大部は、前記Ｒ回の拡大処理のうちの少なくとも１回の終了時点で、前記拡大後のマスクに対して平滑化処理を行う、
画像処理システム。

【請求項39】

請求項３６に記載の画像処理システムであって、
前記データ供給システムは、
前記全体画像における前記第１対象画像の範囲である切り取り範囲と、前記小マスクにおいて前記切り取り範囲に対応する小マスク切り取り範囲とを決定する切り取り範囲決定処理を、前記拡大マスクのデータと前記合成制御データとに基づいて行い、前記切り取り範囲を特定するための切り取り範囲特定データと、前記小マスク切り取り範囲を特定するための小マスク切り取り範囲特定データとを生成する、切り取り範囲決定部と、
前記小マスク切り取り範囲特定データに基づいて、前記小マスクのデータのうちで前記小マスク切り取り範囲内のデータを前記基礎マスクデータ用に切り取る、マスク切り取り部と
をさらに有し、
前記データ供給システムは、前記切り取り範囲特定データをさらに出力する、
画像処理システム。

【請求項40】

請求項３６に記載の画像処理システムであって、
前記データ供給システムは、前記小マスクの全体または前記一部分のデータである前記基礎マスクデータの符号化ビットストリームを、マスクビットストリームとして出力し、
前記画像合成システムは、前記マスクビットストリームを復号化することによって前記基礎マスクを取得する、
画像処理システム。

【請求項41】

請求項３６に記載の画像処理システムであって、
前記データ供給システムは、前記小マスクの全体または前記一部分のデータである前記基礎マスクデータを符号化することなく、前記基礎マスクデータのビットストリームをマスクビットストリームとして生成し、
前記画像合成システムは、前記マスクビットストリームから前記基礎マスクを復元する、
画像処理システム。

【請求項42】

請求項１〜３３のうちのいずれか１つに記載の画像処理システムであって、
前記合成部は、
前記第２基礎画像中に、前記相似比で以て前記第１対象画像と相似形を成す相似形範囲を設定し、前記第２基礎画像データのうちで前記相似形範囲内のデータを前記第２対象画像データとして切り取る、第２画像切り取り部
をさらに有する、画像処理システム。

【請求項43】

請求項４２に記載の画像処理システムであって、
前記合成部は、
前記逆ウエーブレット変換を分解レベルが０になるまで行うことによって得られた前記合成画像データを、前記第２基礎画像データ中の前記相似形範囲に埋め込む、埋め込み部
をさらに有する、画像処理システム。

【請求項44】

請求項１〜３３のうちのいずれか１つに記載の画像処理システムであって、
前記合成部は、
前記第２基礎画像の少なくとも一部分を縮小して前記第２対象画像を生成する画像縮小部
をさらに有する、画像処理システム。

【請求項45】

請求項１に記載の画像処理システムであって、
前記画像合成システムは、
前記合成部とバスを介して繋がっているメモリおよびマスク生成部
をさらに含み、
前記メモリは、前記第１基礎画像の源となる全体画像のデータである全体画像データと、前記第２基礎画像データとを格納するために設けられており、
前記マスク生成部は、前記全体画像データに基づいて前記基礎マスクデータを生成する、
画像処理システム。

【請求項46】

第１対象画像中のＲＯＩ（関心領域）と第２対象画像とを合成する画像合成処理に使用するデータを出力するデータ供給システムを備え、
前記第２対象画像は前記第１対象画像と相似形を成し、前記第１対象画像に対する前記第２対象画像の相似比が１以下であり、
前記画像合成処理は、
前記第１対象画像のデータである第１対象画像データに対して、指定の分解レベルまでウエーブレット変換を行うことによって、第１ウエーブレット係数データを生成し、前記第２対象画像のデータである第２対象画像データに対して、前記指定の分解レベルおよび前記相似比に応じて決まる分解レベルまで前記ウエーブレット変換を行うことによって、第２ウエーブレット係数データを生成する、ウエーブレット変換処理
を含み、
前記第１ウエーブレット係数データの前記指定の分解レベルをＰ１とし、前記第２ウエーブレット係数データの前記分解レベルをＰ２とし、前記相似比を１／２^Ｐ３とした場合、Ｐ２＝Ｐ１−Ｐ３であり、
前記画像合成処理は、さらに、
前記第１ウエーブレット係数データについて前記ＲＯＩに関与するＲＯＩ係数と非ＲＯＩに関与する非ＲＯＩ係数とを、前記第１対象画像の範囲において前記ＲＯＩと前記非ＲＯＩとを判別するための対象マスクのデータである対象マスクデータに基づいて、判別する係数判別処理を行い、前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と前記第２ウエーブレット係数データ中のウエーブレット係数とを合成する係数合成処理を行い、それにより、画像サイズおよび分解レベルが前記第２ウエーブレット係数データと同じである合成済み係数データを生成する、合成実行処理と、
前記合成済み係数データに対して、分解レベルが所定の終了レベルになるまで逆ウエーブレット変換を行うことによって、合成画像データを生成する、逆ウエーブレット変換処理と
を含み、
前記データ供給システムは、
前記第１対象画像の源となる第１基礎画像のデータである第１基礎画像データを符号化して、前記第１基礎画像データの符号化ビットストリームである画像ビットストリームを生成する画像エンコーダを有する、画像データ出力部と、
前記対象マスクの源となる基礎マスクのデータである基礎マスクデータを、前記第１基礎画像データの符号化から独立したアルゴリズムで生成するマスク生成部と、前記基礎マスクデータのビットストリームであるマスクビットストリームを生成するマスクビットストリーム生成部とを有する、マスクデータ出力部と
を含み、
前記データ供給システムは、前記第１基礎画像データを前記画像ビットストリームによって出力し、前記基礎マスクデータを前記マスクビットストリームによって出力し、前記ウエーブレット変換における前記指定の分解レベルを指定するための合成制御データを出力する、
画像処理システム。

【請求項47】

請求項４６に記載の画像処理システムであって、
前記データ供給システムは、前記画像ビットストリームと前記マスクビットストリームとを、別個のビットストリームによって出力する、画像処理システム。

【請求項48】

請求項４７に記載の画像処理システムであって、
前記マスクビットストリーム生成部は、前記マスクビットストリームのうちで前記基礎マスクデータに影響しない領域に、前記合成制御データを埋め込む、画像処理システム。

【請求項49】

請求項４６に記載の画像処理システムであって、
前記画像エンコーダが、前記画像ビットストリームのうちで前記第１基礎画像データに影響しない領域に、前記マスクビットストリームを埋め込み、それにより前記データ供給システムは、前記画像ビットストリームと前記マスクビットストリームとを単一のビットストリームによって出力する、画像処理システム。

【請求項50】

請求項４９に記載の画像処理システムであって、
前記画像エンコーダが、前記画像ビットストリームの前記領域に前記マスクビットストリームと前記合成制御データとを埋め込み、それにより前記データ供給システムは、前記画像ビットストリームと前記マスクビットストリームと前記合成制御データとを単一のビットストリームによって出力する、画像処理システム。

【請求項51】

請求項４６〜５０のうちのいずれか１つに記載の画像処理システムであって、
前記基礎マスクは、前記ウエーブレット変換が行われていない状態の画像である原画像を対象にした原マスクであり、前記原マスクは、前記原画像中の各画素が前記ＲＯＩと前記非ＲＯＩのどちらに属するのかを示し且つ前記原画像中の前記ＲＯＩおよび前記非ＲＯＩに対応するＲＯＩ対応部分および非ＲＯＩ対応部分を有し、
前記マスク生成部は、前記基礎画像の範囲について前記原マスクを生成し、前記原マスクのデータを前記基礎マスクデータとして出力する、
画像処理システム。

【請求項52】

請求項４６〜５０のうちのいずれか１つに記載の画像処理システムであって、
前記基礎マスクは、前記第１ウエーブレット係数データ用の展開マスクであり、前記展開マスクは、前記ウエーブレット変換が行われていない状態の画像である原画像を対象にした原マスクを、前記第１ウエーブレット係数データに含まれる各帯域成分用に展開するマスク展開処理を行うことによって、生成されたものであり、
前記マスク生成部は、
前記基礎画像の範囲について前記原マスクを生成する、原マスク生成部と、
前記原マスクに対して前記マスク展開処理を行うことによって、前記展開マスクを生成する、マスク展開部と
を有し、
前記データ供給システムは、前記展開マスクのデータを前記基礎マスクデータとして出力する、
画像処理システム。

【請求項53】

請求項４６〜５２のうちのいずれか１つに記載の画像処理システムであって、
前記画像データ出力部は、前記第１対象画像データを前記第１基礎画像データとして出力し、
前記マスクデータ出力部は、前記第１対象画像の範囲について前記対象マスクを生成し、前記対象マスクデータを前記基礎マスクデータとして出力する、
画像処理システム。

【請求項54】

請求項４６〜５２のうちのいずれか１つに記載の画像処理システムであって、
前記画像データ出力部は、前記ＲＯＩを含む全体画像から前記第１対象画像を切り取り、前記第１対象画像データを前記第１基礎画像データとして出力し、
前記マスクデータ出力部は、前記第１対象画像の範囲について前記対象マスクを生成し、前記対象マスクデータを前記基礎マスクデータとして出力する、
画像処理システム。

【請求項55】

請求項５４に記載の画像処理システムであって、
前記マスク生成部は、
前記全体画像の範囲において前記ＲＯＩと前記非ＲＯＩとを判別するための全体マスクのデータである全体マスクデータを、前記全体画像のデータである全体画像データに基づいて生成する、全体マスク生成部と、
前記全体画像における前記第１対象画像の範囲である切り取り範囲を決定する切り取り範囲決定処理を前記全体マスクデータと前記合成制御データとに基づいて行い、前記切り取り範囲を特定するための切り取り範囲特定データを生成する、切り取り範囲決定部と、
前記切り取り範囲特定データに基づいて、前記全体マスクデータのうちで前記切り取り範囲内のデータを前記基礎マスクデータ用に切り取る、マスク切り取り部と
を有し、
前記画像データ出力部は、
前記切り取り範囲特定データに基づいて、前記全体画像データのうちで前記切り取り範囲内のデータを前記第１基礎画像データとして切り取る、第１画像切り取り部
をさらに有する、
画像処理システム。

【請求項56】

請求項４６〜５２のうちのいずれか１つに記載の画像処理システムであって、
前記画像データ出力部は、前記第１対象画像を一部分に含む全体画像のデータである全体画像データを前記第１基礎画像データとして出力し、
前記マスクデータ出力部は、前記第１対象画像の範囲について前記対象マスクを生成し、前記対象マスクデータを前記基礎マスクデータとして出力し、
前記マスク生成部は、
前記全体画像の範囲において前記ＲＯＩと前記非ＲＯＩとを判別するための全体マスクのデータである全体マスクデータを、前記全体画像データに基づいて生成する、全体マスク生成部と、
前記全体画像における前記第１対象画像の範囲である切り取り範囲を決定する切り取り範囲決定処理を前記全体マスクデータと前記合成制御データとに基づいて行い、前記切り取り範囲を特定するための切り取り範囲特定データを生成する、切り取り範囲決定部と、
前記切り取り範囲特定データに基づいて、前記全体マスクデータのうちで前記切り取り範囲内のデータを前記基礎マスクデータ用に切り取る、マスク切り取り部と
を有し、
前記データ供給システムは、前記切り取り範囲特定データをさらに出力する、
画像処理システム。

【請求項57】

請求項４６〜５２のうちのいずれか１つに記載の画像処理システムであって、
前記画像データ出力部は、前記第１対象画像を一部分に含む全体画像のデータである全体画像データを前記第１基礎画像データとして出力し、
前記マスクデータ出力部は、前記全体画像の範囲について前記基礎マスクデータを生成して出力し、
前記マスク生成部は、
前記全体画像の範囲において前記ＲＯＩと前記非ＲＯＩとを判別するための全体マスクのデータである全体マスクデータを、前記全体画像データに基づいて生成する、全体マスク生成部と、
前記全体画像における前記第１対象画像の範囲である切り取り範囲を決定する切り取り範囲決定処理を前記全体マスクデータと前記合成制御データとに基づいて行い、前記切り取り範囲を特定するための切り取り範囲特定データを生成する、切り取り範囲決定部と
を有し、
前記データ供給システムは、前記切り取り範囲特定データをさらに出力する、
画像処理システム。

【請求項58】

請求項４６〜５２のうちのいずれか１つに記載の画像処理システムであって、
前記画像データ出力部は、前記ＲＯＩを含む全体画像から前記第１対象画像を切り取り、前記第１対象画像データを前記第１基礎画像データとして出力し、
前記マスクデータ出力部は、前記全体画像の範囲について前記基礎マスクデータを生成して出力し、
前記マスク生成部は、
前記全体画像の範囲において前記ＲＯＩと前記非ＲＯＩとを判別するための全体マスクのデータである全体マスクデータを、前記全体画像のデータである全体画像データに基づいて生成する、全体マスク生成部と、
前記全体画像における前記第１対象画像の範囲である切り取り範囲を決定する切り取り範囲決定処理を前記全体マスクデータと前記合成制御データとに基づいて行い、前記切り取り範囲を特定するための切り取り範囲特定データを生成する、切り取り範囲決定部と
を有し、
前記画像データ出力部は、
前記切り取り範囲特定データに基づいて、前記全体画像データのうちで前記切り取り範囲内のデータを前記第１基礎画像データとして切り取る、第１画像切り取り部
をさらに有し、
前記データ供給システムは、前記切り取り範囲特定データをさらに出力する、
画像処理システム。

【請求項59】

請求項４６に記載の画像処理システムであって、
前記マスク生成部は、
前記ＲＯＩを含む全体画像を縮小して小画像を生成する小画像生成部と、
前記小画像を対象にした小マスクを生成する小マスク生成部と
を有する、画像処理システム。

【請求項60】

請求項５９に記載の画像処理システムであって、
前記マスク生成部は、
前記小マスクを前記全体画像と同じ画像サイズに拡大して拡大マスクを生成するマスク拡大部
をさらに有する、
画像処理システム。

【請求項61】

請求項６０に記載の画像処理システムであって、
前記小画像生成部は、前記全体画像の１／２^Ｒの縮小比で前記小画像を生成し（Ｒは自然数）、
前記マスク拡大部は、前記小マスクに対して、拡大比２の拡大処理をＲ回行うことによって、前記拡大マスクを生成し、
前記拡大処理では、拡大前のマスクにおいてｉ番目（ｉは整数）のデータが前記ＲＯＩに対応する場合、拡大後のマスクにおいて｛２ｉ−１｝番目から｛２ｉ＋１｝番目までのデータを前記ＲＯＩに対応付ける、
画像処理システム。

【請求項62】

請求項６０または６１に記載の画像処理システムであって、
前記マスク拡大部は、前記Ｒ回の拡大処理のうちの少なくとも１回の終了時点で、前記拡大後のマスクに対して平滑化処理を行う、
画像処理システム。

【請求項63】

請求項６０〜６２のうちのいずれか１つに記載の画像処理システムであって、
前記マスク生成部は、
前記全体画像における前記第１対象画像の範囲である切り取り範囲と、前記小マスクにおいて前記切り取り範囲に対応する小マスク切り取り範囲とを決定する切り取り範囲決定処理を、前記拡大マスクのデータと前記合成制御データとに基づいて行い、前記切り取り範囲を特定するための切り取り範囲特定データと、前記小マスク切り取り範囲を特定するための小マスク切り取り範囲特定データとを生成する、切り取り範囲決定部と、
前記小マスク切り取り範囲特定データに基づいて、前記小マスクのデータのうちで前記小マスク切り取り範囲内のデータを前記基礎マスクデータ用に切り取る、マスク切り取り部と
をさらに有し、
前記データ供給システムは、前記切り取り範囲特定データをさらに出力する、
画像処理システム。

【請求項64】

請求項５９または６３に記載の画像処理システムであって、
前記マスクビットストリーム生成部は、前記小マスクの全体または前記小マスクのうちで切り取られた部分のデータである前記基礎マスクデータを取得し、前記基礎マスクデータの符号化ビットストリームを前記マスクビットストリームとして生成する、
画像処理システム。

【請求項65】

請求項５９または６３に記載の画像処理システムであって、
前記マスクビットストリーム生成部は、前記小マスクの全体または前記小マスクのうちで切り取られた部分のデータである前記基礎マスクデータを符号化することなく、前記基礎マスクデータのビットストリームを前記マスクビットストリームとして生成する、
画像処理システム。

【請求項66】

請求項４６〜６５のうちのいずれか１つに記載の画像処理システムであって、
前記データ供給システムは、
前記ウエーブレット変換処理と、前記合成実行処理と、前記逆ウエーブレット変換処理とを行う、合成部
をさらに含む、画像処理システム。

【請求項67】

請求項６６に記載の画像処理システムであって、
前記合成部は、前記第２対象画像の源となる第２基礎画像のデータである第２基礎画像データを取得し、
前記合成部は、
前記第２基礎画像中に、前記相似比で以て前記第１対象画像と相似形を成す相似形範囲を設定し、前記第２基礎画像データのうちで前記相似形範囲内のデータを前記第２対象画像データとして切り取る、第２画像切り取り部
をさらに有する、画像処理システム。

【請求項68】

請求項６７に記載の画像処理システムであって、
前記合成部は、
前記逆ウエーブレット変換を分解レベルが０になるまで行うことによって得られた前記合成画像データを、前記第２基礎画像データ中の前記相似形範囲に埋め込む、埋め込み部
をさらに有する、画像処理システム。

【請求項69】

請求項６６に記載の画像処理システムであって、
前記合成部は、前記第２対象画像の源となる第２基礎画像のデータである第２基礎画像データを取得し、
前記合成部は、
前記第２基礎画像の少なくとも一部分を縮小して前記第２対象画像を生成する画像縮小部
をさらに有する、画像処理システム。

【請求項70】

請求項１９，２１，２２，５２のうちのいずれか１つに記載の画像処理システムであって、
前記マスク展開処理では、第１ウエーブレット平面用の第１マスクを、前記第１ウエーブレット平面よりも分解レベルが１段階高い第２ウエーブレット平面用の第２マスクに、マスク展開条件に基づいて変換する単位処理を行い、前記合成制御データが指定する前記指定の分解レベルが２以上である場合、前記第２ウエーブレット平面の分解レベルが前記指定の分解レベルになるまで、前記単位処理を前記ウエーブレット変換の方式に従って再帰的に行い、
前記ウエーブレット変換に５×３フィルタが使用される場合における前記マスク展開条件は、ｎを整数として、
前記第１ウエーブレット平面上の２ｎ番目のデータが前記第１マスクによって前記ＲＯＩに対応付けられているとき、前記第２ウエーブレット平面において低域成分のｎ番目ならびに高域成分の｛ｎ−１｝番目およびｎ番目のデータが前記ＲＯＩに対応付けられるように前記第２マスクを形成する、という第１条件と、
前記第１ウエーブレット平面上の｛２ｎ＋１｝番目のデータが前記第１マスクによって前記ＲＯＩに対応付けられているとき、前記第２ウエーブレット平面において前記低域成分のｎ番目および｛ｎ＋１｝番目ならびに前記高域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目のデータが前記ＲＯＩに対応付けられるように前記第２マスクを形成する、という第２条件と
を含む、
画像処理システム。

【請求項71】

請求項１９，２１，２２，５２のうちのいずれか１つに記載の画像処理システムであって、
前記マスク展開処理では、第１ウエーブレット平面用の第１マスクを、前記第１ウエーブレット平面よりも分解レベルが１段階高い第２ウエーブレット平面用の第２マスクに、マスク展開条件に基づいて変換する単位処理を行い、前記合成制御データが指定する前記指定の分解レベルが２以上である場合、前記第２ウエーブレット平面の分解レベルが前記指定の分解レベルになるまで、前記単位処理を前記ウエーブレット変換の方式に従って再帰的に行い、
前記ウエーブレット変換にDaubechies９×７フィルタが使用される場合における前記マスク展開条件は、ｎを整数として、
前記第１ウエーブレット平面上の２ｎ番目のデータが前記第１マスクによって前記ＲＯＩに対応付けられているとき、前記第２ウエーブレット平面において低域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目および高域成分の｛ｎ−２｝番目から｛ｎ＋１｝番目のデータが前記ＲＯＩに対応付けられるように前記第２マスクを形成する、という第３条件と、
前記第１ウエーブレット平面上の｛２ｎ＋１｝番目のデータが前記第１マスクによって前記ＲＯＩに対応付けられているとき、前記第２ウエーブレット平面において前記低域成分の｛ｎ−１｝番目から｛ｎ＋２｝番目および前記高域成分の｛ｎ−２｝番目から｛ｎ＋２｝番目のデータが前記ＲＯＩに対応付けられるように前記第２マスクを形成する、という第４条件と
を含む、
画像処理システム。

【請求項72】

請求項２６，２８，３０，３２，３３，５５〜５８のうちのいずれか１つに記載の画像処理システムであって、
前記切り取り範囲決定処理は、
切り取り前の原画像を対象とした原マスクに基づいて、前記ＲＯＩを含む矩形の最小範囲を特定する、最小範囲特定処理と、
前記合成制御データで指定された前記指定の分解レベルの最終的なウエーブレット平面の最も分解された最上位帯域成分において、前記最小範囲に対応する範囲を追跡最小範囲として特定する、追跡処理と、
前記追跡最小範囲内のウエーブレット係数を算出するために必要なデータが、前記切り取り前の原画像のどの範囲に存在するのかを特定する、必要範囲特定処理と
を含み、
前記必要範囲特定処理によって特定された前記範囲を、前記切り取り範囲に設定する、
画像処理システム。

【請求項73】

請求項３９または６３に記載の画像処理システムであって、
前記切り取り範囲決定処理は、
前記拡大マスクに基づいて、前記全体画像において前記ＲＯＩを含む矩形の最小範囲を特定する、最小範囲特定処理と、
前記合成制御データで指定された前記指定の分解レベルの最終的なウエーブレット平面の最も分解された最上位帯域成分において、前記最小範囲に対応する範囲を追跡最小範囲として特定する、追跡処理と、
前記追跡最小範囲内のウエーブレット係数を算出するために必要なデータが、前記全体画像のどの範囲に存在するのかを特定する、必要範囲特定処理と、
前記必要範囲特定処理によって特定された範囲が、前記小マスクのどの範囲に対応するのかを特定する、小マスク必要範囲特定処理と
を含み、
前記必要範囲特定処理によって特定された前記範囲を、前記切り取り範囲に設定し、
前記小マスク必要範囲特定処理によって特定された前記範囲を、前記小マスク切り取り範囲に設定する、
画像処理システム。

【請求項74】

請求項７３に記載の画像処理システムであって、
前記切り取り範囲の左上端座標を（ＡＸ３，ＡＹ３）とし、
前記切り取り範囲の右下端座標を（ＢＸ３，ＢＹ３）とし、
前記小マスク切り取り範囲の左上端座標を（ＡＸ４，ＡＹ４）とし、
前記小マスク切り取り範囲の右下端座標を（ＢＸ４，ＢＹ４）とし、
前記全体画像に対する前記小マスクの縮小比が１／２^Ｒである（Ｒは自然数）場合、
前記小マスク必要範囲特定処理では、前記ＡＸ３，ＡＹ３，ＢＸ３，ＢＹ３の各値をＲビット、右シフトし、得られた各値を前記ＡＸ４，ＡＹ４，ＢＸ４，ＢＹ４に設定する、
画像処理システム。

【請求項75】

請求項７２〜７４のうちのいずれか１つに記載の画像処理システムであって、
前記ウエーブレット変換は、各分解レベルのウエーブレット平面に含まれる最低域の帯域成分を再帰的に分解する方式であり、
前記最上位帯域成分は、前記最終的なウエーブレット平面において最低域の帯域成分である、
画像処理システム。

【請求項76】

請求項７２〜７５のうちのいずれか１つに記載の画像処理システムであって、
前記最小範囲の左上端座標を（ＡＸ１，ＡＹ１）とし、
前記最小範囲の右下端座標を（ＢＸ１，ＢＹ１）とし、
前記追跡最小範囲の左上端座標を（ＡＸ２，ＡＹ２）とし、
前記追跡最小範囲の右下端座標を（ＢＸ２，ＢＹ２）とし、
前記切り取り範囲の左上端座標を（ＡＸ３，ＡＹ３）とし、
前記切り取り範囲の右下端座標を（ＢＸ３，ＢＹ３）とし、
前記ウエーブレット変換に５×３フィルタが使用される場合、
前記最小範囲特定処理では、前記ＡＸ１と前記ＡＹ１と前記ＢＸ１と前記ＢＹ１を求め、
前記追跡処理では、
前記ＡＸ１が偶数ならばＡＸ１／２を新たなＡＸ１に設定し、前記ＡＸ１が奇数ならば｛ＡＸ１−１｝／２を新たなＡＸ１に設定するという第１再帰処理を、前記合成制御データによって指定された指定回数行い、最終的に得られたＡＸ１を前記ＡＸ２に設定し、
前記ＡＹ１が偶数ならばＡＹ１／２を新たなＡＹ１に設定し、前記ＡＹ１が奇数ならば｛ＡＹ１−１｝／２を新たなＡＹ１に設定するという第２再帰処理を前記指定回数行い、最終的に得られたＡＹ１を前記ＡＹ２に設定し、
前記ＢＸ１が偶数ならばＢＸ１／２を新たなＢＸ１に設定し、前記ＢＸ１が奇数ならば｛ＢＸ１＋１｝／２を新たなＢＸ１に設定するという第３再帰処理を前記指定回数行い、最終的に得られたＢＸ１を前記ＢＸ２に設定し、
前記ＢＹ１が偶数ならばＢＹ１／２を新たなＢＹ１に設定し、前記ＢＹ１が奇数ならば｛ＢＹ１＋１｝／２を新たなＢＹ１に設定するという第４再帰処理を前記指定回数行い、最終的に得られたＢＹ１を前記ＢＹ２に設定し、
前記必要範囲特定処理では、
｛ＡＸ２×２−２｝を新たなＡＸ２に設定するという第５再帰処理を前記指定回数行い、最終的に得られたＡＸ２を前記ＡＸ３に設定し、
｛ＡＹ２×２−２｝を新たなＡＹ２に設定するという第６再帰処理を前記指定回数行い、最終的に得られたＡＹ２を前記ＡＹ３に設定し、
｛ＢＸ２×２＋２｝を新たなＢＸ２に設定するという第７再帰処理を前記指定回数行い、最終的に得られたＢＸ２を前記ＢＸ３に設定し、
｛ＢＹ２×２＋２｝を新たなＢＹ２に設定するという第８再帰処理を前記指定回数行い、最終的に得られたＢＹ２を前記ＢＹ３に設定する、
画像処理システム。

【請求項77】

請求項７２〜７５のうちのいずれか１つに記載の画像処理システムであって、
前記最小範囲の左上端座標を（ＡＸ１，ＡＹ１）とし、
前記最小範囲の右下端座標を（ＢＸ１，ＢＹ１）とし、
前記追跡最小範囲の左上端座標を（ＡＸ２，ＡＹ２）とし、
前記追跡最小範囲の右下端座標を（ＢＸ２，ＢＹ２）とし、
前記切り取り範囲の左上端座標を（ＡＸ３，ＡＹ３）とし、
前記切り取り範囲の右下端座標を（ＢＸ３，ＢＹ３）とし、
前記ウエーブレット変換にDaubechies９×７フィルタが使用される場合、
前記最小範囲特定処理では、前記ＡＸ１と前記ＡＹ１と前記ＢＸ１と前記ＢＹ１を求め、
前記追跡処理では、
前記ＡＸ１が偶数ならば｛ＡＸ１／２−１｝を新たなＡＸ１に設定し、前記ＡＸ１が奇数ならば｛ＡＸ１−３｝／２を新たなＡＸ１に設定するという第９再帰処理を、前記合成制御データによって指定された指定回数行い、最終的に得られたＡＸ１を前記ＡＸ２に設定し、
前記ＡＹ１が偶数ならば｛ＡＹ１／２−１｝を新たなＡＹ１に設定し、前記ＡＹ１が奇数ならば｛ＡＹ１−３｝／２を新たなＡＹ１に設定するという第１０再帰処理を前記指定回数行い、最終的に得られたＡＹ１を前記ＡＹ２に設定し、
前記ＢＸ１が偶数ならば｛ＢＸ１＋２｝／２を新たなＢＸ１に設定し、前記ＢＸ１が奇数ならば｛ＢＸ１＋３｝／２を新たなＢＸ１に設定するという第１１再帰処理を前記指定回数行い、最終的に得られたＢＸ１を前記ＢＸ２に設定し、
前記ＢＹ１が偶数ならば｛ＢＹ１＋２｝／２を新たなＢＹ１に設定し、前記ＢＹ１が奇数ならば｛ＢＹ１＋３｝／２を新たなＢＹ１に設定するという第１２再帰処理を前記指定回数行い、最終的に得られたＢＹ１を前記ＢＹ２に設定し、
前記必要範囲特定処理では、
｛ＡＸ２×２−４｝を新たなＡＸ２に設定するという第１３再帰処理を前記指定回数行い、最終的に得られたＡＸ２を前記ＡＸ３に設定し、
｛ＡＹ２×２−４｝を新たなＡＹ２に設定するという第１４再帰処理を前記指定回数行い、最終的に得られたＡＹ２を前記ＡＹ３に設定し、
｛ＢＸ２×２＋４｝を新たなＢＸ２に設定するという第１５再帰処理を前記指定回数行い、最終的に得られたＢＸ２を前記ＢＸ３に設定し、
｛ＢＹ２×２＋４｝を新たなＢＹ２に設定するという第１６再帰処理を前記指定回数行い、最終的に得られたＢＹ２を前記ＢＹ３に設定する、
画像処理システム。

【請求項78】

（ａ）ＲＯＩ（関心領域）を有する第１対象画像のデータである第１対象画像データと、前記第１対象画像の範囲において前記ＲＯＩと非ＲＯＩとを判別するための対象マスクのデータである対象マスクデータと、前記第１対象画像と相似形を成し前記第１対象画像に対する相似比が１以下である第２対象画像のデータである第２対象画像データと、前記第１対象画像中の前記ＲＯＩと前記第２対象画像との合成具合を制御するための合成制御データとを取得するステップと、
（ｂ）前記第１対象画像データに対して、前記合成制御データによって指定された指定の分解レベルまでウエーブレット変換を行うことによって、第１ウエーブレット係数データを生成し、前記第２対象画像データに対して、前記指定の分解レベルおよび前記相似比に応じて決まる分解レベルまで前記ウエーブレット変換を行うことによって、第２ウエーブレット係数データを生成するステップと
を備え、
前記第１ウエーブレット係数データの前記指定の分解レベルをＰ１とし、前記第２ウエーブレット係数データの前記分解レベルをＰ２とし、前記相似比を１／２^Ｐ３とした場合、Ｐ２＝Ｐ１−Ｐ３であり、
（ｃ）前記第１ウエーブレット係数データについて前記ＲＯＩに関与するＲＯＩ係数と前記非ＲＯＩに関与する非ＲＯＩ係数とを、前記対象マスクデータに基づいて判別する係数判別処理を行い、前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と前記第２ウエーブレット係数データ中のウエーブレット係数とを合成する係数合成処理を行い、それにより、画像サイズおよび分解レベルが前記第２ウエーブレット係数データと同じである合成済み係数データを生成するステップと、
（ｄ）前記合成済み係数データに対して、分解レベルが所定の終了レベルになるまで逆ウエーブレット変換を行うことによって、合成画像データを生成するステップと
を備える、画像処理方法。

【請求項79】

請求項７８に記載の画像処理方法であって、
（ｅ）前記第１対象画像データと前記対象マスクデータとを供給するステップをさらに備え、
前記ステップ（ｅ）は、
（ｅ−１）前記第１対象画像の源となる第１基礎画像のデータである第１基礎画像データを符号化して、前記第１基礎画像データの符号化ビットストリームである画像ビットストリームを生成するステップと、
（ｅ−２）前記対象マスクの源となる基礎マスクのデータである基礎マスクデータを、前記第１基礎画像データの符号化から独立したアルゴリズムで生成するステップと、
（ｅ−３）前記基礎マスクデータのビットストリームであるマスクビットストリームを生成するステップと
を含み、
前記第１対象画像データを前記画像ビットストリームによって供給し、前記対象マスクデータを前記マスクビットストリームによって供給する、
画像処理方法。

【請求項80】

請求項７９に記載の画像処理方法であって、
前記ステップ（ａ）は、
（ａ−１）前記画像ビットストリームを復号化することによって前記第１基礎画像データを取得し、前記第１基礎画像データによって前記第１対象画像データを取得するステップと、
（ａ−２）前記画像ビットストリームの復号化から独立したアルゴリズムによって前記マスクビットストリームから前記基礎マスクデータを取得し、前記基礎マスクデータによって前記対象マスクデータを取得するステップと
を含む、画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理システムおよび画像処理方法に関する。

【背景技術】

【0002】

特許文献１〜３には、動画像中の動体を検出する技術が開示されている。また、特許文献４，５には、パーティクルフィルタを利用して動体を追跡する技術が開示されている。このような動体検出技術を利用すれば、画像中の動体をＲＯＩ（関心領域）として切り取ることができる。

【0003】

また、デジタルカメラによって撮影された静止画像を対象として、グラフカットによって、画像全体から前景画像と背景画像とを分離する技術が知られている。このような画像分離技術を利用すれば、前景画像をＲＯＩとして切り取ることができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３−２５４２９１号公報

【特許文献2】特開２００７−０８８８９７号公報

【特許文献3】特開２００６−０９３７８４号公報

【特許文献4】特開２００９−１９９３６３号公報

【特許文献5】特開２００５−１６５６８８号公報

【特許文献6】特開２００６−２０３４０９号公報

【特許文献7】特表２００１−５２０４６６号公報

【特許文献8】特開２００３−３２４６１３号公報

【非特許文献】

【0005】

【非特許文献1】INTERNATIONAL STANDARD ISO/IEC 15444-1 ITU-T RECOMMENDATION T.800 Information technology - JPEG 2000 image coding system: Core coding system Annex H - Coding of images with regions of interest

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記のようにＲＯＩを自動的に設定する種々の技術が開発されている。しかし、ＲＯＩとして設定されるべき所期の領域を精度良く検出することは、技術的に未だ難しいと思われる。

【0007】

例えば、ＲＯＩの輪郭、換言すればＲＯＩと非ＲＯＩとの境界を正確に判別することは、難しい。このため、所期の領域から局所的に張り出した部分を有して、あるいは逆に所期の領域を局所的に侵食した部分を有して、ＲＯＩが設定されることがある。また、所期の領域内に欠損を有して、ＲＯＩが設定されることがある。すなわち、本来は所期の領域の全域がＲＯＩとして設定されるべきところ、当該領域内に非ＲＯＩが存在すると判別され、その非ＲＯＩがＲＯＩの欠損を成すのである。輪郭および／または内部にそのような不具合を有した不十分なＲＯＩを別の画像と合成しても、不自然さを感じるであろう。

【0008】

本発明は、不十分なＲＯＩを利用しても、修復されたＲＯＩを有する合成画像を生成可能であり、さらには合成具合を調整可能な技術を提供することを目的とする。また、関連技術を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の一態様によれば、第１対象画像中のＲＯＩ（関心領域）と第２対象画像とを合成する合成部を有する画像合成システムを含む画像処理システムが提供される。ここで、前記第２対象画像は前記第１対象画像と相似形を成し、前記第１対象画像に対する前記第２対象画像の相似比が１以下である。前記合成部は、前記第１対象画像の源となる第１基礎画像のデータである第１基礎画像データと、前記第１対象画像の範囲において前記ＲＯＩと非ＲＯＩとを判別するための対象マスクの源となる基礎マスクのデータである基礎マスクデータと、前記第２対象画像の源となる第２基礎画像のデータである第２基礎画像データと、合成具合を制御するための合成制御データとを取得する。前記合成部は、ウエーブレット変換部と、合成実行部と、逆ウエーブレット変換部とを有する。前記ウエーブレット変換部は、前記第１対象画像のデータである第１対象画像データに対して、前記合成制御データによって指定された指定の分解レベルまでウエーブレット変換を行うことによって、第１ウエーブレット係数データを生成し、前記第２対象画像のデータである第２対象画像データに対して、前記指定の分解レベルおよび前記相似比に応じて決まる分解レベルまで前記ウエーブレット変換を行うことによって、第２ウエーブレット係数データを生成する。ここで、前記第１ウエーブレット係数データの前記指定の分解レベルをＰ１とし、前記第２ウエーブレット係数データの前記分解レベルをＰ２とし、前記相似比を１／２^Ｐ３とした場合、Ｐ２＝Ｐ１−Ｐ３である。前記合成実行部は、前記第１ウエーブレット係数データについて前記ＲＯＩに関与するＲＯＩ係数と前記非ＲＯＩに関与する非ＲＯＩ係数とを、前記対象マスクのデータである対象マスクデータに基づいて判別する係数判別処理を行い、前記第１ウエーブレット係数データ中の前記ＲＯＩ係数と前記第２ウエーブレット係数データ中のウエーブレット係数とを合成する係数合成処理を行い、それにより、画像サイズおよび分解レベルが前記第２ウエーブレット係数データと同じである合成済み係数データを生成する。前記逆ウエーブレット変換部は、前記合成済み係数データに対して、分解レベルが所定の終了レベルになるまで逆ウエーブレット変換を行うことによって、合成画像データを生成する。

【発明の効果】

【0010】

上記一態様によれば、第１対象画像中のＲＯＩと第２対象画像との合成は、第１対象画像データおよび第２対象画像データを変換した第１ウエーブレット係数データおよび第２ウエーブレット係数データを用いて行われる。また、第１対象画像中のＲＯＩの判別は、第１ウエーブレット係数データについてＲＯＩ係数を判別することによって行われる。このため、不十分なＲＯＩを利用しても、合成画像上では、修復されたＲＯＩを提供できる。すなわち、第１対象画像データおよび第２対象画像データをそのまま合成する場合に比べて、良好な合成画像が得られる。また、ウエーブレット変換の分解レベルを合成制御データで制御することによって、合成具合（ＲＯＩの修復、ＲＯＩの拡張、等）を調整できる。また、合成画像の画像サイズを調整できる。

【0011】

本発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

【図面の簡単な説明】

【0012】

【図1】実施の形態１について、画像処理システムの概念図である。

【図2】実施の形態１について、画像処理システムを説明するブロック図である。

【図3】実施の形態１について、画像処理システムを説明するブロック図である。

【図4】実施の形態１について、画像エンコーダを説明するブロック図である（動画像用）。

【図5】実施の形態１について、画像エンコーダを説明するブロック図である（静止画像用）。

【図6】実施の形態１について、全体画像の例を示す図である。

【図7】実施の形態１について、全体マスクの例を示す図である。

【図8】実施の形態１について、マスクエンコーダを説明するブロック図である。

【図9】実施の形態１について、データ供給システムの動作を説明するフローチャートである。

【図10】実施の形態１について、画像デコーダを説明するブロック図である（動画像用）。

【図11】実施の形態１について、画像デコーダを説明するブロック図である（静止画像用）。

【図12】実施の形態１について、マスクデコーダを説明するブロック図である。

【図13】実施の形態１について、合成部を説明するブロック図である。

【図14】実施の形態１について、Ｍａｌｌａｔ型のウエーブレット平面を説明する図である（分解レベル１）。

【図15】実施の形態１について、Ｍａｌｌａｔ型のウエーブレット平面を説明する図である（分解レベル２）。

【図16】実施の形態１について、Ｍａｌｌａｔ型のウエーブレット平面を説明する図である（分解レベル３）。

【図17】実施の形態１について、展開マスクを説明する図である（分解レベル１）。

【図18】実施の形態１について、展開マスクを説明する図である（分解レベル２）。

【図19】実施の形態１について、展開マスクを説明する図である（分解レベル３）。

【図20】実施の形態１について、マスク展開処理を説明するフローチャートである。

【図21】実施の形態１について、ウエーブレット変換に５×３フィルタが使用される場合のマスク展開処理を説明する図である。

【図22】実施の形態１について、ウエーブレット変換にDaubechies９×７フィルタが使用される場合のマスク展開処理を説明する図である。

【図23】実施の形態１について、係数合成処理（第１係数合成処理）を説明するフローチャートである。

【図24】実施の形態１について、係数合成処理（第２係数合成処理）を説明するフローチャートである。

【図25】実施の形態１について、画像合成システムの動作を説明するフローチャートである。

【図26】実施の形態１について、画像合成の概念図である。

【図27】実施の形態１について、第１対象画像の例を示す図である。

【図28】実施の形態１について、対象マスクの例を示す図である。

【図29】実施の形態１について、展開マスクの例を示す図である（分解レベル１）。

【図30】実施の形態１について、展開マスクの例を示す図である（分解レベル２）。

【図31】実施の形態１について、展開マスクの例を示す図である（分解レベル３）。

【図32】実施の形態１について、第２対象画像の例を示す図である。

【図33】実施の形態１に拠らない比較用の合成画像の例を示す図である。

【図34】実施の形態１について、合成画像の例を示す図である（分解レベル１で合成）。

【図35】実施の形態１について、合成画像の例を示す図である（分解レベル２で合成）。

【図36】実施の形態１について、合成画像の例を示す図である（分解レベル３で合成）。

【図37】実施の形態１について、合成画像の例を示す図である（分解レベル５で合成）。

【図38】実施の形態２について、画像処理システムを説明するブロック図である。

【図39】実施の形態２について、画像エンコーダを説明するブロック図である（動画像用）。

【図40】実施の形態２について、画像エンコーダを説明するブロック図である（静止画像用）。

【図41】実施の形態２について、画像デコーダを説明するブロック図である（動画像用）。

【図42】実施の形態２について、画像デコーダを説明するブロック図である（静止画像用）。

【図43】実施の形態２について、データ供給システムの動作を説明するフローチャートである。

【図44】実施の形態２について、画像合成システムの動作を説明するフローチャートである。

【図45】実施の形態３について、画像処理システムを説明するブロック図である。

【図46】実施の形態３について、データ供給システムの動作を説明するフローチャートである。

【図47】実施の形態３について、画像合成システムの動作を説明するフローチャートである。

【図48】実施の形態４について、画像処理システムを説明するブロック図である。

【図49】実施の形態５について、画像処理システムを説明するブロック図である。

【図50】実施の形態６について、マスクデータ出力部を説明するブロック図である。

【図51】実施の形態６について、合成部を説明するブロック図である。

【図52】実施の形態６について、画像合成の概念図である。

【図53】実施の形態６について、データ供給システムの動作を説明するフローチャートである。

【図54】実施の形態６について、画像合成システムの動作を説明するフローチャートである。

【図55】実施の形態７について、画像合成の概念図である。

【図56】実施の形態７について、切り取り範囲を説明するための図である。

【図57】実施の形態７について、切り取り範囲を説明するための図である。

【図58】実施の形態７について、切り取り範囲を説明するための図である。

【図59】実施の形態７について、切り取り範囲を説明するための図である。

【図60】実施の形態７について、切り取り範囲決定処理を説明するフローチャートである。

【図61】実施の形態７について、ウエーブレット変換で１画素分の出力を得るために必要な画素の範囲を説明する図である（５×３フィルタ）。

【図62】実施の形態７について、ウエーブレット変換で１画素分の出力を得るために必要な画素の範囲を説明する図である（５×３フィルタ）。

【図63】実施の形態７について、ウエーブレット変換で１画素分の出力を得るために必要な画素の範囲を説明する図である（Daubechies９×７フィルタ）。

【図64】実施の形態７について、ウエーブレット変換で１画素分の出力を得るために必要な画素の範囲を説明する図である（Daubechies９×７フィルタ）。

【図65】実施の形態７について、追跡最小範囲を説明するための図である。

【図66】実施の形態７について、追跡最小範囲の左上端座標の求め方を説明するフローチャートである（５×３フィルタ）。

【図67】実施の形態７について、追跡最小範囲の右下端座標の求め方を説明するフローチャートである（５×３フィルタ）。

【図68】実施の形態７について、追跡最小範囲の左上端座標の求め方を説明するフローチャートである（Daubechies９×７フィルタ）。

【図69】実施の形態７について、追跡最小範囲の右下端座標の求め方を説明するフローチャートである（Daubechies９×７フィルタ）。

【図70】実施の形態７について、必要範囲（切り取り範囲）の求め方を説明するフローチャートである（５×３フィルタ）。

【図71】実施の形態７について、必要範囲（切り取り範囲）の求め方を説明するフローチャートである（Daubechies９×７フィルタ）。

【図72】実施の形態７について、マスクデータ出力部を説明するブロック図である。

【図73】実施の形態７について、画像合成システムを説明するブロック図である。

【図74】実施の形態７について、合成部を説明するブロック図である。

【図75】実施の形態７について、データ供給システムの動作を説明するフローチャートである。

【図76】実施の形態７について、画像合成システムの動作を説明するフローチャートである。

【図77】実施の形態８について、画像合成の概念図である。

【図78】実施の形態８について、データ供給システムを説明するブロック図である。

【図79】実施の形態８について、合成部を説明するブロック図である。

【図80】実施の形態８について、データ供給システムの動作を説明するフローチャートである。

【図81】実施の形態８について、画像合成システムの動作を説明するフローチャートである。

【図82】実施の形態９について、画像合成の概念図である。

【図83】実施の形態９について、マスクデータ出力部を説明するブロック図である。

【図84】実施の形態９について、合成部を説明するブロック図である。

【図85】実施の形態９について、データ供給システムの動作を説明するフローチャートである。

【図86】実施の形態９について、画像合成システムの動作を説明するフローチャートである。

【図87】実施の形態１０について、画像合成の概念図である。

【図88】実施の形態１０について、データ供給システムを説明するブロック図である。

【図89】実施の形態１０について、合成部を説明するブロック図である。

【図90】実施の形態１０について、データ供給システムの動作を説明するフローチャートである。

【図91】実施の形態１０について、画像合成システムの動作を説明するフローチャートである。

【図92】実施の形態１１について、画像合成の概念図である。

【図93】実施の形態１１について、合成部を説明するブロック図である。

【図94】実施の形態１１について、画像合成システムの動作を説明するフローチャートである。

【図95】実施の形態１２について、画像合成の概念図である。

【図96】実施の形態１２について、マスクデータ出力部を説明するブロック図である。

【図97】実施の形態１２について、合成部を説明するブロック図である。

【図98】実施の形態１２について、データ供給システムの動作を説明するフローチャートである。

【図99】実施の形態１２について、画像合成システムの動作を説明するフローチャートである。

【図100】実施の形態１３について、画像合成の概念図である。

【図101】実施の形態１３について、逆ウエーブレット変換部を説明するブロック図である。

【図102】実施の形態１４について、画像合成の概念図である。

【図103】実施の形態１４について、画像合成の概念図である。

【図104】実施の形態１４について、画像合成の概念図である。

【図105】実施の形態１４について、合成部を説明するブロック図である。

【図106】実施の形態１４について、画像合成システムの動作を説明するフローチャートである。

【図107】実施の形態１５について、画像合成の概念図である。

【図108】実施の形態１５について、合成部を説明するブロック図である。

【図109】実施の形態１５について、画像合成システムの動作を説明するフローチャートである。

【図110】実施の形態１６について、画像合成の概念図である。

【図111】実施の形態１６について、マスクデータ出力部を説明するブロック図である。

【図112】実施の形態１６について、マスク拡大処理を説明するフローチャートである。

【図113】実施の形態１６について、マスク拡大処理を説明する図である（１次元）。

【図114】実施の形態１６について、マスク拡大処理を説明する図である（２次元）。

【図115】実施の形態１６について、マスク拡大処理を説明する図である（２次元）。

【図116】実施の形態１６について、最後の拡大処理の後に平滑化処理を行う場合のフローチャートである。

【図117】実施の形態１６について、毎回の拡大処理の後に平滑化処理を行う場合のフローチャートである。

【図118】実施の形態１６について、拡大マスクの例を示す図である（平滑化処理を行わない場合）。

【図119】実施の形態１６について、拡大マスクの例を示す図である（膨張処理を２回行った場合）。

【図120】実施の形態１６について、拡大マスクの例を示す図である（膨張処理を２回行った後に、収縮処理を２回行った場合）。

【図121】実施の形態１６について、データ供給システムの動作を説明するフローチャートである。

【図122】実施の形態１７について、画像合成の概念図である。

【図123】実施の形態１７について、マスクデータ出力部を説明するブロック図である。

【図124】実施の形態１７について、合成部を説明するブロック図である。

【図125】実施の形態１７について、データ供給システムの動作を説明するフローチャートである。

【図126】実施の形態１７について、画像合成システムの動作を説明するフローチャートである。

【図127】実施の形態１７について、基礎マスクデータを符号化および復号化しない場合の画像処理システムを説明するブロック図である。

【図128】実施の形態１８について、画像合成の概念図である。

【図129】実施の形態１８について、マスクデータ出力部を説明するブロック図である。

【図130】実施の形態１８について、合成部を説明するブロック図である。

【図131】実施の形態１８について、切り取り範囲決定処理を説明するフローチャートである。

【図132】実施の形態１８について、小マスク切り取り範囲決定処理を説明する概念図である。

【図133】実施の形態１８について、小マスク切り取り範囲決定処理を説明するフローチャートである。

【図134】実施の形態１８について、データ供給システムの動作を説明するフローチャートである。

【図135】実施の形態１８について、画像合成システムの動作を説明するフローチャートである。

【図136】実施の形態１８について、画像合成システムの動作を説明するフローチャートである。

【図137】実施の形態１８について、画像合成の概念図である。

【図138】実施の形態１９について、画像処理システムを説明するブロック図である。

【図139】実施の形態１９について、画像処理装置を説明するハードウェア構成図である。

【発明を実施するための形態】

【0013】

＜実施の形態１＞
＜システムの概要＞
図１に、実施の形態１に係る画像処理システム１の概念図を示す。図１に示すように、画像処理システム１は２つの画像処理システム１０，２０を含んでいる。一方の画像処理システム１０はデータ供給システム１１を含み、もう一方の画像処理システム２０は画像合成システム２１を含んでいる。画像合成システム２１は画像合成処理を実行する。データ供給システム１１は画像合成処理に使用するデータを出力する。以下では、画像処理システム１を全体システム１と呼び、データ供給システム１１を供給システム１１と呼び、画像合成システム２１を合成システム２１と呼ぶ場合もある。

【0014】

画像処理システム１０は、供給システム１１だけで構成されてもよいし、他の処理システムをさらに含んでもよい。同様に、画像処理システム２０は、合成システム２１だけで構成されてもよいし、他の処理システムをさらに含んでもよい。また、図１から分かるように、供給システム１１は、画像処理システム１０に含まれると共に全体システム１にも含まれる。同様に、合成システム２１は、画像処理システム２０に含まれると共に全体システム１にも含まれる。

【0015】

画像処理システム１０，２０は、ここでは、半導体集積回路によって提供される。すなわち、画像処理システム１０，２０の各種の機能および処理は、回路的に、換言すればハードウェア的に実現される。但し、機能および処理の一部または全部を、マイクロプロセッサを機能させるプログラムによって、換言すればソフトウェアによって実現することも可能である。

【0016】

＜全体システム１の例＞
図２に、全体システム１の適用例を示す。図２の例では、画像処理システム１０がデータ供給側装置３０に設けられ、画像処理システム２０が画像合成側装置４０に設けられている。以下では、データ供給側装置３０を供給側装置３０と呼び、画像合成側装置４０を合成側装置４０と呼ぶ場合もある。供給側装置３０のユーザは合成側装置４０のユーザとは異なるものとするが、この例に限定されるものではない。

【0017】

供給側装置３０は、画像処理システム１０の他に、表示部３１と、操作部３２と、外部インターフェース３３と、画像入力部３４とを含んでいる。合成側装置４０は、画像処理システム２０の他に、表示部４１と、操作部４２と、外部インターフェース４３と、画像入力部４４とを含んでいる。以下では、外部インターフェース３３，４３をＩ／Ｆ３３，４３と呼ぶ場合もある。

【0018】

表示部３１，４１は例えば液晶表示装置で構成されるが、表示部３１，４１は異なる種類の表示装置で構成されてもよい。操作部３２，４２は、ユーザが装置３０，４０に対して、換言すれば画像処理システム１０，２０に対して、指示、データ等を入力するための操作媒体である。操作部３２，４２はキーボード、マウス、ボタン、スイッチ等の１つまたは複数の装置によって構成される。

【0019】

Ｉ／Ｆ３３は供給側装置３０が装置外部と信号の入出力を行う部分である。同様に、Ｉ／Ｆ４３は合成側装置４０が装置外部と信号の入出力を行う部分である。Ｉ／Ｆ３３，４３を利用することによって、供給側装置３０と合成側装置４０との間で情報（データ、指示等）の伝達が可能になる。

【0020】

具体的にＩ／Ｆ３３，４３は通信インターフェースを含んでおり、それにより供給側装置３０と合成側装置４０とがＩ／Ｆ３３，４３によって通信可能になる。装置３０，４０間の通信方式は、有線と、無線と、それらの組み合わせとのいずれでもよい。装置３０，４０間の情報伝達には、媒体５０が介在する。上記のように通信の場合、媒体５０は無線または有線の通信媒体（換言すれば通信経路）である。

【0021】

Ｉ／Ｆ３３，３４は、通信インターフェースに加えてまたは代えて、外部記憶媒体用のインターフェースを含んでもよい。その場合、供給側装置３０と合成側装置４０との間の情報伝達は外部記憶媒体を介して行うことが可能であり、その外部記憶媒体が装置３０，４０間に介在する媒体５０に該当する。

【0022】

画像入力部３４は、デジタルカメラによって構成される。あるいは、画像入力部３４は、画像データを供給する記憶装置であってもよい。画像入力部４４も同様に構成される。なお、画像入力部３４，４４は異なる種類の装置で構成されてもよい。

【0023】

なお、供給側装置３０および合成側装置４０の構成は図２の例に限定されるものではない。すなわち、上記の構成要素のうちの一部を省略してもよいし、他の構成要素を追加してもよい。

【0024】

＜供給システム１１および合成システム２１の例＞
図３に、供給システム１１および合成システム２１のより具体的な構成例を示す。図３では、図面の煩雑化を避けるため、表示部３１，４１等を省略している。図３に示すように、供給システム１１は、画像データ出力部１００と、マスクデータ出力部２００とを含んでいる。画像データ出力部１００は画像エンコーダ１５０を含み、マスクデータ出力部２００はマスク生成部２１０とマスクエンコーダ２５０とを含んでいる。合成システム２１は、画像デコーダ３００と、マスクデコーダ４００と、合成部５００とを含んでいる。

【0025】

＜画像データ出力部１００＞
画像データ出力部１００は、全体画像のデータである全体画像データＡ１０を取得し、第１基礎画像のデータである第１基礎画像データＡ５０を出力する。全体画像データＡ１０は、例えば画像入力部３４または画像処理システム１０内の他のシステムから供給される。第１基礎画像データＡ５０は供給システム１１から出力される。

【0026】

全体画像は、合成システム２１における画像合成のために、ＲＯＩ（関心領域）を含む主画像を提供する。すなわち、全体画像はＲＯＩを含んでいる。第１基礎画像は画像データ出力部１００から出力される画像であり、第１基礎画像は全体画像のうちでＲＯＩを含む一部分、または、全体画像の全範囲によって構成される。換言すれば、全体画像は第１基礎画像の源となる画像である。実施の形態１では、画像データ出力部１００は全体画像の全範囲を第１基礎画像として出力するものとする（後述の図２６参照）。

【0027】

後述するが、第１基礎画像のうちで合成部５００において合成処理の対象にされる範囲を、第１対象画像と呼ぶことにする。第１対象画像は、合成システム２１に供給される第１基礎画像のうちでＲＯＩを含む一部分、または、第１基礎画像の全範囲によって構成される。第１基礎画像と全体画像との上記関係に鑑みると、第１対象画像は、全体画像のうちでＲＯＩを含む一部分、または、全体画像の全範囲によって構成されることになる。すなわち、全体画像および第１基礎画像は、第１対象画像の源となる画像である。

【0028】

なお、全体画像、第１基礎画像および第１対象画像は、デジタルカメラ等によって撮影した画像であってもよいし、あるいは、コンピュータグラフィックスであってもよい。

【0029】

上記のように、画像データ出力部１００は画像エンコーダ１５０を含んでいる。画像エンコーダ１５０は、出力データである第１基礎画像データＡ５０を符号化することによって、第１基礎画像データＡ５０の符号化ビットストリームＡｂｓを生成する。この符号化ビットストリームＡｂｓを画像ビットストリームＡｂｓと呼ぶ場合もある。画像ビットストリームＡｂｓはＩ／Ｆ３３から供給側装置３０の外部に出力される。

【0030】

画像エンコーダ１５０は、各種の画像エンコーダ、例えば既知のコーデック規格（Ｈ．２６４、ＭＰＥＧ（Moving Pictures Experts Group）、ＪＰＥＧ（Joint Photographic Experts Group）、ＪＰＥＧ２０００、等）に準拠したエンコーダによって構成可能である。すなわち、画像エンコーダ１５０の仕様は特に限定されるものではない。

【0031】

図４に、画像エンコーダ１５０として動画像用の一般的な画像エンコーダ１５０ｓを利用する場合のブロック図を示す。画像エンコーダ１５０ｓによれば、動き補償部が、入力画像（具体的には、動画像を構成する各フレームの画像）に対して、動き補償を行う。動き補償後の画像は、周波数変換部によって周波数変換され、その後、量子化部によって量子化される。量子化されたデータは、エントロピー符号化部によって符号化される。符号化データは、ビットストリーム生成部によって、画像エンコーダ１５０ｓのコーデック仕様に準拠したビットストリームに変換される。一方、量子化部によって生成された量子化データは、動き補償にフィードバックするために、逆量子化部によって逆量子化され、逆周波数変換部によって逆周波数変換される。逆周波数変換されたデータは、動き補償部に入力される。動き補償部は前後フレームの動き差分を計算し、その計算結果が周波数変換部に入力される。

【0032】

図５に、画像エンコーダ１５０として静止画像用の一般的な画像エンコーダ１５０ｔを利用する場合のブロック図を示す。画像エンコーダ１５０ｔは、図４の画像エンコーダ１５０ｓから、動き補償部と、逆量子化部と、逆周波数変換部とを取り除いた構成を有している。すなわち、入力された静止画像は、周波数変換部と、量子化部と、エントロピー符号化と、ビットストリーム生成部とによって、画像エンコーダ１５０ｔのコーデック仕様に準拠したビットストリームに変換される。

【0033】

＜マスクデータ出力部２００＞
図３に戻り、マスクデータ出力部２００は、全体画像データＡ１０を取得し、全体画像データＡ１０に基づいて基礎マスクのデータである基礎マスクデータＢ５０を生成し、基礎マスクデータＢ５０を出力する。基礎マスクデータＢ５０は供給システム１１から出力される。

【0034】

上記のように、マスクデータ出力部２００はマスク生成部２１０とマスクエンコーダ２５０とを含んでいる。マスク生成部２１０は、図３に示すように、全体マスク生成部２１１を含んでいる。全体マスク生成部２１１は、全体画像データＡ１０に基づいて、全体マスクのデータである全体マスクデータＢ１０を生成する。

【0035】

全体マスクは、全体画像の全範囲においてＲＯＩと非ＲＯＩとを判別するためのマスクである。基礎マスクはマスクデータ出力部２００から出力されるマスクであり、基礎画像の範囲についてのマスクである。上記のように実施の形態１では全体画像の全範囲を第１基礎画像とするので、基礎マスクは全体画像の範囲についてのマスクである（後述の図２６参照）。後述するが、第１対象画像の範囲についてのマスクを、対象マスクと呼ぶことにする。すなわち、全体マスクは基礎マスクおよび対象マスクの源となるマスクであり、基礎マスクは対象マスクの源となるマスクである。

【0036】

マスクエンコーダ２５０は、全体マスクデータＢ１０を、出力データである基礎マスクデータＢ５０として取得し、基礎マスクデータＢ５０を符号化することによって、基礎マスクデータＢ５０の符号化ビットストリームＢｂｓを生成する。この符号化ビットストリームＢｂｓをマスクビットストリームＢｂｓと呼ぶ場合もある。マスクビットストリームＢｂｓはＩ／Ｆ３３から供給側装置３０の外部に出力される。

【0037】

マスク生成部２１０は、各種のマスク生成技術によって構成可能である。例えば動画像中の動体を検出する技術が知られており、この動体検出技術を利用すれば、画像中の動体をＲＯＩに設定したマスクを生成できる。動体検出技術に関しては、例えば特許文献１〜３を参照。また、例えば特許文献４，５にはパーティクルフィルタを利用して動体を追跡する技術が記載されており、かかる動体追跡技術によれば動体検出精度を向上でき、また、演算量を削減できる。

【0038】

また、デジタルカメラによって撮影された静止画像を対象として、グラフカットによって、画像全体から前景画像と背景画像とを分離する技術が知られている。この画像分離技術を利用してマスク生成部２１０を構成すれば、前景画像をＲＯＩに設定したマスクを生成できる。

【0039】

なお、マスク生成部２１０は、マスク生成に際して適宜、前処理を行う。例えば、全体画像データＡ１０が、デジタルカメラによる撮影画像データ（Ｂａｙｅｒデータ）である場合、ＢａｙｅｒデータをＲＧＢカラーデータに変換する。また、全体画像のサイズが大きい場合、演算量を減らすために縮小処理を行う。また、特徴量を抽出するために、白黒、ＹＵＶ、ＨＳＶ等への色空間変換を行う。

【0040】

ここで、図６に全体画像６０の例を示す。全体画像６０において、移動中の人物の部分をＲＯＩ６０ａに設定し、それ以外の部分を非ＲＯＩ６０ｂに設定するものとする。

【0041】

全体画像６０の全範囲に対応する全体マスク７０を、図７に示す。全体マスク７０は、全体画像６０中の各画素がＲＯＩ６０ａと非ＲＯＩ６０ｂのどちらに属するのかを示す画像として理解できる。全体マスク７０は、全体画像６０中のＲＯＩ６０ａおよび非ＲＯＩ６０ｂに対応するＲＯＩ対応部分７０ａおよび非ＲＯＩ対応部分７０ｂを有している。図７において、白抜き部分がＲＯＩ対応部分７０ａであり、黒塗り部分が非ＲＯＩ対応部分７０ｂである。

【0042】

なお、動画像の場合、全てのフレーム画像を対象にして全体マスク７０を生成してもよいし、あるいは、例えば一定フレーム毎または一定時間毎に全体マスク７０を生成してもよい。また、静止画像が順次入力される場合についても、同様である。

【0043】

マスクエンコーダ２５０は、各種の画像エンコーダによって構成可能である。ここで、全体マスク７０（基礎マスクとしてマスクエンコーダ２５０に入力される）はＲＯＩ対応部分７０ａと非ＲＯＩ対応部分７０ｂとを区別できればよい。このため、全体マスク７０は本質的には２値画像である。かかる点に鑑みると、マスクエンコーダ２５０は、ファクシミリで用いられるコーデック規格に準拠したエンコーダによって構成可能である。ファクシミリで用いられるコーデック規格として、ＪＢＩＧ（Joint Bi-level Image Experts Group）、ＪＢＩＧ２、ＭＨ（Modified Huffman）、ＭＲ（Modified READ（Relative Element Address Designate））、ＭＭＲ（Modified Modified READ）、等がある。

【0044】

図８に、マスクエンコーダ２５０として、ファクシミリ用の一般的な画像エンコーダ２５０ｕを利用する場合のブロック図を示す。画像エンコーダ２５０ｕによれば、前処理部が入力マスク画像に対して所定の前処理（例えばランレングス処理）を行う。前処理後のデータはエントロピー符号化部によって符号化され、エントロピー符号化部が、画像エンコーダ２５０ｕのコーデック仕様に準拠した符号化ビットストリームを出力する。エントロピー符号化には、算術符号化、可変長符号化、等がある。なお、マスクは２値画像であるので、エントロピー符号化等の高度な符号化を利用しなくても、例えばランレングス処理（換言すればランレングス符号化）によってある程度の圧縮率が得られる。

【0045】

特にマスクエンコーダ２５０は、図３に示すように、合成具合を制御するための合成制御データＣ５０を取得し、合成制御データＣ５０を付加情報としてマスクビットストリームＢｂｓに埋め込む。具体的には、マスクビットストリームＢｂｓは基礎マスクデータＢ５０に影響しない領域を有しており、エントロピー符号化部はその領域に合成制御データＣ５０を埋め込む。マスクビットストリームＢｂｓのそのような領域として、例えばヘッダ領域が挙げられる。合成制御データＣ５０は、供給システム１１の側に設けられた操作部３２にユーザが入力することによって、供給システム１１に供給される。

【0046】

ここで、マスクエンコーダ２５０は、基礎マスクデータＢ５０（図３の例では全体マスクデータＢ１０）のビットストリームであるマスクビットストリームＢｂｓを、所定の仕様に準拠して生成するマスクビットストリーム生成部２５０の一例である。また、符号化ビットストリームＢｂｓは、マスクビットストリームＢｂｓの一例である。換言すれば、マスクビットストリームＢｂｓは、符号化されていないデータのビットストリームであってもよい。その場合、符号化を行わないビットストリーム生成仕様が採用される。上記のようにマスクは２値画像であるので、基礎マスクのデータサイズは第１基礎画像に比べて小さいことが多い。このため、基礎マスクデータＢ５０を符号化しなくても、ある程度の実用性は得られる。また、符号化に関わる演算量を削減できる。

【0047】

＜第１基礎画像データＡ５０と基礎マスクデータＢ５０＞
供給システム１１の上記構成によれば、第１基礎画像データＡ５０は、画像ビットストリームＡｂｓによって、供給側装置３０の外部に（したがって供給システム１１の外部に）出力される。また、基礎マスクデータＢ５０は、マスクビットストリームＢｂｓによって、供給側装置３０の外部に出力される。また、合成制御データＣ５０は、基礎マスクデータＢ５０と共に、マスクビットストリームＢｂｓによって、供給側装置３０の外部に出力される。特に、画像ビットストリームＡｂｓとマスクビットストリームＢｂｓとは、別個のビットストリームとして、供給側装置３０の外部に出力される。

【0048】

また、供給システム１１の上記構成によれば、マスク生成部２１０は、第１基礎画像データＡ５０の符号化（符号化アルゴリズム）から独立したアルゴリズムによって、基礎マスクデータＢ５０を生成する。参考として、例えばＪＰＥＧ２０００のオプション機能であるＭａｘ−ｓｈｉｆｔ法によれば、画像データの符号化アルゴリズムの中に、ＲＯＩを指定する情報（換言すれば、マスクに関する情報）の生成アルゴリズムが組み込まれている。したがって、供給システム１１では、Ｍａｘ−ｓｈｉｆｔ法等とは異なるアルゴリズムによって、基礎マスクデータＢ５０が生成される。

【0049】

＜供給システム１１の動作＞
図９に、供給システム１１の動作を説明するフローチャートを示す。図９の動作フローＳ１００によれば、供給システム１１に全体画像データＡ１０が入力されると（ステップＳ１０１）、画像データ出力部１００では、画像エンコーダ１５０が、全体画像データＡ１０を取得し、全体画像データＡ１０を第１基礎画像データＡ５０として符号化を行うことによって画像ビットストリームＡｂｓを生成する（ステップＳ１１２）。

【0050】

他方、マスクデータ出力部２００では、マスク生成部２１０が全体画像データＡ１０に基づいて、基礎マスクデータＢ５０としての全体マスクデータＢ１０を生成する（ステップＳ１２２）。そして、マスクエンコーダ２５０が、全体マスクデータＢ１０を基礎マスクデータＢ５０として取得し、基礎マスクデータＢ５０を符号化してマスクビットストリームＢｂｓを生成する（ステップＳ１２３）。その後、マスクエンコーダ２５０は、マスクビットストリームＢｂｓに、合成制御データＣ５０を埋め込む（ステップＳ１２４）。

【0051】

そして、画像データ出力部１００から画像ビットストリームＡｂｓが出力され、マスクデータ出力部２００からマスクビットストリームＢｂｓが出力される（ステップＳ１０５）。

【0052】

なお、図９ではステップＳ１１２とステップＳ１２２〜Ｓ１２４とが並行して実行されるが、ステップＳ１１２とステップＳ１２２〜Ｓ１２４とを順次、実行してもよい。また、合成制御データＣ５０はステップＳ１０１において入力されてもよいし、あるいは、事前に入力され保持していた合成制御データＣ５０をステップＳ１２４で利用してもよい。

【0053】

＜媒体５０＞
第１基礎画像データＡ５０と基礎マスクデータＢ５０と合成制御データＣ５０とは、供給システム１１からＩ／Ｆ３３を介して出力され、Ｉ／Ｆ４３を介して合成システム２１に入力される。その際、媒体５０（図２参照）が利用される。ここでは、第１基礎画像データＡ５０と基礎マスクデータＢ５０と合成制御データＣ５０とが、同じ媒体５０（例えば通信媒体または外部記憶媒体）によって、合成システム２１に供給されるものとする。但し、異なる媒体５０を利用してもよい。例えば、第１基礎画像データＡ５０の供給に通信媒体を利用し、基礎マスクデータＢ５０と合成制御データＣ５０の供給に外部記憶媒体を利用してもよい。

【0054】

＜画像デコーダ３００＞
図３に戻り、画像デコーダ３００は、画像ビットストリームＡｂｓを取得し、画像ビットストリームＡｂｓを復号化することによって第１基礎画像データＡ５０を取得する。画像デコーダ３００は画像エンコーダ１５０に対応していればよく、各種の画像デコーダ、例えば既知のコーデック規格に準拠したデコーダによって画像デコーダ３００を構成可能である。すなわち、画像デコーダ３００の仕様は特に限定されるものではない。

【0055】

図１０に、画像デコーダ３００として、動画像用の一般的な画像デコーダ３００ｓを利用する場合のブロック図を示す。画像デコーダ３００ｓによれば、画像ビットストリームＡｂｓは、ビットストリーム解析部によって解析され、エントロピー復号化部によって復号化され、逆量子化部によって逆量子化され、逆周波数変換部によって逆周波数変換される。その後、動き補償部が前後フレームとの相関から動き補償を行い、それにより復号化画像データ、すなわち第１基礎画像データＡ５０が生成される。

【0056】

図１１に、画像デコーダ３００として、静止画像用の一般的な画像デコーダ３００ｔを利用する場合のブロック図を示す。画像デコーダ３００ｔは、図１０の画像デコーダ３００ｓから、動き補償部を取り除いた構成を有している。すなわち、ビットストリーム解析部と、エントロピー復号化部と、逆量子化部と、逆周波数変換部によって、画像ビットストリームＡｂｓから第１基礎画像データＡ５０が取得される。

【0057】

＜マスクデコーダ４００＞
マスクデコーダ４００は、マスクビットストリームＢｂｓを取得し、マスクビットストリームＢｂｓを復号化することによって基礎マスクデータＢ５０を取得する。ここで、上記のように供給システム１１は、マスクビットストリームＢｂｓを、画像ビットストリームＡｂｓとは別個のビットストリームによって出力する。このため、合成システム２１は、マスクビットストリームＢｂｓと画像ビットストリームＡｂｓとを、別個のビットストリームによって取得する。

【0058】

マスクデコーダ４００は、マスクエンコーダ２５０に対応していれば、各種の画像デコーダによって構成可能である。すなわち、マスクデコーダ４００の仕様は特に限定されるものではない。ここでは、マスクデコーダ４００として、ファクシミリ用の一般的な画像デコーダを利用する場合を挙げる。図１２に、ファクシミリ用の一般的な画像デコーダ４００ｕのブロック図を示す。画像デコーダ４００ｕによれば、マスクビットストリームＢｂｓはエントロピー復号化部によって復号化され、復号化データに対して後処理部が所定の後処理を行う。

【0059】

ここで、エントロピー復号化部は、復号化の前にマスクビットストリームＢｂｓを解析する。その解析において、マスクビットストリームＢｂｓの所定領域にデータが埋め込まれているか否かを点検する。そして、データが埋め込まれている場合、エントロピー復号化部はそのデータを抽出する。ここでは、合成制御データＣ５０がマスクビットストリームＢｂｓに埋め込まれた状態で合成システム２１に取得されているので、エントロピー復号化部は合成制御データＣ５０を抽出する。

【0060】

また、マスクデコーダ４００によれば、画像デコーダ３００における画像ビットストリームＡｂｓの復号化から独立したアルゴリズムによって、マスクビットストリームＢｂｓを復号化する。

【0061】

ここで、マスクデコーダ４００は、画像ビットストリームＡｂｓの復号化から独立したアルゴリズムによって、マスクビットストリームＢｂｓから基礎マスクデータＢ５０を復元するマスクデータ復元部４００の一例である。上記のように、マスクビットストリームＢｂｓは符号化ビットストリームでなくてもよい。その場合、復号化を行わないデータ復元仕様が採用され、復号化に関わる演算量を削減できる。

【0062】

＜合成部５００＞
図３に戻り、合成部５００は、第１基礎画像データＡ５０と、基礎マスクデータＢ５０と、合成制御データＣ５０と、第２基礎画像データＤ５０とを取得し、これらのデータを利用して画像合成を行い、合成画像のデータである合成画像データＥ１００を出力する。

【0063】

第２基礎画像は、画像合成のための背景画像を提供する。第２基礎画像のデータである第２基礎画像データＤ５０は、例えば、合成システム２１の側に設けられた画像入力部４４、または、画像処理システム２０（図１参照）の他のシステムから供給される。なお、第２基礎画像および後述の第２対象画像は、デジタルカメラ等によって撮影した画像であってもよいし、あるいは、コンピュータグラフィックスであってもよい。

【0064】

図１３に、合成部５００の構成例を示す。図１３に示すように、合成部５００は、ウエーブレット変換部５１０と、合成実行部５２０と、逆ウエーブレット変換部５３０とを含んでいる。

【0065】

＜ウエーブレット変換部５１０＞
ウエーブレット変換部５１０は、第１対象画像のデータである第１対象画像データＡ６０と第２対象画像のデータである第２対象画像データＤ６０とのそれぞれに対して、整数型または実数型の離散ウエーブレット変換（ＤＷＴ）を行い、その結果得られた変換係数を出力する。以下では、変換係数を例えば、ウエーブレット変換係数、または、ウエーブレット係数と呼ぶ場合もある。

【0066】

第１対象画像は、第１基礎画像のうちでウエーブレット変換を行う範囲の画像である。実施の形態１では合成部５００において、第１基礎画像の全範囲が第１対象画像として扱われ、よって第１基礎画像データＡ５０が第１対象画像データＡ６０として処理される（後述の図２６参照）。同様に、第２対象画像は、第２基礎画像のうちでウエーブレット変換を行う範囲の画像である。すなわち、第２基礎画像は第２対象画像の源となる画像である。実施の形態１では合成部５００において、第２基礎画像の全範囲が第２対象画像として扱われ、よって第２基礎画像データＤ５０が第２対象画像データＤ６０として処理される（後述の図２６参照）。

【0067】

ここでは、第２対象画像が第１対象画像と同じ形状および大きさを有している例、換言すれば第２対象画像が第１対象画像と合同である例を挙げる。なお、画像の対比に関し、例えば画像が合同であるという表現は、基本的には、画像全体の外形が合同であることを意味するものとする。すなわち、画像の具体的表示内容を対比対象に含めるか否かは、対比の目的等に応じて決まるものとする。

【0068】

第１対象画像データＡ６０に対してウエーブレット変換を行うことによって生成されるデータ（ウエーブレット係数の群）を、第１ウエーブレット係数データＡ６１と呼ぶことにする。同様に、第２対象画像データＤ６０に対してウエーブレット変換を行うことによって生成されるデータ（ウエーブレット係数の群）を、第２ウエーブレット係数データＤ６１と呼ぶことにする。

【0069】

ウエーブレット変換では、２次元画像データが高域成分（換言すれば高周波成分）と低域成分（換言すれば低周波成分）とに分解される。かかる周波数分解は例えば帯域分割とも呼ばれる。また、周波数分解によって得られた各帯域成分（すなわち低域成分と高域成分のそれぞれ）はサブバンドとも呼ばれる。ここでは、ＪＰＥＧ２０００の基本方式に倣い、垂直方向と水平方向の両方について低域側に分割された帯域成分のみを再帰的に帯域分割していく、オクターブ分割方式を採用するものとする。再帰的な帯域分割を行った回数は、分解レベルと呼ばれる。

【0070】

ウエーブレット変換の分解レベルは、合成制御データＣ５０によって指定される。ここでは、合成制御データＣ５０による指定値が３である場合を例示する。この場合、ウエーブレット変換部５１０では、分解レベル３のウエーブレット変換が行われる。

【0071】

図１４〜図１６に、２次元でのウエーブレット変換について、Ｍａｌｌａｔ型のウエーブレット平面６１〜６３を示す。図１４〜図１６の例によれば、入力画像（２次元画像）は、分解レベル１において（図１４参照）、垂直方向と水平方向のそれぞれについて周波数分解が行われる。これにより、図１４のウエーブレット平面６１に示すように、４つの帯域成分ＨＨ１，ＨＬ１，ＬＨ１，ＬＬ１に分解される。分解レベル１で得られた帯域成分ＬＬ１は、分解レベル２において（図１５のウエーブレット平面６２を参照）、更に４つの帯域成分ＨＨ２，ＨＬ２，ＬＨ２，ＬＬ２に分解される。分解レベル２で得られた帯域成分ＬＬ２は、分解レベル３において（図１６のウエーブレット平面６３を参照）、更に４つの帯域成分ＨＨ３，ＨＬ３，ＬＨ３，ＬＬ３に分解される。なお、合成制御データＣ５０による分解レベルの指定値は３に限定されるものではない。

【0072】

２次元のウエーブレット変換に関する表記について、例えばＨＬ１は、分解レベル１における水平方向の高域成分Ｈと垂直方向の低域成分Ｌとからなる帯域成分である。その表記法は「ＸＹｍ」と一般化される（ＸおよびＹはそれぞれＨ，Ｌのいずれか。ｍは１以上の整数）。すなわち、分解レベルｍにおける水平方向の帯域成分Ｘと垂直方向の帯域成分Ｙとからなる帯域成分は「ＸＹｍ」と表記される。

【0073】

ここで、ウエーブレット平面（図１４〜図１６参照）は、ウエーブレット変換の演算結果データを、原画像（ウエーブレット変換が行われていない状態の画像）中の画素の並びに対応付けて２次元配列したデータ群である。例えばウエーブレット平面において帯域成分ＬＬ１として示されている領域内には、原画像中のある画素を注目画素として得られた演算結果データ（ＬＬ成分データ）が、原画像中での当該注目画素の位置に対応して並べられている。なお、ウエーブレット平面はウエーブレット空間、ウエーブレット領域、または、ウエーブレット画像と呼ばれる場合もある。

【0074】

分解レベル１において、帯域成分ＬＬ１は画像の本質的な情報に対応する。なお、帯域成分ＬＬ１によれば、分解前の画像の１／４のサイズの画像（換言すれば、分解前の画像に対する縮小比が１／２の画像）を提供可能である。帯域成分ＨＬ１は垂直方向に伸びるエッジの情報に対応し、帯域成分ＬＨ１は水平方向に伸びるエッジの情報に対応する。帯域成分ＨＨは斜め方向に伸びるエッジの情報に対応する。これらの点は他の分解レベルについても同様である。例えば、分解レベル２の帯域成分ＬＬ２，ＨＬ２，ＬＨ２，ＨＨ２は、分解前の帯域成分ＬＬ１を原画像と見なした場合における帯域成分ＬＬ１，ＨＬ１，ＬＨ１，ＨＨ１とそれぞれ同様の関係にある。

【0075】

以下では、ウエーブレット変換が行われていない状態の原画像を分解レベル０に対応させ、当該原画像を分解レベル０のウエーブレット平面と表現する場合もある。

【0076】

また、ウエーブレット平面において最も分解された帯域成分を、最上位帯域成分と呼ぶことにする。具体的には、分解レベル３のウエーブレット平面６３（図１６参照）において、最上位帯域成分はＬＬ３，ＨＬ３，ＬＨ３，ＨＨ３である。一般化するならば、分解レベルｋのウエーブレット平面において、最上位帯域成分はＬＬｋ，ＨＬｋ，ＬＨｋ，ＨＨｋである。また、分解回数が同じ帯域成分において、帯域成分ＬＬを最低域の帯域成分と呼び、帯域成分ＨＨを最高域の帯域成分と呼ぶことにする。

【0077】

なお、Ｍａｌｌａｔ型では、上記のように、ＬＬ成分を水平方向と垂直方向のそれぞれについて同じ回数で、再帰的に分解する。また後述のように、Ｍａｌｌａｔ型では分解とは逆の手順で帯域成分が合成される。但し、水平方向と垂直方向のそれぞれのＬ成分とＨ成分を同じ回数で、分解および合成する必要はない。すなわち、Ｍａｌｌａｔ型とは異なる型式のウエーブレット変換を用いてもよい。

【0078】

また、原画像およびウエーブレット平面において左上端を座標系の原点に採り、原点を０として扱い、ウエーブレット変換のＬ成分出力を偶数として扱い、Ｈ成分出力を奇数として扱う例を挙げる。但し、Ｌ成分出力を奇数として扱い、Ｈ成分出力を偶数として扱うことも可能である。なお、ウエーブレット平面（図１４〜図１６参照）は、ウエーブレット変換の偶数番目および奇数番目の出力を、帯域成分ごとに再配置した概念的な平面である。

【0079】

＜合成実行部５２０＞
合成実行部５２０は、第１ウエーブレット係数データＡ６１について、ＲＯＩに関与する係数（以下、ＲＯＩ係数とも呼ぶ）と、非ＲＯＩに関与する係数（以下、非ＲＯＩ係数とも呼ぶ）とを判別する係数判別処理を行う。そして、合成実行部５２０は、第１ウエーブレット係数データＡ６１中のＲＯＩ係数と、第２ウエーブレット係数データＤ６１中のウエーブレット係数とを合成する係数合成処理を行うことによって、合成済み係数データＥ６１を生成する。

【0080】

＜係数判別処理＞
係数判別処理は、第１対象画像の範囲においてＲＯＩと非ＲＯＩとを判別するための対象マスクのデータである対象マスクデータＢ６０に基づいて行う。実施の形態１では第１基礎画像の全範囲が第１対象画像であるので、第１基礎画像の範囲についての基礎マスクが、第１対象画像の範囲についての対象マスクになる（後述の図２６参照）。

【0081】

係数判別処理は、上記のように第１ウエーブレット係数データＡ６１に対して行われる。一方、実施の形態１では、対象マスクは原画像（ウエーブレット変換が行われていない状態の画像）である第１対象画像を対象にしている。このため、合成実行部５２０は、マスク展開部５２１を含んでいる。

【0082】

ここで、原画像を対象にしたマスクを、原マスクと呼ぶことにする。原マスクは、原画像中の各画素がＲＯＩと非ＲＯＩのどちらに属するのかを示す画像として理解できる。原マスクは、原画像中のＲＯＩおよび非ＲＯＩに対応するＲＯＩ対応部分および非ＲＯＩ対応部分を有している。全体マスク７０（図７参照）は原マスクであり、実施の形態１では基礎マスクおよび対象マスクも原マスクである。

【0083】

マスク展開部５２１は、原マスクのＲＯＩ対応部分および非ＲＯＩを、第１ウエーブレット係数データＡ６１に含まれる各帯域成分用に（換言すれば、第１ウエーブレット係数データＡ６１に対応するウエーブレット平面に含まれる各帯域成分用に）展開する。このようなマスク展開処理によって、第１ウエーブレット係数データＡ６１用のマスクである展開マスクが生成される。マスクの展開に関しては、例えば特許文献６，７および非特許文献１を参照。

【0084】

図１７〜図１９に、図７の全体マスク７０を分解レベル１，２，３のウエーブレット平面６１〜６３（図１４〜図１６参照）に展開した展開マスク７１，７２，７３をそれぞれ示す。展開マスク７１，７２，７３において、ＲＯＩ対応部分７１ａ，７２ａ，７３ａが白抜きで図示され、非ＲＯＩ対応部分７１ｂ，７２ｂ，７３ｂが黒塗りで図示されている。

【0085】

図２０に、マスク展開処理のフローチャートを示す。図２０のマスク展開処理Ｓ２００によれば、マスクの分解レベルを１段階上げる処理（以下、単位処理とも呼ぶ）Ｓ２０２が行われる。合成制御データＣ５０によって指定された分解レベルが２以上である場合、その指定された分解レベルのマスクが得られるまで、単位処理Ｓ２０２が繰り返される（ステップＳ２０１参照）。

【0086】

単位処理Ｓ２０２では、第１ウエーブレット平面用の第１マスクを、第１ウエーブレット平面よりも分解レベルが１段階高い第２ウエーブレット平面用の第２マスクに、変換する。なお、展開対象の第１マスクが原マスクである場合、上記の第１ウエーブレット平面はウエーブレット変換前の原画像が対応する。上記のように原画像を分解レベル０のウエーブレット平面と表現することによって、第１ウエーブレット平面には原画像も含まれることが理解できる。

【0087】

単位処理Ｓ２０２の繰り返しは、再帰的に行われる。すなわち、第２マスクを新たな第１マスクに設定することによって、単位処理Ｓ２０２が再度、行われる。また、単位処理Ｓ２０２の繰り返しは、ウエーブレット変換の方式に従って行われる。例えば上記のＭａｌｌａｔ型の方式が採用されている場合（図１４〜図１６参照）、ウエーブレット平面は最低域の帯域成分ＬＬのみを再帰的に分解していく。このため、マスクの展開も帯域成分ＬＬに対応する部分に対してのみ再帰的に行う。

【0088】

単位処理Ｓ２０２は所定のマスク展開条件に基づいて行われ、マスク展開条件はウエーブレット変換のフィルタのタップ数に依存する。

【0089】

例えばウエーブレット変換の演算処理において５×３フィルタが使用される場合、マスク展開条件は、図２１に基づいた２つの条件（第１条件と第２条件と呼ぶことにする）を含む。なお、５×３フィルタでは、分解側のローパスフィルタが５タップであり、分解側のハイパスフィルタが３タップである。

【0090】

第１条件：第１ウエーブレット平面上の偶数番目（ｎを整数として、２ｎ番目と表記できる）のデータが第１マスクによってＲＯＩに対応付けられている場合、第２ウエーブレット平面において低域成分（ローパスフィルタの側の出力データに対応する）のｎ番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。それと共に、第２ウエーブレット平面において高域成分（ハイパスフィルタの側の出力データに対応する）の｛ｎ−１｝番目およびｎ番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。

【0091】

第２条件：第１ウエーブレット平面上の｛２ｎ＋１｝番目のデータが第１マスクによってＲＯＩに対応付けられているとき、第２ウエーブレット平面において低域成分のｎ番目および｛ｎ＋１｝番目ならびに高域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。

【0092】

また、ウエーブレット変換の演算処理においてDaubechies９×７フィルタが用いられる場合、マスク展開条件は、図２２に基づいた２つの条件（第３条件と第４条件と呼ぶことにする）を含む。なお、Daubechies９×７フィルタでは、分解側のローパスフィルタが９タップであり、分解側のハイパスフィルタが７タップである。

【0093】

第３条件：第１ウエーブレット平面上の２ｎ番目のデータが第１マスクによってＲＯＩに対応付けられているとき、第２ウエーブレット平面において低域成分の｛ｎ−１｝番目から｛ｎ＋１｝番目および高域成分の｛ｎ−２｝番目から｛ｎ＋１｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。

【0094】

第４条件：第１ウエーブレット平面上の｛２ｎ＋１｝番目のデータが第１マスクによってＲＯＩに対応付けられているとき、第２ウエーブレット平面において低域成分の｛ｎ−１｝番目から｛ｎ＋２｝番目および高域成分の｛ｎ−２｝番目から｛ｎ＋２｝番目のデータがＲＯＩに対応付けられるように、第２マスクを形成する。

【0095】

合成制御データＣ５０によって指定された分解レベルが３の場合、合成実行部５２０は、展開マスク７３（図１９参照）におけるＲＯＩ対応部分７３ａと非ＲＯＩ対応部分７３ｂとの区別に基づいて、係数判別処理を行う。

【0096】

＜係数合成処理＞
上記のように、合成実行部５２０は、第１ウエーブレット係数データＡ６１中のＲＯＩ係数と、第２ウエーブレット係数データＤ６１中のウエーブレット係数とを合成する係数合成処理を行うことによって、合成済み係数データＥ６１を生成する。

【0097】

具体的には、第１ウエーブレット係数データＡ６１によるウエーブレット平面上の或る位置のデータが、ＲＯＩ係数でない（換言すれば非ＲＯＩ係数である）場合、当該非ＲＯＩ係数を、第２ウエーブレット係数データＤ１２によるウエーブレット平面上で同じ位置に存在するデータで置換する。これによれば、第１ウエーブレット係数データＡ６１が、合成済み係数データＥ６１に変換される。

【0098】

図２３に、係数合成処理のフローチャートを示す。図２３の係数合成処理Ｓ３００によれば、まず、第１ウエーブレット係数データＡ６１中から検査対象とするウエーブレット係数を１つ選択する（ステップＳ３０１）。そして、その検査対象係数がＲＯＩ係数と非ＲＯＩ係数のどちらであるかを判別する（ステップＳ３０２）。すなわち、ステップＳ３０２において、係数判別処理が行われる。

【0099】

検査対象係数が非ＲＯＩ係数である場合、その検査対象係数を、第２ウエーブレット係数データＤ６１中の対応するウエーブレット係数で置換する（ステップＳ３０３）。これに対し、検査対象係数がＲＯＩ係数である場合、ステップＳ３０３は行わない。第１ウエーブレット係数データＡ６１中の全てのウエーブレット係数を検査し終えるまで、ステップＳ３０１〜Ｓ３０３を繰り返す（ステップＳ３０４）。

【0100】

図２４に、係数合成処理の別のフローチャートを示す。図２４の係数合成処理Ｓ３００Ｂでは、上記ステップＳ３０３の代わりに、ステップＳ３０３Ｂが設けられている。すなわち、係数判別処理ステップＳ３０２において検査対象係数がＲＯＩ係数であると判別された場合、ステップＳ３０３Ｂにおいて第１ウエーブレット係数データＡ６１中の当該ＲＯＩ係数を、第２ウエーブレット係数データＤ６１中の対応する位置に埋め込む。これによれば、第２ウエーブレット係数データＤ６１が、合成済み係数データＥ６１に変換される。

【0101】

このように、第１ウエーブレット係数データＡ６１中のＲＯＩ係数と第２ウエーブレット係数データＤ６１中のウエーブレット係数との合成には、２種類の具体的手法（第１係数合成処理と第２係数合成処理と呼ぶことにする）がある。

【0102】

第１係数合成処理（図２３のＳ３００を参照）：第１ウエーブレット係数データＡ６１中の非ＲＯＩ係数を、第２ウエーブレット係数データＤ６１中の対応するウエーブレット係数で置換する。

【0103】

第２係数合成処理（図２４のＳ３００Ｂを参照）：第１ウエーブレット係数データＡ６１中のＲＯＩ係数を、第２ウエーブレット係数データＤ６１中の対応する位置に埋め込む。

【0104】

＜逆ウエーブレット変換部５３０＞
図１３に戻り、逆ウエーブレット変換部５３０は、合成実行部５２０によって生成された合成済み係数データＥ６１に対して、分解レベルが０になるまで逆ウエーブレット変換（ＩＤＷＴ）を行う。これにより、合成済み係数データＥ６１から、合成画像データＥ８０が生成される。実施の形態１では、合成画像データＥ８０が、合成部５００から出力され、出力データである合成画像データＥ１００になる。

【0105】

逆ウエーブレット変換は、ウエーブレット変換部５１０で行われるウエーブレット変換とは逆の処理である。逆ウエーブレット変換では、帯域成分が再帰的に合成される。逆ウエーブレット変換における合成回数は、合成レベルと呼ばれる。なお、逆ウエーブレット変換前の状態の合成レベルを０と表現することにする。例えば合成制御データＣ５０によって指定された分解レベルが３である場合、分解レベル３が合成レベル０に対応する。

【0106】

合成画像データＥ１００に基づいて表示部４１に表示動作を行わせることによって、第１対象画像中のＲＯＩと第２対象画像との合成画像が表示される。

【0107】

＜合成システム２１の動作＞
図２５に、合成システム２１の動作を説明するフローチャートを示す。また、図２６に、画像合成の概念図を示す。図２５の動作フローＳ４００は、データ取得処理のステップＳ４１０と、ウエーブレット変換処理のステップＳ４４０と、合成実行処理のステップＳ４５０と、逆ウエーブレット変換処理のステップＳ４６０とに大別される。

【0108】

データ取得ステップＳ４１０では、合成システム２１に画像ビットストリームＡｂｓとマスクビットストリームＢｂｓと第２基礎画像データＤ５０とが入力されると（ステップＳ４１１）、画像デコーダ３００が画像ビットストリームＡｂｓを復号化して第１基礎画像データＡ５０を取得する（ステップＳ４２２）。他方、マスクデコーダ４００がマスクビットストリームＢｂｓから合成制御データＣ５０を抽出する（ステップＳ４３２）。その後、マスクデコーダ４００はマスクビットストリームＢｂｓを復号化して基礎マスクデータＢ５０を取得する（ステップＳ４３３）。

【0109】

ここで、図２６に示すように実施の形態１では、第１基礎画像の全範囲が第１対象画像として扱われ、基礎マスクの全範囲が対象マスクとして扱われ、第２基礎画像の全範囲が第２対象画像として扱われる。このため、第１基礎画像データＡ５０と基礎マスクデータＢ５０と第２基礎画像データＤ５０とは、合成部５００において第１対象画像データＡ６０と対象マスクデータＢ６０と第２対象画像データＤ６０として扱われる（図１３参照）。

【0110】

ウエーブレット変換ステップＳ４４０では、ウエーブレット変換部５１０が、第１対象画像データＡ６０と第２対象画像データＤ６０のそれぞれに対して、合成制御データＣ５０によって指定された分解レベルまでウエーブレット変換を行う。これにより、第１対象画像データＡ６０と第２対象画像データＤ６０とから、第１ウエーブレット係数データＡ６１と第２ウエーブレット係数データＤ６１とが生成される。

【0111】

合成実行ステップＳ４５０では、マスク展開部５２１が、対象マスクデータＢ６０に基づいて、合成制御データＣ５０によって指定された分解レベルの展開マスクデータを生成する（ステップＳ４５１）。マスク展開については、図２０のマスク展開処理Ｓ２００を参照。そして、合成実行部５２０が、係数判別処理および係数合成処理を行って、合成済み係数データＥ６１を生成する（ステップＳ４５２）。

【0112】

逆ウエーブレット変換ステップＳ４６０では、逆ウエーブレット変換部５３０が、合成済み係数データＥ６１に対して逆ウエーブレットを行って、合成画像データＥ８０（実施の形態１では出力データＥ１００となる）を生成する。

【0113】

なお、図２５ではステップＳ４２２とステップＳ４３２〜Ｓ４３３とが並行して実行されるが、ステップＳ４２２とステップＳ４３２〜Ｓ４３３とを順次、実行してもよい。また、ステップＳ４４０とステップＳ４５１とを並行に実行してもよい。

【0114】

＜効果＞
実施の形態１によれば、第１対象画像中のＲＯＩと第２対象画像との合成は、第１ウエーブレット係数データＡ６１および第２ウエーブレット係数データＤ６１を用いて行われる。また、第１対象画像中のＲＯＩの判別は、第１ウエーブレット係数データＡ６１についてＲＯＩ係数を判別することによって行われる。かかる係数判別は、対象マスクデータＢ６０に基づいて、より具体的には第１ウエーブレット係数データＡ６１用の展開マスクデータ（対象マスクデータＢ６０に基づいて生成される）に基づいて、行われる。

【0115】

ウエーブレット変換および逆ウエーブレット変換では、処理対象の注目画素の情報だけでなくその周辺の画素の情報も利用する。ウエーブレット係数用の展開マスクの生成についても同様である。このため、実施の形態１によれば、第１対象画像データおよび第２対象画像データをそのまま合成する場合に比べて、良好な合成画像が得られる。すなわち、輪郭および／または内部に不具合を有した不十分なＲＯＩを利用しても（換言すれば、そのような不十分なＲＯＩ用の原マスクを利用しても）、合成画像上では、修復されたＲＯＩを提供できる。

【0116】

また、ウエーブレット変換の分解レベルを合成制御データＣ５０によって制御することによって、合成具合（ＲＯＩの修復、ＲＯＩの拡張、等）を調整できる。

【0117】

図２７〜図３７に具体例を示す。図２７は第１対象画像の例であり、図２７において子供の部分をＲＯＩとする。図２７に対応する原マスクを図２８に示す。図２８の原マスク（実施の形態１では対象マスクでもある）から生成された分解レベル１，２，３の展開マスクをそれぞれ図２９〜図３１に示す。図２８〜図３１において、白抜き部分がＲＯＩ対応部分であり、黒塗り部分が非ＲＯＩ対応部分である。図３２は第２対象画像の例である。

【0118】

図３３は実施の形態１に拠らない合成画像である。具体的には、図２７の画像から図２８のマスクに基づいてＲＯＩを切り取り、切り取ったＲＯＩと図３２の画像とを合成することによって、図３３の合成画像が得られる。これに対し、図３４〜図３６に、実施の形態１によって合成された画像を示す。図３４〜図３６は分解レベル１，２，３で合成した画像にそれぞれ対応する。なお、参考までに、図３７に分解レベル５で合成した画像を示す。

【0119】

図２８によれば、ＲＯＩの自動設定技術においてＲＯＩの輪郭（ここでは子供の輪郭）を正確に判別することの難しさが分かる。例えば子供の右腕部の輪郭は正確さに欠ける。また、ＲＯＩ内に、欠損を成す非ＲＯＩが散見される。このため、図３３に示すように、実施の形態１に拠らない合成画像では、不自然さが目立つ。

【0120】

これに対し、図３４〜図３６の合成画像によれば、ＲＯＩの輪郭および内部における不具合が修復されている。また、合成を行う分解レベルが高くなるほど、修復効果が高い。

【0121】

また、図３４〜図３６、さらには図３７を参照すれば分かるように、図２７の第１対象画像から切り取られる範囲が、合成を行う分解レベルが高くなるほど、広くなっている。言うなれば、元々のＲＯＩ（子供の部分）が外側に且つ全方位的に拡張され、その拡張部分は、合成を行う分解レベルが高くなるほど広い。なお、合成を行う分解レベルが高くなるほど、拡張部分と第２対象画像との境界をぼかすことができる。

【0122】

これらに鑑みると、実施の形態１によれば、ＲＯＩの設定に高コストな技術を利用しなくても済む。つまり、良好な合成画像を低コストで生成できる。

【0123】

ここで、マスクの生成は、第１基礎画像の符号化から独立したアルゴリズムによって行われる。さらに、合成システム２１における基礎マスクデータの復号化は、第１基礎画像の復号化から独立したアルゴリズムによって行われる。このため、画像エンコーダ１５０および画像デコーダ３００の選択の自由度が高くなる。

【0124】

＜実施の形態２＞
図３８に、実施の形態２に係る供給システム１１Ｂおよび合成システム２１Ｂの構成例を示す。供給システム１１Ｂおよび合成システム２１Ｂは、実施の形態１に係る供給システム１１および合成システム２１に代えて、画像処理システム１，１０，２０等に適用可能である。

【0125】

供給システム１１Ｂおよび合成システム２１Ｂは、実施の形態１に係る供給システム１１および合成システム２１（図３参照）と基本的に同様であるが、次の点が異なる。供給システム１１Ｂでは、画像データ出力部１００の代わりに、画像エンコーダ１５０Ｂを有する画像データ出力部１００Ｂが設けられている。合成システム２１Ｂでは、画像デコーダ３００の代わりに、画像デコーダ３００Ｂが設けられている。

【0126】

画像エンコーダ１５０Ｂは、マスクエンコーダ２５０からマスクビットストリームＢｂｓを取得し、マスクビットストリームＢｂｓを付加情報として、画像ビットストリームＡｂｓに埋め込む。具体的には、画像ビットストリームＡｂｓは第１基礎画像データＡ５０に影響しない領域を有しており、その領域にマスクビットストリームＢｂｓを埋め込む。画像エンコーダ１５０Ｂのその他の動作は、画像エンコーダ１５０と同様である。

【0127】

画像ビットストリームＡｂｓの上記領域として、例えば、符号化ストリームのフォーマット中のコメント領域を利用できる。あるいは、コメント領域に代えてまたは加えて、アプリケーションマーカ（ＡＰＰマーカ）領域を利用してもよい。

【0128】

図３９に、画像エンコーダ１５０Ｂとして、動画像用の一般的な画像エンコーダ１５０ｕを利用する場合のブロック図を示す。画像エンコーダ１５０ｕによれば、ビットストリーム生成部がマスクビットストリームＢｂｓを画像ビットストリームＡｂｓに埋め込む。画像エンコーダ１５０ｕのその他の構成は、図４の画像エンコーダ１５０ｓと同様である。

【0129】

図４０に、画像エンコーダ１５０Ｂとして、静止画像用の一般的な画像エンコーダ１５０ｖを利用する場合のブロック図を示す。画像エンコーダ１５０ｖによれば、ビットストリーム生成部がマスクビットストリームＢｂｓを画像ビットストリームＡｂｓに埋め込む。画像エンコーダ１５０ｖのその他の構成は、図５の画像エンコーダ１５０ｔと同様である。

【0130】

図３８に戻り、画像デコーダ３００Ｂは、画像ビットストリームＡｂｓを取得し、画像ビットストリームＡｂｓからマスクビットストリームＢｂｓを抽出し、マスクビットストリームＢｂｓをマスクデコーダ４００に供給する。画像デコーダ３００Ｂのその他の動作は、画像デコーダ３００と同様である。

【0131】

図４１に、画像デコーダ３００Ｂとして、動画像用の一般的な画像デコーダ３００ｕを利用する場合のブロック図を示す。画像デコーダ３００ｕによれば、ビットストリーム解析部が画像ビットストリームＡｂｓからマスクビットストリームＢｂｓを抽出する。画像デコーダ３００ｕのその他の構成は、図１０の画像デコーダ３００ｓと同様である。

【0132】

図４２に、画像デコーダ３００Ｂとして、静止画像用の一般的な画像デコーダ３００ｖを利用する場合のブロック図を示す。画像デコーダ３００ｖによれば、ビットストリーム解析部が画像ビットストリームＡｂｓからマスクビットストリームＢｂｓを抽出する。画像デコーダ３００ｖのその他の構成は、図１１の画像デコーダ３００ｔと同様である。

【0133】

実施の形態２によれば、画像ビットストリームＡｂｓとマスクビットストリームＢｂｓとが単一のビットストリームによって、供給システム１１Ｂから出力され、合成システム２１Ｂに取得される。但し、実施の形態１と同様に、第１基礎画像データＡ５０と基礎マスクデータＢ５０は別個のデータとして存在する。なぜならば、実施の形態１と同様に、基礎マスクデータＢ５０の生成アルゴリズムは、第１基礎画像データＡ５０の符号化アルゴリズムから独立しているからである。

【0134】

ここで、マスクビットストリームＢｂｓには合成制御データＣ５０が埋め込まれている。このため、第１基礎画像データＡ５０と基礎マスクデータＢ５０と合成制御データＣ５０とが、単一のビットストリームによって、供給システム１１Ｂから出力され、合成システム２１Ｂに取得される。この場合、画像エンコーダ１５０Ｂは、マスクビットストリームＢｂｓ（換言すれば基礎マスクデータＢ５０）と合成制御データＣ５０との両方を、画像ビットストリームＡｂｓに埋め込むことになる。また、画像デコーダ３００Ｂは、マスクビットストリームＢｂｓと合成制御データＣ５０との両方を、画像ビットストリームＡｂｓから抽出することになる。

【0135】

なお、画像エンコーダ１５０Ｂが、合成制御データＣ５０をマスクビットストリームＢｂｓに埋め込まれていない状態で取得し（したがって、合成制御データＣ５０とマスクビットストリームＢｂｓとを別個に取得し）、合成制御データＣ５０とマスクビットストリームＢｂｓとの両方を画像ビットストリームＡｂｓの上記領域に埋め込んでもよい。

【0136】

図４３に、供給システム１１Ｂの動作を説明するフローチャートを示す。図４３の動作フローＳ１００Ｂによれば、実施の形態１に係る動作フローＳ１００（図９参照）にステップＳ１０６が追加されている。ステップＳ１０６では、画像エンコーダ１５０Ｂが画像ビットストリームＡｂｓにマスクビットストリームＢｂｓを埋め込む。

【0137】

図４４に、合成システム２１Ｂの動作を説明するフローチャートを示す。図４４の動作フローＳ４００Ｂは基本的には、実施の形態１に係る動作フローＳ４００（図２５参照）と同様であるが、次の点が異なる。データ取得ステップＳ４１０に代えて、ステップＳ４０８が追加されたデータ取得ステップＳ４１０Ｂが設けられている。ステップＳ４０８では、画像デコーダ３００Ｂが画像ビットストリームＡｂｓからマスクビットストリームＢｂｓを抽出する。

【0138】

実施の形態２によれば、実施の形態１と同様の効果を得ることができる。特に実施の形態２によれば、マスクビットストリームＢｂｓが画像ビットストリームＡｂｓのうちで第１基礎画像データＡ５０に影響しない領域に埋め込まれている。このため、既存の符号化ストリームに対する後方互換性を確保しつつ、実施の形態１と同様の効果を得ることができる。

【0139】

＜実施の形態３＞
図４５に、実施の形態３に係る供給システム１１Ｃおよび合成システム２１Ｃの構成例を示す。供給システム１１Ｃおよび合成システム２１Ｃは、実施の形態１に係る供給システム１１および合成システム２１に代えて、画像処理システム１，１０，２０等に適用可能である。

【0140】

供給システム１１Ｃおよび合成システム２１Ｃは、実施の形態１に係る供給システム１１および合成システム２１（図３参照）と基本的に同様であるが、次の点が異なる。供給システム１１Ｃでは、マスクデータ出力部２００の代わりにマスクデータ出力部２００Ｃが設けられ、マスクデータ出力部２００Ｃはマスクエンコーダ２５０の代わりにマスクエンコーダ２５０Ｃを有している。合成システム２１Ｃでは、マスクデコーダ４００の代わりに、マスクデコーダ４００Ｃが設けられている。

【0141】

供給システム１１Ｃでは、ユーザによって入力された合成制御データＣ５０が、マスクビットストリームＢｂｓに埋め込まれずに出力される。このため、マスクエンコーダ２５０Ｃは合成制御データＣ５０の埋め込みを行わず、マスクデコーダ４００Ｃは合成制御データＣ５０の抽出を行わない。

【0142】

図４６に、供給システム１１Ｃの動作を説明するフローチャートを示す。図４４の動作フローＳ１００Ｃによれば、実施の形態１に係る動作フローＳ１００（図９参照）からステップＳ１２４が削除されている。なお、ステップＳ１０５において、画像ビットストリームＡｂｓと、マスクビットストリームＢｂｓと、合成制御データＣ５０とが出力される。

【0143】

図４７に、合成システム２１Ｃの動作を説明するフローチャートを示す。図４５の動作フローＳ４００Ｃによれば、実施の形態１に係る動作フローＳ４００（図２５参照）からステップＳ４３２が削除されている。なお、ステップＳ４１１において、画像ビットストリームＡｂｓと、マスクビットストリームＢｂｓと、合成制御データＣ５０とが取得される。

【0144】

ここでは、第１基礎画像データＡ５０と基礎マスクデータＢ５０と合成制御データＣ５０とが、同じ媒体５０（例えば通信媒体または外部記憶媒体）によって、合成システム２１に供給されるものとする。但し、異なる媒体５０を利用してもよい。例えば、第１基礎画像データＡ５０と基礎マスクデータＢ５０の供給に通信媒体を利用し、合成制御データＣ５０の供給に外部記憶媒体を利用してもよい。

【0145】

実施の形態３によれば、実施の形態１等と同様の効果を得ることができる。

【0146】

＜実施の形態４＞
図４８に、実施の形態４に係る供給システム１１Ｄおよび合成システム２１Ｄの構成例を示す。供給システム１１Ｄおよび合成システム２１Ｄは、実施の形態１に係る供給システム１１および合成システム２１に代えて、画像処理システム１，１０，２０等に適用可能である。

【0147】

供給システム１１Ｄおよび合成システム２１Ｄは、実施の形態３に係る供給システム１１Ｃおよび合成システム２１Ｃ（図４５参照）と基本的に同様であるが、次の点が異なる。実施の形態４では合成制御データＣ５０は、合成システム２１Ｄの側に設けられた操作部４２（図２参照）にユーザが入力することによって、合成システム２１Ｄに供給される。他方、第１基礎画像データＡ５０および基礎マスクデータＢ５０は、実施の形態３と同様に、媒体５０（例えば通信媒体または外部記憶媒体）によって、合成システム２１Ｄに供給される。つまり、合成システム２１Ｄは、合成制御データＣ５０を、第１基礎画像データＡ５０および基礎マスクデータＢ５０を供給する媒体とは異なる媒体によって取得する。

【0148】

実施の形態４によれば、実施の形態１等と同様の効果を得ることができる。特に実施の形態４によれば、合成制御データＣ５０を合成システム２１Ｄの側で入力することができるので、合成システム２１Ｄの側で合成具合を調整できる。

【0149】

＜実施の形態５＞
図４９に、実施の形態５に係る供給システム１１Ｅおよび合成システム２１Ｅの構成例を示す。供給システム１１Ｅおよび合成システム２１Ｅは、実施の形態１に係る供給システム１１および合成システム２１に代えて、画像処理システム１，１０，２０等に適用可能である。

【0150】

図４９を図３と比較すれば分かるように、供給システム１１Ｅは実施の形態１に係る供給システム１１と同様である。他方、合成システム２１Ｅでは、セレクタ６００が追加されている。合成システム２１Ｅのその他の構成は、実施の形態１に係る合成システム２１と同様である。

【0151】

セレクタ６００は、複数の合成制御データのうちの１つを選択的に合成部５００に供給する。図４９の例では、セレクタ６００に２つの合成制御データＣ４１，Ｃ４２が入力され、いずれか一方の合成制御データが合成制御データＣ５０として出力され、合成部５００に供給される。

【0152】

第１合成制御データＣ４１は、合成システム２１Ｅの側に設けられた操作部４２（図２参照）に、合成システム２１Ｅのユーザが入力することによって、セレクタ６００に供給される。

【0153】

第２合成制御データＣ４２は、供給システム１１Ｅから媒体５０によって、セレクタ６００に供給される。より具体的には、第２合成制御データＣ４２は供給システム１１ＥにおいてマスクビットストリームＢｂｓに埋め込まれ、そのマスクビットストリームＢｂｓが媒体５０によってマスクデコーダ４００に供給される。そして、第２合成制御データＣ４２は、マスクデコーダ４００によって抽出され、セレクタ６００に入力される。つまり、第２合成制御データＣ４２は、第１合成制御データＣ４１とは異なる媒体によって合成部５００に供給される。

【0154】

セレクタ６００は、第１合成制御データＣ４１を優先的に選択して出力するように設定されている。これによれば、実施の形態４と同様に、合成システム２１Ｅの側で合成具合を調整できる。一方、第１合成制御データＣ４１が入力されない場合には第２合成制御データＣ４２が出力されるので、合成システム２１Ｅの側での手間が省ける。

【0155】

複数の合成制御データの選択優先度は固定されていてもよいし、あるいは変更可能であってもよい。選択優先度の変更は、例えば、合成システム２１Ｅの側に設けられた操作部４２と、供給システム１１Ｅの側に設けられた操作部３２との一方または両方によって、行うことが想定される。

【0156】

また、実施の形態５によれば、実施の形態１等と同様の効果も得ることができる。なお、実施の形態５は実施の形態２等と組み合わせることも可能である。

【0157】

＜実施の形態６＞
図５０および図５１に実施の形態６に係るマスクデータ出力部２００Ｆおよび合成部５００Ｆの構成例を示す。また、図５２に、実施の形態６に係る供給システム１１Ｆおよび合成システム２１Ｆについて、画像合成の概念図を示す。ここでは、マスクデータ出力部２００Ｆは、既述の画像データ出力部１００と組み合わされて、供給システム１１Ｆを構成するものとする。また、合成部５００Ｆは、既述の画像デコーダ３００およびマスクデコーダ４００と組み合わされて、合成システム２１Ｆを構成するものとする。供給システム１１Ｆおよび合成システム２１Ｆは、実施の形態１に係る供給システム１１および合成システム２１に代えて、画像処理システム１，１０，２０等に適用可能である。

【0158】

まず図５１を図１３と比較すれば分かるように、合成部５００Ｆの合成実行部５２０Ｆは、マスク展開部５２１を有していない。これに対し、図５０に示すように、マスクデータ出力部２００Ｆのマスク生成部２１０Ｆに、マスク展開部５２１が設けられている。すなわち、実施の形態６では、マスク展開部５２１が供給システム１１Ｆに設けられている。

【0159】

また、マスク生成部２１０Ｆには、原マスク生成部２２０が設けられている。原マスク生成部２２０は、基礎画像の範囲について原マスクを生成する。実施の形態６では原マスク生成部２２０は、既述の全体マスク生成部２１１を含んでおり、全体マスク生成部２１１によって生成された全体マスクデータＢ１０が、原マスクデータＢ２０として出力される。マスク展開部５２１は、原マスクデータＢ２０に対して既述のマスク展開処理を行ことによって、展開マスクデータＢ２１を生成する。なお、マスク展開部５２１は、マスク展開処理に際して、合成制御データＣ５０を取得する。

【0160】

実施の形態６では、全体画像の全範囲について原マスクおよび展開マスクが生成され、展開マスクデータＢ２１が基礎マスクデータＢ５０として、マスク生成部２１０Ｆから出力される。マスクエンコーダ２５０は、基礎マスクデータＢ５０としての展開マスクデータＢ２１を符号化して、マスクビットストリームＢｂｓを生成する。

【0161】

マスクデータ出力部２００Ｆおよび合成部５００Ｆのその他の構成は、実施の形態１に係るマスクデータ出力部２００および合成部５００と同様である。

【0162】

図５３に、供給システム１１Ｆの動作を説明するフローチャートを示す。図５３の動作フローＳ１００Ｆでは、基礎マスク生成ステップＳ１２２（図９参照）に代えて、基礎マスク生成ステップＳ１２２Ｆが設けられている。動作フローＳ１００Ｆのその他のステップは図９の動作フローＳ１００と同様である。

【0163】

基礎マスク生成ステップＳ１２２Ｆによれば、ステップＳ１３１において原マスク生成部２２０が原マスクデータＢ２０を生成し（原マスク生成処理）、ステップＳ１３２においてマスク展開部５２１が原マスクデータＢ２０から展開マスクデータＢ２１を生成する（マスク展開処理）。なお、マスク展開ステップＳ１３２は、実施の形態１において合成システム２１の側で行われていたマスク展開ステップＳ４５１（図２５参照）と同様である。展開マスクデータＢ２１は、その後、基礎マスクデータＢ５０として処理される。すなわち、次のステップＳ１２３では、展開マスクデータＢ２１が符号化されて、マスクビットストリームＢｂｓが生成される。

【0164】

図５４に、合成システム２１Ｆの動作を説明するフローチャートを示す。図５４の動作フローＳ４００Ｆでは、合成実行ステップＳ４５０（図２５参照）に代えて、合成実行ステップＳ４５０Ｆが設けられている。合成実行ステップＳ４５０Ｆでは、合成実行ステップＳ４５０から、マスク展開ステップＳ４５１が削除されている。動作フローＳ４００Ｆのその他のステップは図２５の動作フローＳ４００と同様である。

【0165】

実施の形態６によれば、図５２に示すように、供給システム１１Ｆにおいて展開マスクが生成され、当該展開マスクが基礎マスクとして合成システム２１Ｆに供給される。なお、実施の形態６は実施の形態２等と組み合わせることも可能である。

【0166】

実施の形態６によれば、実施の形態１等と同様の効果を得ることができる。また、合成システム２１Ｆにおいてマスク展開処理の演算負荷を削減できる。

【0167】

＜実施の形態７＞
実施の形態１では、全体画像の全範囲についての全体マスクを合成システム２１に供給する例を説明した。実施の形態２〜６についても同様である。ここでマスクはＲＯＩを特定できればよい点に鑑みると、全体マスクのうちでＲＯＩ対応部分を含む一部分だけを合成システム２１に供給する例が考えられる。実施の形態７では、そのような例を説明する。

【0168】

＜合成の概要＞
まず、図５５の概念図を参照して、実施の形態７の概要を説明する。図５５によれば、供給システム１１Ｇにおいて全体マスクのうちでＲＯＩ対応部分を含む一部分を部分マスクとして切り取る。当該部分マスクが基礎マスクとして供給システム１１Ｇから出力される。合成システム２１Ｇでは、取得した基礎マスクを対象マスクとして扱い、当該対象マスクに基づいて展開マスクを生成する。すなわち、供給システム１１Ｇは、全体マスクから、ウエーブレット変換の対象となる第１対象画像の範囲についてのマスクである対象マスクを切り取る。そして、供給システム１１Ｇは、対象マスクデータを基礎マスクデータとして出力する。

【0169】

また、合成システム２１Ｇは、第１基礎画像として全体画像の全範囲を取得する。そして、第１基礎画像のうちで対象マスクに対応する範囲を、第１対象画像として切り取り、当該第１対象画像を対象にしてウエーブレット変換を行う。

【0170】

同様に、第２基礎画像から第２対象画像を切り取り、当該第２対象画像を対象にしてウエーブレット変換を行う。第２対象画像は第１対象画像と同じ形状および大きさで切り取られるが、第２基礎画像における第２対象画像の位置は任意に設定可能である。すなわち、第２基礎画像における第２対象画像の位置は、全体画像における第１対象画像の位置と同じである必要はない。

【0171】

第１対象画像および第２対象画像から生成された第１ウエーブレット係数データおよび第２ウエーブレット係数データは、実施の形態１と同様に合成され、合成済み係数データに対して逆ウエーブレット変換が行われる。それにより、第１対象画像中のＲＯＩと第２対象画像とが合成される。そして、合成画像は、第２基礎画像のうちで第２対象画像の位置に埋め込まれる。その結果、実施の形態１と同様に、第２基礎画像と同じサイズの合成画像が得られる。

【0172】

全体マスクの一部分を基礎マスクとして切り取ることによって、基礎マスクデータのサイズを削減でき、したがってマスクビットストリームのサイズを削減することができる。このため、マスクビットストリームが有線または無線の通信によって伝送される場合、基礎マスクデータの削減は、通信量を削減でき、伝送の即時性に役立つ。また、基礎マスクデータの削減に伴って、第１対象画像および第２対象画像のデータサイズも小さくなるので、合成システム２１Ｇでの演算負荷を削減できる。このため、画像合成の高速化に役立つ。これらに鑑みると、画像合成の即時性が向上する。

【0173】

＜切り取り範囲決定処理＞
実施の形態７に係る供給システム１１Ｇおよび合成システム２１Ｇの構成例を説明する前に、全体マスクから基礎マスクとして切り取る範囲について説明する。

【0174】

上記のように、全体マスクの一部分を基礎マスクとして切り取れば、供給システム１１Ｇから出力する基礎マスクのデータサイズを小さくできる。このため、基本的には、全体マスクのうちでＲＯＩ対応部分を含む任意の範囲を、基礎マスクとして設定可能である。そして、データサイズを大きく削減するためには、基礎マスクはできるだけ小さい方が好ましい。

【0175】

その一方で、全体マスクから基礎マスクとして切り取る範囲は、第１基礎画像（実施の形態７では全体画像に等しい）から第１対象画像を切り取る範囲でもある点に留意が必要である。すなわち、第１対象画像と第２対象画像とはウエーブレット変換後に合成されるので、ウエーブレット係数データにおいても（換言すれば、ウエーブレット平面上においても）ＲＯＩの範囲が歪まないように、切り取り範囲を決定する必要がある。

【0176】

図５６〜図５９に、切り取り範囲を説明するための図を示す。図５６には、図６の全体画像６０を例にして、ＲＯＩ６０ａを含む矩形の最小範囲８１を示している。最小範囲８１は矩形に設定しているので、最小範囲８１の左上端座標（ＡＸ１，ＡＹ１）および右下端座標（ＢＸ１，ＢＹ１）によって、最小範囲８１の位置および範囲を特定可能である。図５６等では、全体画像６０の左上端を座標系の原点Ｏ（０，０）に採り、全体画像６０の水平方向および垂直方向に直交する２つの軸を採っている。

【0177】

図５７には、第１対象画像として切り取る範囲８３を示している。切り取り範囲８３は、最小範囲８１を含み且つ最小範囲８１よりも大きい。切り取り範囲８３について、左上端座標を（ＡＸ３，ＡＹ３）とし、右下端座標を（ＢＸ３，ＢＹ３）とする。

【0178】

図５８および図５９は、最小範囲８１および切り取り範囲８３を全体マスク７０に示した図である。

【0179】

図６０に、切り取り範囲８３の決定処理のフローチャートを示す。図６０のフローＳ５００によれば、ステップＳ５０１において最小範囲特定処理が行われ、ステップＳ５０２において追跡処理が行われ、ステップＳ５０３において必要範囲特定処理が行われる。

【0180】

＜最小範囲特定処理＞
最小範囲特定処理のステップＳ５０１では、切り取り前の原画像である全体画像６０において、ＲＯＩ６０ａを含む矩形の最小範囲８１を特定する。最小範囲８１の特定は、全体画像６０を対象とした原マスク、すなわち全体マスク７０に基づいて行われる。

【0181】

例えば、全体マスク７０の各行を上から順に選択して行き、選択した行が、ＲＯＩ対応部分７０ａに属する画素を有するか否かを判別する。ＲＯＩ対応部分７０ａに属する画素を有すると最初に判別された行の位置が、ＡＹ１に当たる。同様に、全体マスク７０の各行を下から順に選択して行くことによって、ＢＹ１を求めることができる。さらに、全体マスク７０の各列を左から順に選択して行くことによってＡＸ１を求めることができ、全体マスク７０の各列を右から順に選択して行くことによってＢＸ１を求めることができる。

【0182】

＜追跡処理＞
ウエーブレット平面上においてＲＯＩの範囲が歪まないようにするためには、最小範囲８１の全域に対してウエーブレット変換を実行可能であることが必要である。ウエーブレット変換では、注目画素のデータだけでなく、その両側の画素のデータも利用する。このため、最小範囲８１の外縁付近の画素に対してウエーブレット変換を行う場合、最小範囲８１よりも外側の画素のデータが必要になる。かかる理由により、切り取り範囲８３は最小範囲８１よりも大きくなるのである。

【0183】

最小範囲８１よりも外側に必要な画素の範囲の求め方は、例えば特許文献８を参照することができる。最小範囲８１よりも外側に必要な画素の範囲は、ウエーブレット変換の分割フィルタのタップ数に依存する。

【0184】

例えば、分解側のローパスフィルタが５タップであり分解側のハイパスフィルタが３タップである５×３フィルタの場合、図６１に示すように、ローパスフィルタのｎ番目の出力を得るためには、入力側において｛２ｎ−２｝番目から｛２ｎ＋２｝番目の５画素分のデータが必要である。また、図６２に示すように、ハイパスフィルタのｎ番目の出力を得るためには、入力側において２ｎ番目から｛２ｎ＋２｝番目の３画素分のデータが必要である。

【0185】

また、分解側のローパスフィルタが９タップであり分解側のハイパスフィルタが７タップであるDaubechies９×７フィルタの場合、図６３に示すように、ローパスフィルタのｎ番目の出力を得るためには、入力側において｛２ｎ−４｝番目から｛２ｎ＋４｝番目の９画素分のデータが必要である。また、図６４に示すように、ハイパスフィルタのｎ番目の出力を得るためには、入力側において｛２ｎ−２｝番目から｛２ｎ＋４｝番目の７画素分のデータが必要である。

【0186】

さらに、最小範囲８１よりも外側に必要な画素の範囲は、ウエーブレット変換の分解レベル、すなわち合成制御データによる分解レベルの指定値にも依存する。なぜならば、ウエーブレット平面において最上位帯域成分（すなわち最も分解された帯域成分）については、分割フィルタによる処理が、分解レベルの回数だけ繰り返されるからである。

【0187】

これらの点に鑑み、追跡処理のステップＳ５０２では、最終的なウエーブレット平面（すなわち、合成制御データＣ５０で指定された指定の分解レベルのウエーブレット平面）の最上位帯域成分において、最小範囲８１に対応する範囲を追跡最小範囲として特定する。

【0188】

図６５に、追跡最小範囲を説明するための図を示す。図６５では、分解レベル３のウエーブレット平面６３のうちで最上位帯域成分ＬＬ３，ＨＬ３，ＬＨ３，ＨＨ３を拡大して図示している。また、図６５は、最上位帯域成分ＬＬ３，ＨＬ３，ＬＨ３，ＨＨ３のうちで最低域の帯域成分ＬＬ３において、最小範囲８１に対応する追跡最小範囲８２を特定する場合を示している。なお、ウエーブレット平面の原点Ｏ（０，０）は、原画像（すなわち全体画像６０）の原点Ｏに対応する。ウエーブレット平面６３上の追跡最小範囲８２について、左上端座標を（ＡＸ２，ＡＹ２）とし、右下端座標を（ＢＸ２，ＢＹ２）とする。

【0189】

図６６および図６７に、ウエーブレット変換に５×３フィルタが使用される場合において、追跡最小範囲８２を求めるためのフローチャートを示す。なお、図６６は左上端座標（ＡＸ２，ＡＹ２）の求め方を示し、図６７は右下端座標（ＢＸ２，ＢＹ２）の求め方を示している。

【0190】

図６６の処理フローＳ５１０によれば、ステップＳ５１１においてパラメータｑに最小範囲８１の左上端座標（ＡＸ１，ＡＹ１）が設定される。ここでは、まず、ｑ＝ＡＸ１が設定されるとする。

【0191】

ステップＳ５１２においてｑが偶数と判別された場合、ステップＳ５１３においてパラメータｐ＝ｑ／２に設定される。これに対し、ステップＳ５１２においてｑが奇数と判別された場合、ステップＳ５１４においてｐ＝（ｑ−１）／２に設定される。

【0192】

そして、ステップＳ５１５において現在の分解レベルが、合成制御データＣ５０によって指定された分解レベルに達していないと判別された場合、ステップＳ５１６においてｐの現在値をｑの新たな値に設定する（ｑ＝ｐ）。その後、ステップＳ５１７において分解レベルを上げ、ステップＳ５１２に戻る。

【0193】

これに対し、ステップＳ５１５において現在の分解レベルが指定の分解レベルに達したと判別された場合、ステップＳ５１８においてその時点のｐの値を追跡最小範囲８２のＡＸ２に設定する。

【0194】

ステップＳ５１１においてｑ＝ＡＹ１に設定することによって、ステップＳ５１８において追跡最小範囲８２のＡＹ２が求められる。

【0195】

図６７の処理フローＳ５２０によれば、最小範囲８１のＢＸ１から追跡最小範囲８２のＢＸ２が求められ、最小範囲８１のＢＹ１から追跡最小範囲８２のＢＹ２が求められる。処理フローＳ５２０は、ステップＳ５２４での演算内容を除いて、基本的には図６６の処理フローＳ５１０と同様である。すなわち、ステップＳ５２２においてｑが奇数と判別された場合、ステップＳ５２４においてｐ＝（ｑ＋１）／２に設定される。

【0196】

処理フローＳ５１０，Ｓ５２０に鑑みると、ウエーブレット変換に５×３フィルタが使用される場合の追跡処理は次のようにも表現できる。

【0197】

ＡＸ１が偶数ならばＡＸ１／２を新たなＡＸ１に設定し、ＡＸ１が奇数ならば｛ＡＸ１−１｝／２を新たなＡＸ１に設定するという処理（第１再帰処理と呼ぶことにする）を、合成制御データＣ５０によって指定された指定回数行い、最終的に得られたＡＸ１をＡＸ２に設定する。

【0198】

ＡＹ１が偶数ならばＡＹ１／２を新たなＡＹ１に設定し、ＡＹ１が奇数ならば｛ＡＹ１−１｝／２を新たなＡＹ１に設定するという処理（第２再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＡＹ１をＡＹ２に設定する。

【0199】

ＢＸ１が偶数ならばＢＸ１／２を新たなＢＸ１に設定し、ＢＸ１が奇数ならば｛ＢＸ１＋１｝／２を新たなＢＸ１に設定するという処理（第３再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＢＸ１をＢＸ２に設定する。

【0200】

ＢＹ１が偶数ならばＢＹ１／２を新たなＢＹ１に設定し、ＢＹ１が奇数ならば｛ＢＹ１＋１｝／２を新たなＢＹ１に設定するという処理（第４再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＢＹ１をＢＹ２に設定する。

【0201】

図６８および図６９に、ウエーブレット変換にDaubechies９×７フィルタが使用される場合において、追跡最小範囲８２を求めるためのフローチャートを示す。なお、図６８は左上端座標（ＡＸ２，ＡＹ２）の求め方を示し、図６９は右下端座標（ＢＸ２，ＢＹ２）の求め方を示している。

【0202】

図６８の処理フローＳ５３０によれば、最小範囲８１のＡＸ１から追跡最小範囲８２のＡＸ２が求められ、最小範囲８１のＡＹ１から追跡最小範囲８２のＡＹ２が求められる。処理フローＳ５３０は、ステップＳ５３３，Ｓ５３４での演算内容を除いて、基本的には図６６の処理フローＳ５１０と同様である。すなわち、ステップＳ５３２においてｑが偶数と判別された場合、ステップＳ５３３においてｐ＝ｑ／２−１に設定される。これに対し、ステップＳ５３２においてｑが奇数と判別された場合、ステップＳ５３４においてｐ＝（ｑ−３）／２に設定される。

【0203】

図６９の処理フローＳ５４０によれば、最小範囲８１のＢＸ１から追跡最小範囲８２のＢＸ２が求められ、最小範囲８１のＢＹ１から追跡最小範囲８２のＢＹ２が求められる。処理フローＳ５４０は、ステップＳ５４３，Ｓ５４４での演算内容を除いて、基本的には図６６の処理フローＳ５１０と同様である。すなわち、ステップＳ５４２においてｑが偶数と判別された場合、ステップＳ５４３においてｐ＝（ｑ＋２）／２に設定される。これに対し、ステップＳ５４２においてｑが奇数と判別された場合、ステップＳ５４４においてｐ＝（ｑ＋３）／２に設定される。

【0204】

処理フローＳ５３０，Ｓ５４０に鑑みると、ウエーブレット変換にDaubechies９×７フィルタが使用される場合の追跡処理は次のようにも表現できる。

【0205】

ＡＸ１が偶数ならば｛ＡＸ１／２−１｝を新たなＡＸ１に設定し、ＡＸ１が奇数ならば｛ＡＸ１−３｝／２を新たなＡＸ１に設定するという処理（第９再帰処理と呼ぶことにする）を、合成制御データＣ５０によって指定された指定回数行い、最終的に得られたＡＸ１をＡＸ２に設定する。

【0206】

ＡＹ１が偶数ならば｛ＡＹ１／２−１｝を新たなＡＹ１に設定し、ＡＹ１が奇数ならば｛ＡＹ１−３｝／２を新たなＡＹ１に設定するという処理（第１０再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＡＹ１をＡＹ２に設定する。

【0207】

ＢＸ１が偶数ならば｛ＢＸ１＋２｝／２を新たなＢＸ１に設定し、ＢＸ１が奇数ならば｛ＢＸ１＋３｝／２を新たなＢＸ１に設定するという処理（第１１再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＢＸ１をＢＸ２に設定する。

【0208】

ＢＹ１が偶数ならば｛ＢＹ１＋２｝／２を新たなＢＹ１に設定し、ＢＹ１が奇数ならば｛ＢＹ１＋３｝／２を新たなＢＹ１に設定するという処理（第１２再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＢＹ１をＢＹ２に設定する。

【0209】

なお、ステップＳ５１３，Ｓ５１４，Ｓ５２３，Ｓ５２４，Ｓ５３３，Ｓ５３４，Ｓ５４３，Ｓ５４４での演算内容は、フィルタのタップ数に応じて規定されている。また、演算のしやすさに鑑みて、偶数単位への桁上げを行っている。

【0210】

＜必要範囲特定処理＞
図６０に戻り、必要範囲特定処理のステップＳ５０３では、追跡最小範囲８２内のウエーブレット係数を算出するために必要なデータが、切り取り前の全体画像６０のどの範囲に存在するのかを特定する。特定された必要範囲が切り取り範囲８３になる。

【0211】

図７０に、ウエーブレット変換に５×３フィルタが使用される場合において、追跡最小範囲８２から切り取り範囲８３を求めるためのフローチャートを示す。

【0212】

図７０の処理フローＳ５５０によれば、ステップＳ５５１においてパラメータｒに追跡最小範囲８２のＡＸ２，ＡＹ２，ＢＸ２，ＢＹ２が設定される。ここでは、まず、ｒ＝ＡＸ２が設定されるとする。

【0213】

ステップＳ５５２においてｒがＢＸ２またはＢＹ２ではないと判別された場合（換言すれば、ｒが追跡必要範囲８２の左上端座標であると判別された場合）、ステップＳ５５３においてパラメータｓ＝２ｒ−２に設定される。これに対し、ステップＳ５５２においてｒがＢＸ２またはＢＹ２であると判別された場合（換言すれば、ｒが追跡必要範囲８２の左下端座標であると判別された場合）、ステップＳ５５４においてｓ＝２ｒ＋２に設定される。

【0214】

そして、ステップＳ５５５において現在の分解レベルが０に達していないと判別された場合、ステップＳ５５６においてｓの現在値をｒの新たな値に設定する（ｒ＝ｓ）。その後、ステップＳ５５７において分解レベルを下げ、ステップＳ５５２に戻る。

【0215】

これに対し、ステップＳ５５５において現在の分解レベルが０に達したと判別された場合、ステップＳ５５８においてその時点のｓの値を切り取り範囲８３のＡＸ３に設定する。

【0216】

ステップＳ５５１においてｒ＝ＡＹ２，ＢＸ２，ＢＹ２に設定することによって、ステップＳ５５８において切り取り範囲８３のＡＹ３，ＢＸ３，ＢＹ３が求められる。

【0217】

処理フローＳ５５０に鑑みると、ウエーブレット変換に５×３フィルタが使用される場合の必要範囲特定処理は次のようにも表現できる。

【0218】

｛ＡＸ２×２−２｝を新たなＡＸ２に設定するという処理（第５再帰処理と呼ぶことにする）を、合成制御データＣ５０によって指定された指定回数行い、最終的に得られたＡＸ２をＡＸ３に設定する。

【0219】

｛ＡＹ２×２−２｝を新たなＡＹ２に設定するという処理（第６再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＡＹ２をＡＹ３に設定する。

【0220】

｛ＢＸ２×２＋２｝を新たなＢＸ２に設定するという処理（第７再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＢＸ２をＢＸ３に設定する。

【0221】

｛ＢＹ２×２＋２｝を新たなＢＹ２に設定するという処理（第８再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＢＹ２をＢＹ３に設定する。

【0222】

図７１に、ウエーブレット変換にDaubechies９×７フィルタが使用される場合において、追跡最小範囲８２から切り取り範囲８３を求めるためのフローチャートを示す。

【0223】

図７１の処理フローＳ５６０は、ステップＳ５６３，Ｓ５６４での演算内容を除いて、基本的には図７０の処理フローＳ５５０と同様である。すなわち、ステップＳ５６２においてｒがＢＸ２またはＢＹ２ではないと判別された場合、ステップＳ５６３においてｓ＝２ｒ−４に設定される。これに対し、ステップＳ５６２においてｒがＢＸ２またはＢＹ２であると判別された場合、ステップＳ５６４においてｓ＝２ｒ＋４に設定される。

【0224】

処理フローＳ５６０に鑑みると、ウエーブレット変換にDaubechies９×７フィルタが使用される場合の必要範囲特定処理は次のようにも表現できる。

【0225】

｛ＡＸ２×２−４｝を新たなＡＸ２に設定するという処理（第１３再帰処理と呼ぶことにする）を、合成制御データＣ５０によって指定された指定回数行い、最終的に得られたＡＸ２をＡＸ３に設定する。

【0226】

｛ＡＹ２×２−４｝を新たなＡＹ２に設定するという処理（第１４再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＡＹ２をＡＹ３に設定する。

【0227】

｛ＢＸ２×２＋４｝を新たなＢＸ２に設定するという処理（第１５再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＢＸ２をＢＸ３に設定する。

【0228】

｛ＢＹ２×２＋４｝を新たなＢＹ２に設定するという処理（第１６再帰処理と呼ぶことにする）を上記指定回数行い、最終的に得られたＢＹ２をＢＹ３に設定する。

【0229】

＜供給システム１１Ｇ＞
図７２に、実施の形態７に係るマスクデータ出力部２００Ｇの構成例を示す。ここでは、マスクデータ出力部２００Ｇは、既述の画像データ出力部１００と組み合わされて、供給システム１１Ｇを構成するものとする。供給システム１１Ｇは、実施の形態１に係る供給システム１１に代えて、画像処理システム１，１０等に適用可能である。

【0230】

図７２に示すように、マスクデータ出力部２００Ｇは、マスク生成部２１０Ｇと、既述のマスクエンコーダ２５０とを含んでいる。マスク生成部２１０Ｇは、既述の全体マスク生成部２１１と、切り取り範囲決定部２３２と、マスク切り取り部２３３とを含んでいる。

【0231】

切り取り範囲決定部２３２は、切り取り範囲８３（全体画像における第１対象画像の範囲であると共に、全体マスクにおける対象マスクの範囲である）を決定する。具体的には、切り取り範囲決定部２３２は、切り取り範囲決定処理Ｓ５００（図６０参照）を、全体マスクデータＢ１０および合成制御データＣ５０に基づいて行う。そして、切り取り範囲決定部２３２は、切り取り範囲８３を特定するためのデータである切り取り範囲特定データＦ５０を生成する。切り取り範囲特定データＦ５０は、具体的には、切り取り範囲８３の左上端座標（ＡＸ３，ＡＹ３）および右下端座標（ＢＸ３，ＢＹ３）のデータである。

【0232】

マスク切り取り部２３３は、切り取り範囲特定データＦ５０に基づいて、全体マスクデータＢ１０のうちで切り取り範囲８３内のデータを、基礎マスクデータ用に切り取る。特に実施の形態７では、全体マスクデータＢ１０のうちで切り取り範囲８３内のデータが、基礎マスクデータＢ５０として切り取られる。なお、切り取ったデータは、対象マスクデータＢ６０を構成する。

【0233】

すなわち、マスクエンコーダ２５０は、対象マスクデータＢ６０を基礎マスクデータＢ５０として取得し、対象マスクデータＢ６０を符号化してマスクビットストリームＢｂｓを生成する。また、マスクエンコーダ２５０は、合成制御データＣ５０および切り取り範囲特定データＦ５０を、マスクビットストリームＢｂｓに埋め込む。

【0234】

＜合成システム２１Ｇ＞
図７３に、実施の形態７に係る合成システム２１Ｇの構成例を示す。合成システム２１Ｇは、実施の形態１に係る合成システム２１に代えて、画像処理システム１，２０等に適用可能である。合成システム２１Ｇでは、マスクデコーダ４００および合成部５００（図３参照）の代わりに、マスクデコーダ４００Ｇおよび合成部５００Ｇが設けられている。合成システム２１Ｇのその他の構成は、実施の形態１に係る合成システム２１と同様である。

【0235】

マスクデコーダ４００Ｇは、マスクビットストリームＢｂｓから、合成制御データＣ５０および切り取り範囲特定データＦ５０を抽出する。また、マスクデコーダ４００Ｇは、既述のように、マスクビットストリームＢｂｓを復号化して基礎マスクデータＢ５０を取得する。基礎マスクデータＢ５０と、合成制御データＣ５０と、切り取り範囲特定データＦ５０とは、合成部５００Ｇに供給される。

【0236】

図７４に、合成部５００Ｇの構成例を示す。図７４を図１３と比較すれば分かるように、合成部５００Ｇは、実施の形態１に係る合成部５００に、第１画像切り取り部５４０と、第２画像切り取り部５５０と、埋め込み部５６０とが追加されている。合成部５００Ｇのその他の構成は基本的に、実施の形態１に係る合成部５００と同様である。

【0237】

第１画像切り取り部５４０は、第１基礎画像データＡ５０と切り取り範囲特定データＦ５０とを取得する。そして、第１画像切り取り部５４０は、切り取り範囲特定データＦ５０に基づいて、第１基礎画像データＡ５０（ここでは全体画像データＡ１０である）のうちで切り取り範囲８３内のデータを切り取る（図５５参照）。切り取ったデータは、第１対象画像データＡ６０として、ウエーブレット変換部５１０に供給される。

【0238】

第２画像切り取り部５５０は、第２基礎画像データＤ５０と、切り取り範囲特定データＦ５０と、合成位置指定データＧ５０とを取得する。合成位置指定データＧ５０は、第２基礎画像において第１対象画像中のＲＯＩを合成する位置を指定するデータである。合成位置指定データＧ５０は、例えば、後述のように合成画像データＥ８０の埋め込み位置のデータとして理解できる。より具体的には、合成画像データＥ８０の埋め込み位置は、合成画像データＥ８０の埋め込み範囲の左上端部の位置、あるいは、当該埋め込み範囲の中心位置、等によって指定可能である。合成位置指定データＧ５０は、合成システム２１Ｇの側に設けられた操作部４２（図２参照）に、合成システム２１Ｇのユーザが入力することによって、合成部５００Ｇに供給される。

【0239】

第２画像切り取り部５５０は、合成位置指定データＧ５０に基づいて、第２基礎画像中に合成先範囲を設定する。合成先範囲は、第１対象画像と同じ形状および大きさの範囲であり、このため第１対象画像と合同である。あるいは、合成先範囲は、第１対象画像に対する相似比が１の相似形範囲である、と表現してもよい。合成先範囲は、ここでは切り取り範囲特定データＦ５０によって特定されるものとする。但し、切り取り範囲特定データＦ５０に代えて、第１対象画像データＡ６０から直接、第１対象画像の同じ形状および大きさを特定するようにしてもよい。第２画像切り取り部５５０は、第２基礎画像データＤ５０のうちで合成先範囲内のデータを切り取る。切り取ったデータは、第２対象画像データＤ６０として、ウエーブレット変換部５１０に供給される。

【0240】

ウエーブレット変換部５１０と合成実行部５２０と逆ウエーブレット変換部５３０とは、実施の形態１と同様に動作する。それにより、上記のように切り取られた第１対象画像データＡ６０および第２対象画像データＤ６０から、合成画像データＥ８０が生成される。

【0241】

埋め込み部５６０は、逆ウエーブレット変換部５３０によって生成された合成画像データＥ８０を、第２基礎画像データＤ５０中の合成先範囲に埋め込む。合成画像データＥ８０がはめ込まれた第２基礎画像データＤ５０が、合成部５００Ｇの出力データである合成画像データＥ１００として出力される。

【0242】

＜動作＞
図７５に、供給システム１１Ｇの動作を説明するフローチャートを示す。図７５の動作フローＳ１００Ｇは基本的には実施の形態１に係る動作フローＳ１００（図９参照）と同様であるが、次の点が異なる。動作フローＳ１００Ｇでは、基礎マスク生成ステップＳ１２２に代えて、基礎マスク生成ステップＳ１２２Ｇが設けられている。また、データ埋め込みステップＳ１２４に代えて、データ埋め込みステップＳ１２４Ｇが設けられている。

【0243】

基礎マスク生成ステップＳ１２２Ｇによれば、全体マスク生成ステップＳ１４１において、全体マスク生成部２２１が全体マスクデータＢ１０を生成する。切り取りステップＳ１４２において、切り取り範囲決定部２３２およびマスク切り取り部２３３が、全体マスクデータＢ１０から対象マスクデータＢ６０を生成する。対象マスクデータＢ６０は、その後、基礎マスクデータＢ５０として扱われる。すなわち、次のステップＳ１２３では、対象マスクデータＢ６０が符号化されて、マスクビットストリームＢｂｓが生成される。

【0244】

データ埋め込みステップＳ１２４Ｇでは、マスクエンコーダ２５０が、マスクビットストリームＢｂｓに、合成制御データＣ５０と切り取り範囲特定データＦ５０を埋め込む。

【0245】

図７６に、合成システム２１Ｇの動作を説明するフローチャートを示す。図７６の動作フローＳ４００Ｇは基本的には実施の形態１に係る動作フローＳ４００（図２５参照）と同様であるが、次の点が異なる。動作フローＳ４００Ｇでは、データ取得ステップＳ４１０（図２５参照）に代えて、データ取得ステップＳ４１０Ｇが設けられている。また、画像埋め込みステップＳ４８０が追加されている。

【0246】

データ取得ステップＳ４１０Ｇでは、ステップＳ４３２の代わりにデータ抽出ステップＳ４３２Ｇが設けられ、切り取りステップＳ４７０が追加されている。データ抽出ステップＳ４３２Ｇでは、マスクデコーダ４００ＧがマスクビットストリームＢｂｓから、合成制御データＣ５０と切り取り範囲特定データＦ５０とを抽出する。切り取りステップＳ４７０では、第１画像切り取り部５４０が第１基礎画像データＡ５０から第１対象画像データＡ６０を切り取り、第２画像切り取り部５５０が第２基礎画像データＤ５０から第２対象画像データＤ６０を切り取る。

【0247】

画像埋め込みステップＳ４８０では、埋め込み部５６０が、逆ウエーブレット変換部５３０によって生成された合成画像データＥ８０を、第２基礎画像データＤ５０中の合成先範囲に埋め込む。

【0248】

＜効果＞
実施の形態７によれば、実施の形態１等と同様の効果を得ることができる。

【0249】

特に実施の形態７によれば、供給システム１１Ｇは、全体マスクから基礎マスクを切り取り、当該切り取った基礎マスクをマスクビットストリームＢｂｓによって出力する。このため、基礎マスクデータＢ５０のサイズを削減でき、したがってマスクビットストリームＢｂｓのサイズを削減することができる。このため、マスクビットストリームが有線または無線の通信によって伝送される場合、通信量を削減でき、伝送の即時性に役立つ。また、基礎マスクのサイズ削減に伴って、第１対象画像および第２対象画像のサイズも小さくなるので、合成システム２１Ｇでの演算負荷を削減できる。このため、画像合成の高速化に役立つ。これらに鑑みると、画像合成の即時性が向上する。

【0250】

なお、実施の形態７は、実施の形態２等と組み合わせることも可能である。

【0251】

＜追跡処理についての考察＞
ここで、上記ではウエーブレット変換が各分解レベルのウエーブレット平面に含まれる最低域の帯域成分を再帰的に分解する方式を採用していることに鑑み、追跡処理の対象にする最上位帯域成分を、最終的なウエーブレット平面において最低域の帯域成分ＬＬ３とした。これに対し、例えばウエーブレット変換がウエーブレット平面の最高域の帯域成分を再帰的に分解する方式を採用している場合、最終的なウエーブレット平面において最高域の帯域成分が追跡処理の対象になる。

【0252】

また、上記では、４つの最上位帯域成分ＬＬ３，ＨＬ３，ＬＨ３，ＨＨ３のうちで最低域の帯域成分ＬＬ３のみを、追跡処理の対象にした。すなわち、ローパスフィルタの出力のみを、追跡処理の対象にした。追跡処理に関してハイパスフィルタが不要である理由を、以下に説明する。

【0253】

＜図６６のステップＳ５１４について（５×３フィルタ）＞
図６６のステップＳ５１２においてパラメータｑ、すなわち最小範囲８１の左端座標ＡＸ１または上端座標ＡＹ１が奇数と判別された場合、図２１を参照して低域成分の左側（上側に相当）の出力をｐとすると、
ｑ＝２ｎ＋１ …（式１）
ｐ＝ｎ …（式２）
これを解くと、ｐ＝（ｑ−１）／２となる（式３）。これはステップＳ５１４に係る上記式になる。

【0254】

ここで図２１を参照して高域成分（すなわちハイパスフィルタ側）についても考える。高域成分の左側（上側に相当）の出力をｐとすると、
ｑ＝２ｎ＋１ …（式４）
ｐ＝ｎ−１ …（式５）
これを解くとｐ＝（ｑ−３）／２となる（式６）。

【0255】

＜図６６のステップＳ５１３について（５×３フィルタ）＞
図６６のステップＳ５１２においてパラメータｑ、すなわち最小範囲８１の左端座標ＡＸ１または上端座標ＡＹ１が偶数と判別された場合、図２１を参照して低域成分の左側（上側に相当）の出力をｐとすると、
ｑ＝２ｎ …（式７）
ｐ＝ｎ …（式８）
これを解くとｐ＝ｑ／２となる（式９）。これはステップＳ５１３に係る式になる。

【0256】

ここで図２１を参照して高域成分（すなわちハイパスフィルタ側）についても考える。高域成分の左側（上側に相当）の出力をｐとすると、
ｑ＝２ｎ …（式１０）
ｐ＝ｎ−１ …（式１１）
これを解くとｐ＝ｑ／２−１となる（式１２）。

【0257】

ここで、高域成分を再帰的に入力しない場合のＭａｌｌａｔ型を考えると、高域側の出力は入力側にはならない。よって、高域成分は最後の分解レベルだけを考えればよいことになる。低域成分を再帰的に入力する場合は、入力側のみを考えればよい。

【0258】

＜図７０のステップＳ５５３について（５×３フィルタ）＞
図６１の５タップのローパスフィルタに、低域成分が入力されたとする。また、図６１においてｎ＝ｐとする。図７０のステップＳ５５１において追跡最小範囲８２の左端座標ＡＸ２または上端座標ＡＹ２が入力された場合（ステップＳ５５２参照）、
ｒ＝ｐ …（式１３）
ｓ＝２ｐ−２ …（式１４）
これを解くとｓ＝２ｒ−２となる（式１５）。これはステップＳ５５３に係る式になる。

【0259】

図６２の３タップのハイパスフィルタに、高域成分が入力されたとする。また、図６２においてｎ＝ｐとする。図７０のステップＳ５５１において追跡最小範囲８２の左端座標ＡＸ２または上端座標ＡＹ２が入力された場合（ステップＳ５５２参照）、
ｒ＝ｐ …（式１６）
ｓ＝２ｐ …（式１７）
これを解くとｓ＝２ｒとなる（式１８）。

【0260】

ここで、上記のように、図６６のステップＳ５１２においてパラメータｑ、すなわち最小範囲８１の左端座標ＡＸ１または上端座標ＡＹ１が奇数と判別された場合、低域成分については式１３，３から、ｒ＝（ｑ−１）／２が得られる（式１９）。また、式１９，１５からｓ＝ｑ−３が得られる（式２０）。これに対し、高域成分については式１６，６から、ｒ＝（ｑ−３）／２が得られる（式２１）。また、式２１，１８からｓ＝ｑ−３が得られる（式２２）。式２０，２２を見れば分かるように、低域成分と高域成分とのいずれについても同様の結果になる。

【0261】

また、上記のように、図６６のステップＳ５１２においてパラメータｑ、すなわち最小範囲８１の左端座標ＡＸ１または上端座標ＡＹ１が偶数と判別された場合、低域成分については式１３，９から、ｒ＝ｑ／２が得られる（式２３）。また、式２３，１５からｓ＝ｑ−２が得られる（式２４）。これに対し、高域成分については式１６，１２から、ｒ＝ｑ／２−１が得られる（式２５）。また、式２５，１８からｓ＝ｑ−２が得られる（式２６）。式２４，２６を見れば分かるように、低域成分と高域成分とのいずれについても同様の結果になる。

【0262】

このように高域成分を再帰的に入力しない場合のＭａｌｌａｔ型を考えると、低域成分と高域成分のいずれを追跡しても同じ結果になる。このため、ウエーブレット変換に５×３フィルタが使用される場合の図６６、図６７および図７０の処理フローＳ５１０，Ｓ５２０，Ｓ５５０では低域成分だけに着目している。

【0263】

＜図６８のステップＳ５３４について（９×７フィルタ）＞
図６８のステップＳ５３２においてパラメータｑ、すなわち最小範囲８１の左端座標ＡＸ１または上端座標ＡＹ１が奇数と判別された場合、図２２を参照して低域成分の左側（上側に相当）の出力をｐとすると、
ｑ＝２ｎ＋１ …（式２７）
ｐ＝ｎ−１ …（式２８）
これを解くと、ｐ＝（ｑ−３）／２となる（式２９）。これはステップＳ５３４に係る上記式になる。

【0264】

ここで図２２を参照して高域成分（すなわちハイパスフィルタ側）についても考える。高域成分の左側（上側に相当）の出力をｐとすると、
ｑ＝２ｎ＋１ …（式３０）
ｐ＝ｎ−２ …（式３１）
これを解くとｐ＝（ｑ−５）／２となる（式３２）。

【0265】

＜図６８のステップＳ５３３について（９×７フィルタ）＞
図６８のステップＳ５３２においてパラメータｑ、すなわち最小範囲８１の左端座標ＡＸ１または上端座標ＡＹ１が偶数と判別された場合、図２２を参照して低域成分の左側（上側に相当）の出力をｐとすると、
ｑ＝２ｎ …（式３３）
ｐ＝ｎ−１ …（式３４）
これを解くとｐ＝ｑ／２−１となる（式３５）。これはステップＳ５３３に係る式になる。

【0266】

ここで図２２を参照して高域成分（すなわちハイパスフィルタ側）についても考える。高域成分の左側（上側に相当）の出力をｐとすると、
ｑ＝２ｎ …（式３６）
ｐ＝ｎ−２ …（式３７）
これを解くとｐ＝ｑ／２−２となる（式３８）。

【0267】

ここで、高域成分を再帰的に入力しない場合のＭａｌｌａｔ型を考えると、高域側の出力は入力側にはならない。よって、高域成分は最後の分解レベルだけを考えればよいことになる。低域成分を再帰的に入力する場合は、入力側のみを考えればよい。

【0268】

＜図７１のステップＳ５６３について（９×７フィルタ）＞
図６３の９タップのローパスフィルタに、低域成分が入力されたとする。また、図６３においてｎ＝ｐとする。図７１のステップＳ５６１において追跡最小範囲８２の左端座標ＡＸ２または上端座標ＡＹ２が入力された場合（ステップＳ５６２参照）、
ｒ＝ｐ …（式３９）
ｓ＝２ｐ−４ …（式４０）
これを解くとｓ＝２ｒ−４となる（式４１）。これはステップＳ５６３に係る式になる。

【0269】

図６４の７タップのハイパスフィルタに、高域成分が入力されたとする。また、図６４においてｎ＝ｐとする。図７１のステップＳ５６１において追跡最小範囲８２の左端座標ＡＸ２または上端座標ＡＹ２が入力された場合（ステップＳ５６２参照）、
ｒ＝ｐ …（式４２）
ｓ＝２ｐ−２ …（式４３）
これを解くとｓ＝２ｒ−２となる（式４４）。

【0270】

ここで、上記のように、図６８のステップＳ５３２においてパラメータｑ、すなわち最小範囲８１の左端座標ＡＸ１または上端座標ＡＹ１が奇数と判別された場合、低域成分については式３９，２９から、ｒ＝（ｑ−３）／２が得られる（式４５）。また、式４５，４１からｓ＝ｑ−７が得られる（式４６）。これに対し、高域成分については式４２，３２から、ｒ＝（ｑ−５）／２が得られる（式４７）。また、式４７，４４からｓ＝ｑ−７が得られる（式４８）。式４６，４８を見れば分かるように、低域成分と高域成分とのいずれについても同様の結果になる。

【0271】

また、上記のように、図６８のステップＳ５３２においてパラメータｑ、すなわち最小範囲８１の左端座標ＡＸ１または上端座標ＡＹ１が偶数と判別された場合、低域成分については式３９，３５から、ｒ＝ｑ／２が得られる（式４９）。また、式４９，４１からｓ＝ｑ−６が得られる（式５０）。これに対し、高域成分については式４２，３８から、ｒ＝ｑ／２−２が得られる（式５１）。また、式５１，４４からｓ＝ｑ−６が得られる（式５２）。式５０，５２を見れば分かるように、低域成分と高域成分とのいずれについても同様の結果になる。

【0272】

このように高域成分を再帰的に入力しない場合のＭａｌｌａｔ型を考えると、低域成分と高域成分のいずれを追跡しても同じ結果になる。このため、ウエーブレット変換に９×７フィルタが使用される場合の図６８、図６９および図７１の処理フローＳ５３０，Ｓ５４０，Ｓ５６０では低域成分だけに着目している。

【0273】

＜実施の形態８＞
図７７に、実施の形態８に係る供給システム１１Ｈおよび合成システム２１Ｈについて、画像合成の概念図を示す。供給システム１１Ｈおよび合成システム２１Ｈは、実施の形態１に係る供給システム１１および合成システム２１に代えて、画像処理システム１，１０，２０等に適用可能である。図７７を図５５と比較すれば分かるように、実施の形態８では供給システム１１Ｈは、全体マスクだけでなく全体画像に対しても切り取りを行う。

【0274】

すなわち、供給システム１１Ｈは、実施の形態７と同様に、全体マスクから、ウエーブレット変換の対象となる第１対象画像の範囲についてのマスクである対象マスクを切り取り、対象マスクデータＢ６０を基礎マスクデータＢ５０として出力する。また、供給システム１１Ｈは、全体画像から第１対象画像を切り取り、第１対象画像データＡ６０を第１基礎画像データＡ５０として出力する。

【0275】

図７８に、供給システム１１Ｈの構成例を示す。供給システム１１Ｈは、実施の形態８に係る画像データ出力部１００Ｈと、実施の形態７に係るマスクデータ出力部２００Ｇとを含んでいる。画像データ出力部１００Ｈは、実施の形態７において合成システム２１Ｇに設けられていた第１画像切り取り部５４０と、既述の画像エンコーダ１５０とを含んでいる。

【0276】

第１画像切り取り部５４０は、供給システム１１Ｈにおいて、全体画像データＡ１０を取得し、切り取り範囲決定部２３２から切り取り範囲特定データＦ５０を取得する。そして、第１画像切り取り部５４０は、切り取り範囲特定データＦ５０に基づいて、全体画像データＡ１０のうちで切り取り範囲８３内のデータを切り取る。切り取った部分画像データは、合成システム２１Ｈにおいてウエーブレット変換の対象となる第１対象画像データＡ６０である。

【0277】

当該第１対象画像データＡ６０は、第１基礎画像データＡ５０として画像エンコーダ１５０に供給される。それにより、第１対象画像データＡ６０は、第１基礎画像データＡ５０として、画像ビットストリームＡｂｓによって供給システム１１Ｈから出力される。

【0278】

供給システム１１Ｈの構成に対応して、合成システム２１Ｈの合成部５００Ｈ（図７９参照）は、実施の形態７に係る合成部５００Ｇ（図７４参照）から第１画像切り取り部５４０が削除された構成を有する。

【0279】

図８０に、供給システム１１Ｈの動作を説明するフローチャートを示す。図８０の動作フローＳ１００Ｈでは、図７５の動作フローＳ１００Ｇに、切り取りステップＳ１５１が追加されている。切り取りステップＳ１５１では、第１画像切り取り部５４０が、切り取りステップＳ１４２で生成された切り取り範囲特定データＦ５０に基づいて、全体画像データＡ１０から第１対象画像データＡ６０を切り取る。

【0280】

ステップＳ１５１で切り取られた第１対象画像データＡ６０は、ステップＳ１１２において第１基礎画像データＡ５０として処理される。すなわち、画像エンコーダ１５０によって、第１対象画像データＡ６０から、第１基礎画像データＡ５０の画像ビットストリームＡｂｓが生成される。

【0281】

図８１に、合成システム２１Ｈの動作を説明するフローチャートを示す。図８１の動作フローＳ４００Ｈは、ステップＳ４７０の代わりにステップＳ４７０Ｈが設けられている点を除いて、図７６の動作フローＳ４００Ｇと同様である。実施の形態７に係るステップＳ４７０（図７６参照）では第１基礎画像および第２基礎画像から第１対象画像および第２対象画像を切り取った。これに対し、実施の形態８では、第１基礎画像は第１対象画像として供給されるので、ステップＳ４７０Ｈでは第２対象画像の切り取りのみが行われる。

【0282】

ここで、上記では実施の形態７と同様に、切り取り範囲特定データＦ５０が供給システム１１Ｈから合成システム２１Ｈに供給され、切り取り範囲特定データＦ５０は第２画像切り取り部５５０で利用されるものとした。但し、実施の形態８では、切り取り範囲特定データＦ５０を供給システム１１Ｈから合成システム２１Ｈに供給しないことも可能である。

【0283】

なぜならば、実施の形態８では、合成システム２１Ｈにおいて第１対象画像を切り取る必要がないので、第１対象画像に関しては切り取り範囲特定データＦ５０を利用しないからである。さらに、実施の形態７で述べたように、第２対象画像を切り取る際に切り取り範囲特定データＦ５０の代わりに第１対象画像データＡ６０を参照しても、第２対象画像を第１対象画像と同じ形状および大きさで切り取ることが可能だからである。

【0284】

実施の形態８によれば、実施の形態７と同様の効果を得ることができる。

【0285】

特に実施の形態８によれば、供給システム１１Ｈは、全体画像から第１基礎画像を切り取り、当該切り取った第１基礎画像を画像ビットストリームＡｂｓによって出力する。このため、基礎マスクデータＢ５０だけでなく、第１基礎画像データＡ５０についても、データサイズを削減できる。このため、画像ビットストリームＡｂｓおよびマスクビットストリームＢｂｓが有線または無線の通信によって伝送される場合、通信量を削減でき、伝送の即時性に役立つ。

【0286】

なお、実施の形態８は、実施の形態２等と組み合わせることも可能である。

【0287】

＜実施の形態９＞
図８２に、実施の形態９に係る供給システム１１Ｉおよび合成システム２１Ｉについて、画像合成の概念図を示す。供給システム１１Ｉおよび合成システム２１Ｉは、実施の形態１に係る供給システム１１および合成システム２１に代えて、画像処理システム１，１０，２０等に適用可能である。図８２を図５５と比較すれば分かるように、実施の形態９では全体マスクおよび全体画像に対する切り取りを、合成システム２１Ｉで行う。

【0288】

すなわち、供給システム１１Ｉは、実施の形態１と同様に、第１対象画像を一部分に含む全体画像のデータである全体画像データＡ１０を第１基礎画像データＡ５０として出力し、全体画像の範囲について基礎マスクデータＢ５０を生成して出力する。また、供給システム１１Ｉは、実施の形態７と同様に、切り取り範囲特定データＦ５０を生成して出力する。

【0289】

他方、合成システム２１Ｉは、第１基礎画像および基礎マスクから、切り取り範囲特定データＦ５０で特定される範囲を切り取り、切り取った部分を第１対象画像および対象マスクとして使用する。また、合成システム２１Ｉは、第２基礎画像から第２対象画像を切り取る。

【0290】

図８３に、供給システム１１Ｉのマスクデータ出力部２００Ｉの構成例を示す。ここでは、マスクデータ出力部２００Ｉは、実施の形態１に係る画像データ出力部１００（図３参照）と組み合わされて、供給システム１１Ｉを構成するものとする。マスクデータ出力部２００Ｉは、実施の形態９に係るマスク生成部２１０Ｉと、既述のマスクエンコーダ２５０とを含んでいる。

【0291】

マスク生成部２１０Ｉは、実施の形態７に係るマスク生成部２１０Ｇ（図７２参照）からマスク切り取り部２３３を削除した構成を有している。このため、マスク生成部２１０Ｉは、全体マスクデータＢ１０を基礎マスクデータＢ５０として、マスクエンコーダ２５０に供給する。切り取り範囲決定部２３２は、実施の形態７と同様に、切り取り範囲決定処理を行い、切り取り範囲特定データＦ５０をマスクエンコーダ２５０に供給する。

【0292】

供給システム１１Ｉの構成に対応して、合成システム２１Ｉの合成部５００Ｉ（図８４参照）は、実施の形態７に係る合成部５００Ｇ（図７４参照）に、マスク切り取り部２３３が追加された構成を有する。マスク切り取り部２３３は、基礎マスクデータＢ５０として全体マスクデータＢ１０を取得し、切り取り範囲特定データＦ５０を取得する。そして、マスク切り取り部２３３は、実施の形態７と同様に、切り取り範囲特定データＦ５０に基づいて、全体マスクデータＢ１０から対象マスクデータＢ６０を切り取る。対象マスクデータＢ６０は、合成実行部５２０に供給される。

【0293】

図８５に、供給システム１１Ｉの動作を説明するフローチャートを示す。図８５の動作フローＳ１００Ｉでは、図７５の動作フローＳ１００Ｇにおいて、切り取りステップＳ１４２の代わりに、切り取り範囲決定ステップＳ１４３が設けられている。切り取り範囲決定ステップＳ１４３では、切り取り範囲決定部２３２が切り取り範囲特定データＦ５０を生成する。

【0294】

図８６に、合成システム２１Ｉの動作を説明するフローチャートを示す。図８６の動作フローＳ４００Ｉのデータ取得ステップＳ４１０Ｉは、実施の形態７に係る動作フローＳ４００Ｇ（図７６参照）のデータ取得ステップＳ４１０Ｇにおいて、切り取りステップＳ４７０の代わりに、切り取りステップＳ４７０Ｉが設けられている。

【0295】

切り取りステップＳ４７０Ｉでは、第１画像切り取り部５４０が第１基礎画像データＡ５０から第１対象画像データＡ６０を切り取り、第２画像切り取り部５５０が第２基礎画像データＤ５０から第２対象画像データＤ６０を切り取り、マスク切り取り部２３３が基礎マスクデータＢ５０から対象マスクデータＢ６０を切り取る。

【0296】

実施の形態９によれば、実施の形態１等と同様の効果を得ることができる。

【0297】

特に実施の形態９によれば、実施の形態７と同様に、第１対象画像および第２対象画像のサイズが小さくなるので、合成システム２１Ｇでの演算負荷を削減できる。このため、画像合成の高速化に役立つ。

【0298】

また、実施の形態９では、供給システム１１Ｉにおいて対象マスクおよび第１対象画像の切り取りを行わない。このため、供給システム１１Ｉでの演算負荷を削減できる。

【0299】

なお、実施の形態９は、実施の形態２等と組み合わせることも可能である。

【0300】

＜実施の形態１０＞
図８７に、実施の形態１０に係る供給システム１１Ｊおよび合成システム２１Ｊについて、画像合成の概念図を示す。供給システム１１Ｊおよび合成システム２１Ｊは、実施の形態１に係る供給システム１１および合成システム２１に代えて、画像処理システム１，１０，２０等に適用可能である。図８７を図５５と比較すれば分かるように、実施の形態１０では全体マスクに対する切り取りは合成システム２１Ｊで行い、全体画像に対する切り取りは供給システム１１Ｊで行う。

【0301】

すなわち、供給システム１１Ｊは、実施の形態８（図７７参照）と同様に、全体画像から第１対象画像を切り取り、第１対象画像データＡ６０を第１基礎画像データＡ５０として出力する。また、供給システム１１Ｊは、実施の形態９（図８２参照）と同様に、全体画像の範囲について基礎マスクデータＢ５０を生成して出力する。

【0302】

他方、合成システム２１Ｊは、実施の形態８（図７７参照）と同様に、取得した第１基礎画像の全範囲を第１対象画像として使用する。また、合成システム２１Ｊは、実施の形態９（図８２参照）と同様に、取得した基礎マスクから、切り取り範囲特定データＦ５０によって特定される範囲を切り取り、切り取った部分を対象マスクとして使用する。

【0303】

図８８に、供給システム１１Ｊの構成例を示す。図８８に示すように、供給システム１１Ｊは、実施の形態８に係る画像データ出力部１００Ｈ（図７８参照）と、実施の形態９に係るマスクデータ出力部２００Ｉ（図８３参照）とを組み合わせによって構成されている。

【0304】

図８９に、合成システム２１Ｊの合成部５００Ｊの構成例を示す。ここでは、合成部５００Ｊは、実施の形態７に係る画像デコーダ３００およびマスクデコーダ４００Ｇ（図７３参照）と組み合わされて、合成システム２１Ｊを構成するものとする。図８９に示すように、合成部５００Ｊは、実施の形態９に係る合成部５００Ｉ（図８４参照）から第１画像切り取り部５４０が削除された構成を有する。

【0305】

図９０に、供給システム１１Ｊの動作を説明するフローチャートを示す。図９０の動作フローＳ１００Ｊでは、実施の形態９に係る動作フローＳ１００Ｉ（図８５参照）に、実施の形態８に係る切り取りステップＳ１５１（図８０参照）が追加されている。すなわち、切り取りステップＳ１５１では、第１画像切り取り部５４０が、ステップＳ１４３で生成された切り取り範囲特定データＦ５０に基づいて、全体画像から第１対象画像を第１基礎画像として切り取る。

【0306】

図９１に、合成システム２１Ｊの動作を説明するフローチャートを示す。図９１の動作フローＳ４００Ｊのデータ取得ステップＳ４１０Ｊは、実施の形態９に係る動作フローＳ４００Ｉ（図８６参照）のデータ取得ステップＳ４１０Ｉにおいて、切り取りステップＳ４７０Ｉの代わりに、切り取りステップＳ４７０Ｊが設けられている。

【0307】

切り取りステップＳ４７０Ｊでは、第２画像切り取り部５５０が第２基礎画像データＤ５０から第２対象画像データＤ６０を切り取り、マスク切り取り部２３３が基礎マスクデータＢ５０から対象マスクデータＢ６０を切り取る。

【0308】

実施の形態１０によれば、実施の形態１等と同様の効果を得ることができる。

【0309】

特に実施の形態１０によれば、実施の形態７と同様に、第１対象画像および第２対象画像のサイズが小さくなるので、合成システム２１Ｊでの演算負荷を削減できる。このため、画像合成の高速化に役立つ。

【0310】

また、実施の形態８と同様に、第１基礎画像データＡ５０について、データサイズを削減できる。このため、画像ビットストリームＡｂｓが有線または無線の通信によって伝送される場合、通信量を削減でき、伝送の即時性に役立つ。

【0311】

なお、実施の形態１０は、実施の形態２等と組み合わせることも可能である。

【0312】

＜実施の形態１１＞
実施の形態７〜１０では、切り取り範囲決定処理を供給システム１１Ｇ〜１１Ｊにおいて行うものとした。実施の形態１１では、切り取り範囲決定処理を合成システムにおいて行う例を説明する。図９２に、実施の形態１１に係る画像合成の概念図を示す。ここでは、実施の形態１１に係る合成システム２１Ｋは、実施の形態１に係る供給システム１１と組み合わされるものとする。なお、合成システム２１Ｋは、実施の形態１に係る合成システム２１に代えて、画像処理システム１，２０等に適用可能である。

【0313】

図９３に、合成システム２１Ｋの合成部５００Ｋの構成例を示す。ここでは、合成部５００Ｊは、実施の形態７に係る画像デコーダ３００およびマスクデコーダ４００Ｇ（図７３参照）と組み合わされて、合成システム２１Ｋを構成するものとする。図９３に示すように、合成部５００Ｋは、実施の形態９に係る合成部５００Ｉ（図８４参照）に、既述の切り取り範囲決定部２３２が追加された構成を有する。

【0314】

合成部５００Ｋにおいて切り取り範囲決定部２３２は、全体マスクデータＢ１０（基礎マスクデータＢ５０として合成システム２１Ｋに供給される）と、合成制御データＣ５０とに基づいて、切り取り範囲決定処理を行い、切り取り範囲特定データＦ５０を生成する。切り取り範囲特定データＦ５０は、第１画像切り取り部５４０と、第２画像切り取り部５５０と、マスク切り取り部２３３とに供給される。

【0315】

図９４に、合成システム２１Ｊの動作を説明するフローチャートを示す。図９４の動作フローＳ４００Ｋは基本的には実施の形態９に係る動作フローＳ４００Ｉ（図８６参照）と同様であるが、次の点が異なる。

【0316】

まず、図９４の動作フローＳ４００Ｋのデータ取得ステップＳ４１０Ｋでは、ステップＳ４３２Ｇの代わりに、マスクビットストリームＢｂｓから合成制御データＣ５０を抽出する既述のデータ抽出ステップＳ４３２が設けられている。なぜならば、切り取り範囲特定データＦ５０は合成システム２１Ｋの内部で生成されるので、マスクビットストリームＢｂｓには切り取り範囲特定データＦ５０が埋め込まれていないからである。

【0317】

また、データ取得ステップＳ４１０Ｋでは、既述の切り取り範囲決定ステップＳ１４３が追加されている。当該ステップＳ１４３では、切り取り範囲決定部２３２が、切り取り範囲決定処理を行い、切り取り範囲特定データＦ５０を生成する。

【0318】

実施の形態１１によれば、実施の形態９等と同様の効果を得ることができる。特に、実施の形態９とは異なり、切り取り範囲決定処理は合成システム２１Ｋにおいて行われる。このため、供給システム１１での演算負荷を増大させることがない。

【0319】

なお、実施の形態１１は、実施の形態２等と組み合わせることも可能である。

【0320】

＜実施の形態１２＞
実施の形態７〜１１は、上記のように実施の形態２等と組み合わせることも可能である。実施の形態１２では、それらの組み合わせのうちで、実施の形態７を実施の形態６と組み合わせた例を説明する。図９５に、実施の形態１２に係る供給システム１１Ｌおよび合成システム２１Ｌについて、画像合成の概念図を示す。供給システム１１Ｌおよび合成システム２１Ｌは、実施の形態１に係る供給システム１１および合成システム２１に代えて、画像処理システム１，１０，２０等に適用可能である。図９５を図５２および図５５と比較すれば分かるように、実施の形態１２では、供給システム１１Ｌにおいてマスクの切り取りおよび展開を行う。

【0321】

図９６に、供給システム１１Ｌのマスクデータ出力部２００Ｌの構成例を示す。ここではマスクデータ出力部２００Ｌは、既述の画像データ出力部１００と組み合わされて、供給システム１１Ｌを構成するものとする。

【0322】

図９６に示すように、マスクデータ出力部２００Ｌは、マスク生成部２１０Ｌと、既述のマスクエンコーダ２５０とで構成されている。マスク生成部２１０Ｌは、実施の形態６に係るマスク生成部２１０Ｆ（図５０参照）と同様に、原マスク生成部２２０Ｌと、マスク展開部５２１とを含んでいる。

【0323】

実施の形態１２に係る原マスク生成部２２０Ｌは、実施の形態７に係るマスク生成部２１０Ｇ（図７２参照）と同じ構成を有している。すなわち、原マスク生成部２２０Ｌは、全体マスク生成部２１１と、切り取り範囲決定部２３２と、マスク切り取り部２３３とを含んでいる。これにより、原マスク生成部２２０Ｌは、全体画像に基づいて、第１対象画像の範囲についての原マスクを生成する。

【0324】

そして、マスク展開部５２１が、当該原マスクに対してマスク展開処理を行うことによって、第１対象画像の範囲についての展開マスクを生成する。生成された展開マスクデータＢ２１は基礎マスクデータＢ５０として、マスクビットストリームＢｂｓによって、マスクデータ出力部２００Ｌから出力される。

【0325】

ここで、マスク切り取り部２３３は、実施の形態７等と同様に、全体マスクデータＢ１０のうちで切り取り範囲８３内のデータを、基礎マスクデータ用に切り取る。但し、実施の形態７等とは異なり、切り取られたデータは上記のようにマスク展開処理に供されるので、当該切り取られたデータがそのまま基礎マスクデータＢ５０になるわけではない。

【0326】

図９７に、合成システム２１Ｌの合成部５００Ｌの構成例を示す。ここでは、合成部５００Ｌは、実施の形態７に係る画像デコーダ３００およびマスクデコーダ４００Ｇ（図７３参照）と組み合わされて、合成システム２１Ｌを構成するものとする。合成部５００Ｌは、実施の形態７に係る合成部５００Ｇ（図７４参照）と基本的には同様であるが、次の点が異なる。合成実行部５２０の代わりに、マスク展開部５２１を有さない合成実行部５２０Ｆ（実施の形態６に係る図５１を参照）が設けられている。

【0327】

図９８に、供給システム１１Ｌの動作を説明するフローチャートを示す。図９８の動作フローＳ１００Ｌは、実施の形態７に係る動作フローＳ１００Ｇ（図７５参照）と基本的には同様であるが、次の点が異なる。基礎マスク生成ステップＳ１２２Ｇに代えて、基礎マスク生成ステップＳ１２２Ｌが設けられている。

【0328】

基礎マスク生成ステップＳ１２２Ｌは、実施の形態６に係る基礎マスクステップＳ１２２Ｆ（図５３参照）と同様に、原マスク生成ステップＳ１３１Ｌと、マスク展開ステップＳ１３２とに大別される。実施の形態１２に係る原マスク生成ステップＳ１３１Ｌは、実施の形態７に係る全体マスク生成ステップＳ１４１およびマスク切り取りステップＳ１４２（図７５参照）で構成されている。マスク展開ステップＳ１３２は既述の通りである。

【0329】

図９９に、合成システム２１Ｌの動作を説明するフローチャートを示す。図９９の動作フローＳ４００Ｌは、実施の形態７に係る動作フローＳ４００Ｇ（図７６参照）と基本的には同様であるが、次の点が異なる。合成実行ステップＳ４５０に代えて、合成実行ステップＳ４５０Ｌが設けられている。合成実行ステップＳ４５０Ｌでは、合成実行ステップＳ４５０から、マスク展開ステップＳ４５１が削除されている。

【0330】

実施の形態１２によれば、実施の形態６，７と同様の効果を得ることができる。なお、実施の形態１２では、実施の形態７を実施の形態６と組み合わせた例を説明したが、実施の形態６は他の実施の形態とも組み合わせ可能である。

【0331】

＜実施の形態７〜１２の変形例＞
実施の形態７〜１２では第２基礎画像は第１対象画像および第２対象画像よりも大きいものとした。しかし、第２基礎画像自体が第１対象画像および第２対象画像と同じ大きさであってもよい。この場合、第２画像切り取り部５５０を削除してもよい。但し、第２画像切り取り部５５０が設けられていることによって、様々な大きさの第２基礎画像に対応でき、利便性が向上する。

【0332】

＜実施の形態１３＞
上記のように、分解レベル１において最低域の帯域成分ＬＬ１は、原画像に対する縮小比が１／２の画像（換言すれば、画像サイズが１／４の画像）を提供可能である。最低域の帯域成分ＬＬを再帰的に分解する方式によれば、分解レベル２の帯域成分ＬＬ２は、分解前の帯域成分ＬＬ１によって提供される画像に対する縮小比が１／２の画像を提供可能であり、したがって原画像に対する縮小比が１／４（＝１／２^２）の画像を提供可能である。

【0333】

一般化するならば、分解レベルｍにおける最低域の帯域成分ＬＬｍは、原画像に対する縮小比が１／２^ｍの画像を提供可能である（図１００参照）。なお、上記のようにウエーブレット変換が行われていない状態の原画像を分解レベル０に対応させることによって、ｍは０以上の整数である。

【0334】

逆に考えると、原画像を１／２^ｍで縮小した場合の画像サイズは、原画像を分解レベルｍまで分解した場合の最低域の帯域成分ＬＬｍによって提供される画像サイズと等しい。このため、１／２^ｍの縮小画像のサイズを、分解レベルｍ相当の画像サイズと表現してもよい。なお、画像サイズについての当該表現は、縮小画像を、原画像と同じ画像サイズを有する他の画像と比較する場合にも使える。

【0335】

上記の点に鑑みると、図１００の概念図に示すように、逆ウエーブレット変換の回数によって、合成画像の画像サイズを制御可能である。図１０１に、実施の形態１３に係る逆ウエーブレット変換部５３０Ｍを説明するブロック図を示す。逆ウエーブレット変換部５３０Ｍは、逆ウエーブレット変換部５３０（図１３等参照）に代えて、実施の形態１〜６に適用可能である。

【0336】

逆ウエーブレット変換部５３０Ｍは、逆ウエーブレット変換処理ステップ（図２５のステップＳ４６０を参照）において、合成済み係数データＥ６１に対して、分解レベルが所定の終了レベルになるまで逆ウエーブレット変換を行い、逆ウエーブレット変換後のデータのうちで最低域の帯域成分ＬＬを合成画像データＥ８０に設定する。逆ウエーブレット変換の終了レベル、換言すれば合成画像の画像サイズは、画像サイズ制御データＣ６０によって、逆ウエーブレット変換部５３０Ｍに指示される。ここでは、画像サイズ制御データＣ６０は、合成システムに、当該合成システムのユーザによって入力されるものとする。但し、画像サイズ制御データＣ６０は、合成制御データＣ５０と同様に、供給システムから供給されてもよい（図３，図３８、図４５、図４９参照）。

【0337】

画像サイズ制御データＣ６０は、例えば、逆ウエーブレット変換の終了レベルを直接的に示す数値である。あるいは、画像サイズ制御データＣ６０は、逆ウエーブレット変換の終了レベルを導出可能なデータであってもよい。逆ウエーブレット変換の終了レベルを導出可能なデータの例として、逆ウエーブレット変換の回数を示す数値、原画像サイズに対する縮小比を示す数値、等が挙げられる。

【0338】

逆ウエーブレット変換の終了レベルは、分解レベル０以上、且つ、合成済み係数データＥ６１の分解レベル（すなわち、合成制御データＣ５０によって指定された分解レベル）以下の範囲で設定可能である。逆ウエーブレット変換の終了レベルが分解レベル０に設定された場合、実施の形態１〜６と同様に、原画像サイズの合成画像を得ることができる。換言すれば、実施の形態１〜６は逆ウエーブレット変換の終了レベルが０に固定された例であり、本実施の形態１３は逆ウエーブレット変換の終了レベルを可変にした例である。他方、逆ウエーブレット変換の終了レベルが合成済み係数データＥ６１の分解レベルと同じレベルに設定された場合、逆ウエーブレット変換は行われず、合成済み係数データＥ６１中の最低域の帯域成分ＬＬが合成画像データＥ８０として抽出される。

【0339】

実施の形態１３によれば、合成画像の画像サイズを制御することができ、原画像と同じサイズだけでなく原画像よりも小さいサイズの合成画像を得ることができる。

【0340】

＜実施の形態１４＞
実施の形態１４では、実施の形態１３とは異なる手法によって、合成画像の画像サイズを制御する例を説明する。図１０２に、実施の形態１４に係る画像合成の概念図を示す。図１０２によれば、第１基礎画像はそのまま第１対象画像として利用され、第１対象画像から第１ウエーブレット係数データが生成される。ここでは、第１ウエーブレット係数データの分解レベルが３である例を挙げる。

【0341】

他方、第２基礎画像の全体が縮小され、その縮小画像が第２対象画像として利用される。図１０２の例では、第２基礎画像は第１基礎画像と同じ大きさおよび形状を有し（換言すれば、第２基礎画像は第１基礎画像と合同である）、第２基礎画像の全体が１／２の縮小比で以て縮小される。すなわち、第２基礎画像および第１基礎画像に対する第２対象画像の縮小比は、１／２である。換言すれば、第２対象画像の画像サイズは、第２基礎画像および第１基礎画像に対して１／４である。

【0342】

そして、第２対象画像から第２ウエーブレット係数データが生成される。ここでは、第２ウエーブレット係数データの分解レベルは２であり、第１ウエーブレット係数データの分解レベル（＝３）よりも１レベル低い。

【0343】

次に、第１ウエーブレット係数データと第２ウエーブレット係数データとが、実施の形態１と同様に合成される。但し、第１対象画像と第２対象画像との画像サイズが異なるので、画像サイズの小さい第２対象画像の範囲に合わせて、換言すれば第２ウエーブレット係数データの範囲に合わせて、合成が行われる。すなわち、第１ウエーブレット係数データの一部（第２ウエーブレット係数データに対応する部分）と、第２ウエーブレット係数データの全体とが、係数合成処理に利用される。図１０２の例では、第１ウエーブレット係数データの上記一部とは、第１ウエーブレット係数データのうちで、最も分解された帯域成分（すなわち最上位帯域成分）ＬＬ３，ＨＬ３，ＬＨ３，ＨＨ３と、最上位帯域成分よりも１レベル低い帯域ＨＬ２，ＬＨ２，ＨＨ２である。

【0344】

このような合成によって、第２ウエーブレット係数データと同じ分解レベル（ここでは分解レベル２）の合成済み係数データが生成される。そして、合成済み係数データに対して、分解レベル０まで逆ウエーブレット変換を行うことによって、合成画像データが生成される。この合成画像データによれば、第２対象画像と同じ大きさおよび形状を有する合成画像、換言すれば第２基礎画像および第１基礎画像に対する縮小比が１／２の合成画像が提供される。

【0345】

図１０３に、第２基礎画像に対する第２対象画像の縮小比が１／４（＝１／２^２）である例を示す。図１０３においても、第１基礎画像はそのまま第１対象画像として利用され、第１対象画像から分解レベル３の第１ウエーブレット係数データが生成される。他方、第２対象画像から分解レベル１の第２ウエーブレット係数データが生成される。この場合、第２ウエーブレット係数データの分解レベル（＝１）は、第１ウエーブレット係数データの分解レベル（＝３）よりも２レベル低い。

【0346】

次に、第１ウエーブレット係数データ（図１０３の例では、第１ウエーブレット係数データのうちで最上位帯域成分ＬＬ３，ＨＬ３，ＬＨ３，ＨＨ３）と、第２ウエーブレット係数データとが合成される。

【0347】

このような合成によって、第２ウエーブレット係数データと同じ分解レベル（ここでは分解レベル１）の合成済み係数データが生成される。そして、合成済み係数データに対して、分解レベル０まで逆ウエーブレット変換を行うことによって、合成画像データが生成される。この合成画像データによれば、合成画像は、第２対象画像と同じ画像サイズで以て、換言すれば第２基礎画像および第１基礎画像に対して縮小比１／４（＝１／２^２）で以て提供される。

【0348】

図１０４に、第１ウエーブレット係数の分解レベルが４であり、第２基礎画像に対する第２対象画像の縮小比が１／２である例を示す。この場合、第２ウエーブレット係数データの分解レベルは３であり、第１ウエーブレット係数データの分解レベル（＝４）よりも１レベル低い。図１０４の場合、第１ウエーブレット係数データのうちで、最上位帯域成分ＬＬ４，ＨＬ４，ＬＨ４，ＨＨ４から、最上位帯域成分よりも２レベル低い帯域ＨＬ２，ＬＨ２，ＨＨ２までの範囲のデータが、合成に利用される。そして、合成画像は、第２対象画像と同じ画像サイズで以て、換言すれば第２基礎画像および第１基礎画像に対して縮小比１／２で以て提供される。

【0349】

図１０２〜図１０４から分かるように、第２対象画像の画像サイズを制御することによって、合成画像の画像サイズに制御できる。図１０２〜図１０４の例から、次の知見が得られる。

【0350】

第２対象画像は第１対象画像と相似形を成し、第１対象画像に対する第２対象画像の相似比は１未満である。なお、１未満の相似比を縮小比と呼んでもよい。第２ウエーブレット係数データの分解レベルは、第１ウエーブレット係数データの分解レベルと上記相似比とに応じて決まる。すなわち、第１ウエーブレット係数データの分解レベルをＰ１とし、第２ウエーブレット係数データの分解レベルをＰ２とし、第１対象画像に対する第２対象画像の相似比を１／２^Ｐ３とした場合、Ｐ２＝Ｐ１−Ｐ３が成り立つ。ここではＰ１，Ｐ２，Ｐ３は自然数である。

【0351】

また、上記のように、係数合成処理は第２ウエーブレット係数データの範囲に合わせて行われる。このため、第１ウエーブレット係数データについては、最上位帯域成分から数えて所定のレベル数の範囲の帯域成分データが利用され、当該所定のレベル数は第２ウエーブレット係数データの分解レベルを表す数値で与えられる。

【0352】

係数合成処理は第２ウエーブレット係数データの範囲に合わせて行われるので、合成済み係数データの分解レベルは第２ウエーブレット係数データと同じになる。合成済み係数データに対して、分解レベル０まで逆ウエーブレット変換を行うことによって、第２対象画像と同じ画像サイズの合成画像が得られる。

【0353】

図１０５に、上記知見を実施の形態１に応用した例について、合成部５００Ｎのブロック図を示す。合成部５００Ｎは、実施の形態１に係る合成部５００（図１３参照）に画像縮小部５７０が追加された構成を有する。画像縮小部５７０は、第２基礎画像データＤ５０を取得し、第２基礎画像を縮小することによって、第１対象画像と相似形を成す第２対象画像を生成する。生成された第２対象画像データＤ６０は、ウエーブレット変換部５１０に供給される。

【0354】

例えば、第２基礎画像を１／２^Ｐ３に縮小する場合、画像縮小部５７０は、第２基礎画像データＤ５０に対するウエーブレット変換を、最低域の帯域成分ＬＬを再帰的に分解する方式によって、分解レベルＰ３まで行う。そして、画像縮小部５７０は、分解レベルＰ３における最低域の帯域成分ＬＬを、第２対象画像データＤ６０として抽出する。

【0355】

あるいは、平均フィルタを利用した一般的な画像縮小処理によって第２対象画像を生成するように、画像縮小部５７０を構成してもよい。その場合、１／２の縮小をＰ３回行ってもよいし、一度に１／２^Ｐ３の縮小を行ってもよい。

【0356】

第２対象画像の画像サイズ、換言すれば合成画像の画像サイズは、画像サイズ制御データＣ７０によって、画像縮小部５７０に指示される。ここでは、画像サイズ制御データＣ７０は、合成システムに、当該合成システムのユーザによって入力されるものとする。但し、画像サイズ制御データＣ７０は、合成制御データＣ５０と同様に、供給システムから供給されてもよい（図３，図３８、図４５、図４９参照）。

【0357】

ここでは説明を分かりやすくするために、画像サイズ制御データＣ７０が、第１対象画像に対する第２対象画像の相似比を上記のように１／２^Ｐ３と表現した場合におけるＰ３の値とする。あるいは、画像サイズ制御データＣ７０は、Ｐ３の値を導出可能なデータであってもよい。Ｐ３の値を導出可能なデータの例として、上記相似比（１／２^Ｐ３）の値等が挙げられる。

【0358】

画像サイズ制御データＣ７０は、ウエーブレット変換部５１０にも供給される。ウエーブレット変換部５１０は、既述の合成制御データＣ５０から、第１ウエーブレット係数データＡ６１に対する指定の分解レベル、すなわち上記Ｐ１の値を取得可能である。これにより、ウエーブレット変換部５１０は、合成制御データＣ５０および画像サイズ制御データＣ７０から得られたＰ１およびＰ３に基づいて、第２ウエーブレット係数データＤ６１の分解レベルＰ２（＝Ｐ１−Ｐ３）を算出する。そして、ウエーブレット変換部５１０は、得られたＰ２が示す分解レベルまで、第２対象画像データＤ６０に対してウエーブレット変換を行う。

【0359】

画像サイズ制御データＣ７０は、図１０５の例では合成実行部５２０にも供給され、第１ウエーブレット係数データＡ６１のうちで係数合成処理に供する範囲を特定するために利用される。第１ウエーブレット係数データＡ６１のうちの当該範囲は、上記のように第２ウエーブレット係数データの分解レベルＰ２を表す数値に応じて決まる。図１０５の例では、合成実行部５２０がＰ２の値を算出するものとする。但し、合成実行部５２０がウエーブレット変換部５１０から、算出済みのＰ２の値を取得してもよい。その場合、合成実行部５２０に対する画像サイズ制御データＣ７０の供給を省略可能である。

【0360】

画像サイズ制御データＣ７０は、逆ウエーブレット変換部５３０にも供給され、逆ウエーブレット変換の回数を設定するために、換言すれば合成済み係数データＥ６１の分解レベルを知るために利用される。

【0361】

図１０６に、合成部５００Ｎを実施の形態１に適用した場合の合成システムの動作を説明するフローチャートを示す。図１０６の動作フローＳ４００Ｎは基本的には実施の形態１に係る動作フローＳ４００（図２５参照）と同様であるが、データ取得ステップＳ４１０の代わりに、ステップＳ４９０が追加されたデータ取得ステップＳ４１０Ｎが設けられている。ステップＳ４９０では、画像縮小部５７０が第２基礎画像を縮小することによって第２対象画像を生成する。動作フローＳ４００Ｎのその他のステップは基本的には、図２５の動作フローＳ４００と同様である。

【0362】

なお、第２対象画像のサイズを制御する画像サイズ制御データＣ７０を、供給システムから取得しない場合、図１０９の例とは違えて、ステップＳ４９０ＰをステップＳ４１１，Ｓ４２２，Ｓ４３２，Ｓ４３３と並列に実行することも可能である。

【0363】

実施の形態１４によれば、合成画像の画像サイズを制御することができ、原画像よりも小さいサイズの合成画像を得ることができる。なお、合成部５００Ｎは、合成部５００等に代えて、実施の形態２〜６，１３にも適用可能である。

【0364】

ここで、上記では第２基礎画像の全体を縮小することによって、第２対象画像を生成するものとした。但し、第２対象画像が第１対象画像と相似形であるという要件を満たす限り、第２基礎画像の一部分を縮小することによって、第２対象画像を生成することも可能である。同様に、縮小前の第２基礎画像は、第１対象画像と相似形でなくてもよい。第２基礎画像が第１対象画像と相似形ではなく且つ第２基礎画像の全体を縮小する場合、第２基礎画像の横方向および縦方向の縮小比を異ならせればよい。

【0365】

また、上記では、第１対象画像に対する第２対象画像の相似比を１未満とした。すなわち、当該相似比を１／２^Ｐ３と表現した場合のＰ３が自然数であるとした。しかし、相似比が１（このときＰ３は０）の場合、すなわち第２対象画像が第１対象画像と合同である場合にも、合成部５００Ｎを利用可能である。

【0366】

例えば、第２基礎画像が第１基礎画像および第１対象画像と合同であり、且つ、画像サイズ制御データＣ７０によって与えられるＰ３の値が０である場合、画像縮小部５７０は、第２基礎画像を縮小せずに、ウエーブレット変換部５１０に供給すればよい。この場合、実施の形態１〜６と同様に、原画像サイズの合成画像を得ることができる。換言すれば、実施の形態１〜６は、第１対象画像に対する第２対象画像の相似比を１である場合に特化した例である。これに対し、実施の形態１４によれば、当該相似比が１以下において対応可能である。

【0367】

＜実施の形態１５＞
実施の形態１４では、第２基礎画像の少なくとも一部分を縮小することによって、第１対象画像と相似形を成す第２対象画像を生成する（図１０２〜図１０４参照）。これに対し、実施の形態１５では、図１０７に示すように、第２基礎画像の一部分を、第１対象画像と相似形を成す第２対象画像として切り取る例を説明する。すなわち、第２対象画像が第１対象画像と相似形であるという要件を満たす限り、切り取りによって第２対象画像を生成することも可能である。

【0368】

図１０８に、実施の形態１５に係る合成部５００Ｐのブロック図を示す。合成部５００Ｐは、実施の形態１４に係る合成部５００Ｎ（図１０５参照）において画像縮小部５７０の代わりに第２画像切り取り部５７０Ｐを設けた構成を有する。合成部５００Ｐのその他の構成は、実施の形態１４に係る合成部５００Ｎと同様である。

【0369】

第２画像切り取り部５７０Ｐは、第２基礎画像データＤ５０を取得し、第２基礎画像中に、上記相似比（すなわち第１対象画像に対する第２対象画像の相似比）で以て第１対象画像と相似形を成す相似形範囲を設定し、第２基礎画像データＤ５０のうちで当該相似形範囲内のデータを第２対象画像データＤ６０として切り取る。生成された第２対象画像データＤ６０は、ウエーブレット変換部５１０に供給される。

【0370】

第２対象画像の画像サイズ、換言すれば合成画像の画像サイズは、画像サイズ制御データＣ７０によって、第２画像切り取り部５７０Ｐに指示される。また、実施の形態１５では、画像サイズ制御データＣ７０が、第２対象画像として切り取る上記相似形範囲の位置を指示するデータも含むものとする。

【0371】

図１０９に、合成部５００Ｐを実施の形態１に適用した場合の合成システムの動作を説明するフローチャートを示す。図１０９の動作フローＳ４００Ｐでは、実施の形態１４に係る動作フローＳ４００Ｎ（図１０６参照）と比較すれば分かるように、データ取得ステップＳ４１０Ｎの代わりにデータ取得ステップＳ４１０Ｐが設けられ、ステップＳ４９０の代わりにステップＳ４９０Ｐが設けられている。ステップＳ４９０Ｐでは、第２画像切り取り部５７０Ｐが、上記のように第２基礎画像データＤ５０から第２対象画像データＤ６０を切り取る。動作フローＳ４００Ｐのその他のステップは図１０６の動作フローＳ４００Ｎと同様である。

【0372】

なお、第２対象画像のサイズを制御する画像サイズ制御データＣ７０を、供給システムから取得しない場合、図１０９の例とは違えて、ステップＳ４９０ＰをステップＳ４１１，Ｓ４２２，Ｓ４３２，Ｓ４３３と並列に実行することも可能である。

【0373】

実施の形態１５によれば、合成画像の画像サイズを制御することができ、原画像よりも小さいサイズの合成画像を得ることができる。なお、合成部５００Ｐは、合成部５００等に代えて、実施の形態２〜６，１３にも適用可能である。

【0374】

なお、実施の形態１４と同様に、相似比が１未満である場合だけでなく１以下の場合にも、合成部５００Ｐを利用可能である。例えば、第２基礎画像が第１基礎画像および第１対象画像と合同であり、且つ、画像サイズ制御データＣ７０によって与えられるＰ３の値が０である場合、第２画像切り取り部５７０Ｐは第２基礎画像を、切り取りを行わずに、ウエーブレット変換部５１０に供給すればよい。この場合、実施の形態１〜６と同様に、原画像サイズの合成画像を得ることができる。

【0375】

＜実施の形態１６＞
図１１０に、実施の形態１６に係る画像合成の概念図を示す。ここでは、実施の形態１６に係る供給システム１１Ｑは、実施の形態１に係る合成システム２１と組み合わされるものとする。供給システム１１Ｑは、実施の形態１に係る供給システム１１に代えて、画像処理システム１，１０等に適用可能である。

【0376】

また、図１１１に、実施の形態１６に係るマスクデータ出力部２００Ｑのブロック図を示す。ここでは、マスクデータ出力部２００Ｑが、実施の形態１に係る供給システム１１においてマスクデータ出力部２００の代わりに適用されるものとする。マスクデータ出力部２００Ｑは、マスク生成部２１０Ｑと、既述のマスクエンコーダ２５０とを含んでいる。マスク生成部２１０Ｑは、小画像生成部２４１と、小マスク生成部２４２と、マスク拡大部２４３とを含んでいる。

【0377】

＜小画像生成部２４１＞
小画像生成部２４１は、全体画像データＡ１０を取得し、全体画像を縮小して小画像を生成する（図１１０参照）。ここでは、小画像生成部２４１が全体画像の１／２^Ｒの縮小比で小画像を生成する例を挙げる（Ｒは自然数）。なお、縮小比１／２^Ｒは固定されていてもよいし、あるいは変更可能であってもよい。

【0378】

例えば、小画像生成部２４１は、全体画像データＡ１０に対するウエーブレット変換を、最低域の帯域成分ＬＬを再帰的に分解する方式によって、分解レベルＲまで行う。そして、小画像生成部２４１は、分解レベルＲにおける最低域の帯域成分ＬＬを、小画像のデータのデータである小画像データＡ３０として抽出する。

【0379】

あるいは、平均フィルタを利用した一般的な画像縮小処理によって小画像を生成するように、小画像生成部２４１を構成してもよい。その場合、１／２の縮小をＲ回行ってもよいし、一度に１／２^Ｒの縮小を行ってもよい。

【0380】

＜小マスク生成部２４２＞
小マスク生成部２４２は、小画像生成部２４１から小画像データＡ３０を取得し、小画像を対象にしたマスクである小マスクを生成する（図１１０参照）。小マスク生成部２４２は、既述の全体マスク生成部２１１（図３参照）と同様に構成可能である。すなわち、マスク生成対象の画像サイズが異なるだけなので、同じマスク生成技術を利用可能である。

【0381】

＜マスク拡大部２４３＞
マスク拡大部２４３は、小マスク生成部２４２から小マスクのデータである小マスクデータＢ３１を取得し、小マスクを全体画像と同じ画像サイズに拡大して拡大マスクを生成する（図１１０参照）。実施の形態１６では、拡大マスクのデータである拡大マスクデータＢ３２が基礎マスクデータＢ５０として、マスク生成部２１０Ｑから出力される。

【0382】

ここでは、マスク拡大部２４３が、小マスクに対して、拡大比２の拡大処理をＲ回行うことによって、拡大マスクを生成する例を挙げる。そのようなマスク拡大処理を説明するフローチャートを図１１２に示す。図１１２の処理フローＳ６００によれば、ステップＳ６０２において拡大比２の拡大処理が実行される。拡大比２の拡大処理が所定回数（ここではＲ回）実行済みであるとステップＳ６０１において判別されるまで、ステップＳ６０２が実行される。

【0383】

図１１３に、拡大比２の拡大処理について説明図を示す。図１１３によれば、拡大前のマスクにおいてｉ番目（ｉは整数）のデータがＲＯＩに対応する場合、拡大比２で拡大した後のマスクにおいて｛２ｉ−１｝番目から｛２ｉ＋１｝番目までのデータがＲＯＩに対応すると推定する。

【0384】

図１１３の推定規則を２次元に発展させると、図１１４に示すように、マスク画像の縦方向および横方向のそれぞれに図１１３の推定規則が適用される。具体的には、拡大前のマスクにおいて座標（Ｉ，Ｊ）の点のデータがＲＯＩに対応する場合、１段階（すなわち拡大比２^１）拡大した後のマスクにおいて座標（２Ｉ，２Ｊ）を中心にした３×３点の範囲のデータがＲＯＩに対応すると推定する。換言すれば、座標（２Ｉ−１，２Ｊ−１）および座標（２Ｉ＋１，２Ｊ＋１）を対角点とする矩形範囲のデータをＲＯＩに対応付ける。同様に、２段階（すなわち拡大比２^２）拡大した後のマスクでは、座標（４Ｉ，４Ｊ）を中心にした５×５点の範囲、換言すれば、座標（４Ｉ−２，２Ｊ−２）および座標（２Ｉ＋２，２Ｊ＋２）を対角点とする矩形範囲のデータがＲＯＩに対応付ける。図１１５に、より具体的な図を例示する。

【0385】

なお、図１１２の処理フローＳ６００とは違えて、一度に１／２^Ｒの拡大を行うことも可能である。

【0386】

＜平滑化処理＞
拡大処理後に、マスク画像に対して平滑化処理を行ってもよい。マスク画像は２値画像であるので、２値画像の平滑化処理を利用可能である。例えば、膨張（Dilation）と収縮（Erosion）とを数回組み合わせて行う処理であるモフォロジー処理がある。なお、膨張とは、注目画素を中心にした周辺領域内に１画素でも白い画素があれば、その注目画素を白に置き換える処理である。逆に収縮とは、周辺領域内に１画素でも黒い画素があれば、注目画素を黒に置き換える処理である。周辺領域として３×３、５×５、７×７等の範囲が設定される。モフォロジー処理によれば、マスク画像を平滑化する（ギザギザ形状を減らして滑らかにする）ことができ、さらに孤立点除去（換言すれば、穴埋め）等にも有効である。

【0387】

マスク拡大部２４３は、Ｒ回の拡大処理のうちの少なくとも１回の終了時点で、拡大後のマスクに対して平滑化処理を行う。図１１６の処理フローＳ６００Ｂによれば、Ｒ回目の（すなわち最後の）拡大処理の後に、平滑化処理ステップＳ６０３が行われる。また、図１１７の処理フローＳ６００Ｃによれば、毎回の拡大処理の後に、平滑化処理ステップＳ６０３が行われる。但し、平滑化処理ステップＳ６０３の実行タイミングおよび実行回数は、図１１６および図１１７の例に限定されるものではない。

【0388】

図１１８に、平滑化処理を行わない場合（図１１２参照）について、全体画像と同じ画像サイズに拡大された拡大マスクを例示する。また、図１１８の拡大マスクに対して膨張処理を２回行った場合の拡大マスクを、図１１９に示す。また、図１１９の拡大マスクに対して収縮処理を２回行った場合の拡大マスクを、図１２０に示す。なお、図１１９および図１２０は図１１６の処理フローＳ６００Ｂによって生成された拡大マスクであり、膨張処理および縮小処理の上記周辺領域として７×７の範囲を設定した。図１２０によれば、図１１８に比べてギザギザ形状が平滑化されていることが分かる。

【0389】

＜供給システム１１Ｑの動作＞
図１２１に、供給システム１１Ｑの動作を説明するフローチャートを示す。図１２１の動作フローＳ１００Ｑによれば、図９の動作フローＳ１００において、基礎マスク生成ステップＳ１２２の代わりに、基礎マスク生成ステップＳ１２２Ｑが設けられている。

【0390】

基礎マスク生成ステップＳ１２２Ｑによれば、ステップＳ１６１において小画像生成部２４１が全体画像を縮小して小画像を生成し、ステップＳ１６２において小マスク生成部２４２が小画像を対象にした小マスクを生成する。そして、ステップＳ１６３において、マスク拡大部２４３が、小マスクを全体画像と同じ画像サイズに拡大して拡大マスクを生成する。なお、ステップＳ１６３に、平滑化処理を採用してもよい。

【0391】

マスク拡大部２４３によって生成された拡大マスクは、その後、基礎マスクとして処理される。すなわち、次のステップＳ１２３では、拡大マスクデータＢ３２が符号化されて、マスクビットストリームＢｂｓが生成される。

【0392】

なお、供給システム１１Ｑでは、図１１０に示すように、全体画像が第１基礎画像として合成システム２１へ出力され、小画像は合成システム２１へ出力されない。

【0393】

ここでは、上記のように、供給システム１１Ｑは、実施の形態１に係る合成システム２１と組み合わされるものとする。すなわち、合成システム２１は、実施の形態１に係る動作フローＳ４００（図２５参照）に従って動作するものとする。

【0394】

＜効果＞
実施の形態１６によれば、全体画像ではなく、小画像を対象にしてマスクを生成する。このため、全体画像を対象にしたマスク生成に比べて、マスク生成に要する演算量を削減できる。なお、上記例とは違えて、縮小比を１／２^Ｒ以外の値に設定することも可能であり、その場合も同様の効果が得られる。

【0395】

また、平滑化処理を採用することによって、小マスクの拡大に伴って生じる、ＲＯＩ対応部分の輪郭のギザギザ形状を滑らかにすることができる。例えば全体画像中のＲＯＩが、人の外形のように曲線で設定される場合、マスクのＲＯＩ対応部分を滑らかな曲線で形成できる。その結果、合成画像においてＲＯＩを滑らかな外形を表示できる。

【0396】

ここで、実施の形態１６においても、ウエーブレット平面によって、すなわち画像合成は第１ウエーブレット係数データおよび第２ウエーブレット係数データによって、行われる。このため、ＲＯＩおよびＲＯＩ対応部分がギザギザ形状であっても、第１対象画像データおよび第２対象画像データをそのまま合成する場合に比べて、良好な合成画像が得られる。したがって、平滑化処理を採用することによって、さらに良好な合成画像が得られる。平滑化処理を採用するか否かは、システムの演算量、合成画像に求められる滑らかさ、等を考慮して決めればよい。

【0397】

なお、実施の形態１６において、実施の形態１と同様の構成に関しては、実施の形態１と同様の効果が得られる。また、実施の形態１６は実施の形態２〜１５とも組み合わせ可能である。

【0398】

＜実施の形態１７＞
図１２２に、実施の形態１７に係る供給システム１１Ｒおよび合成システム２１Ｒについて、画像合成の概念図を示す。供給システム１１Ｒおよび合成システム２１Ｒは、実施の形態１に係る供給システム１１および合成システム２１に代えて、画像処理システム１，１０，２０等に適用可能である。図１２２を図１１０と比較すれば分かるように、実施の形態１７では、供給システム１１Ｒは小マスクを基礎マスクとして出力し、合成システム２１Ｒが小マスクを拡大して対象マスクを生成する。

【0399】

図１２３および図１２４に、実施の形態１７に係るマスクデータ出力部２００Ｒおよび合成部５００Ｒのブロック図を示す。ここでは、マスクデータ出力部２００Ｒが、実施の形態１に係る供給システム１１においてマスクデータ出力部２００の代わりに適用されるものとする。同様に、合成部５００Ｒが、実施の形態１に係る合成システム２１において合成部５００の代わりに適用されるものとする。

【0400】

図１２３に示すように、マスクデータ出力部２００Ｒは、マスク生成部２１０Ｒと、既述のマスクエンコーダ２５０とを含んでいる。マスク生成部２１０Ｒは、実施の形態１６に係るマスク生成部２１０Ｑ（図１１１参照）からマスク拡大部２４３が削除された構成を有する。これに伴い、小マスクデータＢ３１が基礎マスクデータＤ５０として、マスク生成部２１０Ｒから出力される。

【0401】

これに対し、合成部５００Ｒは、図１２４に示すように、既述の合成部５００（図１３参照）にマスク拡大部２４３が追加された構成を有する。より具体的には、マスク拡大部２４３は、小マスクデータＢ３１を基礎マスクデータＢ５０として取得し、小マスクを第１対象画像の画像サイズに拡大することによって拡大マスクを生成する。そして、マスク拡大部２４３は、拡大マスクデータＢ３２を対象マスクデータＢ６０として合成実行部５２０に供給する。

【0402】

図１２５に、供給システム１１Ｒの動作を説明するフローチャートを示す。図１２５の動作フローＳ１００Ｒによれば、実施の形態１６に係る動作フローＳ１００Ｑ（図１２１参照）において、基礎マスク生成ステップＳ１２２Ｑの代わりに、基礎マスク生成ステップＳ１２２Ｒが設けられている。基礎マスク生成ステップＳ１２２Ｒは、図１２１の基礎マスク生成ステップＳ１２２Ｑから、マスク拡大ステップＳ１６３が削除された構成を有する。

【0403】

これにより、ステップＳ１６２で生成された小マスクは、基礎マスクとしてマスクエンコーダ２５０に供給され、ステップＳ１２３において符号化されてマスクビットストリームＢｂｓを形成する。なお、小マスクの縮小比のデータが小マスクデータＢ３１と共に合成システム２１Ｒに供給されるものとするが、この例に限定されるものではない。

【0404】

ここで、供給システム１１Ｒでは、図１２２に示すように、全体画像が第１基礎画像として出力される。このため、基礎マスクである小マスクは、第１基礎画像の縮小画像に対応するマスクである。なお、供給システム１１Ｒにおいても、小画像は合成システム２１Ｒへ出力されない。

【0405】

図１２６に、合成システム２１Ｒの動作を説明するフローチャートを示す。図１２６の動作フローＳ４００Ｒによれば、実施の形態１に係る動作フローＳ４００（図２５参照）において、データ取得処理ステップＳ４１０の代わりに、データ取得処理ステップＳ４１０Ｒが設けられている。データ取得処理ステップＳ４１０Ｒは、図２５のデータ取得処理ステップＳ４１０ＲにおいてステップＳ４３３の次にマスク拡大ステップＳ１６３が追加された構成を有する。

【0406】

ステップＳ１６３では、マスク拡大部２４３が上記のように、基礎マスクとして取得した小マスクを第１対象画像の画像サイズに拡大し、当該拡大マスクを対象マスクとして合成実行部５２０に供給する。

【0407】

実施の形態１７によれば、基礎マスクは小マスクであるので、基礎マスクのデータ量を削減でき、よって通信量を削減できる。マスクは２値画像であるのでマスクの各画素に１ビットを割り当てた場合、例えばＸＧＡ（eXtended Graphics Array）のマスクは、｛１０２４×７６８画素｝×１ｂｉｔ＝７８６４３２ｂｉｔ＝９６Ｋｂｙｔｅのデータサイズを有することになる。これに対し、縮小比１／２の小マスクによれば、データサイズは１／４の２４Ｋｂｙｔｅにできる。同様に、縮小比１／２^２によればデータサイズは６Ｋｂｙｔｅにでき、縮小比１／２^３によればデータサイズは１．５Ｋｂｙｔｅにできる。なお、例えば縮小比１／２^３の場合、小マスクの画像サイズは１２８×９６画素になる。

【0408】

このように基礎マスクのデータサイズを削減可能である点に鑑みると、基礎マスクデータを符号化せずに伝送することも現実的である。その場合、符号化および復号化に関わる演算量を削減できる。

【0409】

図１２７に、基礎マスクデータを符号化せずに伝送する場合について、供給システム１１ＲＢおよび合成システム２１ＲＢの構成例を示す。供給システム１１ＲＢのマスクデータ出力部２００ＲＢは、図１２３のマスクデータ出力部２００Ｒにおいてマスクエンコーダ２５０の代わりに、マスクビットストリーム生成部２５０ＲＢを設けた構成を有する。他方、合成システム２１ＲＢでは、マスクデコーダ（図３のマスクデコーダ４００を参照）の代わりに、マスクデータ復元部４００ＲＢが設けられている。

【0410】

マスクビットストリーム生成部２５０ＲＢは、符号化を行わないビットストリーム生成仕様に従って、基礎マスクデータＢ５０（ここでは小マスクデータＢ３１）のビットストリームをマスクビットストリームＢｂｓとして生成する。他方、マスクデータ復元部４００ＲＢは、復号化を行わないデータ復元仕様に従って、マスクビットストリームＢｂｓから基礎マスクデータＢ５０（ここでは小マスクデータＢ３１）を復元する。

【0411】

なお、図１２７の構成は図３の構成を利用しているので、マスクビットストリーム生成部２５０ＲＢがマスクビットストリームＢｂｓに合成制御データＣ５０を埋め込み、マスクデータ復元部４００ＲＢがマスクビットストリームＢｂｓから合成制御データＣ５０を抽出する。

【0412】

実施の形態１７において、実施の形態１と同様の構成に関しては、実施の形態１と同様の効果が得られる。また、実施の形態１７は実施の形態２〜５，７，８，１３〜１５とも組み合わせ可能である。

【0413】

＜実施の形態１８＞
実施の形態１８では、実施の形態１７と実施の形態７との組み合わせ例を説明する。実施の形態１７では、図１２２に示したように、全体マスクではなく、小マスクを合成システムに供給する。また、実施の形態７では、図５５に示したように、全体マスクのうちでＲＯＩ対応部分を含む一部分だけを合成システムに供給する。そして、本実施の形態１８では、図１２８の概念図に示すように、小マスクのうちでＲＯＩ対応部分を含む一部分だけを合成システムに供給する。

【0414】

＜システムの構成例＞
図１２９および図１３０に、実施の形態１８に係るマスクデータ出力部２００Ｓおよび合成部５００Ｓのブロック図を示す。ここでは、マスクデータ出力部２００Ｓが実施の形態７に係る供給システム１１Ｇにおいてマスクデータ出力部２００Ｇ（図７２参照）の代わりに適用され、それにより実施の形態１８に係る供給システム１１Ｓ（図１２８参照）が構成されるものとする。同様に、合成部５００Ｓが実施の形態７に係る合成システム２１Ｇにおいて合成部５００Ｇ（図７３および図７４参照）の代わりに適用され、それにより実施の形態１８に係る合成システム２１Ｓ（図１２８参照）が構成されるものとする。

【0415】

図１２９に示すように、マスクデータ出力部２００Ｓは、マスク生成部２１０Ｓと、既述のマスクエンコーダ２５０とを含んでいる。マスク生成部２１０Ｓは、基本的には、マスクデータ出力部２００Ｇ（図７２参照）において全体マスク生成部２１１の代わりに、既述の小画像生成部２４１と小マスク生成部２４２とマスク拡大部２４３とを設けた構成を有する。但し、小マスクに対して切り取り範囲を決定するように変形された切り取り範囲決定部２３２Ｓが、既述の切り取り範囲決定部２３２の代わりに設けられている。

【0416】

図１３０に示すように、合成部５００Ｓは、合成部５００（図７４参照）にマスク拡大部２４４を追加した構成を有する。マスク拡大部２４４は実施の形態１７に係るマスク拡大部２４３と同様に動作する。具体的には、マスク拡大部２４４は、部分マスク（すなわち供給システム１１Ｓで切り取られた小マスクの一部分）のデータを基礎マスクデータＢ５０として取得する。マスク拡大部２４４は、当該部分マスクを第１対象画像の画像サイズに拡大することによって拡大マスクを生成する。そして、マスク拡大部２４４は、拡大マスクデータＢ３２を対象マスクデータＢ６０として合成実行部５２０に供給する。

【0417】

＜切り取り範囲決定部２３２Ｓ＞
図１２９に加え図１３１を参照しつつ、切り取り範囲決定部２３２Ｓの動作を説明する。図１３１に示すように、切り取り範囲決定処理のフローＳ５００Ｓは、実施の形態７で説明したステップＳ５０１〜Ｓ５０３（図６０参照）を含んでいる。このため、切り取り範囲決定部２３２Ｓは、ステップＳ５０１〜Ｓ５０３を実行することによって、全体画像における第１対象画像の範囲である切り取り範囲８３（図５７参照）を決定する。

【0418】

但し、実施の形態７では最小範囲特定処理のステップＳ５０１において、全体マスク７０に基づいて最小範囲８１を決定するが（図５８参照）、実施の形態１８では、全体マスクの代わりに、拡大マスクを利用する。拡大マスクは、全体マスクと同じ画像サイズ（すなわち全体画像と同じ画像サイズ）を有し、小画像生成部２４１と小マスク生成部２４２とマスク拡大部２４３によって生成されて切り取り範囲決定部２３２Ｓに供給される。

【0419】

切り取り範囲決定処理のフローＳ５００Ｓは、図１３１に示すように、さらにステップＳ５０４を含んでいる。ステップＳ５０４において切り取り範囲決定部２３２Ｓは、ステップＳ５０３の必要範囲特定処理によって特定された切り取り範囲８３が、小マスクのどの範囲に対応するのかを特定する処理である小マスク必要範囲特定処理を行う。

【0420】

すなわち、実施の形態７では、全体マスクは全体画像と同じ画像サイズを有するので、ステップＳ５０４で特定された切り取り範囲８３は全体マスクと全体画像とに共通である。これに対し、実施の形態１８では、全体マスクではなく小マスクを切り取るので、ステップＳ５０４の小マスク必要範囲特定処理が必要になる。

【0421】

図１３２に、小マスク必要範囲特定処理の概念図を示す。図１３２では縮小比が１／２の小マスク７０Ｓを例示しているが、この例に限定されるものではない。図１３２において、符号７０ａＳはＲＯＩ対応部分を示し、符号７０ｂＳは非ＲＯＩ対応部分を示している。また、符号８３Ｓは、全体画像における切り取り範囲８３に対応する、小マスク切り取り範囲を示している。なお、説明を分かりやすくするために、以下では、ステップＳ５０３で特定される切り取り範囲８３を、画像切り取り範囲８３と呼ぶ場合もある。

【0422】

図１３２から分かるように、小マスク切り取り範囲８３Ｓの左上端座標（ＡＸ４，ＡＹ４）および右下端座標（ＢＸ４，ＢＹ４）は、画像切り取り範囲８３の左上端座標（ＡＸ３，ＡＹ３）および右下端座標（ＢＸ３，ＢＹ３）に対して、次の関係を有する。すなわち、ＡＸ４＝ＡＸ３／２、ＡＹ４＝ＡＹ３／２、ＢＸ４＝ＢＸ３／２、ＢＹ４＝ＢＹ３／２。一般化すれば、ＡＸ４、ＡＹ４、ＢＸ４およびＢＹ４は、ＡＸ３、ＡＹ３、ＢＸ３およびＢＹ３に、全体画像に対する小マスク７０Ｓの縮小比を乗算することによって求められる。

【0423】

ここで、小マスク７０Ｓの縮小比が１／２^Ｒである場合、上記乗算はビットシフトによって実現可能である。すなわち、ＡＸ３の値（より具体的には、ＡＸ３の値を示すビット列）をＲビット、右シフトすれば、ＡＸ４の値が得られる。ＡＹ３，ＢＸ３，ＢＹ３の各値についても同様である。

【0424】

上記処理は、図１３３の処理フローＳ５７０としてまとめられる。すなわち、ステップＳ５７１においてパラメータｔに、画像切り取り範囲８３のＡＸ３，ＡＹ３，ＢＸ３，ＢＹ３が設定される。ここでは、まず、ｔ＝ＡＸ３が設定されるとする。次に、ステップＳ５７２において、ｔに小マスク７０Ｓの縮小比が乗算される。上記のように、小マスク７０Ｓの縮小比が１／２^Ｒである場合、ｔのビット列がＲビット、右シフトされる。そして、演算後のｔが、ステップＳ５７３において、小マスク切り取り範囲８３ＳのＡＸ４に設定される。同様に、上記ステップＳ５７１においてｔにＡＹ３，ＢＸ３，ＢＹ３が設定されることによって、ステップＳ５７３においてＡＹ４，ＢＸ４，ＢＹ４が求められる。

【0425】

図１２９に示すように、小マスク切り取り範囲８３Ｓを特定するための小マスク切り取り範囲特定データＦ５０Ｓは、マスク切り取り部２３３に供給される。マスク切り取り部２３３は、本実施の形態１８では小マスクデータＢ３１を取得し、小マスク切り取り範囲特定データＦ５０Ｓに基づいて、小マスクデータＢ３１のうちで小マスク切り取り範囲８３Ｓ内のデータを基礎マスクデータＢ５０用に切り取る。

【0426】

他方、画像切り取り範囲８３を特定するための切り取り範囲特定データＦ５０は、実施の形態７と同様に、マスクエンコーダ２５０に供給され、マスクビットストリームＢｂＳに埋め込まれる。なお、小マスク切り取り範囲特定データＦ５０ＳもマスクビットストリームＢｂＳに埋め込んで、合成システム２１Ｓに供給してもよい。

【0427】

＜システムの動作＞
図１３４に、供給システム１１Ｓの動作を説明するフローチャートを示す。図１３４の動作フローＳ１００Ｓによれば、実施の形態７に係る動作フローＳ１００Ｇ（図７５参照）において、基礎マスク生成ステップＳ１２２Ｇの代わりに、基礎マスク生成ステップＳ１２２Ｓが設けられている。基礎マスク生成ステップＳ１２２Ｓは、基礎マスク生成ステップＳ１２２Ｇ（図７５参照）において全体マスク生成ステップＳ１４１の代わりに、既述の小画像生成ステップＳ１６１と小マスク生成ステップＳ１６２とマスク拡大ステップＳ１６３とがこの順序で設けられた構成を有する。

【0428】

図１３５および図１３６に、合成システム２１Ｓの動作を説明するフローチャートを示す。なお、図１３５および図１３６のフローは結合子Ｃによって繋がっている。図１３５および図１３６の動作フローＳ４００Ｓによれば、実施の形態７に係る動作フローＳ４００Ｇ（図７６参照）において、データ取得処理ステップＳ４１０Ｇの代わりに、データ取得処理ステップＳ４１０Ｓが設けられている。データ取得処理ステップＳ４１０Ｓは、図７６のデータ取得処理ステップＳ４１０ＧにおいてステップＳ４３３の次にマスク拡大ステップＳ１６４が追加された構成を有する。

【0429】

ステップＳ１６４では、マスク拡大部２４４が上記のように、基礎マスクとして取得した部分マスク（すなわち供給システム１１Ｓで切り取られた小マスクの一部分）を第１対象画像の画像サイズに拡大する。当該拡大マスクは対象マスクとして合成実行部５２０に供給される。

【0430】

＜効果＞
実施の形態１８によれば、基礎マスクのデータ量をさらに削減でき、よって通信量をさらに削減できる。このため、図１２７と同様に、マスクエンコーダの代わりにマスクビットストリーム生成部２５０ＲＢを利用し、マスクデコーダの代わりにマスクデータ復元部４００ＲＢを利用してもよい。この場合、符号化および復号化に関わる演算量を削減できる。

【0431】

上記では、実施の形態１７と実施の形態７との組み合わせ例を説明した。この例は、実施の形態１７と実施の形態８（図７７参照）との組み合わせに変形可能である。具体的には、第１画像切り取り部５４０（図１３０参照）を、合成側システム２１Ｓの合成部５００Ｓから削除し、供給システム１１Ｓの画像データ出力部に追加する（図７８に示した実施の形態８に係る画像データ出力部１００Ｈを参照）。これによれば、図１３７の概念図に示すように、全体画像のうちで画像切り取り範囲８３の部分を第１基礎画像として、供給システム１１ＳＢから合成システム２１ＳＢに供給することができる。なお、供給システム１１ＳＢおよび合成システム２１ＳＢのその他の構成は、ここでは上記の供給システム１１Ｓおよび合成システム２１Ｓと同様である。

【0432】

＜実施の形態１９＞
図１３８に、実施の形態１９に係る画像処理システムのブロック図を示す。図１３８では、実施の形態１９に係る供給システム１１Ｔが、実施の形態１に係る合成システム２１と組み合わされている。供給システム１１Ｔは、実施の形態１に係る供給システム１１に代えて、画像処理システム１，１０等に適用可能である。供給システム１１Ｔは、実施の形態１に係る供給システム１１に合成部７００が追加された構成を有している。

【0433】

合成部７００は、合成システム２１の合成部５００と同様の構成を有しており、第１基礎画像データＡ５０（実施の形態１では全体画像データＡ１０と同じである）と、合成制御データＣ５０と、第２基礎画像データＤ５０とを取得する。なお、第２基礎画像データＤ５０は例えば、合成システム２１から取得可能である。また、合成部７００は、マスク生成部２１０から基礎マスクデータＢ５０を取得する。これにより、合成部７００は、合成部５００と同様に動作して、合成画像データＥ１００を生成可能である。

【0434】

合成部７００によって生成された合成画像データＥ１００に基づいて、供給システム１１Ｔの側の表示部３１（図２参照）に表示動作を行わせることによって、第１対象画像中のＲＯＩと第２対象画像との合成画像を表示できる。このため、例えば、合成システム２１にマスクビットストリームＢｂｓを供給する前に、供給システム１１Ｔの側において合成画像を確認することができる。特に、合成制御データＣ５０に応じた合成具合を確認することができる。

【0435】

ここで、合成部７００の追加により、供給側装置３０（図２参照）を単独で、画像合成機能を有する画像処理装置として応用可能である。そのような画像処理装置３０Ｔについてハードウェア構成例を、図１３９に示す。

【0436】

図１３９によれば、画像処理装置３０Ｔは、画像処理システム９０と、表示部３１と、操作部３２とを含んでいる。なお、供給側装置３０に倣って、画像処理装置３０ＴはＩ／Ｆ３３と画像入力部３４との一方または両方を含んでもよい。画像処理システム９０は画像合成システム９１を含み、画像合成システム９１は、既述のマスク生成部２１０と、合成部７００と、半導体メモリ（以下、メモリとも呼ぶ）８００とを含んでいる。マスク生成部２１０と、合成部７００と、メモリ８００とは、バス（有線の通信媒体の一例である）を介して繋がっている。画像処理システム９０は、単一の半導体集積回路、換言すれば単一のチップとして形成可能である。画像処理システム９０は、画像合成システム９１だけで構成されてもよいし、他の処理システムをさらに含んでもよい。

【0437】

メモリ８００は、画像合成システム９１に供給された全体画像データＡ１０および第２基礎画像データＤ５０を格納する。これにより、マスク生成部２１０は、メモリ８００から全体画像データＡ１０を読み出し、全体画像データＡ１０に基づいて基礎マスクデータＢ５０を生成する。また、合成部７００は、メモリ８００から全体画像データＡ１０と第２基礎画像データＤ５０とを読み出して、画像合成に利用する。

【0438】

合成制御データＣ５０は、操作部３２にユーザが入力することによって、合成部７００に供給される。また、合成部７００が生成した合成画像データＥ１００に基づいて、表示部３１が合成画像を表示する。

【0439】

なお、合成部７００に、実施の形態６〜１２，１４，１５，１７，１８に係る合成部５００Ｆ〜５００Ｌ，５００Ｎ，５００Ｐ，５００Ｒ，５００Ｓの構成を採用することも可能である。

【0440】

ここで、メモリ８００とマスク生成部２１０とで形成される構成を、全体画像データＡ１０と基礎マスクデータＢ５０とを供給するデータ供給システムとして捉えることが可能である。この場合、さらに合成部７００を画像合成システムとして捉えると、図１３９の構成は、データ供給システムと画像合成システムとがバス（上記のように有線の通信媒体の一例である）を介して繋がっている、と捉えることが可能である。

【0441】

また、図１３９の例に鑑みると、例えばデータ供給システム１１と合成システム２１との組み合わせを、単一の半導体集積回路で形成することも可能である。その場合、データ供給システム１１と合成システム２１とがバスを介して繋げられる。単一の半導体集積回路内においてデータ供給システム１１と合成システム２１とは、図２とは異なり外部Ｉ／Ｆ３３，４３を介さずに通信するが、媒体５０に相当する上記バスを介して通信する。また、単一の半導体集積回路内でデータを転送する場合（特に画像合成機能のための一連の処理においてデータを転送する場合）、転送データの符号化および復号化を省略することが可能である。具体的には、画像エンコーダ１５０と画像デコーダ３００とマスクエンコーダ２５０とマスクデコーダ４００とを利用しなくてもよい。あるいは、画像エンコーダ１５０と画像デコーダ３００とマスクエンコーダ２５０とマスクデコーダ４００とを省略することも可能である。同様にして、データ供給システム１１Ｂ等と合成システム２１Ｂ等とによる他の組み合わせについても、単一の半導体集積回路で形成することが可能である。

【0442】

＜付記＞
本発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、本発明の範囲から外れることなく想定され得るものと解される。

【符号の説明】

【0443】

１ 画像処理システム（全体システム）
１０，２０，９０ 画像処理システム
１１，１１Ｂ〜１１Ｊ，１１Ｌ，１１Ｑ，１１Ｒ，１１ＲＢ，１１Ｓ，１１ＳＢ，１１Ｔ データ供給システム
２１，２１Ｂ〜２１Ｌ，２１Ｒ，２１ＲＢ，２１Ｓ，２１ＳＢ，９１ 画像合成システム
３２，４２ 操作部（操作媒体）
５０ 媒体
６０ 全体画像
６０ａ ＲＯＩ
６０ｂ 非ＲＯＩ
６１〜６３ ウエーブレット平面
７０ 全体マスク
７０Ｓ 小マスク
７１，７２，７３ 展開マスク
７０ａ，７１ａ，７２ａ，７３ａ，７０ａＳ ＲＯＩ対応部分
７０ｂ，７１ｂ，７２ｂ，７３ｂ，７０ｂＳ 非ＲＯＩ対応部分
８１ 最小範囲
８２ 追跡最小範囲
８３ 切り取り範囲
８３Ｓ 小マスク切り取り範囲
１００,１００Ｂ，１００Ｈ 画像データ出力部
１５０，１５０Ｂ，１５０ｓ〜１５０ｖ 画像エンコーダ
２００，２００Ｃ，２００Ｆ，２００Ｇ，２００Ｉ，２００Ｌ，２００Ｑ，２００Ｒ，２００ＲＢ，２００Ｓ マスクデータ出力部
２１０，２１０Ｆ，２１０Ｇ，２１０Ｉ，２１０Ｌ，２１０Ｑ〜２１０Ｓ マスク生成部
２１１ 全体マスク生成部
２２０，２２０Ｌ 原マスク生成部
２３２，２３２Ｓ 切り取り範囲決定部
２３３ マスク切り取り部
２４１ 小画像生成部
２４２ 小マスク生成部
２４３，２４４ マスク拡大部
２５０，２５０Ｃ，２５０ｕ マスクエンコーダ（マスクビットストリーム生成部）
２５０ＲＢ マスクビットストリーム生成部
３００，３００Ｂ，３００ｓ〜３００ｖ 画像デコーダ
４００，４００Ｃ，４００Ｇ，４００ｕ マスクデコーダ（マスクデータ復元部）
４００ＲＢ マスクデータ復元部
５００，５００Ｆ〜５００Ｌ，５００Ｎ，５００Ｐ，５００Ｒ，５００Ｓ 合成部
５１０ ウエーブレット変換部
５２０，５２０Ｆ 合成実行部
５２１ マスク展開部
５３０，５３０Ｍ 逆ウエーブレット変換部
５４０ 第１画像切り取り部
５５０ 第２画像切り取り部
５６０ 埋め込み部
５７０ 画像縮小部
５７０Ｐ 第２画像切り取り部
６００ セレクタ
Ａ１０ 全体画像データ
Ａ３０ 小画像データ
Ａ５０ 第１基礎画像データ
Ａ６０ 第１対象画像データ
Ａ６１ 第１ウエーブレット係数データ
Ａｂｓ 画像ビットストリーム
Ｂ１０ 全体マスクデータ
Ｂ２０ 原マスクデータ
Ｂ２１ 展開マスクデータ
Ｂ３１ 小マスクデータ
Ｂ３２ 拡大マスクデータ
Ｂ５０ 基礎マスクデータ
Ｂ６０ 対象マスクデータ
Ｂｂｓ マスクビットストリーム
Ｃ５０ 合成制御データ
Ｃ６０，Ｃ７０ 画像サイズ制御データ
Ｄ５０ 第２基礎画像データ
Ｄ６０ 第２対象画像データ
Ｄ６１ 第２ウエーブレット係数データ
Ｅ６１ 合成済み係数データ
Ｅ８０，Ｅ１００ 合成画像データ
Ｆ５０ 切り取り範囲特定データ
Ｆ５０Ｓ 小マスク切り取り範囲特定データ
Ｇ５０ 合成位置指定データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】

【図44】

【図45】

【図46】

【図47】

【図48】

【図49】

【図50】

【図51】

【図52】

【図53】

【図54】

【図55】

【図60】

【図61】

【図62】

【図63】

【図64】

【図65】

【図66】

【図67】

【図68】

【図69】

【図70】

【図71】

【図72】

【図73】

【図74】

【図75】

【図76】

【図77】

【図78】

【図79】

【図80】

【図81】

【図82】

【図83】

【図84】

【図85】

【図86】

【図87】

【図88】

【図89】

【図90】

【図91】

【図92】

【図93】

【図94】

【図95】

【図96】

【図97】

【図98】

【図99】

【図100】

【図101】

【図102】

【図103】

【図104】

【図105】

【図106】

【図107】

【図108】

【図109】

【図110】

【図111】

【図112】

【図113】

【図116】

【図117】

【図121】

【図122】

【図123】

【図124】

【図125】

【図126】

【図127】

【図128】

【図129】

【図130】

【図131】

【図133】

【図134】

【図135】

【図136】

【図137】

【図138】

【図139】

【図6】

【図7】

【図17】

【図18】

【図19】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図56】

【図57】

【図58】

【図59】

【図114】

【図115】

【図118】

【図119】

【図120】

【図132】