ホーム > 特許ランキング > 富士ゼロックス株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6794835
(24)【登録日】2020年11月16日
(45)【発行日】2020年12月2日
(54)【発明の名称】画像処理装置及びプログラム
(51)【国際特許分類】
G06T 5/00 20060101AFI20201119BHJP
H04N 1/407 20060101ALI20201119BHJP
H04N 5/232 20060101ALI20201119BHJP
H04N 5/225 20060101ALI20201119BHJP
H04N 5/262 20060101ALI20201119BHJP
【ＦＩ】
G06T5/00 730
H04N1/407
H04N5/232
H04N5/225
H04N5/262
【請求項の数】7
【全頁数】16
(21)【出願番号】特願2017-2666(P2017-2666)
(22)【出願日】2017年1月11日
(65)【公開番号】特開2018-112877(P2018-112877A)
(43)【公開日】2018年7月19日
【審査請求日】2019年12月20日
(73)【特許権者】
【識別番号】000005496
【氏名又は名称】富士ゼロックス株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【弁理士】
【氏名又は名称】尾形 文雄
(74)【代理人】
【識別番号】100166981
【弁理士】
【氏名又は名称】砂田 岳彦
(72)【発明者】
【氏名】山本 隆之
【審査官】
野口 俊明
(56)【参考文献】
【文献】
特開２０１２−４５２３２（ＪＰ，Ａ）
【文献】
特開２００７−３２４８６９（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｔ ５／００
Ｈ０４Ｎ １／４０−１／４０９
Ｈ０４Ｎ ５／２２５
Ｈ０４Ｎ ５／２３２
Ｈ０４Ｎ ５／２６２
(57)【特許請求の範囲】
【請求項1】
貼り付け先の第１の画像に貼り付けられる第２の画像のダイナミックレンジを、当該第１の画像のうち当該第２の画像と接することになる領域部分の画素情報に応じて補正する補正部と、
ダイナミックレンジの補正後に前記第１の画像との境界が目立たないように画素情報が補正された前記第２の画像を、前記第１の画像に貼り付ける貼付部と
を有する画像処理装置。
ダイナミックレンジの補正後に前記第１の画像との境界が目立たないように画素情報が補正された前記第２の画像を、前記第１の画像に貼り付ける貼付部と
を有する画像処理装置。
【請求項2】
前記貼付部は、ダイナミックレンジが補正された後の前記第２の画像が前記第１の画像と滑らかに接続されるように当該第２の画像の画素情報を補正すること
を特徴とする請求項１に記載の画像処理装置。
を特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記貼付部は、前記第１の画像と前記第２の画像との境界領域から当該第２の画像を構成する各画素までの距離に応じて当該第２の画像の画素情報を補正すること
を特徴とする請求項２に記載の画像処理装置。
を特徴とする請求項２に記載の画像処理装置。
【請求項4】
前記貼付部は、前記第１の画像と前記第２の画像との境界領域における当該第１の画像の画素情報と当該第２の画像の画素情報を一致させた状態で、当該第２の画像を構成する各画素と周辺画素との勾配情報が保存されるように、当該第２の画像が貼り付けられる領域部分の当該第１の画像の画素情報を補正すること
を特徴とする請求項２に記載の画像処理装置。
を特徴とする請求項２に記載の画像処理装置。
【請求項5】
前記補正部は、貼り付け前の前記第２の画像の外縁領域の画素情報と、当該第２の画像と接することになる領域部分の画素情報との差分に応じて、ダイナミックレンジの補正量を決定すること
を特徴とする請求項１に記載の画像処理装置。
を特徴とする請求項１に記載の画像処理装置。
【請求項6】
前記補正部は、前記第２の画像のダイナミックレンジの圧縮量が予め定めた値より大きくなる場合、前記第１の画像のダイナミックレンジも圧縮すること
を特徴とする請求項５に記載の画像処理装置。
を特徴とする請求項５に記載の画像処理装置。
【請求項7】
コンピュータに、
貼り付け先の第１の画像に貼り付けられる第２の画像のダイナミックレンジを、当該第１の画像のうち当該第２の画像と接することになる領域部分の画素情報に応じて補正させる機能と、
ダイナミックレンジの補正後に前記第１の画像との境界が目立たないように画素情報が補正された前記第２の画像を、前記第１の画像に貼り付けさせる機能と
を実行させるプログラム。
貼り付け先の第１の画像に貼り付けられる第２の画像のダイナミックレンジを、当該第１の画像のうち当該第２の画像と接することになる領域部分の画素情報に応じて補正させる機能と、
ダイナミックレンジの補正後に前記第１の画像との境界が目立たないように画素情報が補正された前記第２の画像を、前記第１の画像に貼り付けさせる機能と
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及びプログラムに関する。
【背景技術】
【0002】
特許文献１は、境界領域を違和感なく合成するために、ソース画像とターゲット画像の境界上の画素値が一致することを条件として、境界領域においてコスト関数を定義し、最適化問題を解くことを提案している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第４３１６５７１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところが、ソース画像のダイナミックレンジ幅を変更することなくターゲット画像に貼り付け、その後、境界領域の画素値が一致するようにソース画像内の画素値を全体的にシフトする手法では、境界領域におけるターゲット画像とソース画像の輝度差が大きい場合に、ソース画像を貼り付けた領域部分に白飛びや黒潰れが生じるおそれがある。また、貼り付け合成後にソース画像を貼り付けた領域部分のダイナミックレンジ幅だけを調整する手法では、調整された領域部分とターゲット画像とのつなぎ目が目立つおそれがある。
【0005】
本発明は、ソース画像のダイナミックレンジ幅を変更することなくターゲット画像に貼り付ける場合に比べ、ソース画像を貼り付けた領域部分での白飛びや黒潰れを抑制しながらも、ソース画像とターゲット画像のつなぎ目を目立たせなくすることを目的とする。
【課題を解決するための手段】
【0006】
請求項１に記載の発明は、貼り付け先の第１の画像に貼り付けられる第２の画像のダイナミックレンジを、当該第１の画像のうち当該第２の画像と接することになる領域部分の画素情報に応じて補正する補正部と、ダイナミックレンジの補正後に前記第１の画像との境界が目立たないように画素情報が補正された前記第２の画像を、前記第１の画像に貼り付ける貼付部とを有する画像処理装置である。請求項２に記載の発明は、前記貼付部は、ダイナミックレンジが補正された後の前記第２の画像が前記第１の画像と滑らかに接続されるように当該第２の画像の画素情報を補正することを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記貼付部は、前記第１の画像と前記第２の画像との境界領域から当該第２の画像を構成する各画素までの距離に応じて当該第２の画像の画素情報を補正することを特徴とする請求項２に記載の画像処理装置である。
請求項４に記載の発明は、前記貼付部は、前記第１の画像と前記第２の画像との境界領域における当該第１の画像の画素情報と当該第２の画像の画素情報を一致させた状態で、当該第２の画像を構成する各画素と周辺画素との勾配情報が保存されるように、当該第２の画像が貼り付けられる領域部分の当該第１の画像の画素情報を補正することを特徴とする請求項２に記載の画像処理装置である。
請求項５に記載の発明は、前記補正部は、貼り付け前の前記第２の画像の外縁領域の画素情報と、当該第２の画像と接することになる領域部分の画素情報との差分に応じて、ダイナミックレンジの補正量を決定することを特徴とする請求項１に記載の画像処理装置である。
請求項６に記載の発明は、前記補正部は、前記第２の画像のダイナミックレンジの圧縮量が予め定めた値より大きくなる場合、前記第１の画像のダイナミックレンジも圧縮することを特徴とする請求項５に記載の画像処理装置である。
請求項７に記載の発明は、コンピュータに、貼り付け先の第１の画像に貼り付けられる第２の画像のダイナミックレンジを、当該第１の画像のうち当該第２の画像と接することになる領域部分の画素情報に応じて補正させる機能と、ダイナミックレンジの補正後に前記第１の画像との境界が目立たないように画素情報が補正された前記第２の画像を、前記第１の画像に貼り付けさせる機能とを実行させるプログラムである。
【発明の効果】
【0007】
請求項１記載の発明によれば、第２の画像のダイナミックレンジ幅を変更することなく第１の画像に貼り付ける場合に比べ、第２の画像を貼り付けた領域部分での白飛びや黒潰れを抑制しながらも、第２の画像と第１の画像のつなぎ目を目立たせなくすることができる。請求項２記載の発明によれば、第２の画像と第１の画像とのつなぎ目を滑らかに接続できる。
請求項３記載の発明によれば、第２の画像と第１の画像とのつなぎ目を滑らかに接続できる。
請求項４記載の発明によれば、第２の画像と第１の画像とのつなぎ目を滑らかに接続できる。
請求項５記載の発明によれば、第２の画像のダイナミックレンジ幅を変更することなく第１の画像に貼り付ける場合に比べ、第２の画像を貼り付けた領域部分での白飛びや黒潰れを抑制できる。
請求項６記載の発明によれば、第２の画像のダイナミックレンジの圧縮量によらず第２の画像のみを圧縮補正する場合に比べ、自然な合成画像を得ることができる。
請求項７記載の発明によれば、第２の画像のダイナミックレンジ幅を変更することなく第１の画像に貼り付ける場合に比べ、第２の画像を貼り付けた領域部分での白飛びや黒潰れを抑制しながらも、第２の画像と第１の画像のつなぎ目を目立たせなくすることができる。
【図面の簡単な説明】
【0008】
【図1】実施の形態に係る画像処理装置のハードウェア構成例を示すブロック図である。
【図2】貼り付け対象としてのソース画像Ｓと貼り付け先としてのターゲット画像Ｔとの関係を説明する図である。
【図3】本実施の形態に係る制御部の機能構成１を示すブロック図である。
【図4】ソース画像ＳのダイナミックレンジＤＳとターゲット画像側境界ＢＴにおけるターゲット画像Ｔ側のダイナミックレンジＤＴとの関係を説明する図である。
【図5】滑らかな接続が求められる領域部分を説明する図である。
【図6】差分値計算部で実行される処理動作例を示すブロック図である。
【図7】重みλｉの計算で使用するｗｉの算出過程を説明する図である。
【図8】本実施の形態に係る制御部の機能構成２を示すブロック図である。
【図9】本実施の形態に係る制御部の機能構成３を示すブロック図である。
【図10】位置ｐと近傍画像との位置関係を説明する図である。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
【0010】
＜画像処理装置の構成＞以下、添付図面を参照して、本発明の実施の形態について説明する。
図１は、実施の形態に係る画像処理装置１のハードウェア構成例を示すブロック図である。
本実施の形態に係る画像処理装置１は、画像処理演算を実行すると共に装置を構成する各部の動作を制御する制御部１００と、画像データ等を記憶する記憶部２００と、処理対象とする画像や処理結果を表示する表示部３００と、装置に対するユーザの指示の受け付けに使用される操作部４００と、処理対象とする画像データの取得に用いられる画像取得部５００と、各部を接続するバス６００とを有している。
【0011】
制御部１００は、不図示のＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を含む、いわゆるコンピュータとして構成される。ＲＯＭは、ＣＰＵにより実行される制御プログラムを記憶している。ＣＰＵは、ＲＯＭに記憶されているプログラムを読み出し、ＲＡＭを作業エリアに使用してプログラムを実行する。ＣＰＵによるプログラムの実行を通じ、後述するダイナミックレンジ補正部１１０（図３参照）等の機能が実現される。
【0012】
なお、ＣＰＵによって実行されるプログラムは、制御部１００内のＲＯＭではなく、画像処理装置１の外部で接続された記憶装置に記憶されていてもよい。例えばプログラムは、磁気記録媒体（磁気テープ、磁気ディスク等）、光記録媒体（光ディスク等）、光磁気記録媒体、半導体メモリ等のコンピュータが読取可能な記録媒体に記憶されていてもよい。また、ＣＰＵによって実行されるプログラムは、インターネット等の通信手段を用いて、画像処理装置１にダウンロードされてもよい。
【0013】
記憶部２００は、例えばハードディスク装置により構成され、貼り付け先となるターゲット画像や貼り付けられるソース画像に対応する画像データを含む各種のデータが記憶される。記憶部２００には、制御部１００で実行されるプログラムが記憶されていてもよい。表示部３００は、例えば液晶ディスプレイや有機ＥＬ（organic electroluminescence）ディスプレイ等により構成され、制御部１００による制御の下、貼り付け合成で扱うソース画像やターゲット画像を表示する。
【0014】
操作部４００は、ユーザの操作を受け付ける入力装置であり、例えば液晶ディスプレイの表面側に配置されるタッチパネル、マウス、キーボード等により構成される。画像取得部５００は、処理対象とする画像データの取得に用いられる装置であり、例えば外部機器との接続インタフェースにより構成される。画像取得部５００により取得された画像データは、記憶部２００に記憶される。
【0015】
＜用語＞図２は、貼り付け対象としてのソース画像Ｓと貼り付け先としてのターゲット画像Ｔとの関係を説明する図である。
図２の場合、ソース画像Ｓは、ｘ軸方向及びｙ軸方向のいずれに対しても、ターゲット画像Ｔより短く、ソース画像Ｓの全体がターゲット画像Ｔに含まれる。ここでのソース画像Ｓは、請求の範囲における「第２の画像」の一例であり、ターゲット画像Ｔは「第１の画像」の一例である。
なお、本実施の形態における制御部１００は、ソース画像Ｓをターゲット画像Ｔに貼り付け合成した際に、２つの画像の重複部分（合成領域ＣＲ）で白飛び又は黒潰れが生じないように、かつ、画像間のつなぎ目が目立たないように合成処理するものであるので、ソース画像Ｓがターゲット画像Ｔより常に小さい必要はない。
【0016】
ソース画像Ｓの外縁部分は、貼り付け合成後のソース画像側境界ＢＳを与える。一方、ソース画像Ｓの貼り付け先となるターゲット画像Ｔ側の部分領域（すなわち合成領域ＣＲ）の外縁部分は、貼り付け合成後のターゲット画像側境界ＢＴを与える。以下では、ソース画像側境界ＢＳとターゲット画像側境界ＢＴを合わせて合成境界ともいう。貼り付け合成によって生成される合成画像において、ソース画像側境界ＢＳ上の画素とターゲット画像側境界ＢＴの画素は隣接画素となる。
合成領域ＣＲは、ソース画像Ｓの貼り付け作業中又は貼り付け作業の完了時点で、ソース画像Ｓと重なっているターゲット画像Ｔ側の部分領域をいう。
【0017】
本実施の形態において、合成境界が目立たないとは、ソース画像側境界ＢＳとターゲット画像側境界ＢＴとを視覚的に判別できないほどに各境界に位置する画素の明るさ（輝度、明度等）や色差が小さいことをいう。より具体的には、合成境界における明るさの変化や色の変化が、ソース画像Ｓとターゲット画像Ｔの間で滑らか（連続的）であることをいう。
【0018】
＜画像処理装置の機能構成＞以下では、制御部１００によるプログラムの実行を通じて実現される機能構成について説明する。
プログラムの実行を通じて実現される機能構成は様々であるが、以下では、便宜的に機能構成１、機能構成２、機能構成３と呼ぶ。
【0019】
＜機能構成１＞図３は、本機能構成に係る制御部１００の機能構成１を示すブロック図である。
本機能構成に係る制御部１００は、ソース画像Ｓと接するターゲット画像Ｔの画素情報（ターゲット画像側境界ＢＴの画素情報）に応じてソース画像Ｓのダイナミックレンジ幅を補正するダイナミックレンジ補正部１１０と、ダイナミックレンジ幅を補正した後のソース画像（すなわち、補正ソース画像Ｓ’）とターゲット画像側境界ＢＴとの間で画素値の差分値を計算する差分値計算部１１１と、算出された差分値に基づいてターゲット画像Ｔとのつなぎ目が目立たないように補正ソース画像Ｓ’を補正してターゲット画像Ｔに合成する合成部１１２として機能する。
ここでのダイナミックレンジ補正部１１０は、請求の範囲における「補正部」の一例であり、差分値計算部１１１と合成部１１２は、請求の範囲における「貼付部」の一例である。
【0020】
＜ダイナミックレンジ補正部の処理動作＞ダイナミックレンジ補正部１１０は、ソース画像ＳのダイナミックレンジＤＳを、貼り付け合成後に白飛びや黒潰れが生じないように、ターゲット画像側境界ＢＴの画素値に基づいて補正する機能部分である。
図４は、ソース画像ＳのダイナミックレンジＤＳとターゲット画像側境界ＢＴにおけるターゲット画像Ｔ側のダイナミックレンジＤＴとの関係を説明する図である。
以下では、ソース画像Ｓとターゲット画像Ｔが、０〜２５５の階調値を有する８ビットのＲＧＢ画像であるものとして説明する。
【0021】
まず、ダイナミックレンジ補正部１１０は、ターゲット画像Ｔのターゲット画像側境界ＢＴに位置する画素の平均値Ｒａｖｅ、Ｇａｖｅ、Ｂａｖｅを、式１〜式３により求める。
【0022】
【数1】
【0023】
ここで、Ωｂはターゲット画像側境界ＢＴを意味し、ｎｂはターゲット画像側境界ＢＴ上に位置する画素の数（画素数）を意味する。ＲＴ（ｉ,ｊ）はターゲット画像側境界ＢＴに位置するＲ（赤）画素の値であり、ＧＴ（ｉ,ｊ）はターゲット画像側境界ＢＴに位置するＧ（緑）画素の値であり、ＢＴ（ｉ,ｊ）は、ターゲット画像側境界ＢＴに位置するＢ（青）画素の値である。平均値Ｒａｖｅ、Ｇａｖｅ、Ｂａｖｅが求まれば、ターゲット画像側境界ＢＴでの飽和値までのダイナミックレンジＤＴが確定する。各色について白飛びが生じるまでのダイナミックレンジの幅は、それぞれ２５５−平均値で計算される。黒潰れが生じるまでのダイナミックレンジの幅は、各色の平均値そのものである。
【0024】
次に、ダイナミックレンジ補正部１１０は、ソース画像Ｓに含まれる画素のＲ画素のダイナミックレンジＤＳＲ、Ｇ画素のダイナミックレンジＤＳＧ、Ｂ画素のダイナミックレンジＤＳＢを式４〜式６により求める。なお、ソース画像Ｓのうち一部分だけがターゲット画像Ｔと重なる場合には、重複部分について以下の計算処理が実行される。ＤＳＲ＝ｍａｘ（ＲＳ（ｉ,ｊ）)−ｍｉｎ（ＲＳ（ｉ,ｊ））…式４
ＤＳＧ＝ｍａｘ（ＧＳ（ｉ,ｊ）)−ｍｉｎ（ＧＳ（ｉ,ｊ））…式５
ＤＳＢ＝ｍａｘ（ＢＳ（ｉ,ｊ）)−ｍｉｎ（ＢＳ（ｉ,ｊ））…式６
ここで、ＲＳ（ｉ,ｊ）はソース画像Ｓ内の位置（ｉ，ｊ）におけるＲ（赤）画素の値であり、ＧＳ（ｉ,ｊ）はソース画像Ｓ内の位置（ｉ，ｊ）におけるＧ（緑）画素の値であり、ＢＳ（ｉ,ｊ）はソース画像Ｓ内の位置（ｉ，ｊ）におけるＢ（青）画素の値である。以下では、単にＲＳ、ＧＳ、ＢＳとも表記する。
【0025】
式４〜式６では、Ｒ画素、Ｇ画素、Ｂ画素のそれぞれについて、最大値から最小値を減算した値を、そのままダイナミックレンジＤＳとして算出しているが、ノイズ等の影響により誤った値が最大値や最小値として決定される可能性を排除する処理を追加で実行してもよい。例えば画素値のうち大きい側から数％に含まれる画素値の平均値を最大値として使用し、画素値のうち小さい側から数％に含まれる画素値の平均値を最小値として使用してもよい。
【0026】
続いて、ダイナミックレンジ補正部１１０は、ダイナミックレンジＤＳを圧縮するための圧縮倍率ＣＲ、ＣＧ、ＣＢを計算する。この際、ダイナミックレンジ補正部１１０は、ソース画像Ｓに含まれる全画素の画素値の平均を計算し、算出された画素値を、ターゲット画像側境界ＢＴに位置する画素の平均値Ｒａｖｅ、Ｇａｖｅ、Ｂａｖｅと比較する。ソース画像Ｓ側の画素値の平均の方がターゲット画像側境界ＢＴに位置する画素の平均値Ｒａｖｅ、Ｇａｖｅ、Ｂａｖｅをより大きければ白飛びの可能性があり、小さければ黒潰れの可能性がある。
【0027】
ここで、ソース画像Ｓ側のダイナミックレンジＤＳがターゲット画像側境界ＢＴにおける飽和値までのダイナミックレンジＤＴよりも狭い場合には、白飛び等のおそれがないため後述する圧縮のための処理をスキップできる。本実施の形態では、ターゲット画像側境界ＢＴにおける飽和値までのダイナミックレンジＤＴよりも、ソース画像Ｓ側のダイナミックレンジＤＳが広く、ダイナミックレンジＤＳの圧縮が必要な場合を想定する。
この場合、ダイナミックレンジ補正部１１０は、式７〜式９により圧縮率ＣＲ、ＣＧ、ＣＢを算出する。
ＣＲ＝（２５５−Ｒａｖｅ）／ＤＳＲ …式７
ＣＧ＝（２５５−Ｇａｖｅ）／ＤＳＧ …式８
ＣＢ＝（２５５−Ｂａｖｅ）／ＤＳＢ …式９
ここで、ＣＲはＲ（赤）の圧縮倍率であり、ＣＧはＧ（緑）の圧縮倍率であり、ＣＢはＢ（青）の圧縮倍率である。
【0028】
ダイナミックレンジ補正部１１０は、式７〜式９で求められた圧縮倍率ＣＲ、ＣＧ、ＣＢを式１０〜式１２に適用し、ソース画像ＳのＲ（赤）画素値、Ｇ（緑）画素値、Ｂ（青）画素値のダイナミックレンジＤＳを圧縮補正する。Ｒ’Ｓ＝ＣＲ｛ＲＳ−ｍｉｎ（ＲＳ）｝＋ｍｉｎ（ＲＳ） …式１０
Ｇ’Ｓ＝ＣＧ｛ＧＳ−ｍｉｎ（ＧＳ）｝＋ｍｉｎ（ＧＳ） …式１１
Ｂ’Ｓ＝ＣＢ｛ＢＳ−ｍｉｎ（ＢＳ）｝＋ｍｉｎ（ＧＳ） …式１２
ここで、Ｒ’Ｓは補正ソース画像Ｓ’のＲ画素値であり、Ｇ’Ｓは補正ソース画像Ｓ’のＧ画素値であり、Ｂ’Ｓは補正ソース画像Ｓ’のＢ画素値である。
ここでの圧縮により、ソース画像Ｓ内に含まれる各画素の画素値は、各色の最小値の方向に近づけられる。
【0029】
前述の説明では、Ｒ画素成分、Ｇ画素成分、Ｂ画素成分をそれぞれ処理単位として別々にダイナミックレンジＤＳを圧縮しているが、例えば明るさ（輝度や明度）に着目し、明るさの差分に応じてＲ画素値、Ｇ画素値、Ｂ画素値のそれぞれを同じ圧縮率で圧縮補正してもよい。また、前述の説明では、ＲＧＢ色空間上でダイナミックレンジＤＳを圧縮しているが、ＲＧＢ色空間以外の色空間（例えばＨＳＶ色空間、ＣＩＥＬａｂ色空間、ＸＹＺ色空間、Ｌｕｖ色空間）上での画素値に着目してダイナミックレンジＤＳを圧縮してもよい。
【0030】
また、明るさに代えて色差に着目し、色差の大きさに応じてＲ画素値、Ｇ画素値、Ｂ画素値のそれぞれを同じ圧縮率でダイナミックレンジＤＳを圧縮してもよい。なお、常にダイナミックレンジＤＳを圧縮するのではなく、明るさの差分や色差が閾値以上の場合にのみダイナミックレンジＤＳの圧縮処理を実行してもよい。視覚的につなぎ目が目立たない場合には、ダイナミックレンジＤＳの圧縮処理を省略することで計算資源を有効活用できる。
【0031】
また、前述の実施の形態では、白飛びが生じないようにダイナミックレンジＤＳを圧縮するため、最小値を基準値とし、最小値との差分に応じてダイナミックレンジＤＳを圧縮しているが、黒潰れが生じないようにダイナミックレンジＤＳを圧縮する場合には、最大値を基準値とし、最大値との差分に応じてダイナミックレンジＤＳを圧縮すればよい。
【0032】
＜差分値計算部の処理動作＞次に、差分値計算部１１１が実行する処理内容を説明する。
差分値計算部１１１は、補正ソース画像Ｓ’（ソース画像ＳのダイナミックレンジＤＳを圧縮して生成された画像）をターゲット画像Ｔに貼り付け合成した際に、ソース画像側境界ＢＳがターゲット画像側境界ＢＴの画素と滑らかに接続されるように、補正ソース画像Ｓ’の画素値を補正するための補正量（以下、「合成領域差分Δ」という。）を計算する機能部分である。
図５は、滑らかな接続が求められる領域部分を説明する図である。ダイナミックレンジＤＳが圧縮された補正ソース画像Ｓ’のソース画像側境界ＢＳの画素値をターゲット画像側境界ＢＴの画素値と一致させただけでは合成境界が目立ってしまう可能性がある。
【0033】
図６は、差分値計算部１１１で実行される処理動作例を示すブロック図である。差分値計算部１１１は、補正ソース画像Ｓ’の各画素に対するソース画像側境界ＢＳからの重みを計算する重み計算部１２１と、補正ソース画像Ｓ’とターゲット画像Ｔの合成境界上の画素情報の差分を計算する差分計算部１２２と、計算された重みと差分を用いて補正ソース画像Ｓ’の各画素に対する補正量としての合成領域差分Δを計算する差分値補間計算部１２３とを有している。
【0034】
重み計算部１２１は、補正ソース画像Ｓ’内の各位置ｘに対する補正ソース画像Ｓ’の合成境界上のｉ番目の画素からの重みλｉを式１３によって求める。
【0035】
【数2】
【0036】
ここで、ｉは補正ソース画像Ｓ’の合成境界上における画素の位置を特定するためのインデックスである。インデックスは、補正ソース画像Ｓ’の合成境界上のある特定の画素位置を０として一方向に（例えば時計回り又は反時計回りに）、補正ソース画像Ｓ’の合成境界上に位置する全ての画素に対して付与される。
【0037】
ｗｉは式１４によって計算される値である。
【0038】
【数3】
【0039】
図７は、ここでのｗｉやαの図形上の意味を説明する図である。図７において濃い網掛けを付した画素は、合成領域ＣＲに貼り付けられた補正ソース画像Ｓ’の合成境界上にある画素であり、前述したインデックスｉが付与される。図７において薄い網掛けを付した画像は、合成領域ＣＲに貼り付けられた補正ソース画像Ｓ’のうち合成境界を除く位置の画素である。
【0040】
図中、位置Ｐｉは、インデックスｉで特定される合成境界上にある画素を与える位置ベクトルで表され、位置ｘは、補正ソース画像Ｓ’のうち合成境界を除く位置にある画素を与える位置ベクトルである。αｉは、インデックスｉに対応する位置Ｐｉから位置ｘへのベクトルと、インデックスｉ+１に対応する位置Ｐｉ+１から位置ｘへのベクトルとがなす角である。
なお、計算過程で、インデックスｉがｎｂとなる場合には、インデックス０に置き換えて扱う。
【0041】
式１４より、位置ｘについてのｗｉは、位置ｘで与えられる画素が補正ソース画像Ｓ’の合成境界に近いほど急激に大きくなり、補正ソース画像Ｓ’の合成境界から遠ざかるほど急激に小さい値となる。従って、式１３における位置ｘに対する補正ソース画像Ｓ’の合成境界上のｉ番目の画素からの重みλｉは、補正ソース画像Ｓ’の合成境界上における全ての画素（インデックス０〜ｎｂ−１）について計算されたｗｉの合計値に対する各位置Ｐｉに対応するｗｉの比率として与えられる。
【0042】
図６の説明に戻る。差分計算部１２２は、ターゲット画像側境界ＢＴに上に位置する画素ＲＴ、ＧＴ、ＢＴと補正ソース画像Ｓ’の合成境界（ソース画像側境界ＢＳ）上に位置する画素Ｒ’Ｓ、Ｇ’Ｓ、Ｂ’Ｓとの差分値ｄＲｉ、ｄＧｉ、ｄＢｉを式１５〜式１７によって求める。
ｄＲｉ＝ＲＴ−Ｒ’Ｓ …式１５
ｄＧｉ＝ＧＴ−Ｇ’Ｓ …式１６
ｄＢｉ＝ＢＴ−Ｂ’Ｓ …式１７
【0043】
差分値補間計算部１２３は、計算された重み値λiと合成境界における差分値ｄｉが与えられると、式１８〜式２０によって合成領域ＣＲに貼り付けられる補正ソース画像Ｓ’内の各画素ｘに対する補正量を与える合成領域差分ΔＲ、ΔＧ、ΔＢを計算する。
【0044】
【数4】
【0045】
ここでの合成領域差分ΔＲ、ΔＧ、ΔＢは、合成境界における画素値の変化が滑らかになるように（又は連続的になるように）、補正ソース画像Ｓ’の各画素ｘの画素値を補正するために用いられる。式１８、式１９、式２０に示すように、各画素ｘに対する補正量を与える合成領域差分ΔＲ、ΔＧ、ΔＢは、合成境界上に位置する各画素（ｉ＝０〜ｎｂ−１）について計算されるｎｂ個の重みλｉの影響を受けた値となる。すなわち、合成領域差分ΔＲ、ΔＧ、ΔＢは、合成領域ＣＲの外側（ターゲット画像側境界ＢＴ）上に位置する複数の画素との関係で決定される。
【0046】
より具体的には、合成境界に近くに位置する画素ｘは、最寄りの合成境界上の複数画素の差分値ｄＲｉ、ｄＧｉ、ｄＢｉを平均化するような値として計算され、合成境界から離れた位置の画素ｘは、合成境界の全周に位置する全ての画素における差分値ｄＲｉ、ｄＧｉ、ｄＢｉを平均化したような値として計算される。この結果、つなぎ目部分の変化が滑らかになる。
【0047】
図３の説明に戻る。合成部１１２では、差分値計算部１１１で得た合成領域差分Δによってダイナミックレンジ補正部１１０で得た補正ソース画像Ｓ’（ソース画像ＳのダイナミックレンジＤＳを圧縮補正した後の画像）を修正し、修正済みの補正ソース画像Ｓ’をターゲット画像Ｔ上の合成領域ＣＲに貼り付け合成する。
【0048】
具体的には、合成領域ＣＲに貼り付けられる補正ソース画像Ｓ’内の各画素ｘについての画素値は、それぞれ式２１〜式２３によって計算される値に修正される。Ｒ＝Ｒ’Ｓ＋ΔＲ …式２１
Ｇ＝Ｇ’Ｓ＋ΔＧ …式２２
Ｂ＝Ｂ’Ｓ＋ΔＢ …式２３
【0049】
この修正により、ターゲット画像側境界ＢＴと合成領域ＣＲに貼り付けられた補正ソース画像Ｓ’における境界付近の画素値の変化が滑らかになるように階調レベルがシフトされた修正済みの補正ソース画像Ｓ’が得られ、この画像をターゲット画像Ｔに貼り付け合成することにより合成結果画像Ｏが得られる。繰り返しになるが、ターゲット画像Ｔの領域部分の画素の画素値は、貼り付け合成の前後で同じ値が用いられる。
以上の手順により作成された合成結果画像Ｏでは、合成領域ＣＲの内部に白飛びや黒潰れは発生せず、しかも貼り付けられた修正済みの補正ソース画像Ｓ’とターゲット画像Ｔとのつなぎ目が目立たないようにできる。
【0050】
前述の説明では、差分値計算部１１１においてＲ画素値、Ｇ画素値、Ｂ画素値ごとに差分値を計算しているが、ダイナミックレンジＤＳの圧縮処理と同じく、他の色区間上の要素ごとに差分値を計算してもよい。例えばＨＳＶ色空間におけるＶ（明度）の値を用いる等明るさ（輝度や明度）を利用しても良い。
【0051】
＜機能構成２＞ソース画像ＳのダイナミックレンジＤＳの圧縮率が大きすぎる場合、合成結果画像Ｏに含まれる修正済み補正ソース画像Ｓ’の階調情報が少なくなりすぎる可能性がある。
このような場合には、ターゲット画像ＴのダイナミックレンジＤＴを若干圧縮し、補正ソース画像Ｓ’の階調表現に必要なダイナミックレンジ幅を確保することが望ましい。
【0052】
そこで、機能構成２においては、ソース画像ＳのダイナミックレンジＤＳをいきなり圧縮するのではなく、圧縮率（後述する「ソースダイナミックレンジ補正量」）を予め算出し、圧縮率が予め定めた閾値より小さい場合には、機能構成１と同じくソース画像ＳのダイナミックレンジＤＳのみを圧縮し、圧縮率が予め定めた閾値より大きい場合には、ターゲット画像ＴのダイナミックレンジＤＴの圧縮も組み合わせる手法を採用する。
【0053】
図８は、本実施の形態に係る制御部１００の機能構成２を示すブロック図である。図８には、図３との対応部分に同じ符号を付して示している。本機能構成に係る制御部１００は、ソース画像Ｓと接するターゲット画像Ｔの画素情報に応じてソース画像ＳのダイナミックレンジＤＳを算出するソースダイナミックレンジ補正量算出部１１３を更に有している。具体的には、ソースダイナミックレンジ補正量算出部１１３は、機能構成１の式１〜式９までの計算処理を実行し、Ｒ画素についての圧縮倍率ＣＲ、Ｇ画素についての圧縮倍率ＣＧ、Ｂ画素についての圧縮倍率ＣＢを計算する。これらの圧縮率が、ソースダイナミックレンジ補正量として出力される。
ここでのソースダイナミックレンジ補正量算出部１１３は、請求の範囲における「補正部」の一例である。
【0054】
ソースダイナミックレンジ補正量算出部１１３で算出された圧縮倍率ＣＲ、ＣＧ、ＣＢは、ソースダイナミックレンジ補正量としてダイナミックレンジ補正部１１０’に与えられる。ダイナミックレンジ補正部１１０’は、入力されたソースダイナミックレンジ補正量（圧縮倍率ＣＲ、ＣＧ、ＣＢ）を閾値と比較する。閾値は、色毎に用意されてもよいし、同じ値を用いてもよい。
圧縮倍率ＣＲ、ＣＧ、ＣＢが閾値より小さい場合は、機能構成１と同じである。すなわち、ダイナミックレンジ補正部１１０’は、ソース画像ＳのダイナミックレンジＤＳのみを圧縮し、ターゲット画像ＴのダイナミックレンジＤＴはそのままとする。
【0055】
一方、圧縮倍率ＣＲ、ＣＧ、ＣＢが閾値より大きい場合、ダイナミックレンジ補正部１１０’は、まずターゲット画像ＴのダイナミックレンジＤＴを予め定めた割合（例えば１０％）だけ圧縮し、補正ターゲット画像Ｔ’を生成する。この補正ターゲット画像Ｔ’は、差分値計算部１１１及び合成部１１２において、機能構成１におけるターゲット画像Ｔの代わりに用いられる。
【0056】
補正ターゲット画像Ｔ’が得られると、ダイナミックレンジ補正部１１０’は、機能構成１と同じく、ターゲット画像側境界ＢＴに位置する画素の平均値Ｒａｖｅ、Ｇａｖｅ、Ｂａｖｅを式１〜式３によって計算し、以後は、機能構成１と同じ処理を実行する。この機能構成２の場合、白潰れや黒潰れがなく、しかも貼り付け部分の境界が目立たないようにソース画像Ｓをターゲット画像Ｔに貼り付けられるという機能構成１の効果に加え、合成結果画像Ｏ内における補正ソース画像Ｓ’の階調情報が少なくなりすぎることもない。
【0057】
＜機能構成３＞ここでは、機能構成１から差分値計算部１１１を無くした構成について説明する。このために、本機能構成では、勾配ベースの画像編集技術を補正ソース画像Ｓ’に適用してターゲット画像Ｔに貼り付け合成する場合について説明する。
【0058】
図９は、本実施の形態に係る制御部１００の機能構成３を示すブロック図である。図９には、図３との対応部分に同じ符号を付して示している。図９に示すように、本機能構成に係る制御部１００では、勾配ベースの画像編集技術を有する合成部１１２”を使用し、補正ソース画像Ｓ’の勾配情報を残すようにターゲット画像Ｔを補正する。ここでは、勾配ベースの画像編集技術の一例として、Poisson Image Editing手法を用いる。
【0059】
合成部１１２”は、合成境界における補正ソース画像Ｓ’とターゲット画像Ｔの画素値が一致するという条件のもと、補正ソース画像Ｓ’の画素値の勾配がなるべく保存されるような値を求めるPoisson方程式を解くことで、合成領域ＣＲの画素値を求める。具体的には、式２４に示す計算を繰り返し実行することにより、ターゲット画像Ｔに補正ソース画像Ｓ’を貼り付けた際に境界部分が目立たないように補正された画素値を求める。
【0060】
【数5】
【0061】
ここで、ｆｐはターゲット画像Ｔ側の合成領域ＣＲ内の位置ｐにおける補正後の画素値であり、fｑは位置ｐの近傍画素の補正後の画素値である。
【0062】
図１０は、位置ｐと近傍画像との位置関係を説明する図である。図１０の例では、位置ｐの上下左右の４画素を位置ｐの近傍画素として利用している。ただし、fｐ及びfｑの初期値には、補正前の画素値を利用する。また、ｇｐおよびｇｑは、補正ソース画像Ｓ’における位置ｐの画素値及びその周辺画素の画素値である。従って、分子の第２項は、補正ソース画像Ｓ’における画像の勾配情報である。
Ｎｐは位置ｐにおける近傍画素の数である。例えば図１０の場合は上下左右の４画素であるので、式２４の分母は４となる。
【0063】
従って、式２４は、位置ｐの画素値を、ターゲット画像Ｔ側での近傍画素の平均画素値と補正ソース画像Ｓ’側での近傍画素との平均勾配値との加算値によって更新することを表している。つまり、合成部１１２”は、式２４による計算を繰り返し実行することで、ターゲット画像Ｔ側の画像は補正ソース画像Ｓ’に近づくように補正される。ｆｐの値の変化が、予め設定しておいた閾値以下となったら変化が収束したとみなして計算を終了する。この演算処理の結果、最終的な合成領域ＣＲ内の画素値ｆｐが得られ、合成境界におけるターゲット画像Ｔと補正ソース画像Ｓ’とのつなぎ目の変化は滑らかになる。
【0064】
この計算は、ターゲット画像Ｔと補正ソース画像Ｓ’が例えばＲＧＢ色空間で表現される場合には、Ｒ画素、Ｇ画素、Ｂ画素のそれぞれの値に対して行う。勿論、ターゲット画像Ｔとソース画像Ｓが他の色空間で表現される場合には、各色空間に応じた画素成分について式２４の計算を実行する。【0065】
＜他の実施の形態＞以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【符号の説明】
【0066】
１…画像処理装置、１００…制御部、１１０、１１０’…ダイナミックレンジ補正部、１１１…差分値計算部、１１２、１１２’、１１２”…合成部、１２１…重み計算部、１２２…差分計算部、１２３…差分値補間計算部、ＢＳ…ソース画像側境界（合成境界）、ＢＴ…ターゲット画像側境界（合成境界）、ＣＲ…合成領域、Ｓ…ソース画像、Ｓ’…補正ソース画像、Ｔ…ターゲット画像、Ｔ’…補正ターゲット画像、Δ…合成領域差分