特表2023-513726 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ 北京達佳互▲れん▼信息技術有限公司の特許一覧

特表2023-513726画像処理方法、装置、電子機器及び記録媒体

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-04-03

(54)【発明の名称】画像処理方法、装置、電子機器及び記録媒体

(51)【国際特許分類】

G06T 7/90 20170101AFI20230327BHJP

G06T 7/136 20170101ALI20230327BHJP

G06V 10/56 20220101ALI20230327BHJP

G06T 7/11 20170101ALI20230327BHJP

G06T 11/80 20060101ALI20230327BHJP

H04N 23/60 20230101ALI20230327BHJP

【ＦＩ】

G06T7/90 C

G06T7/136

G06V10/56

G06T7/11

G06T11/80 A

H04N23/60 500

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022548804

(86)(22)【出願日】2020-11-09

(85)【翻訳文提出日】2022-08-10

(86)【国際出願番号】 CN2020127564

(87)【国際公開番号】W WO2021212810

(87)【国際公開日】2021-10-28

(31)【優先権主張番号】202010327149.6

(32)【優先日】2020-04-23

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ブルートゥース

(71)【出願人】

【識別番号】520230293

【氏名又は名称】北京達佳互▲れん▼信息技術有限公司

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際弁理士法人

(72)【発明者】

【氏名】▲劉▼▲暁▼坤

【テーマコード（参考）】

5B050

5C122

5L096

【Ｆターム（参考）】

5B050AA08

5B050AA09

5B050BA06

5B050BA11

5B050CA01

5B050DA04

5B050EA03

5B050EA09

5B050EA19

5B050FA02

5B050FA05

5C122EA12

5C122FH09

5C122FH11

5C122FH18

5C122FH21

5C122FH23

5C122GC52

5C122HA13

5C122HA35

5C122HA75

5C122HA81

5C122HA88

5C122HB01

5C122HB05

5C122HB10

5L096AA02

5L096AA06

5L096FA15

5L096FA54

5L096GA10

5L096GA30

5L096GA40

5L096GA51

5L096GA55

5L096HA11

5L096MA03

(57)【要約】

本願は、画像処理方法、装置、電子機器及び記録媒体に関する。前記方法は、処理対象画像に対して画像分割処理を行い、画像分割処理結果に基づいて初期マスクマップを得るステップであって、初期マスクマップには処理対象画像内の各画素点がスカイリージョン内の画素点に属する確率値が含まれているステップと、初期マスクマップに基づいて処理対象画像が予め設定されたスカイリージョンの置き換え条件を満たすか否かを決定し、スカイリージョンの置き換え条件を満たしている場合、処理対象画像のグレースケールマップをガイドマップとして初期マスクマップに対してガイドフィルタリング処理を行い、ターゲットマスクマップを得るステップと、ターゲットスカイシーンを取得するステップであって、ターゲットスカイシーンが、予め設定されたスカイシーン素材から選択されるステップと、ターゲットマスクマップ及びターゲットスカイシーンに基づいて処理対象画像内のスカイリージョンに対して置き換え処理を行い、第１の処理済み画像を得るステップと、を含む。本願の技術案によれば、スカイリージョンを正確に決定してスカイリージョンの置き換えを行うことができ、その効果はリアルで自然であり、写真成功率が高い。
【選択図】図２

【特許請求の範囲】

【請求項1】

画像処理方法であって、
処理対象画像に対して画像分割処理を行い、画像分割処理結果に基づいて初期マスクマップを得るステップであって、前記初期マスクマップには前記処理対象画像内の各画素点がスカイリージョン内の画素点に属する確率値が含まれているステップと、
前記初期マスクマップに基づいて前記処理対象画像が予め設定されたスカイリージョンの置き換え条件を満たすか否かを決定するステップであって、前記スカイリージョンの置き換え条件を満たしている場合、前記処理対象画像のグレースケールマップをガイドマップとして前記初期マスクマップに対してガイドフィルタリング処理を行い、ターゲットマスクマップを得るステップと、
ターゲットスカイシーンを取得するステップであって、前記ターゲットスカイシーンが、予め設定されたスカイシーン素材から選択されるステップと、
前記ターゲットマスクマップ及び前記ターゲットスカイシーンに基づいて前記処理対象画像内のスカイリージョンに対して置き換え処理を行い、第１の処理済み画像を得るステップと、を含む、
ことを特徴とする画像処理方法。

【請求項2】

前記処理対象画像のグレースケールマップをガイドマップとして前記初期マスクマップに対してガイドフィルタリング処理を行い、ターゲットマスクマップを得るステップは、
前記処理対象画像内の各画素点の青チャンネル画素値を取得するステップと、
前記初期マスクマップ内の青チャンネル画素値がターゲット分布区間にあり、かつ前記確率値が第１の閾値より大きい画素点を第１の画素点として決定するステップであって、前記ターゲット分布区間は、予め設定された複数の区間のうち、第１の評価領域内の各画素点の青チャンネル画素値の数が最も多い区間であり、前記第１の評価領域が、前記初期マスクマップ内の前記確率値が第２の閾値より大きい画素点が存在する領域であり、前記第２の閾値が前記第１の閾値より大きいステップと、
前記初期マスクマップ内の青チャンネル画素値がターゲット青チャンネル画素値より小さい画素点を第２の画素点として決定するステップであって、前記ターゲット青チャンネル画素値が第２の評価領域内の各画素点の青チャンネル画素値の最小値であり、前記第２の評価領域は前記初期マスクマップ内の前記確率値が第３の閾値より大きい画素点が存在する領域であり、前記第３の閾値が前記第２の閾値より大きいステップと、
前記第１の画素点の確率値を増加させ、前記第２の画素点の確率を減少させることにより、基準マスクマップを得るステップと、
前記処理対象画像のグレースケールマップをガイドマップとして前記基準マスクマップに対してガイドフィルタリング処理を行い、前記ターゲットマスクマップを得るステップと、を含む、
ことを特徴とする請求項１に記載の画像処理方法。

【請求項3】

前記第１の画素点の確率値を増加させ、前記第２の画素点の確率を減少させるステップは、
前記第１の画素点の確率値を１に設定するステップと、
前記第２の画素点の確率値を半分にするステップと、を含む、
ことを特徴とする請求項２に記載の画像処理方法。

【請求項4】

前記ターゲットマスクマップ及び前記ターゲットスカイシーンに基づいて前記処理対象画像内のスカイリージョンに対して置き換え処理を行い、第１の処理済み画像を得るステップは、
前記処理対象画像内の非スカイリージョンを前景マップとして決定するステップと、
前記ターゲットスカイシーン及び前記スカイリージョンのサイズに基づいてスカイ素材図を切り出し、シーンが前記ターゲットスカイシーンに対応し且つサイズが前記スカイリージョンのサイズに対応するターゲットスカイマップを得るステップと、
前記ターゲットマスクマップに基づいて前記前景マップと前記ターゲットスカイマップを組み合わせ、前記第１の処理済み画像を得るステップであって、前記第１の処理済み画像内のスカイリージョンが、前記ターゲットスカイマップに置き換えられるステップと、を含む、
ことを特徴とする請求項３に記載の画像処理方法。

【請求項5】

前記ターゲットマスクマップ及び前記ターゲットスカイシーンに基づいて前記処理対象画像内のスカイリージョンに対して置き換え処理を行い、第１の処理済み画像を得るステップは、
前記ターゲットマスクマップに基づいて、前記処理対象画像から第１の領域、第２の領域及び残りの領域を決定するステップであって、前記第１の領域の内部に含まれる画素点の確率値が１であり、前記第２の領域の内部に含まれる画素点の確率値が０であり、前記残りの領域が、前記処理対象画像から前記第１の領域及び前記第２の領域を除く領域であるステップと、
前記第１の領域を前記ターゲットスカイマップに置き換えるステップと、
前記第２の領域を前記前景マップに置き換えるステップと、
前記残りの領域に対応する確率値、赤チャンネル画素値、緑チャンネル画素値及び青チャンネル画素値に基づいて前記前景マップ及び前記ターゲットスカイマップに対して画素点のカラーチャンネル情報融合を行うステップと、
カラーチャンネル情報融合処理後の前記ターゲットスカイマップに基づいて前記第１の処理済み画像を得るステップと、を含む、
ことを特徴とする請求項４に記載の画像処理方法。

【請求項6】

前記ターゲットマスクマップに基づいて前記前景マップと前記ターゲットスカイマップを組み合わせ、前記第１の処理済み画像を得るステップは、
前記ターゲットスカイシーンに基づいて前記前景マップの輝度、コントラスト及び彩度のうちの少なくとも１つを調整して、輝度、コントラスト及び彩度が前記ターゲットスカイシーンに一致するターゲット前景マップを得るステップと、
前記ターゲットマスクマップに基づいて前記ターゲット前景マップと前記ターゲットスカイマップを組み合わせ、前記第１の処理済み画像を得るステップと、を含む、
ことを特徴とする請求項４に記載の画像処理方法。

【請求項7】

前記初期マスクマップに基づいて前記処理対象画像が予め設定されたスカイリージョンの置き換え条件を満たすか否かを決定するステップは、
前記初期マスクマップに基づいて前記処理対象画像が以下の少なくとも１つの予め設定された条件を満たすか否かを決定し、以下の少なくとも１つの予め設定された条件を満たしている場合、前記処理対象画像がスカイリージョンの置き換え条件を満たさないと判定し、以下のいずれか１つの予め設定された条件を満たしていない場合、前記処理対象画像がスカイリージョンの置き換え条件を満たすと判定するステップを含み、
予め設定された条件１：前記処理対象画像におけるスカイリージョンの第１の占有率が予め設定された第４の閾値より小さく、
予め設定された条件２：前記処理対象画像における信頼できない領域の第２の占有率が予め設定された第５の閾値より大きく、ここで、前記信頼できない領域は、各画素点の確率値が中央区間にある領域であり、前記中央区間が前記確率値の中央値及び前記中央値の近傍値から構成されており、
予め設定された条件３：前記処理対象画像内のスカイリージョンの平均輝度が予め設定された第６の閾値より小さく、
予め設定された条件４：前記処理対象画像におけるターゲットダークチャンネル領域の第３の占有率が予め設定された第７の閾値より大きく、ここで、前記ターゲットダークチャンネル領域は、スカイリージョン内の、ダークチャンネル値が第８の閾値より小さい画素点が存在する領域である、
ことを特徴とする請求項１に記載の画像処理方法。

【請求項8】

前記初期マスクマップに基づいて前記処理対象画像が予め設定されたスカイリージョンの置き換え条件を満たすか否かを決定するステップの後、
スカイリージョンの置き換え条件を満たしていない場合、前記ターゲットスカイシーンに基づいてターゲットフィルタツールを取得し、前記ターゲットフィルタツールを介して前記処理対象画像に対してフィルタ処理を行い、第２の処理済み画像を得るステップをさらに含む、
ことを特徴とする請求項７に記載の画像処理方法。

【請求項9】

画像処理装置であって、
処理対象画像に対して画像分割処理を行い、画像分割処理結果に基づいて初期マスクマップを得るように構成されるマスクマップ決定ユニットであって、前記初期マスクマップには前記処理対象画像内の各画素点がスカイリージョン内の画素点に属する確率値が含まれているマスクマップ決定ユニットと、
前記初期マスクマップに基づいて前記処理対象画像が予め設定されたスカイリージョンの置き換え条件を満たすか否かを決定するように構成されるガイドフィルタリングユニットであって、前記スカイリージョンの置き換え条件を満たしている場合、前記処理対象画像のグレースケールマップをガイドマップとして前記初期マスクマップに対してガイドフィルタリング処理を行い、ターゲットマスクマップを得るガイドフィルタリングユニットと、
ターゲットスカイシーンを取得するように構成されるスカイシーン取得ユニットであって、前記ターゲットスカイシーンが、予め設定されたスカイシーン素材から選択されるスカイシーン取得ユニットと、
前記ターゲットマスクマップ及び前記ターゲットスカイシーンに基づいて前記処理対象画像内のスカイリージョンに対して置き換え処理を行い、第１の処理済み画像を得るように構成されるスカイリージョン置き換えユニットと、を含む、
ことを特徴とする画像処理装置。

【請求項10】

前記ガイドフィルタリングユニットは、
前記処理対象画像内の各画素点の青チャンネル画素値を取得するように構成される画素値取得サブユニットと、
前記初期マスクマップ内の青チャンネル画素値がターゲット分布区間にあり、かつ前記確率値が第１の閾値より大きい画素点を第１の画素点として決定するように構成される第１の画素点決定サブユニットであって、前記ターゲット分布区間は、予め設定された複数の区間のうち、第１の評価領域内の各画素点の青チャンネル画素値の数が最も多い区間であり、前記第１の評価領域が、前記初期マスクマップ内の前記確率値が第２の閾値より大きい画素点が存在する領域であり、前記第２の閾値が前記第１の閾値より大きい第１の画素点決定サブユニットと、
前記初期マスクマップ内の青チャンネル画素値がターゲット青チャンネル画素値より小さい画素点を第２の画素点として決定するように構成される第２の画素点決定サブユニットであって、前記ターゲット青チャンネル画素値が第２の評価領域内の各画素点の青チャンネル画素値の最小値であり、前記第２の評価領域は前記初期マスクマップ内の前記確率値が第３の閾値より大きい画素点が存在する領域であり、前記第３の閾値が前記第２の閾値より大きい第２の画素点決定サブユニットと、
前記第１の画素点の確率値を増加させ、前記第２の画素点の確率を減少させることにより、基準マスクマップを得るように構成される確率値処理サブユニットと、
前記処理対象画像のグレースケールマップをガイドマップとして前記基準マスクマップに対してガイドフィルタリング処理を行い、前記ターゲットマスクマップを得るように構成されるガイドフィルタリングサブユニットと、を含む、
ことを特徴とする請求項９に記載の画像処理装置。

【請求項11】

前記ガイドフィルタリングサブユニットは、
前記第１の画素点の確率値を１に設定するように構成される第１の確率値設定モジュールと、
前記第２の画素点の確率値を半分にするように構成される第２の確率値設定モジュールと、を含む、
ことを特徴とする請求項１０に記載の画像処理装置。

【請求項12】

前記処理対象画像内の非スカイリージョンを前景マップとして決定するように構成される前景マップ決定サブユニットと、
前記ターゲットスカイシーン及び前記スカイリージョンのサイズに基づいてスカイ素材図を切り出し、シーンが前記ターゲットスカイシーンに対応し且つサイズが前記スカイリージョンのサイズに対応するターゲットスカイマップを得るように構成されるスカイ素材切り出しサブユニットと、
前記ターゲットマスクマップに基づいて前記前景マップと前記ターゲットスカイマップを組み合わせ、前記第１の処理済み画像を得るように構成される第１の前景組み合わせサブユニットであって、前記第１の処理済み画像内のスカイリージョンが、前記ターゲットスカイマップに置き換えられる第１の前景組み合わせサブユニットと、を含む、
ことを特徴とする請求項１１に記載の画像処理装置。

【請求項13】

前記スカイリージョン置き換えユニットは、
前記ターゲットマスクマップに基づいて、前記処理対象画像から第１の領域、第２の領域及び残りの領域を決定するように構成される領域決定サブユニットであって、前記第１の領域の内部に含まれる画素点の確率値が１であり、前記第２の領域の内部に含まれる画素点の確率値が０であり、前記残りの領域が、前記処理対象画像から前記第１の領域及び前記第２の領域を除く領域である領域決定サブユニットと、
前記第１の領域を前記ターゲットスカイマップに置き換えるように構成されるスカイマップ置き換えサブユニットと、
前記第２の領域を前記前景マップに置き換えるように構成される前景マップ置き換えサブユニットと、
前記残りの領域に対応する確率値、赤チャンネル画素値、緑チャンネル画素値及び青チャンネル画素値に基づいて前記前景マップ及び前記ターゲットスカイマップに対して画素点のカラーチャンネル情報融合を行うように構成されるチャンネル情報融合サブユニットと、
カラーチャンネル情報融合処理後の前記ターゲットスカイマップに基づいて前記第１の処理済み画像を得るように構成される処理済み画像取得サブユニットと、をさらに含む、
ことを特徴とする請求項１２に記載の画像処理装置。

【請求項14】

前記スカイリージョン置き換えユニットは、
前記ターゲットスカイシーンに基づいて前記前景マップの輝度、コントラスト及び彩度のうちの少なくとも１つを調整して、輝度、コントラスト及び彩度が前記ターゲットスカイシーンに一致するターゲット前景マップを得るように構成される前景マップ調整サブユニットと、
前記ターゲットマスクマップに基づいて前記ターゲット前景マップと前記ターゲットスカイマップを組み合わせ、前記第１の処理済み画像を得るように構成される第２の前景組み合わせサブユニットと、をさらに含む、
ことを特徴とする請求項１２に記載の画像処理装置。

【請求項15】

前記ガイドフィルタリングユニットは、前記初期マスクマップに基づいて前記処理対象画像が以下の少なくとも１つの予め設定された条件を満たすか否かを決定するようにも構成され、以下の少なくとも１つの予め設定された条件を満たしている場合、前記処理対象画像がスカイリージョンの置き換え条件を満たさないと判定し、以下のいずれか１つの予め設定された条件を満たしていない場合、前記処理対象画像がスカイリージョンの置き換え条件を満たすと判定し、
予め設定された条件１：前記処理対象画像におけるスカイリージョンの第１の占有率が予め設定された第４の閾値より小さく、
予め設定された条件２：前記処理対象画像における信頼できない領域の第２の占有率が予め設定された第５の閾値より大きく、ここで、前記信頼できない領域は、各画素点の確率値が中央区間にある領域であり、前記中央区間が前記確率値の中央値及び前記中央値の近傍値から構成されており、
予め設定された条件３：前記処理対象画像内のスカイリージョンの平均輝度が予め設定された第６の閾値より小さく、
予め設定された条件４：前記処理対象画像におけるターゲットダークチャンネル領域の第３の占有率が予め設定された第７の閾値より大きく、ここで、前記ターゲットダークチャンネル領域は、スカイリージョン内の、ダークチャンネル値が第８の閾値より小さい画素点が存在する領域である、
ことを特徴とする請求項９に記載の画像処理装置。

【請求項16】

前記画像処理装置は、
スカイリージョンの置き換え条件を満たしていない場合、前記ターゲットスカイシーンに基づいてターゲットフィルタツールを取得し、前記ターゲットフィルタツールを介して前記処理対象画像に対してフィルタ処理を行い、第２の処理済み画像を得るように構成されるフィルタ処理ユニットをさらに含む、
ことを特徴とする請求項１５に記載の画像処理装置。

【請求項17】

電子機器であって、
プロセッサと、
前記プロセッサによって実行可能な命令が記憶されているメモリと、を含み、
ここで、前記プロセッサは、請求項１～８のいずれかに記載の画像処理方法が実現されるように、前記命令を実行するように構成される、
ことを特徴とする電子機器。

【請求項18】

前記記録媒体内の命令が電子機器のプロセッサによって実行される場合、前記電子機器が請求項１～８のいずれかに記載の画像処理方法を実行できる、
ことを特徴とする記録媒体。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本願は、２０２０年０４月２３日に中国特許庁に提出され、出願の番号が２０２０１０３２７１４９．６であり、出願の名称が「画像処理方法、装置、電子機器及び記録媒体」の中国特許出願の優先権を主張しており、そのすべての内容は援用によって本願に組み込まれる。

【技術分野】

【0002】

本願は、画像処理技術の分野に関し、特に、画像処理方法、装置、電子機器及び記録媒体に関する。

【背景技術】

【0003】

現在、ＡＩ人物像のボケ、ＡＩ区分シーンの認識などのＡＩ（人工知能、ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ）トリミング技術は、各適用シーンに幅広く適用されている。ここで、ＡＩスカイ置き換え（画像内のスカイリージョンを特定のシーンでのスカイリージョンに置き換えること）は、ＡＩトリミング技術が適用される典型的なシーンであり、比較的挑戦的なタスクである。ユーザによって実際に撮影された屋外の写真が様々であり、スカイには、枝、鳥、建物、電線、彩色旗、風車、ガラスなどがあり、如何にしてスカイリージョンを正確に非スカイリージョンから分割するかは容易ではなく、特に木の枝の存在するスカイや、電線などを含む細かいトランザクションがスカイに存在するシーンにおいて、スカイリージョンを如何に分割するかは非常に複雑になる。

【0004】

現在の「スカイ置き換え」の機能は、主にＡＩトリミングによってスカイリージョンを決定してから後処理を行うことである。しかしながら、従来技術の分割効果が悪いため、スカイリージョンの決定が不正確であり、後処理が不完全でスカイのエッジの移行が不自然でなるなどの欠点があり、写真成功率が低い。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本願は、少なくとも関連技術におけるスカイリージョン置き換えの写真成功率が低いという問題を解決するために、画像処理方法、装置、電子機器及び記録媒体を提供する。本願の技術案は以下の通りである。

【課題を解決するための手段】

【0006】

本願の実施例の第１の態様によれば、画像処理方法が提供され、前記画像処理方法は、処理対象画像に対して画像分割処理を行い、画像分割処理結果に基づいて初期マスクマップを得るステップであって、前記初期マスクマップには前記処理対象画像内の各画素点がスカイリージョン内の画素点に属する確率値が含まれているステップと、前記初期マスクマップに基づいて前記処理対象画像が予め設定されたスカイリージョンの置き換え条件を満たすか否かを決定するステップであって、前記スカイリージョンの置き換え条件を満たしている場合、前記処理対象画像のグレースケールマップをガイドマップとして前記初期マスクマップに対してガイドフィルタリング処理を行い、ターゲットマスクマップを得るステップと、ターゲットスカイシーンを取得するステップであって、前記ターゲットスカイシーンが、予め設定されたスカイシーン素材から選択されるステップと、前記ターゲットマスクマップ及び前記ターゲットスカイシーンに基づいて前記処理対象画像内のスカイリージョンに対して置き換え処理を行い、第１の処理済み画像を得るステップと、を含む。

【0007】

本願の実施例の第２の態様によれば、画像処理装置が提供され、前記画像処理装置は、処理対象画像に対して画像分割処理を行い、画像分割処理結果に基づいて初期マスクマップを得るように構成されるマスクマップ決定ユニットであって、前記初期マスクマップには前記処理対象画像内の各画素点がスカイリージョン内の画素点に属する確率値が含まれているマスクマップ決定ユニットと、前記初期マスクマップに基づいて前記処理対象画像が予め設定されたスカイリージョンの置き換え条件を満たすか否かを決定するように構成されるガイドフィルタリングユニットであって、前記スカイリージョンの置き換え条件を満たしている場合、前記処理対象画像のグレースケールマップをガイドマップとして前記初期マスクマップに対してガイドフィルタリング処理を行い、ターゲットマスクマップを得るガイドフィルタリングユニットと、ターゲットスカイシーンを取得するように構成されるスカイシーン取得ユニットであって、前記ターゲットスカイシーンが、予め設定されたスカイシーン素材から選択されるスカイシーン取得ユニットと、前記ターゲットマスクマップ及び前記ターゲットスカイシーンに基づいて前記処理対象画像内のスカイリージョンに対して置き換え処理を行い、第１の処理済み画像を得るように構成されるスカイリージョン置き換えユニットと、を含む。

【0008】

本願の実施例の第３の態様によれば、電子機器が提供され、前記電子機器は、プロセッサと、前記プロセッサによって実行可能な命令が記憶されているメモリと、を含み、ここで、前記プロセッサは、上記の画像処理方法が実現されるように、前記命令を実行するように構成される。

【0009】

本願の実施例の第４の態様によれば、記録媒体が提供され、前記記録媒体内の命令が電子機器のプロセッサによって実行される場合、電子機器が上記の画像処理方法を実行できる。

【0010】

本願の実施例の第５の態様によれば、コンピュータプログラムを含むコンピュータプログラム製品が提供され、前記コンピュータプログラムが読み取り可能な記録媒体に記憶されており、機器の少なくとも１つのプロセッサは、前記読み取り可能な記録媒体から前記コンピュータプログラムを読み取って実行し、機器に上記の実施例中の画像処理方法を実行させる。

【0011】

なお、以上の一般的な説明及び後の詳細な説明は、例示的かつ解釈的なものに過ぎず、本願を限定するものではない。

【図面の簡単な説明】

【0012】

ここでの図面は明細書に組み込まれて本明細書の一部を構成し、本願に適合する実施例が示され、明細書とともに本願の原理を説明するために使用され、本願に対する不当な限定を構成するものではない。

【図1】例示的な一実施例に係る画像処理方法の適用環境図である。

【図2】例示的な一実施例に係る画像処理方法のフローチャートである。

【図3】例示的な一実施例に係る確率マップの概略表示図である。

【図4】例示的な一実施例に係る処理対象画像である。

【図5】例示的な一実施例に係る処理済み画像である。

【図6】例示的な一実施例に係る他の処理済み画像である。

【図7】他の例示的な実施例に係る画像処理方法のフローチャートである。

【図8】別の例示的な実施例に係る画像処理方法のフローチャートである。

【図9】例示的な実施例に係る画像処理装置のブロック図である。

【発明を実施するための形態】

【0013】

当業者が本願の技術案をよりよく理解するために、以下に図面に合わせて本願の実施例中の技術案を明確かつ完全に説明する。

【0014】

なお、本願の明細書及び特許請求の範囲、並びに上記の図面における「第１」、「第２」などの用語は、類似の対象を区別するためのものであり、特定の順序又は優先順位を説明するために使用されるものではない。なお、このように使用されるデータは、本明細書に記載の本願の実施例が本明細書で図示又は説明されている順序以外の順序で実施されることを可能にするために、適宜交換されてもよい。以下の例示的な実施例において説明される実施形態は、本願に一致するすべての実施形態を表すものではない。むしろ、それらは、添付の特許請求の範囲に詳述された、本願のいくつかの態様に一致する装置及び方法の例に過ぎない。

【0015】

本願の実施例によって提供される画像処理方法は、図１に示すような電子機器に適用することができる。当該電子機器は、様々なパーソナルコンピュータ、ノートパソコン、スマートフォン、タブレット、ポータブルウェアラブルデバイスであってもよい。図１を参照して、電子機器１００は、処理コンポーネント１０１、メモリ１０２、電源コンポーネント１０３、マルチメディアコンポーネント１０４、オーディオコンポーネント１０５、入力／出力（Ｉ／Ｏ）のインタフェース１０６、センサコンポーネント１０７及び通信コンポーネント１０８のうちの１つ又は複数のコンポーネントを含むことができる。

【0016】

処理コンポーネント１０１は、通常、表示、電話呼び出し、データ通信、カメラ操作及び記録操作に関連する操作など、電子機器１００の全体的な操作を制御する。処理コンポーネント１０１は、命令を実行して上記方法の全部又は一部のステップを完成するための１つ又は複数のプロセッサ１０９を含むことができる。また、処理コンポーネント１０１は、処理コンポーネント１０１と他のコンポーネントとの間のインタラクションを容易にするための１つ又は複数のモジュールを含むことができる。例えば、処理コンポーネント１０１は、マルチメディアコンポーネント１０４と処理コンポーネント１０１との間のインタラクションを容易にするためのメディアモジュールを含むことができる。

【0017】

メモリ１０２は、電子機器１００での操作を支援するように、様々なデータを記憶するように構成される。これらのデータの例は、連絡先データ、電話帳データ、メッセージ、画像、動画などの電子機器１００で操作するためのいずれかのアプリケーション又は方法の命令を含む。メモリ１０２は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、読み出し専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、ディスク、光ディスクなどの任意のタイプの一時的又は非一時的な記録媒体、又はそれらの組み合わせによって実現することができる。

【0018】

電源コンポーネント１０３は、電子機器１００の様々なコンポーネントに電力を提供する。電源コンポーネント１０３は、電源管理システム、１つ又は複数の電源、及び電子機器１００の電力の生成、管理及び分配に関連する他のコンポーネントを含むことができる。

【0019】

マルチメディアコンポーネント１０４は、前記電子機器１００とユーザとの間に１つの出力インタフェースを提供するスクリーンを含む。いくつかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含むことができる。スクリーンは、タッチパネルを含む場合、ユーザからの入力信号を受信するためのタッチスクリーンとして実現することができる。タッチパネルは、タッチ、スライド及びタッチパネル上のジェスチャーを検知するための１つ又は複数のタッチセンサを含む。タッチセンサは、タッチ又はスライド動作の境界線を検知するだけではなく、タッチ又はスライド操作に関連する持続時間及び圧力も検出する。いくつかの実施例において、マルチメディアコンポーネント１０４は、１つのフロントカメラ及び／又はリアカメラを含む。フロントカメラ及び／又はリアカメラは、電子機器１００が、撮影モード又はビデオモードなどの操作モードにある場合、外部のメディアデータを受信することができる。各フロントカメラ及びリアカメラは、１つの固定する光学レンズ系であってもよいし、焦点距離及び光学ズーム能力を有してもよい。

【0020】

オーディオコンポーネント１０５は、オーディオ信号を出力及び／又は入力するように構成される。例えば、オーディオコンポーネント１０５は、１つのマイクロフォン（ＭＩＣ）を含み、マイクロフォンは、電子機器１００が呼び出しモード、記録モード及び音声認識モードなどの操作モードにある場合、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、メモリ１０２にさらに記憶されるか、又は通信コンポーネント１０８を介して送信されてもよい。いくつかの実施例において、オーディオコンポーネント１０５は、オーディオ信号を出力するためのスピーカーをさらに含む。

【0021】

Ｉ／Ｏインタフェース１０６は、処理コンポーネント１０１と周辺インタフェースモジュールとの間にインタフェースを提供し、上記周辺インタフェースモジュールは、キーパッド、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、音量ボタン、起動ボタン及びロックボタンを含むが、これらに限定されない。

【0022】

センサコンポーネント１０７は、電子機器１００のために様々な方面の状態評価を提供するための１つ又は複数のセンサを含む。例えば、センサコンポーネント１０７は、電子機器１００のオン／オフ状態、コンポーネントの相対的な位置付けを検出することができ、例えば、コンポーネントが電子機器１００のディスプレイ及びキーパッドであり、センサコンポーネント１０７は、電子機器１００又は電子機器１００の１つのコンポーネントの位置変化、ユーザと電子機器１００との接触の有無、電子機器１００の方位又は加速／減速及び電子機器１００の温度変化を検出することもできる。センサコンポーネント１０７は、いずれかの物理接触もない場合、近傍の物体の存在を検出するための接近センサを含むことができる。センサコンポーネント１０７は、撮像アプリケーションで使用するためのＣＭＯＳ又はＣＣＤ画像センサなどの光センサをさらに含むことができる。いくつかの実施例において、当該センサコンポーネント１０７は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサをさらに含むことができる。

【0023】

通信コンポーネント１０８は、電子機器１００と他のデバイスとの有線又は無線方式の通信を容易にするように構成される。電子機器１００は、ＷｉＦｉ、キャリアネットワーク（２Ｇ、３Ｇ、４Ｇ又は５Ｇ）、又はそれらの組み合わせなどの通信標準に基づく無線ネットワークにアクセスすることができる。例示的な一実施例において、通信コンポーネント１０８は、放送チャンネルを介して外部放送管理システムからの放送信号又は放送に関連する情報を受信する。例示的な一実施例において、通信コンポーネント１０８は、近距離通信を容易にするために、近距離通信（ＮＦＣ）モジュールをさらに含む。例えば、ＮＦＣモジュールは、無線周波数認識（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術、及び他の技術に基づいて実現することができる。

【0024】

例示的な実施例において、電子機器１００は、上記方法を実現するために、１つ又は複数のアプリケーション特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子部品によって実現することができる。

【0025】

図２は、例示的な実施例に係る画像処理方法のフローチャートであり、図２に示すように、画像処理方法は、図１の電子機器に適用され、以下のステップＳ２０１～Ｓ２０４を含む。

【0026】

ステップＳ２０１において、処理対象画像に対して画像分割処理を行い、画像分割処理結果に基づいて初期マスクマップを得て、前記初期マスクマップには前記処理対象画像内の各画素点がスカイリージョン内の画素点に属する確率値が含まれている。

【0027】

ここで、処理対象画像とは、スカイリージョンの置き換えが必要な画像であり、ユーザがクライアントを介して入力した画像（例えば、クライアントを介してダウンロードした画像、クライアント上のカメラを介して撮影した画像など）であってもよいし、予め取得された画像であってもよいし、リアルタイムに取得された画像であってもよいため、入力マップと呼ぶこともできる。処理対象画像は、様々なフォーマットで、様々なシーンにスカイリージョン（スカイリージョンは大きくても小さくてもよい）が含まれている画像であってもよい。当該スカイリージョンとは、スカイに属する領域のことであり、当該スカイは、晴れ、曇り、雨上がり、夕方、夜、虹などのシーンでのスカイであってもよい。処理対象画像には、スカイリージョンのほか、建物や丘などの他の領域が含まれていてもよい。また、処理対象画像の大きさや形状は複数種類であってもよい。

【0028】

処理対象画像に対して行われる画像分割（ｉｍａｇｅｓｅｇｍｅｎｔａｔｉｏｎ）処理とは、画像内の画素が属する領域を分類し、すなわち、画像を互いに交差しない領域に分割することであってもよい。近年、深層学習技術の深化につれて、画像分割技術は飛躍的に発展してきて、当該技術に関連するシーンの物体分割、人体前背景分割などの技術は、すでに無人運転、拡張現実、セキュリティ監視などの業界で広く適用されている。さらに、本願において深層学習の方式によって処理対象画像に対して画像分割処理を行うことができる。例えば、ニューラルネットワークモデルを介して処理対象画像内の各画素点がスカイリージョンに属する確率値を決定することにより、処理対象画像のスカイリージョンの分割を実現する。ここで、確率値は、実際の状況に応じて値を取ることができ、値が高いほど、当該画素点がスカイリージョンに属する可能性が高いことを示す（すなわち、スカイリージョン範囲内にある画素点に属する）。例えば、値が１の場合、当該画素がスカイリージョンに属するに違いないことを示し、値が０の場合、当該画素がスカイリージョンに属さないに違いないことを示し、値が０．９の場合、当該画素がスカイリージョンに属す可能性が９０％であることを示す。いくつかの例示的な実施例において、確率値は、対応する画素点のマスク（ｍａｓｋ）情報として理解することができるため、確率値はｍａｓｋ値と呼ぶことができ、それに対応して、初期マスクマップは確率マスクマップと呼ぶこともできる。

【0029】

さらに、各画素点の確率値が得られた後、各確率値を画素点の位置に従って配置し、初期マスクマップを得ることができ、また、各画素点の確率値を対応するグレースケール値に変換することもでき、例えば、確率値が１の場合、グレースケール値２５５に変換され、確率値が０．５の場合、グレースケール値１２７に変換され、確率値が０の場合、グレースケール値０に変換されることで、確率値に対応するグレースケール画像を出力することができ、電子機器は、初期マスクマップのグレースケール値を取得した後に対応する確率値を知ることができ、インタフェースに表示される初期マスクマップは、図３に示すことができる。

【0030】

ステップＳ２０２において、前記初期マスクマップに基づいて前記処理対象画像が予め設定されたスカイリージョンの置き換え条件を満たすか否かを決定し、前記スカイリージョンの置き換え条件を満たしている場合、前記処理対象画像のグレースケールマップをガイドマップとして前記初期マスクマップに対してガイドフィルタリング処理を行い、ターゲットマスクマップを得る。

【0031】

ここで、スカイリージョンの置き換え条件は、スカイリージョンの大きさ、信頼性の有無、処理対象画像のシーンなどに応じて決定することができる。選択可能な一実施形態において、処理対象画像が、スカイリージョンが小さすぎ、処理対象画像が信頼できず、夜のシーン、霧のシーンのうちの少なくとも１つに適合する際に、スカイリージョンの置き換え条件を満たさないと考えられる。

【0032】

初期マスクマップを画像分割処理したものであるため、画像分割処理は、各画素点に対して量子化処理を行い（ニューラルネットワークモデルによる画像分割処理の場合、ダウンサンプリングによって画像の解像度が低下し、例えば、１画素点が５画素点になる）、量子化処理は、隣接する画素点の間の確率値の差を不正確にする可能性があり、これにより、画像の各領域の間に分断感が生じやすく、初期マスクマップ及びグレースケールマップをガイドフィルタリングのアルゴリズムに入力することになり、当該アルゴリズムは、初期マスクマップ及びグレースケールマップの情報を融合することができ、例えば、入力画像内の建物とスカイとの間に大きな色勾配が存在するが、初期マスクマップ内の建物とスカイとの間の確率値の差が小さい場合、ガイドフィルタリングすることにより初期マスクマップにおけるこのような問題を補正することができる。逆に、入力画像内の葉とスカイとの間に小さい色勾配が存在するが、初期マスクマップ内の葉とスカイとの間の確率値の差が大きい場合、ガイドフィルタリングすることにより初期マスクマップにおけるこのような問題を補正することができる。したがって、ガイドフィルタリング処理を行うことで、初期マスクマップに対するぼかし効果を実現することができ、出力された処理済み画像がより入力画像に近付き、よりリアルで自然なスカイ置き換えの効果を実現することができる。ガイドフィルタリング処理後の初期マスクマップを図３の右側の部分拡大図に示すように、当該図から分かるように、アルゴリズムが２つの画像の情報を融合し、ぼかしグラデーション（黒い領域から白い領域への段階的な移行）の効果を達成して、分断感の発生を防止し、得られた画像がぎこちなくならないようにすることができる。

【0033】

ステップＳ２０３において、ターゲットスカイシーンを取得し、前記ターゲットスカイシーンが、予め設定されたスカイシーン素材から選択される。

【0034】

ここで、ターゲットスカイシーンとは、置き換え必要があるスカイタイプであり、スカイシーン素材は、晴れ、曇り、雨上がり、虹、夕焼け、夕方、夜などのシーンであってもよい。このステップは、後で処理対象画像を処理するように、スカイシーン素材からターゲットスカイシーンを選択する。さらに、当該ターゲットスカイシーンは、ユーザによって入力されたシーン選択情報に基づいて得られてもよい。例えば、シーン選択情報が「夕焼け」である場合、ターゲットスカイシーンは夕焼けのシーンであってもよい。

【0035】

ステップＳ２０４において、前記ターゲットマスクマップ及び前記ターゲットスカイシーンに基づいて前記処理対象画像内のスカイリージョンに対して置き換え処理を行い、第１の処理済み画像を得る。

【0036】

スカイリージョンの置き換え処理の実現過程は、以下の通りであってもよい。ターゲットマスクマップ内のスカイリージョンを決定し、ターゲットスカイシーンを取得し、当該ターゲットスカイシーンに基づいてターゲットスカイマップ（すなわち、置き換えのためのスカイ画像）を取得し、当該ターゲットスカイマップによって当該スカイリージョンを置き換え、置き換え後の画像は、スカイリージョンの置き換え処理が行われた画像、すなわち、第１の処理済み画像とすることができる。ここで、ターゲットスカイマップは、ターゲットスカイシーンに基づいてスカイ素材ベースから取得されたスカイ画像であってもよく、例えば、ターゲットスカイシーンが夕焼けの場合、ターゲットスカイマップは、夕焼けシーンでのスカイ画像であってもよい。

【0037】

例示的な一実施例において、ターゲットスカイマップの形状・大きさは、スカイリージョンの形状・大きさに基づいて決定することができ、両者の形状・大きさは一致しても、一致しなくてもよい（例えば、ターゲットスカイマップとスカイリージョンの各辺との間隔がいずれも５０画素点であり、すなわち、ターゲットスカイマップの方がスカイリージョンよりも大きい）。

【0038】

上記の画像処理方法において、処理対象画像に対して画像分割処理を行い、画像分割処理結果に基づいて処理対象画像内の各画素点がスカイリージョン内の画素点に属する確率値を含む初期マスクマップを得て、当該初期マスクマップに基づいてスカイリージョンを正確に決定することができ、初期マスクマップに基づいて処理対象画像が予め設定されたスカイリージョンの置き換え条件を満たすと決定された場合、処理対象画像のグレースケールマップをガイドマップとして初期マスクマップに対してガイドフィルタリング処理を行ってターゲットマスクマップを得て、当該ガイドフィルタリングによって初期マスクマップに対するぼかし効果が実現され、初期マスクマップ内の隣接する画像領域の間の色勾配を正確に補正することができ、ターゲットマスクマップに基づいて得られた処理済み画像のスカイ置き換えの効果がよりリアルで自然であり、写真成功率が高い。

【0039】

例示的な一実施例において、前記処理対象画像のグレースケールマップをガイドマップとして前記初期マスクマップに対してガイドフィルタリング処理を行い、ターゲットマスクマップを得るステップは、前記処理対象画像内の各画素点の青チャンネル画素値を取得するステップと、前記初期マスクマップ内の青チャンネル画素値がターゲット分布区間にあり、かつ前記確率値が第１の閾値より大きい画素点を第１の画素点として決定するステップであって、前記ターゲット分布区間は、予め設定された複数の区間のうち、第１の評価領域内の各画素点の青チャンネル画素値の数が最も多い区間であり、前記第１の評価領域が、前記初期マスクマップ内の前記確率値が第２の閾値より大きい画素点が存在する領域であり、前記第２の閾値が前記第１の閾値より大きいステップと、前記初期マスクマップ内の青チャンネル画素値がターゲット青チャンネル画素値より小さい画素点を第２の画素点として決定するステップであって、前記ターゲット青チャンネル画素値が第２の評価領域内の各画素点の青チャンネル画素値の最小値であり、前記第２の評価領域は前記初期マスクマップ内の前記確率値が第３の閾値より大きい画素点が存在する領域であり、前記第３の閾値が前記第２の閾値より大きいステップと、前記第１の画素点の確率値を増加させ、前記第２の画素点の確率を減少させることにより、基準マスクマップを得るステップと、前記処理対象画像のグレースケールマップをガイドマップとして前記基準マスクマップに対してガイドフィルタリング処理を行い、前記ターゲットマスクマップを得るステップと、を含む。

【0040】

ここで、第１の評価領域は、初期マスクマップ内のスカイリージョンである可能性が高い領域に対応してもよいため、第２の閾値の大きさは、選択された第１の評価領域の精度をできるだけ確保するために、大きな値であってもよい。選択可能な一実施形態において、第２の閾値は、０．９、０．９２などであってもよい。さらに、第１の評価領域が決定されたら、第１の評価領域内の各画素点の青チャンネル画素値を設定区間（実際の状況に応じて０から２５５までの区間分割が可能）に分類することができ、その中で数が最も多い区間をターゲット分布区間として決定する。

【0041】

さらに、第１の画素点は、ターゲット分布区間及び確率値に基づいて決定することができ、例えば、初期マスクマップ内の確率値が予め設定された閾値（実際の状況に応じて決定することができ、例えば０．５）より大きく、かつ青チャンネル画素値がターゲット分布区間にある画素点が存在する領域を第１の画素点として決定することができる。このような処理方式によって、青チャンネル画素値及び確率値を組み合わせてより正確な第１の画素点を決定することができ、スカイリージョンの置き換えの精度を向上させることができる。ここで、青チャンネル画素値は、ＲＧＢ値のＢ（Ｂｌｕｅ）チャンネルに対応する値である。

【0042】

例示的な一実施例において、スカイリージョンである可能性が高い領域に対して確率値増加処理を行うほか、スカイリージョンではない可能性が高い領域に対して確率値低下処理を行うこともできる。ここで、第２の評価領域は、初期マスクマップ内のスカイリージョンである可能性がある領域に対応してもよく、非スカイリージョンの画素点をスカイリージョンに分類することを防止するために、第３の閾値は高い値（第２の閾値より大きくてもよく、選択可能な一実施形態において、第３の閾値は０．９３、０．９５などであってもよい）を取ることができ、できるだけ領域を考慮範囲内に入れてその中からターゲット青チャンネル画素値を決定し、ターゲット青チャンネル画素値を上限として初期マスクマップで第２の画素点を決定する。第２の評価領域に対応する青チャンネル画素値は、スカイリージョンの青チャンネル画素値の最低の臨界点として理解することができ、ある画素点の青チャンネル画素値が当該臨界点より小さい場合、当該画素点がスカイリージョンに属さないと考え、確率値減少処理を行う。当該ターゲット青チャンネル画素値に基づいて決定された第２の画素点は、非スカイリージョンを見落としてスカイリージョンに分類することを効果的に防止することができる。

【0043】

もちろん、別のいくつかの例示的な実施例において、第２の閾値及び第３の閾値の大きさが同じであってもよく、第３の閾値は第２の閾値より小さくてもよい。

【0044】

一方で、確率値増加処理は、確率値をより大きな値、例えば、１、０．９９、０．９８などに代入することであり、確率値低下処理は、確率値をより小さい値、例えば、０．５、０．６などに代入することである。例えば、確率値が０．９の画素点に対して、青チャンネル画素値に基づいてスカイリージョンに属する可能性が高い（例えば、青チャンネルＢに対応する値が高い）と決定された場合、その確率値を１に代入することができ、確率値が０．５の画素点については、カラーチャンネル情報に基づいてスカイリージョンに属さない可能性が高いと決定された場合、その確率値を半分にするか、又は０に下げることができる。

【0045】

いくつかの例示的な実施例において、第１の画素点の確率値を半分にする処理は、ある確率値を一律に減算する（例えば、０．１、０．２などを一律に減算する）などに置き換えることもできる。

【0046】

上記の実施例は、スカイリージョンである可能性が高い画素点に対して確率値増加処理を行い、スカイリージョンではない可能性が高い画素点に対して確率値低下処理を行い、スカイリージョンの確率値は、その後のスカイリージョン置き換え時にこの部分の領域を正確に認識できるように強調することができ、スカイ置き換えの処理を行うことで、スカイ置き換えの精度を向上させることができる。

【0047】

例示的な一実施例において、前記第１の画素点の確率値を増加させ、前記第２の画素点の確率値を減少させるステップは、前記第１の画素点の確率値を１に設定し、前記第２の画素点の確率値を半分にするステップを含む。

【0048】

選択可能な一実施形態において、画素点に対して増加減少処理が行われる実現過程は、以下の通りであってもよい。処理対象画像の確率値＞０．９の領域での各画素点の青チャンネル画素値のヒストグラムを計算し、ヒストグラムに基づいて青チャンネル画素点が（Ｑ１：０～６３、Ｑ２：６４～１２７、Ｑ３：１２８～１９１、Ｑ４：１９２～２５５）のどの区間において最も多いかを計算し、最も多い画素点が含まれている区間をターゲット分布区間として、Ｑｉと表記し、ターゲット分布区間中の確率値が０．５以上であって、かつ青チャンネル値がＱｉ区間に属する確率値を１．０とする。区間を分割する方式は実際の状況に応じて調整することができ、例えば、より大きい区間又はより小さい区間に分割することができる。

【0049】

上記の実施例において、スカイリージョンである可能性が高い第１の画素点を１と設定し、スカイリージョンではない可能性が高い第２の画素点を半分にし、スカイリージョンの確率値は、その後のスカイリージョン置き換え時にこの部分の領域を正確に認識できるように強調することができ、スカイ置き換えの処理を行うことで、スカイ置き換えの精度を向上させることができる。

【0050】

例示的な実施例において、第１の画素点及び第２の画素点は、青チャンネル画素値に基づいて決定するほか、赤チャンネル画素値、青チャンネル画素値などの他のチャンネル画素値に基づいて決定することもできる。選択可能な一実施形態において、主に夕方スカイリージョンの置き換え処理を行うシーンに対して、赤チャンネル画素値を利用して実現することができ、このような処理方式は、選択可能な一実施形態中のシーンに対してより正確なスカイリージョンを決定することができ、さらに正確なスカイリージョンの置き換え操作を実現し、写真成功率を向上させることができる。

【0051】

また、いくつかの例示的な実施例において、第２の画素点に対して確率値減少処理を行ってから、確率値減少処理後の確率マップに対して第１の画素点の確率値増加処理を行って、候補のマスクマップを得ることができ、それぞれ初期マスクマップに対して第１の画素点の確率値増加処理を行って、初期マスクマップに対して第２の画素点の確率値減少処理を行ってもよく、２つの処理方式によって得られた確率マップを統合し（例えば、初期マスクマップ内の変化しない画素点に対してその原始の確率値を保留し、確率値増加処理のみが行われる又は確率値減少処理のみが行われる画素点に対して処理後の確率値を保留し、確率値増加処理も確率値減少処理も行われる画素点に対して、２つの処理方式によって得られた確率値の平均値を取ることができる）、候補のマスクマップを得る。その後、処理対象画像のグレースケールマップをガイドマップとして前記候補のマスクマップに対してガイドフィルタリング処理を行い、前記ターゲットマスクマップを得る。

【0052】

例示的な実施例において、前記ターゲットマスクマップ及び前記ターゲットスカイシーンに基づいて前記処理対象画像内のスカイリージョンに対して置き換え処理を行い、第１の処理済み画像を得るステップは、前記処理対象画像内の非スカイリージョンを前景マップとして決定するステップと、前記ターゲットスカイシーン及び前記スカイリージョンのサイズに基づいてスカイ素材図を切り出し、シーンが前記ターゲットスカイシーンに対応し且つサイズが前記スカイリージョンのサイズに対応するターゲットスカイマップを得るステップと、前記ターゲットマスクマップに基づいて前記前景マップと前記ターゲットスカイマップを組み合わせ、前記第１の処理済み画像を得るステップであって、前記第１の処理済み画像内のスカイリージョンが、前記ターゲットスカイマップに置き換えられるステップと、を含む。

【0053】

ここで、処理対象画像内の非スカイリージョンの決定は、確率値が０．８５未満の（他の値であってもよく、又は青チャンネル値を組み合わせて決定する）画素点を非スカイリージョンとして決定することができ、これらの非スカイリージョン画素点を統合する（例えば、散在している点を完全の領域に統合する）ことによって非スカイリージョンを得る。

【0054】

選択可能な一実施形態において、ターゲットスカイマップの取得過程は、以下の通りであってもよい。スカイリージョンの最小矩形のバウンディングボックスを決定し、スカイ素材図からターゲットスカイシーンに対応する候補のスカイ素材図を取得し、アスペクト比を保持したまま、候補のスカイ素材図からターゲットスカイマップを切り出す。さらに、ターゲットスカイマップを切り出す時に中心切り出しの方式（もちろん、他の方式であってもよい）を使用することができ、例えば、前記候補のスカイ素材図の中心点を決定し、当該中心点を中心として矩形のバウンディングボックスの大きさに切り出してターゲットスカイマップを得る。さらに、候補のスカイ素材図を縮小してから切り出すことができ、もちろん、候補のスカイ素材図において切り出しを行い、切り出された画像に対してサイズ縮小処理を行って、ターゲットスカイマップを得る。

【0055】

ターゲットマスクマップに基づいて前景マップとターゲットスカイマップとを組み合わせて処理済み画像を得るための実現過程は、以下の通りであってもよい。１つの空白領域内において処理対象画像のサイズに一致する領域を充填対象領域として決定し、ターゲットマスクマップに基づいて当該充填対象領域においてスカイリージョンを決定し、当該スカイリージョン内にターゲットスカイマップを充填し、残りの領域内に前景マップを充填し、処理済み画像を得る。また、ターゲットマスクマップに基づいて処理対象画像内においてスカイリージョンを決定し、当該スカイリージョン内にターゲットスカイマップを充填し、残りの領域内に前景マップを充填して処理済み画像を得る。領域の充填が完了した後、前景マップとターゲットスカイマップの間に重なる領域が存在する場合、重なる領域内の確率値を統合して最終的な確率値を得て、この最終的な確率値に基づいて領域の充填を完了することができ、例えば、スカイリージョンであると決定された場合（例えば、確率値が０．５より大きい場合）、ターゲットスカイマップを充填し、非スカイリージョンであると決定された場合、前景マップを充填する。処理対象画像を図４に示すものとすると、２つの矩形枠で構成される領域がスカイリージョン４０１を表しており、スカイリージョン４０１は現在虹のシーンである。これを晴れのシーンに置き換えると、図５に示すように、図５から分かるように、虹のシーンのスカイリージョン４０１が晴れのシーンのスカイリージョン５０１に置き換えられており、これを曇りのシーンに置き換えると、図６に示すように、図６から分かるように、虹のシーンのスカイリージョン４０１が曇りのシーンのスカイリージョン６０１に置き換えられている。

【0056】

上記の処理過程から分かるように、スカイリージョンはターゲットスカイマップに置き換えられており、すなわち、建物（前景マップ）を置き換えることなくスカイリージョンの置き換え処理を実現しており、上記のプロセスはスカイリージョンと前景マップを区別して処理することで、画像内容のエイリアシングを効果的に防止し、ユーザの要求を満足しつつ、得られる処理画像のシャープネスを保証することができる。

【0057】

さらに、例示的な一実施例において、前記ターゲットマスクマップ及び前記ターゲットスカイシーンに基づいて前記処理対象画像内のスカイリージョンに対して置き換え処理を行い、第１の処理済み画像を得るステップは、前記ターゲットマスクマップに基づいて、前記処理対象画像から第１の領域、第２の領域及び残りの領域を決定するステップであって、前記第１の領域の内部に含まれる画素点の確率値が１であり、前記第２の領域の内部に含まれる画素点の確率値が０であり、前記残りの領域が、前記処理対象画像から前記第１の領域及び前記第２の領域を除く領域であるステップと、前記第１の領域を前記ターゲットスカイマップに置き換えるステップと、前記第２の領域を前記前景マップに置き換えるステップと、前記残りの領域に対応する確率値、赤チャンネル画素値、緑チャンネル画素値及び青チャンネル画素値に基づいて前記前景マップ及び前記ターゲットスカイマップに対して画素点のカラーチャンネル情報融合を行うステップと、カラーチャンネル情報融合処理後の前記ターゲットスカイマップに基づいて前記第１の処理済み画像を得るステップと、を含む。

【0058】

第１の領域は、スカイリージョンである可能性が高い領域又はスカイリージョンに違いない領域を指すことができ、第２の領域は、スカイリージョンである可能性が高い領域又はスカイリージョンではないに違いない領域を指すことができる。なお、上記の確率値が１である場合、確率値を０．９８、０．９９などの他の値に置き換えてもよく、上記の確率値が０の場合、確率値を０．０２、０．０１などの他の値に置き換えてもよい。

【0059】

カラーチャンネル情報は、ＲＧＢの３つのチャンネルにおける画像の対応する値であってもよく、これらのカラーチャンネル情報によって対応する画素点の色を知ることができる。さらに、カラーチャンネル情報は、あるチャンネル又は複数のチャンネルに対応する値とすることができ、選択可能な一実施形態において、赤チャンネル画素値、緑チャンネル画素値、及び青チャンネル画素値を含むことができる。前景マップとターゲットスカイマップとを融合することは、この２つの部分に対応するカラーチャンネル情報を演算処理することであってもよく、例えば、ポジスタッキング処理、γ変換処理等を行い、処理後に得られたカラーチャンネル情報を対応する画素点のカラーチャンネル情報とする。当該カラーチャンネル情報は、ＲＧＢ値の全部又は一部の情報であってもよい。例えば、ポジスタッキングは、前景マップとターゲットスカイマップに対応する画素点のＲＧＢ値を乗算する処理であってもよく、γ変換処理は、前景マップとターゲットスカイマップに対応する画素点のＲＧＢ値をべき乗する処理であってもよい。

【0060】

例示的な一実施例において、前記ターゲットマスクマップに基づいて前記前景マップと前記ターゲットスカイマップを組み合わせ、前記第１の処理済み画像を得るステップは、前記ターゲットスカイシーンに基づいて前記前景マップの輝度、コントラスト及び彩度のうちの少なくとも１つを調整して、輝度、コントラスト及び彩度が前記ターゲットスカイシーンに一致するターゲット前景マップを得るステップと、前記ターゲットマスクマップに基づいて前記ターゲット前景マップと前記ターゲットスカイマップを組み合わせ、前記第１の処理済み画像を得るステップと、を含む。このような処理によって得られた第１の処理済み画像は、ターゲットスカイシーンのスタイルに適合することができる。また、前景マップに対してフィルタ美化処理を行って、当該ターゲット前景マップを得ることもできる。

【0061】

選択可能な一実施形態において、本実施例の実現過程は以下の通りであってもよい。

【0062】

確率値が１．０の領域に対してターゲットスカイマップを直接使用し、確率値が０．０の領域に対して前景マップを直接使用し、なお、上述した置き換え過程中の画像の位置や角度が対応する領域と一致しなければならず、例えば、垂直な状態にある建物は、第１の処理済み画像に置き換えられた後も垂直な状態にある必要がある。

【0063】

確率値が０．０～１．０の領域の場合、
まず、ターゲットスカイマップと前景マップとを確率値に基づいて融合するが、この融合により得られたある画素点ＡのｍｉｘＲＧＢは以下のようになる。

【0064】

すなわち、ｍｉｘＲＧＢ＝ｓｒｃ＊（１．０－ｍａｓｋ）＋ｓｋｙ＊ｍａｓｋである。ここで、ｓｒｃは前景マップにおける画素点ＡのＲＧＢ値、ｍａｓｋは参照確率マップにおける画素点Ａの確率値、ｓｋｙはターゲットスカイマップにおける画素点ＡのＲＧＢ値を示す。

【0065】

次に、ｍｉｘＲＧＢをポジスタッキングとγ変換で処理してｔｅｍｐＲＧＢを得る。

【0066】

すなわち、ｔｅｍｐＲＧＢ＝ｓｑｒｔ（ｍｉｘＲＧＢ＊ｓｋｙ，０．５）であり、ここで、０．５は予め設定されたパラメータであり、必要に応じて他の値に設定することもできる。

【0067】

最後に、確率値が０．５～１．０の画素点の場合は、次の式を使用して融合する。
ｒｅｓＲＧＢ＝ｓｋｙ＊（２．０＊ｍａｓｋ－１．０）＋ｔｅｍｐＲＧＢ＊（２．０－２．０＊ｍａｓｋ）

【0068】

確率値が０．０～０．５の場合は、次の式を使用して融合する。
ｒｅｓＲＧＢ＝ｔｅｍｐＲＧＢ＊（２．０＊ｍａｓｋ－１．０）＋ｓｒｃ＊（２．０－２．０＊ｍａｓｋ）

【0069】

他の画素点は上記と同様にして融合する。

【0070】

上記の前景マップとターゲットスカイマップを組み合わせる過程は、スカイリージョンであるに違いない領域をターゲットスカイマップに置き換え、スカイリージョンではないに違いない領域を前景マップに置き換え、上記の処理過程を経て、前景マップとターゲットスカイマップの間の領域は処理を行わないと前景が突然スカイリージョンに置き換わってしまうような分断感があり、本実施形態では、中間部分の領域（前景マップでもターゲットスカイマップでもない領域）を融合処理し、融合後の領域に空部分と非空部分のカラーチャンネル情報を統合することで、前景から空への自然な遷移を保証することができ、よりリアルで自然な画像を得ることができる。

【0071】

例示的な一実施例において、スカイリージョン置き換え処理が完了した後、処理済み画像を補正するステップ、例えば、処理済み画像と処理対象画像とを比較し、その中の前景マップ又はターゲットスカイマップに位置、角度のずれがある場合には調整し、エッジ遷移が不自然である場合には調整するステップを含むことができる。このようにして、最終的に出力される処理済み画像が高い精度とスカイリージョン置き換え効果を持つことができ、写真成功率を向上させることができる。

【0072】

例示的な一実施例において、処理対象画像に対して画像分割処理を行い、画像分割処理結果に基づいて初期マスクマップを得るステップは、予めトレーニングされたニューラルネットワークモデルを介して前記処理対象画像に対して画像分割処理を行い、画像分割処理結果を得るステップと、画像分割処理結果に基づいて前記処理対象画像における各画素点がスカイリージョン内の画素点に属する確率値を決定するステップと、前記処理対象画像における各画素点の確率値に基づいて前記初期マスクマップを得るステップと、を含む。

【0073】

ここで、ニューラルネットワークモデルは、ＣＮＮ（畳み込みニューラルネットワーク）モデルなどであってもよい。選択可能な一実施形態において、当該ニューラルネットワークは、ｕ－ｎｅｔ、ｕ－ｎｅｔバリアント、ｉｃ－ｎｅｔ、ｄｅｅｐｌａｂシリーズなどであってもよい。

【0074】

さらに、例示的な一実施例において、予めトレーニングされたニューラルネットワークモデルを介して前記処理対象画像に対して画像分割処理を行う前記ステップは、前記処理対象画像のサイズを予め設定されたサイズに縮小するステップと、サイズが縮小された処理対象画像に対して正規化処理を行うステップと、正規化処理された前記処理対象画像に対して予めトレーニングされたニューラルネットワークによって画像分割処理を行うステップと、を含む。

【0075】

ここで、予め設定されたサイズは、実際の状況に応じて設定することができ、例えば５１２＊５１２、７６８＊７６８などである。正規化処理は次のようになる。写真サンプルを取得し、これらの画像サンプルの各画素点のＲＧＢ値の平均値と分散値を決定し、処理対象画像の各画素点のＲＧＢ値から当該平均値を減算し、当該分散値で除算することにより、機械学習と特徴学習をよりよく行い、さらに処理対象画像の各画素点がスカイリージョン画素点に属するか否かを分類して確率マップを得る。

【0076】

ニューラルネットワークモデルは、予め決定されたトレーニング画像によってトレーニングされてもよく、トレーニングされたニューラルネットワークモデルは、処理対象画像に対してダウンサンプリングを行って、その中の特徴情報を抽出し、特徴情報を解析して画像分割処理結果を出力することができ、その際、コンピュータ装置は、画像分割処理結果に基づいて各画素点がスカイリージョンに属する確率値を決定し、さらに初期マスクマップを得ることができる。ニューラルネットワークモデルは処理対象画像内の特徴情報を十分に分析し、従来のｇｒａｐｈｃｕｔの画像分割方法に比べて、この機械学習の方式はより正確に処理対象画像を分割処理し、さらに正確な確率マップを得ることができる。

【0077】

上記の実施例では、処理対象画像を取得すると、それに対して前処理を行ってからニューラルネットワークモデルにより分割ネットワーク処理を行って初期マスクマップを得て、さらに、初期マスクマップに基づいて処理対象画像からスカイリージョンを正確に認識する（後処理過程と理解できる）。分割ネットワークと後処理を結合し、ニューラルネットワークモデルの正確な分割の効果を保持した上で、正確なスカイリージョンと非スカイリージョンの後処理を行い、最終的なスカイリージョン置き換え処理をより正確にする。

【0078】

例示的な一実施例において、前記初期マスクマップに基づいて前記処理対象画像が予め設定されたスカイリージョンの置き換え条件を満たすか否かを決定するステップは、前記初期マスクマップに基づいて前記処理対象画像が以下の少なくとも１つを満たすか否かを決定し、以下の少なくとも１つを満たしている場合、前記処理対象画像がスカイリージョンの置き換え条件を満たさないと判定し、以下のいずれか１つを満たしていない場合、前記処理対象画像がスカイリージョンの置き換え条件を満たすと判定するステップを含み、前記処理対象画像におけるスカイリージョンの第１の占有率を決定し、前記第１の占有率が予め設定された第４の閾値より小さい場合、スカイリージョンが小さすぎると判定し、前記処理対象画像における信頼できない領域の第２の占有率を決定し、前記第２の占有率が予め設定された第５の閾値より大きい場合、信頼できないと判定し、ここで、前記信頼できない領域は、各画素点の確率値が中央区間にある領域であり、前記中央区間が前記確率値の中央値及び前記中央値の近傍値から構成されており、前記処理対象画像内のスカイリージョンの平均輝度を決定し、前記平均輝度が予め設定された第６の閾値より小さい場合、夜のシーンであると判定し、前記処理対象画像におけるターゲットダークチャンネル領域の第３の占有率を決定し、前記第３の占有率が予め設定された第７の閾値より大きい場合、霧のシーンであると判定し、ここで、前記ターゲットダークチャンネル領域は、スカイリージョン内の、ダークチャンネル値が第８の閾値より小さい画素点が存在する領域である。

【0079】

第４、第５、第６、第７、第８の閾値の大きさは、実際の状況に応じて決定することができ、例えば、第４の閾値は０．９、第５の閾値は０．１、第６の閾値は０．３ｃｄ／ｍ^２、第７の閾値は０．４、第８の閾値は０．８とすることができる。

【0080】

確率値が１の画素点は、スカイリージョンに属するに違いないと理解することができ、確率値が０の画素点はスカイリージョンに属さないに違いないと理解することができるが、中間の確率値（例えば、０．５）の画素点についてはスカイリージョンに属す可能性もあれば属さない可能性もあり、この部分の画素点は不確定な領域、すなわち信頼できない領域に属する。選択可能な一実施形態において、信頼できない領域は、確率値が０．３～０．７の間にある領域であってもよい（区間の境界値は他の値であってもよい）。なお、本願の実施例において、スカイリージョンを決定する必要がある場合には、現在のステップで得られた確率マップから、確率値が０．９（他の値であってもよい）より大きい領域をスカイリージョンとして抽出することができ、異なる実施例におけるスカイリージョンは同一であっても異なっていてもよい。

【0081】

処理対象画像内のスカイリージョンの平均輝度を決定するための実現過程としては、初期マスクマップ内の確率値が０．９より大きい領域に対応する原図（処理対象画像）領域の平均グレースケール値を計算してもよい。

【0082】

スカイリージョンのダークチャンネル値を決定した後（ＲＧＢマップの場合、ダークチャンネル値はＲＧＢの３つの値のうちの最小値であり、例えば、Ｒ／Ｇ／Ｂがそれぞれ１０／２０／３０であれば、ダークチャンネル値は１０になる）、ダークチャンネルマップを得ることができ、ダークチャンネルマップに基づいて処理対象画像が曇りのシーンであるか否かを判定する（ダークチャンネル値がある閾値よりも小さい領域の占有率が第７の閾値よりも大きい場合には曇りのシーンであるとみなす）。ここで、ターゲットダークチャンネル領域の第３の占有率は、ダークチャンネル値の統計情報として理解することができる。

【0083】

選択可能な一実施形態において、上記の実施例の実現過程は、以下の通りであってもよい。
（１）初期マスクマップに基づいて、処理対象画像におけるスカイリージョンの画像全体における第１の占有率を統計し、第１の占有率が０．９未満であればスカイリージョンが小さすぎると判断し、
（２）初期マスクマップに基づいて処理対象画像におけるスカイリージョンの平均輝度を統計し、平均輝度が閾値０．３ｃｄ／ｍ^２より小さければ夜景と判定し、
（３）初期マスクマップに基づいて、処理対象画像における確率値が０．３～０．７の領域の画像全体における第２の占有率を統計し、第２の占有率が閾値０．１より大きい場合に初期マスクマップが信頼できないと判断し、
（４）初期マスクマップに基づいて処理対象画像におけるスカイリージョンのダークチャンネルマップを得て、ダークチャンネルマップの統計情報に基づいて霧であるか否かを判断し、ターゲットダークチャンネル値の第３の占有率が０．８未満であれば、霧のシーンであると判定する。

【0084】

上記のいずれかの条件が満たされていれば、処理対象画像はスカイリージョンの置き換え処理を行うのに不適である、すなわち、スカイリージョンの置き換え処理を行うのに不適であると判定することができ、そうでなければ、上記の条件がいずれも満たされていなければ（又は、そのほとんどが満たされていなければ）、スカイリージョンの置き換え処理を行うのに適していると考えられ、以降のスカイリージョンの置き換え処理を行うことができる。

【0085】

さらに、例示的な一実施例において、前記初期マスクマップに基づいて前記処理対象画像が予め設定されたスカイリージョンの置き換え条件を満たすか否かを決定するステップの後、スカイリージョンの置き換え条件を満たしていない場合、前記ターゲットスカイシーンに基づいてターゲットフィルタツールを取得し、前記ターゲットフィルタツールを介して前記処理対象画像に対してフィルタ処理を行い、第２の処理済み画像を得るステップをさらに含む。

【0086】

選択可能な一実施形態において、処理対象画像がスカイリージョンの置き換え条件を満たしていない場合、予め設定されたターゲットスカイシーンを取得ことと、前記ターゲットスカイシーンに対応する統合フィルタを選択することと、前記統合フィルタによって前記処理対象画像を処理して第２の処理済み画像を得ることという処理を行うことができる。

【0087】

例示的な一実施例において、図７に示すように、画像処理方法を提供し、前記画像処理方法は以下のステップＳ７０１～Ｓ７１２を含む。

【0088】

Ｓ７０１、予めトレーニングされたニューラルネットワークモデルを介して処理対象画像に対して画像分割処理を行い、画像分割処理結果に基づいて前記処理対象画像における各画素点がスカイリージョン内の画素点に属する確率値を決定し、前記確率値に基づいて初期マスクマップを得る。

【0089】

Ｓ７０２、前記初期マスクマップに基づいて前記処理対象画像が予め設定されたスカイリージョンの置き換え条件を満たすか否かを決定し、スカイリージョンの置き換え条件を満たしている場合、Ｓ７０３を実行し、スカイリージョンの置き換え条件を満たしていない場合、Ｓ７１２を実行する。

【0090】

Ｓ７０３、前記処理対象画像における各画素点の青チャンネル画素値を取得する。

【0091】

Ｓ７０４、前記初期マスクマップ内の青チャンネル画素値がターゲット分布区間にあり、かつ前記確率値が第１の閾値より大きい画素点を第１の画素点として決定する。

【0092】

Ｓ７０５、前記初期マスクマップ内の青チャンネル画素値がターゲット青チャンネル画素値より小さい画素点を第２の画素点として決定する。

【0093】

Ｓ７０６、前記第１の画素点の確率値を１に設定し、前記第２の画素点の確率値を半分にして基準マスクマップを得る。

【0094】

Ｓ７０７、前記処理対象画像のグレースケールマップを取得し、前記グレースケールマップ内の各画素点のグレースケール値をガイドとして前記基準マスクマップに対してガイドフィルタリング処理を行い、ターゲットマスクマップを得る。

【0095】

Ｓ７０８、前記ターゲットマスクマップに基づいて、前記処理対象画像から第１の領域、第２の領域、残りの領域を決定する。

【0096】

Ｓ７０９、前記ターゲットスカイシーン及び前記スカイリージョンのサイズに基づいてスカイ素材図を切り出し、シーンが前記ターゲットスカイシーンに対応し且つサイズが前記スカイリージョンのサイズに対応するターゲットスカイマップを得る。

【0097】

Ｓ７１０、前記処理対象画像内の非スカイリージョンを前景マップとして決定する。

【0098】

Ｓ７１１、前記第１の領域を前記ターゲットスカイマップに置き換え、前記第２の領域を前記前景マップに置き換え、前記残りの領域に対応する確率値、赤チャンネル画素値、緑チャンネル画素値及び青チャンネル画素値に基づいて前記前景マップ及び前記ターゲットスカイマップに対して画素点のカラーチャンネル情報融合を行い、カラーチャンネル情報融合処理後の前記ターゲットスカイマップに基づいて前記第１の処理済み画像を得る。

【0099】

Ｓ７１２、前記ターゲットスカイシーンに基づいてターゲットフィルタツールを取得し、前記ターゲットフィルタツールを介して前記処理対象画像に対してフィルタ処理を行い、第２の処理済み画像を得る。

【0100】

上記の画像処理方法では、処理対象画像に対して画像分割処理を行い、処理対象画像内の各画素点がスカイリージョンに属する確率値を含む初期マスクマップを正確に得て、初期マスクマップ内の当該スカイリージョンに対応する画素点に対して、処理対象画像内の各画素点の青チャンネル画素値に基づいて確率値増加処理を行い、基準確率マップを得て、得られた基準確率マップはスカイリージョンと非スカイリージョンとの確率値の差をさらに拡大し、基準確率マップに基づいて処理対象画像内のスカイリージョンを正確に認識することができるので、スカイリージョンの置き換え処理によって得られた処理済み画像は精度が高く、スカイ置き換えが自然であり、スカイ置き換えの写真成功率が高い。

【0101】

例示的な実施例において、図８に示すように、画像処理方法を提供し、当該方法は、モバイル端末に適用され、以下のステップを含む。

【0102】

一、ＣＮＮ分割ネットワークを利用してトリミングする。
１、画像の前処理を行う：処理対象画像を固定サイズに縮小してから、正規化する。
２、分割ネットワークへの送出処理：前処理後の処理対象画像を分割ネットワークに送出して確率マップを得る。

【0103】

二、分割ネットワーク出力に基づいて後処理を行う。
１、確率マップに基づいて、処理対象画像がスカイ置き換えに適しているか否かを判定する。
２、スカイ置き換えに適していない場合、ターゲットスカイシーンに基づいて対応する統合フィルタを選択して処理対象画像に作用して処理済み画像を直接得る。
３、スカイ置き換えに適している場合、
（１）統計情報に基づく確率マップの最適化：確率値＞０．９５の領域における処理対象画像の青チャンネルの最小値ｍｉｎＢｌｕｅを統計し、確率値＞０．９の領域における処理対象画像の青チャンネルのヒストグラムを計算し、ヒストグラムに基づいて青チャンネルの画素値が最も多い区間Ｑｉを計算し、確率マップ内の青チャンネルがｍｉｎＢｌｕｅより小さい領域に対応する確率値を半分にし、確率マップ内の確率値が０．５より大きく、青チャンネルがＱｉ区間に属する確率値を１．０に設定する。
（２）ガイドフィルタリングぼかし：処理対象画像をＲＧＢマップからグレースケールマップに変換し、その後、グレースケールマップをガイドマップとして最適化された確率マップに対してガイドフィルタリングを行い、ぼかし確率マップを得る。
（３）スカイ素材の切り出し：ぼかし確率マップに基づいて処理対象画像内のスカイリージョンの最小矩形のバウンディングボックスを計算し、アスペクト比を保持したまま、スカイ素材を矩形のバウンディングボックスの大きさに中心切り出しを行い且つ縮小する。
（４）前景の適応調整：ターゲットスカイシーンに基づいて処理対象の画像内の前景マップの輝度、コントラスト、彩度を素材のスタイルに合わせて調整する。次に、ターゲットスカイシーンに対応する前景フィルタを使用して美化して最終的に使用される前景マップを得る。
（５）セグメント融合：ぼかし確率マップに基づいて調整後の前景マップと切り出した後のスカイ素材を融合する。
（６）ターゲットスカイシーンに基づいて対応する全体フィルタを選択し、当該全体フィルタにより融合後の画像を処理して処理済み画像を得る。

【0104】

上記の実施例は、以下の技術的効果を有する。
１）ＡＩ分割モデルと後処理における分割結果最適化を組み合わせることで、スカイリージョンの正確なトリミングをよりよく行うことができ、空の中の電線が失われたり、木の穴中の空が置き換えられていなかったりするなど、トリミングミスによる瑕疵を効果的に回避することができる。
２）後処理では、新たなスカイリージョンと原図の背景を融合するには、セグメント化されたレイヤのエイリアシングとセグメント化された線形融合の方式を採用して、合成画像の空と空以外の場所での遷移をリアルで自然にする、
３）素材のタイプ（ターゲットスカイシーン）に基づいて非スカイリージョン、すなわち前景マップに的を絞って調整して、最後に全体的に調色して、最終的な効果図の統一と美観を確保する。
４）以上の３点を総合して、高い写真成功率の自然でリアルなスカイ切り替えの効果が実現され、ユーザがモバイル端末で屋外のスカイの写真を処理するためのワンタッチでトリミングするという体験を大幅に向上させる。

【0105】

なお、図２、図７、図８のフローチャート中の各ステップは、矢印の指示に従って順次に表示されているが、これらのステップは必ずしも矢印で示された順序で順次に実行されるわけではない。本明細書に明確的に記載されていない限り、これらのステップの実行には厳密な順序制限はなく、これらのステップは別の順序で実行されてもよい。さらに、図２、図７、図８中のステップの少なくとも一部は、複数のステップ又は複数の段階を含むことができ、これらのステップ又は段階は、必ずしも同じ時間に実行されて完了するのではなく、異なる時間に実行されてもよく、これらのステップ又は段階の実行順序は、必ずしも順次に行われるのでもなく、他のステップ又は他のステップ内のステップ又は段階の少なくとも一部と交替で又は交互に実行されてもよい。

【0106】

図９は、例示的な実施例に係る画像処理装置９００のブロック図である。図９を参照すると、当該装置は、マスクマップ決定ユニット９０１と、ガイドフィルタリングユニット９０２と、スカイシーン取得ユニット９０３と、スカイリージョン置き換えユニット９０４と、を備える。

【0107】

マスクマップ決定ユニット９０１は、処理対象画像に対して画像分割処理を行い、画像分割処理結果に基づいて初期マスクマップを得るように構成され、前記初期マスクマップには前記処理対象画像内の各画素点がスカイリージョン内の画素点に属する確率値が含まれている。

【0108】

ガイドフィルタリングユニット９０２は、前記初期マスクマップに基づいて前記処理対象画像が予め設定されたスカイリージョンの置き換え条件を満たすか否かを決定するように構成され、前記スカイリージョンの置き換え条件を満たしている場合、前記処理対象画像のグレースケールマップをガイドマップとして前記初期マスクマップに対してガイドフィルタリング処理を行い、ターゲットマスクマップを得る。

【0109】

スカイシーン取得ユニット９０３は、ターゲットスカイシーンを取得するように構成され、前記ターゲットスカイシーンが、予め設定されたスカイシーン素材から選択される。

【0110】

スカイリージョン置き換えユニット９０４は、前記ターゲットマスクマップ及び前記ターゲットスカイシーンに基づいて前記処理対象画像内のスカイリージョンに対して置き換え処理を行い、第１の処理済み画像を得るように構成される。

【0111】

例示的な一実施例において、前記ガイドフィルタリングユニットは、前記処理対象画像内の各画素点の青チャンネル画素値を取得するように構成される画素値取得サブユニットと、前記初期マスクマップ内の青チャンネル画素値がターゲット分布区間にあり、かつ前記確率値が第１の閾値より大きい画素点を第１の画素点として決定するように構成される第１の画素点決定サブユニットであって、前記ターゲット分布区間は、予め設定された複数の区間のうち、第１の評価領域内の各画素点の青チャンネル画素値の数が最も多い区間であり、前記第１の評価領域が、前記初期マスクマップ内の前記確率値が第２の閾値より大きい画素点が存在する領域であり、前記第２の閾値が前記第１の閾値より大きい第１の画素点決定サブユニットと、前記初期マスクマップ内の青チャンネル画素値がターゲット青チャンネル画素値より小さい画素点を第２の画素点として決定するように構成される第２の画素点決定サブユニットであって、前記ターゲット青チャンネル画素値が第２の評価領域内の各画素点の青チャンネル画素値の最小値であり、前記第２の評価領域は前記初期マスクマップ内の前記確率値が第３の閾値より大きい画素点が存在する領域であり、前記第３の閾値が前記第２の閾値より大きい第２の画素点決定サブユニットと、前記第１の画素点の確率値を増加させ、前記第２の画素点の確率を減少させることにより、基準マスクマップを得るように構成される確率値処理サブユニットと、前記処理対象画像のグレースケールマップをガイドマップとして前記基準マスクマップに対してガイドフィルタリング処理を行い、前記ターゲットマスクマップを得るように構成されるガイドフィルタリングサブユニットと、を含む。

【0112】

例示的な一実施例において、前記ガイドフィルタリングサブユニットは、前記第１の画素点の確率値を１に設定するように構成される第１の確率値設定モジュールと、前記第２の画素点の確率値を半分にするように構成される第２の確率値設定モジュールと、を含む。

【0113】

例示的な一実施例において、前記スカイリージョン置き換えユニットは、前記処理対象画像内の非スカイリージョンを前景マップとして決定するように構成される前景マップ決定サブユニットと、前記ターゲットスカイシーン及び前記スカイリージョンのサイズに基づいてスカイ素材図を切り出し、シーンが前記ターゲットスカイシーンに対応し且つサイズが前記スカイリージョンのサイズに対応するターゲットスカイマップを得るように構成されるスカイ素材切り出しサブユニットと、前記ターゲットマスクマップに基づいて前記前景マップと前記ターゲットスカイマップを組み合わせ、前記第１の処理済み画像を得るように構成される第１の前景組み合わせサブユニットであって、前記第１の処理済み画像内のスカイリージョンが、前記ターゲットスカイマップに置き換えられる第１の前景組み合わせサブユニットと、を含む。

【0114】

例示的な一実施例において、前記スカイリージョン置き換えユニットは、前記ターゲットマスクマップに基づいて、前記処理対象画像から第１の領域、第２の領域及び残りの領域を決定するように構成される領域決定サブユニットであって、前記第１の領域の内部に含まれる画素点の確率値が１であり、前記第２の領域の内部に含まれる画素点の確率値が０であり、前記残りの領域が、前記処理対象画像から前記第１の領域及び前記第２の領域を除く領域である領域決定サブユニットと、前記第１の領域を前記ターゲットスカイマップに置き換えるように構成されるスカイマップ置き換えサブユニットと、前記第２の領域を前記前景マップに置き換えるように構成される前景マップ置き換えサブユニットと、前記残りの領域に対応する確率値、赤チャンネル画素値、緑チャンネル画素値及び青チャンネル画素値に基づいて前記前景マップ及び前記ターゲットスカイマップに対して画素点のカラーチャンネル情報融合を行うように構成されるチャンネル情報融合サブユニットと、カラーチャンネル情報融合処理後の前記ターゲットスカイマップに基づいて前記第１の処理済み画像を得るように構成される処理済み画像取得サブユニットと、をさらに含む。

【0115】

例示的な一実施例において、前記スカイリージョン置き換えユニットは、ターゲットスカイシーンに基づいて前記前景マップの輝度、コントラスト及び彩度のうちの少なくとも１つを調整して、輝度、コントラスト及び彩度が前記ターゲットスカイシーンに一致するターゲット前景マップを得るように構成される前景マップ調整サブユニットと、前記ターゲットマスクマップに基づいて前記ターゲット前景マップと前記ターゲットスカイマップを組み合わせ、前記第１の処理済み画像を得るように構成される第２の前景組み合わせサブユニットと、をさらに含む。

【0116】

例示的な一実施例において、前記ガイドフィルタリングユニットは、前記初期マスクマップに基づいて前記処理対象画像が以下の少なくとも１つの予め設定された条件を満たすか否かを決定するようにも構成され、以下の少なくとも１つの予め設定された条件を満たしている場合、前記処理対象画像がスカイリージョンの置き換え条件を満たさないと判定し、以下のいずれか１つの予め設定された条件を満たしていない場合、前記処理対象画像がスカイリージョンの置き換え条件を満たすと判定し、
予め設定された条件１：前記処理対象画像におけるスカイリージョンの第１の占有率が予め設定された第４の閾値より小さく、
予め設定された条件２：前記処理対象画像における信頼できない領域の第２の占有率が予め設定された第５の閾値より大きく、ここで、前記信頼できない領域は、各画素点の確率値が中央区間にある領域であり、前記中央区間が前記確率値の中央値及び前記中央値の近傍値から構成されており、
予め設定された条件３：前記処理対象画像内のスカイリージョンの平均輝度が予め設定された第６の閾値より小さく、
予め設定された条件４：前記処理対象画像におけるターゲットダークチャンネル領域の第３の占有率が予め設定された第７の閾値より大きく、ここで、前記ターゲットダークチャンネル領域は、スカイリージョン内の、ダークチャンネル値が第８の閾値より小さい画素点が存在する領域である。

【0117】

例示的な一実施例において、前記画像処理装置は、スカイリージョンの置き換え条件を満たしていない場合、前記ターゲットスカイシーンに基づいてターゲットフィルタツールを取得し、前記ターゲットフィルタツールを介して前記処理対象画像に対してフィルタ処理を行い、第２の処理済み画像を得るように構成されるフィルタ処理ユニットをさらに含む。

【0118】

上記の実施例における装置について、各モジュールが動作を実行する具体的な態様については、当該方法に係わる実施例において詳細に説明したが、ここでは詳細に説明しない。

【0119】

例示的な一実施形態では、命令を含む非一時的なコンピュータ読み取り可能な記録媒体、例えば命令を含むメモリ１０２をさらに提供し、上記の命令は、上記方法を完了するように、機器１００のプロセッサ１０９によって実行されてもよい。例えば、前記非一時的なコンピュータ読み取り可能な記録媒体は、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ－ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、及び光データ記憶装置などとすることができる。

【0120】

本願の実施例の第５の態様によれば、コンピュータプログラムを含むコンピュータプログラム製品が提供され、前記コンピュータプログラムは、読み取り可能な記録媒体に記憶されており、機器の少なくとも１つのプロセッサは、前記読み取り可能な記録媒体から前記コンピュータプログラムを読み取って実行し、機器に以上の実施例に記載の画像処理方法を実行させる。

【0121】

当業者は、明細書を考慮して本明細書に開示された発明を実施した後に、本願の他の実施態様を容易に想到し得る。本願は、本願の一般原理に従い且つ本願に開示されていない技術分野における公知の常識又は慣用技術的手段を含む本願のあらゆる変形、用途又は適応的変化をカバーすることを意図している。明細書及び実施形態は例示的なものとしてのみ扱われ、本願の真の範囲及び精神は以下の請求項によって示される。

【0122】

なお、本願は、上記で説明され図面に示された正確な構造に限定されず、その範囲を逸脱することなく様々な修正及び変更を実施することができる。本願の範囲は、添付の特許請求の範囲のみによって限定される。

【図1】