IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 影石創新科技股▲ふん▼有限公司の特許一覧

特許7247236パノラマ画像のスカイフィルタ方法及び携帯端末
<>
  • 特許-パノラマ画像のスカイフィルタ方法及び携帯端末 図1
  • 特許-パノラマ画像のスカイフィルタ方法及び携帯端末 図2
  • 特許-パノラマ画像のスカイフィルタ方法及び携帯端末 図3
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-17
(45)【発行日】2023-03-28
(54)【発明の名称】パノラマ画像のスカイフィルタ方法及び携帯端末
(51)【国際特許分類】
   G06T 3/00 20060101AFI20230320BHJP
【FI】
G06T3/00 710
【請求項の数】 5
(21)【出願番号】P 2020573130
(86)(22)【出願日】2019-07-02
(65)【公表番号】
(43)【公表日】2021-10-21
(86)【国際出願番号】 CN2019094450
(87)【国際公開番号】W WO2020007307
(87)【国際公開日】2020-01-09
【審査請求日】2021-03-01
(31)【優先権主張番号】201810711718.X
(32)【優先日】2018-07-03
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】520159673
【氏名又は名称】影石創新科技股▲ふん▼有限公司
【氏名又は名称原語表記】ARASHI VISION INC.
【住所又は居所原語表記】Room 1101, 1102, 1103, 11th Floor, Building 2, Jinlitong Financial Center, 1100 Xingye Road, Haiwang Community, Xin’an Street, Bao’an District, Shenzhen, Guangdong 518000, China
(74)【代理人】
【識別番号】110002262
【氏名又は名称】TRY国際弁理士法人
(72)【発明者】
【氏名】高 瑞東
(72)【発明者】
【氏名】周 迎
【審査官】豊田 好一
(56)【参考文献】
【文献】特開2003-157438(JP,A)
【文献】特開2004-240732(JP,A)
【文献】特開2010-041288(JP,A)
【文献】中国特許出願公開第105528575(CN,A)
【文献】中国特許出願公開第103927720(CN,A)
【文献】特表2007-517315(JP,A)
【文献】特開2013-026939(JP,A)
【文献】特開2016-092518(JP,A)
【文献】国際公開第2016/199209(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 3/00
(57)【特許請求の範囲】
【請求項1】
パノラマ画像のスカイフィルタ方法であって、前記方法は、
幾つかのスカイ領域を有するパノラマ画像を取得してデータセットとするとともに、データセットにおける各パノラマ画像のスカイ領域と地面領域との境界を構成する画素とスカイ領域を構成する画素と地面領域を構成する画素に着目してスカイ領域と地面領域の画素をマーキングして、データセットにおける各パノラマ画像に対応するマーキングされたマスク画像を取得し、スカイのパノラマテンプレート画像を取得するステップと、
マーキングされたマスク画像に従って、データセットにおける各パノラマ画像のスカイ領域と地面領域の特徴をそれぞれ抽出するとともに、各パノラマ画像の正のサンプルと負のサンプルをマーキングするステップと、
データセットにおける各パノラマ画像の正のサンプルと負のサンプルを順にサポートベクターマシンSVMに入力してトレーニングして、モデルを取得するステップと、
テストパノラマ画像の特徴を抽出してモデルに入力して、スカイ領域と地面領域がマーキングされた初期マスク画像を取得するステップと、
初期マスク画像における誤分類画素と誤分類領域を除去して、対応する精確マスク画像を取得するステップと、
マルチ解像度融合アルゴリズムを用いて、精確マスク画像に基づいてスカイのパノラマテンプレート画像とテストパノラマ画像を融合して、スカイフィルタの効果を実現するステップであって、マルチ解像度融合アルゴリズムを用いてスカイのパノラマテンプレート画像とテストパノラマ画像をそれぞれラプラスピラミッド(Laplacian pyramid)に構築し、前記精確マスク画像をガウスピラミッド(Gaussian Pyramid)に構築し、且つ構築されたガウスピラミッドに従って構築されたパノラマテンプレート画像のラプラスピラミッドとテストパノラマ画像のラプラスピラミッドをレイヤーごとに合併し、融合して再構築した画像を取得し、スカイフィルタの効果を実現するステップと、
を含み、
前記特徴は、第1の特徴セットと第2の特徴セットを含み、前記第1の特徴セットは、Rチャンネル値、Gチャンネル値、Bチャンネル値、及び局部領域のウィンドウ内の分散を含み、前記第2の特徴セットは、B/G値、B/R値、及び行座標と分散の積を含み、スカイ領域の第1の特徴セットと第2の特徴セットを正のサンプルにマーキングし、地面領域の第1の特徴セットと第2の特徴セットを負のサンプルにマーキングし、
前記初期マスク画像における誤分類画素と誤分類領域を除去して、対応する精確マスク画像を取得するステップは、
初期マスク画像を中央値フィルタリングし、スカイ領域が画像の上部分に位置するものと、地面領域が画像の下部分に位置するというアプリオリ知識に基づいて、誤分類の単一の画素をフィルタリングするステップと、
重み付けグラフを利用して初期マスク画像を更に畳み込み演算するとともに、閾値化して、ノイズを除去した初期マスク画像を取得するステップと、
スカイ領域と地面領域における誤分類領域を除去して、精確マスク画像を取得するステップと、を含み、
前記スカイ領域と地面領域における誤分類領域を除去して、精確マスク画像を取得するステップは、具体的には、
two-passアルゴリズムを利用して初期マスク画像に対して連結領域検出を行なって、画像上部におけるスカイ領域の各連結領域の面積を計算してS1とし、スカイの最小面積閾値をth1に設定し、スカイ領域の各連結領域の面積と最小面積閾値th1との大小比較によって各連結領域がスカイ領域に属するか否かを、以下の判断規則によって区分し、
ここで、S1は、スカイ領域の各連結領域の画素の個数であり、最小面積閾値th1は、画像面積の1/40であり、
画像下部における地面領域の各連結領域の面積を計算してS2とし、地面の最小面積閾値をth2に設定し、地面領域の各連結領域の面積と最小面積閾値th2との大小比較によって各地面領域がスカイ領域に属するか否かを、以下の判断規則によって区分し、

ここで、S2は、地面領域の各連結領域の画素の個数であり、最小面積閾値th2は、最大地面の連結領域面積の1/2であり、
上記区分によってスカイ領域の精確マスク画像を取得し、スカイ領域の検出を完成する、ことである、
ことを特徴とする方法。
【請求項2】
前記マーキングされたマスク画像におけるスカイ領域の画素値は、1にマーキングされ、地面領域の画素値は、0にマーキングされる、
ことを特徴とする請求項1に記載の方法。
【請求項3】
前記初期マスク画像を中央値フィルタリングし、スカイが画像の上部分に位置するものと、地面が画像の下部分に位置するというアプリオリ知識に基づいて、誤分類の単一の画素をフィルタリングするステップは、
画素点(x,y)の重み付け値をpに設定することであり、pは、以下の式を用いて表し、

ことを特徴とする請求項1に記載の方法。
【請求項4】
コンピュータ読み取り可能な記録媒体であって、前記コンピュータ読み取り可能な記録媒体にプログラムが記憶され、前記プログラムは、プロセッサーによって実行される場合、請求項1~3の何れかに記載のパノラマ画像のスカイフィルタ方法のステップを実現する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項5】
1つ又は複数のプロセッサーと、
記憶装置と、
1つ又は複数のプログラムと、を含む携帯端末であって、
前記1つ又は複数のプログラムは、前記記憶装置に記憶され、且つ、前記1つ又は複数のプロセッサーによって実行されるように配置され、前記プロセッサーは、前記プログラムを実行する場合、請求項1~3の何れかに記載のパノラマ画像のスカイフィルタ方法のステップを実現する、
ことを特徴とする携帯端末。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理の分野に属し、特に、パノラマ画像のスカイフィルタ方法及び携帯端末に関する。
【背景技術】
【0002】
スカイフィルタ(sky filter)技術は、迫真の自然スカイ効果を作成することができ、画像のスカイ背景を希望するスカイ効果に置き換えさせ、よりリアルな画像感を生じることができる。スカイフィルタ技術の実現効果は、スカイ検出アルゴリズムの正確率と緊密に関連する。
【0003】
従来の色アプリオリ(a-priori)に基づくスカイ識別アルゴリズムの速度はより速いが、識別の精度はより低い。これは、スカイが異なる時間帯と気象条件の場合、スカイの色が顕著な変化を発生するため、色に基づくスカイ識別アルゴリズムは、スカイの色の変化を適応できない。勾配アプリオリに基づくスカイ識別アルゴリズムは、スカイ領域の勾配変化が緩やかであると仮定する。当該アルゴリズムは、エネルギー関数を構築して最適化することによって、画像に勾配がより平滑な連続領域を得られ、即ち、スカイ領域である。然し、スカイに雲がある場合には、スカイに明らかな勾配変化があり、当該アルゴリズムの仮説は、成り立たない。これにより、勾配に基づくスカイ識別アルゴリズムは、スカイに雲や太陽などの付着物がある場合には適用できない。その原因を求め、上記のアルゴリズムは、スカイを検出する時に、有限なアプリオリ知識を利用する限りに、多様なスカイ変化をカバーすることはできない。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、パノラマ画像のスカイフィルタ方法、コンピュータ読み取り可能な記録媒体及び携帯端末を提供し、画像におけるスカイを異なるスカイ背景に置き換えさせ、画像と一体になる迫真のスカイを生成し、従来のスカイ検出アルゴリズムの正確率が低い欠陥を高め、より迫真のスカイフィルタの効果を実現することを目的とする。
【0005】
第1の態様では、本発明は、パノラマ画像のスカイフィルタ方法を提供し、前記方法は、
幾つかのスカイ領域を有するパノラマ画像を取得してデータセットとするとともに、データセットにおける各パノラマ画像のスカイ領域と地面領域をマーキングして、データセットにおける各パノラマ画像に対応するマーキングされたマスク画像を取得し、スカイのパノラマテンプレート画像を取得するステップと、
マーキングされたマスク画像に従って、データセットにおける各パノラマ画像のスカイ領域と地面領域の特徴をそれぞれ抽出するとともに、各パノラマ画像の正のサンプルと負のサンプルをマーキングするステップと、
データセットにおける各パノラマ画像の正のサンプルと負のサンプルを順にサポートベクターマシンSVMに入力してトレーニングして、モデルを取得するステップと、
テストパノラマ画像の特徴を抽出してモデルに入力して、スカイの画素と地面の画素がマーキングされた初期マスク画像を取得するステップと、
初期マスク画像における誤分類画素点と誤分類領域を除去して、対応する精確マスク画像を取得するステップと、
精確マスク画像を取得するに対して、マルチ解像度融合アルゴリズムを用いてスカイのパノラマテンプレート画像とテストパノラマ画像を融合して、スカイフィルタの効果を実現するステップと、を含む。
【0006】
オプションで、前記マーキングされたマスク画像におけるスカイ領域の画素値は、1にマーキングされ、地面領域の画素値は、0にマーキングされる。
【0007】
オプションで、前記特徴は、第1の特徴セットと第2の特徴セットを含み、前記第1の特徴セットは、Rチャンネル値、Gチャンネル値、Bチャンネル値、及び局部領域のウィンドウ内の分散を含み、前記第2の特徴セットは、B/G値、B/R値、及び行座標と分散の積を含み、スカイ領域の第1の特徴セットと第2の特徴セットを正のサンプルにマーキングし、地面領域の第1の特徴セットと第2の特徴セットを負のサンプルにマーキングする。
【0008】
オプションで、前記初期マスク画像における誤分類画素点と誤分類領域を除去して、対応する精確マスク画像を取得するステップは、具体的には、
初期マスク画像を中央値フィルタリングし、スカイが画像の上部分に位置するものと、地面が画像の下部分に位置するものとのアプリオリ知識に基づいて、誤分類の単一の画素点をフィルタリングするステップと、
重み付けグラフを利用して初期マスク画像を更に畳み込み演算するとともに、閾値化して、ノイズを除去した初期マスク画像を取得するステップと、
スカイと地面における誤分類領域を除去して、精確マスク画像を取得するステップと、を含む。
【0009】
オプションで、前記初期マスク画像を中央値フィルタリングし、スカイが画像の上部分に位置するものと、地面が画像の下部分に位置するものとのアプリオリ知識に基づいて、誤分類の単一の画素点をフィルタリングするステップは、具体的には、
画素点(x,y)の重み付け値をpに設定することであり、pは、以下の式を用いて表し、
【0010】
オプションで、前記スカイと地面における誤分類領域を除去して、精確マスク画像を取得するステップは、具体的には、
two-passアルゴリズムを利用して初期マスク画像に対して連結領域検出を行なって、画像上部におけるスカイ領域の各連結領域の面積を統計してSとし、スカイの最小面積閾値をth1に設定し、以下の判断規則によって区分し、
ここで、Sは、スカイ領域の各連結領域の画素の個数であり、最小面積閾値th1は、画像面積の1/40であり、
画像下部における地面領域の各連結領域の面積を統計してSとし、地面の最小面積閾値をth2に設定し、以下の判断規則によって区分し、
ここで、Sは、地面領域の各連結領域の画素の個数であり、最小面積閾値th2は、最大地面の連結領域面積の1/2であり、
上記区分によってスカイ領域の精確マスク画像を取得し、スカイ領域の検出を完成する、ことである。
【0011】
オプションで、前記精確マスク画像を取得するに対して、マルチ解像度融合アルゴリズムを用いてスカイのパノラマテンプレート画像とテストパノラマ画像を融合して、スカイフィルタの効果を実現するステップは、具体的には、
マルチ解像度融合アルゴリズムを用いてパノラマテンプレート画像とテストパノラマ画像をそれぞれラプラスピラミッドに構築し、前記精確マスク画像をガウスピラミッドに構築し、且つ構築されたガウスピラミッドに従って構築されたパノラマテンプレート画像のラプラスピラミッドとテストパノラマ画像のラプラスピラミッドをレイヤーごとに合併し、融合して再構築した画像を取得し、スカイフィルタの効果を実現する、ことである。
【0012】
第2の態様では、本発明は、コンピュータ読み取り可能な記録媒体を提供し、前記コンピュータ読み取り可能な記録媒体にプログラムが記憶され、前記プログラムは、プロセッサーによって実行される場合、上記のパノラマ画像のスカイフィルタ方法のステップを実現する。
【0013】
第3の態様では、本発明は、携帯端末を提供し、前記携帯端末は、
1つ又は複数のプロセッサーと、
記憶装置と、
1つ又は複数のプログラムと、を含み、前記1つ又は複数のプログラムは、前記記憶装置に記憶され、且つ、前記1つ又は複数のプロセッサーによって実行されるように配置され、前記プロセッサーは、前記プログラムを実行する場合、上記のパノラマ画像のスカイフィルタ方法のステップを実現する。
【発明の効果】
【0014】
本発明は、機械学習アルゴリズムによってパノラマ画像におけるスカイ領域を検出し、スカイを自動的に検出する正確率を高め、また、マルチ解像度融合アルゴリズムを利用してスカイのパノラマテンプレート画像とパノラマ画像を融合して、スカイフィルタの効果を実現する。
【図面の簡単な説明】
【0015】
図1図1は、本発明の第1の実施例によって提供されるパノラマ画像のスカイフィルタ方法のプロセス図である。
図2図2は、本発明の第2の実施例によって提供されるパノラマ画像のスカイフィルタ方法のフローチャートである。
図3図3は、本発明の第3の実施例によって提供される携帯端末の構造図である。
【発明を実施するための形態】
【0016】
本発明の目的、技術的解決策、及び有益な効果をより明確にさせるために、以下、図面及び実施例を参照して、本発明を更に詳細に説明する。ここで説明する具体的な実施例は、本発明を解釈するためにのみ使用され、本発明を限定するものではないことを理解されたい。
【0017】
本発明に記載される技術的解決策を説明するために、以下、具体的な実施例によって説明する。
【0018】
第1の実施例:
図1図2を参照すると、本発明の第1の実施例によって提供されるパノラマ画像のスカイフィルタ方法は、以下のステップを含む。
【0019】
S101:幾つかのスカイ領域を有するパノラマ画像を取得してデータセットとするとともに、データセットにおける各パノラマ画像のスカイ領域と地面領域をマーキングして、データセットにおける各パノラマ画像に対応するマーキングされたマスク画像を取得し、スカイのパノラマテンプレート画像を取得する。
【0020】
データセットにおける幾つかのパノラマ画像は、千枚以上を有し、パノラマ画像の寸法は、同じであり、パノラマ画像の数が多いほどよい。データセットにおける各パノラマ画像のスカイ領域は、具体的には、スカイや、雲や、太陽などを含み、地面領域は、スカイ領域以外の領域である。データセットの種類にも、様々なシーンや地形などを含み、例えば、時間的なシーンは、早朝、昼、夕方の各時間帯を含み、異なる気象状態のシーンは、晴れ、曇天、曇り、小雨、スモッグなどを含む。
【0021】
前記マーキングされたマスク画像におけるスカイ領域の画素値は、1にマーキングされ、地面領域の画素値は、0にマーキングされる。
【0022】
前記スカイのパノラマテンプレート画像は、予め設定されたスカイのみを含むパノラマ画像であり、スカイフィルタのテンプレートとする。
【0023】
S102:マーキングされたマスク画像に従って、データセットにおける各パノラマ画像のスカイ領域と地面領域の特徴をそれぞれ抽出するとともに、各パノラマ画像の正のサンプルと負のサンプルをマーキングする。
【0024】
前記特徴は、第1の特徴セットと第2の特徴セットを含む。当該第1の特徴セットは、Rチャンネル値、Gチャンネル値、Bチャンネル値、及び局部領域のウィンドウ内の分散を含む。当該第2の特徴セットは、B/G値、B/R値、及び行座標と分散の積を含む。第1の特徴セットは、独立した特徴であり、第2の特徴セットは、組み合わせた特徴である。スカイ領域の第1の特徴セットと第2の特徴セットを正のサンプルにマーキングし、地面領域の第1の特徴セットと第2の特徴セットを負のサンプルにマーキングする。
【0025】
S103:データセットにおける各パノラマ画像の正のサンプルと負のサンプルを順にサポートベクターマシンSVMに入力してトレーニングして、モデルを取得する。
【0026】
サポートベクターマシン(support vector machine、SVM)理論は、Vapnikらが1995年に初めて提出したフィードフォワードニューラルネットワーク(feedforward neural network)であり、統計学習理論に基づく発展した新しいパターン認識方法で、分類モデルであり、小さなサンプル、非線形性、及び高次元パターン認識の問題を解決する場合に、多くの特有の優位を現す。
【0027】
S104:テストパノラマ画像の特徴を抽出してモデルに入力して、スカイの画素と地面の画素がマーキングされた初期マスク画像を取得する。
【0028】
テストパノラマ画像の特徴を抽出することにおいて、ここでの特徴は、ステップS102における第1の特徴セットと第2の特徴セットを含む。前記特徴をトレーニング完成したモデルに入力し、SVM分類機で出力された値が1である画素をスカイの画素にマーキングし、出力された値が0である画素をスカイ以外の画素にマーキングし、スカイの画素と地面の画素がマーキングされた初期マスク画像を取得する。
【0029】
S105:初期マスク画像における誤分類画素点と誤分類領域を除去して、対応する精確マスク画像を取得する。
【0030】
S105は、具体的には、以下のステップを含むことができる。
【0031】
S1051:初期マスク画像を中央値フィルタリングし、スカイが画像の上部分に位置するものと、地面が画像の下部分に位置するものとのアプリオリ知識に基づいて、誤分類の単一の画素点をフィルタリングする。
【0032】
中央値フィルタは、Turkyが1971年に提出した、基本的な考え方として、局部領域の画素をグレイ階調でソートし、当該領域におけるグレイ階調の中央値を取得して現在の画素のグレイ階調値とし、フレームWを用いて画像に走査してソートし、画素点(m,n)の箇所の中央値gは、以下の式を用いて表すことができる。
【0033】
S1052:重み付けグラフを利用して初期マスク画像を更に畳み込み演算するとともに、閾値化して、ノイズを除去した初期マスク画像を取得する。
【0034】
S1053:スカイと地面における誤分類領域を除去して、精確マスク画像を取得する。
【0035】
具体的には、two-passアルゴリズムを利用して初期マスク画像に対して連結領域検出を行なって、画像上部におけるスカイ領域の各連結領域の面積を統計してSとし、スカイの最小面積閾値をth1に設定し、以下の判断規則によって区分する。
ここで、Sは、スカイ領域の各連結領域の画素の個数であり、最小面積閾値th1は、画像面積の1/40である。
【0036】
画像下部における地面領域の各連結領域の面積を統計してSとし、地面の最小面積閾値をth2に設定し、以下の判断規則によって区分する。
によって区分する。
ここで、Sは、地面領域の各連結領域の画素の個数であり、最小面積閾値th2は、最大地面の連結領域面積の1/2である。
【0037】
上記判断によって、誤分類のスカイ領域を除去して、精確マスク画像を取得することができる。
【0038】
S106:精確マスク画像を取得するに対して、マルチ解像度融合アルゴリズムを用いてスカイのパノラマテンプレート画像とテストパノラマ画像を融合して、スカイフィルタの効果を実現する。
【0039】
S106は、具体的には、
マルチ解像度融合アルゴリズムを用いてスカイのパノラマテンプレート画像とテストパノラマ画像をそれぞれラプラスピラミッド(Laplacian pyramid)に構築し、前記精確マスク画像をガウスピラミッド(Gaussian Pyramid)に構築し、且つ構築されたガウスピラミッドに従って構築されたパノラマテンプレート画像のラプラスピラミッドとテストパノラマ画像のラプラスピラミッドをレイヤーごとに合併し、融合して再構築した画像を取得し、スカイフィルタの効果を実現する。ここで、パノラマテンプレート画像とテストパノラマ画像の解像度は、異なるかもしれないが、採用した融合処理方法は、同様である。
【0040】
第2の実施例:
本発明の第2の実施例は、コンピュータ読み取り可能な記録媒体を提供し、前記コンピュータ読み取り可能な記録媒体にプログラムが記憶され、前記プログラムは、プロセッサーによって実行される場合、本発明の第1の実施例で提供されるようなパノラマ画像のスカイフィルタ方法のステップを実現する。
【0041】
第3の実施例:
図3は、本発明の第3の実施例に提供された携帯端末の構造図を示す。1つの携帯端末100は、1つ又は複数のプロセッサー101、記憶装置102、及び1つ又は複数のプログラムを含む。前記プロセッサー101と前記記憶装置102は、バスによって電気的に接続される。前記1つ又は複数のプログラムは、前記記憶装置102に記憶され、且つ、前記1つ又は複数のプロセッサー101によって実行されるように配置される。前記プロセッサー101は、前記プログラムを実行する場合、本発明の第1の実施例で提供されるようなパノラマ画像のスカイフィルタ方法のステップを実現する。
【0042】
本発明において、機械学習アルゴリズムによってパノラマ画像におけるスカイ領域を検出し、スカイを自動的に検出する正確率を高め、また、マルチ解像度融合アルゴリズムを利用してスカイのパノラマテンプレート画像とパノラマ画像を融合して、スカイフィルタの効果を実現する。
【0043】
本発明の実施例において、当業者であれば、上記の実施例に記載された方法の全て又は一部のステップが、プログラムによって関連するハードウェアを命令して完了できることを理解することができる。当該プログラムは、コンピュータ読み取り可能な記録媒体に記憶することができ、記憶媒体は、ROM/RAM、磁気ディスク、又は光ディスクを含むことができる。
【0044】
上記は、本発明の好ましい実施例に過ぎず、本発明を制限するものではない。本発明の精神と原則を逸脱することなく行われる、いかなる修正、同等の変更及び改善なども、本発明の保護範囲内に属するべきである。
図1
図2
図3