特許 7098100 画像処理方法、端末及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-01

(45)【発行日】2022-07-11

(54)【発明の名称】画像処理方法、端末及び記憶媒体

(51)【国際特許分類】

   H04N 5/92 20060101AFI20220704BHJP

   H04N 5/77 20060101ALI20220704BHJP

   H04N 5/232 20060101ALI20220704BHJP

   G06T 7/20 20170101ALI20220704BHJP

   G06T 7/246 20170101ALI20220704BHJP

【ＦＩ】

H04N5/92 010

H04N5/77

H04N5/232 220

H04N5/232 300

G06T7/20 100

G06T7/246

【請求項の数】 19

(21)【出願番号】P 2020512877

(86)(22)【出願日】2018-08-31

(65)【公表番号】

(43)【公表日】2020-11-12

(86)【国際出願番号】 CN2018103487

(87)【国際公開番号】W WO2019042404

(87)【国際公開日】2019-03-07

【審査請求日】2020-03-03

(31)【優先権主張番号】201710787492.7

(32)【優先日】2017-09-04

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】517392436

【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100140534

【氏名又は名称】木内 敬二

(72)【発明者】

【氏名】▲項▼ 小明

【審査官】鈴木 順三

(56)【参考文献】

【文献】中国特許出願公開第１０６７１３７０２（ＣＮ，Ａ）

【文献】中国特許出願公開第１０２５０９２８５（ＣＮ，Ａ）

【文献】中国特許出願公開第１０１５２７０４０（ＣＮ，Ａ）

【文献】中国特許出願公開第１０５００７４２１（ＣＮ，Ａ）

【文献】特開２０１３－１２５３４１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／７６ － ５／９５６

Ｈ０４Ｎ ５／２２２ － ５／２５７

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

端末により実行される画像処理方法であって、
カメラで連続的に撮影された複数のフレーム画像において、目標フレーム画像から少なくとも１つの画像特徴点を抽出することと、
前記目標フレーム画像が有効フレーム画像である場合、前記カメラで撮影された１フレーム前の画像における少なくとも１つのオプティカルフロー画像特徴点の特徴情報を取得して、前記少なくとも１つの画像特徴点の特徴情報に基づいて、前記少なくとも１つの画像特徴点から前記オプティカルフロー画像特徴点に対応する画像特徴点を決定することと、
前記１フレーム前の画像におけるオプティカルフロー画像特徴点と、前記目標フレーム画像において対応する画像特徴点との、フレーム画像における変位距離を計算することと、
前記変位距離に基づいて、前記目標フレーム画像が非移動状態で撮影されたものであると決定した場合、前記目標フレーム画像をサーバに送信することと、
を含み、
前記変位距離に基づいて、前記目標フレーム画像が非移動状態で撮影されたものであることを決定することは、
前記１フレーム前の画像における少なくとも一部のオプティカルフロー画像特徴点と、前記目標フレーム画像において対応する画像特徴点との、フレーム画像における平均変位距離を計算することと、
前記平均変位距離が距離閾値より小さい場合、前記目標フレーム画像が非移動状態で撮影されたものであることを決定することと、
を含むことを特徴とする、前記画像処理方法。

【請求項2】

前記カメラで撮影された１フレーム前の画像における少なくとも１つのオプティカルフロー画像特徴点の特徴情報を取得して、前記少なくとも１つの画像特徴点の特徴情報に基づいて、前記少なくとも１つの画像特徴点から前記オプティカルフロー画像特徴点に対応する画像特徴点を決定することは、
前記１フレーム前の画像におけるオプティカルフロー画像特徴点の特徴情報に基づいて前記オプティカルフロー画像特徴点に対してオプティカルフローのトラッキングを行い、前記目標フレーム画像における少なくとも１つの画像特徴点の特徴情報に基づいて、前記目標フレーム画像においてトラッキングして前記オプティカルフロー画像特徴点に対応する画像特徴点を取得することを含むことを特徴とする
請求項１に記載の画像処理方法。

【請求項3】

前記画像処理方法は、更に、
前記カメラで撮影された１フレーム前の画像が有効フレーム画像である場合、前記１フレーム前の画像におけるオプティカルフロー画像特徴点の特徴情報に基づいて前記オプティカルフロー画像特徴点に対してオプティカルフローのトラッキングを行うことと、
前記１フレーム前の画像が有効フレーム画像ではない場合、前記目標フレーム画像及び前記少なくとも１つの画像特徴点の特徴情報を保存し、前記画像特徴点が、オプティカルフローのトラッキングを行うためのオプティカルフロー画像特徴点として保存されることと、を含むことを特徴とする
請求項２に記載の画像処理方法。

【請求項4】

前記画像処理方法は、更に、
前記目標フレーム画像が有効フレーム画像ではない場合、現在保存されている有効フレーム画像及び有効フレーム画像において対応するオプティカルフロー画像のすべての特徴点の特徴情報を削除することを含むことを特徴とする
請求項３に記載の画像処理方法。

【請求項5】

前記特徴情報が画像特徴点の画素カラー情報又は輝度情報を含むことを特徴とする
請求項１～４のいずれか１項に記載の画像処理方法。

【請求項6】

前記平均変位距離が距離閾値より小さい場合、前記目標フレーム画像が非移動状態で撮影されたものであることを決定することは、
前記目標フレーム画像を含む前記カメラで撮影された連続複数のフレーム画像において、各フレーム画像のオプティカルフロー画像特徴点とその次のフレーム画像において対応する画像特徴点との、フレーム画像における平均変位距離をそれぞれ計算し、前記連続複数のフレーム画像において、隣接する２つのフレーム画像毎の間の平均変位距離がいずれも前記距離閾値より小さい場合、前記目標フレーム画像が非移動状態で撮影されたものであることを決定することを含むことを特徴とする
請求項１に記載の画像処理方法。

【請求項7】

前記変位距離に基づいて、前記目標フレーム画像が非移動状態で撮影されたものであることを決定することは、
前記１フレーム前の画像における少なくとも一部のオプティカルフロー画像特徴点と、前記目標フレーム画像において対応する画像特徴点との、フレーム画像における平均変位距離を計算することと、
前記平均変位距離及び前記目標フレーム画像と１フレーム前の画像との間の撮影時間の間隔に基づき、前記目標フレーム画像と１フレーム前の画像との間の、前記カメラの撮影変位速度を計算することと、
前記カメラの撮影変位速度が速度閾値より小さい場合、前記目標フレーム画像が非移動状態で撮影されたものであることを決定することと、を含むことを特徴とする
請求項１に記載の画像処理方法。

【請求項8】

前記カメラの撮影変位速度が速度閾値より小さい場合、前記目標フレーム画像が非移動状態で撮影されたものであることを決定することは、
前記目標フレーム画像を含む前記カメラで撮影された連続複数のフレーム画像において、各フレーム画像のオプティカルフロー画像特徴点とその次のフレーム画像において対応する画像特徴点との、フレーム画像における平均変位距離をそれぞれ計算することと、
前記連続複数のフレーム画像において隣接する２つのフレーム画像毎の間の平均変位距離及び撮影時間の間隔に基づいて、隣接する２つのフレーム画像毎の間の前記カメラの撮影変位速度を計算することと、
隣接する２つのフレーム画像毎の間の前記カメラの撮影変位速度がいずれも前記速度閾値より小さい場合、前記目標フレーム画像が非移動状態で撮影されたものであることを決定することと、を含むことを特徴とする
請求項７に記載の画像処理方法。

【請求項9】

前記カメラで撮影された１フレーム前の画像における少なくとも１つのオプティカルフロー画像特徴点の特徴情報を取得する前に、更に、
前記目標フレーム画像から抽出された画像特徴点の数を取得し、抽出された画像特徴点の数が数量閾値に達した場合、前記目標フレーム画像が有効フレーム画像であることを決定することを含むことを特徴とする
請求項１に記載の画像処理方法。

【請求項10】

前記画像特徴点の周りの隣接する画素点のうち、画素特徴が前記画像特徴点と異なる相違画素点がすべての隣接する画素点に占める割合は割合の閾値に達することを特徴とする
請求項９に記載の画像処理方法。

【請求項11】

前記画像処理方法は、更に、
抽出された画像特徴点の数が前記数量閾値に達しない場合、カメラの撮影位置を調整するようにユーザーに提示するための知らせ情報を送信することを含むことを特徴とする
請求項９に記載の画像処理方法。

【請求項12】

前記カメラで撮影された１フレーム前の画像における少なくとも１つのオプティカルフロー画像特徴点の特徴情報を取得する前に、更に、
前記目標フレーム画像の画像精細度を計算し、前記目標フレーム画像の精細度が精細度閾値に達した場合、前記目標フレーム画像が有効フレーム画像であることを決定することを含むことを特徴とする
請求項１に記載の画像処理方法。

【請求項13】

前記目標フレーム画像の画像精細度を計算する前に、更に、
前記目標フレーム画像から抽出された画像特徴点の数を取得し、抽出された画像特徴点の数が数量閾値に達しない場合、前記目標フレーム画像の画像精細度を計算し、前記目標フレーム画像の精細度が精細度閾値に達した場合、前記目標フレーム画像が有効フレーム画像であることを決定することを含むことを特徴とする
請求項１２に記載の画像処理方法。

【請求項14】

前記目標フレーム画像の画像精細度を計算することは、
前記目標フレーム画像の画像勾配値を計算し、前記画像勾配値に基づいて前記目標フレーム画像の画像精細度を決定することを含むことを特徴とする
請求項１２または１３に記載の画像処理方法。

【請求項15】

前記カメラで撮影された１フレーム前の画像における少なくとも１つのオプティカルフロー画像特徴点の特徴情報を取得する前に、更に、
抽出された画像特徴点の前記目標フレーム画像における位置に基づいて前記目標フレーム画像の重心位置を計算し、前記重心位置が前記目標フレーム画像の中心領域にある場合、前記目標フレーム画像が有効フレーム画像であることを決定することを含むことを特徴とする
請求項１に記載の画像処理方法。

【請求項16】

抽出された画像特徴点の前記目標フレーム画像における位置に基づいて前記目標フレーム画像の重心位置を計算することは、
前記目標フレーム画像における複数のグリッドサブ領域を決定することと、
抽出された画像特徴点の前記目標フレーム画像における位置に基づいて各画像特徴点の所在するグリッドサブ領域を決定することと、
前記複数のグリッドサブ領域内の各グリッドサブ領域における画像特徴点の数に基づき、前記目標フレーム画像の重心位置を計算することと、を含むことを特徴とする
請求項１５に記載の画像処理方法。

【請求項17】

前記画像処理方法は、更に、
前記重心位置が前記目標フレーム画像の中心領域に位置しない場合、カメラの撮影位置を調整するようにユーザーに提示するための知らせ情報を送信することを含むことを特徴とする
請求項１５に記載の画像処理方法。

【請求項18】

画像処理のための端末であって、
カメラで連続的に撮影された複数のフレーム画像を保存するように構成され、プログラム命令が記憶される記憶媒体と、
前記プログラム命令を実行するように構成されるプロセッサと、を備え、前記プログラム命令が前記プロセッサにより実行されるとき、前記プロセッサは、
カメラで撮影された目標フレーム画像から少なくとも１つの画像特徴点を抽出するステップと、
前記目標フレーム画像が有効フレーム画像である場合、前記カメラで撮影された１フレーム前の画像における少なくとも１つのオプティカルフロー画像特徴点の特徴情報を取得して、前記少なくとも１つの画像特徴点の特徴情報に基づいて、前記少なくとも１つの画像特徴点から前記オプティカルフロー画像特徴点に対応する画像特徴点を決定するステップと、
前記１フレーム前の画像におけるオプティカルフロー画像特徴点と、前記目標フレーム画像において対応する画像特徴点との、フレーム画像における変位距離を計算するステップと、
前記変位距離に基づいて、前記目標フレーム画像が非移動状態で撮影されたものであると決定した場合、前記目標フレーム画像をサーバに送信するステップと、
を実行し、
前記変位距離に基づいて、前記目標フレーム画像が非移動状態で撮影されたものであるとの決定は、
前記１フレーム前の画像における少なくとも一部のオプティカルフロー画像特徴点と、前記目標フレーム画像において対応する画像特徴点との、フレーム画像における平均変位距離を計算することと、
前記平均変位距離が距離閾値より小さい場合、前記目標フレーム画像が非移動状態で撮影されたものであることを決定することと、
を含むことを特徴とする、前記画像処理のための端末。

【請求項19】

記憶媒体であって、
複数のプログラム命令が記憶され、前記プログラム命令がプロセッサにより実行されるとき、請求項１～１７のいずれか１項に記載の画像処理方法を実行することを特徴とする、前記記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０１７年０９月０４日に中国特許局に提出された、出願番号が第２０１７１０７８７４９２７号であり、出願の名称が「画像処理方法及び装置」である中国特許出願の優先権を主張し、その全ての内容が援用により本願に取り込まれる。

【0002】

本願は画像処理分野に関し、特に画像処理方法、端末及び記憶媒体に関する。

【背景技術】

【0003】

携帯機器に関連する技術の発展に伴って、人々が携帯機器で写真等の画像を撮影する場合が多くなり、しかしながら、携帯機器の不安定の原因で、撮影中、携帯機器自体の移動によってカメラで撮影された結像効果が大きな影響を受け、これらの結像効果の悪い画像はユーザーが必要とする写真ではない。ところが、従来技術においてこれらの結像効果の悪い画像を効果的に認識することができない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本願に係る様々な実施例は画像処理方法、端末及び記憶媒体を提供する。

【課題を解決するための手段】

【0005】

画像処理方法であって、
カメラで撮影された目標フレーム画像から少なくとも１つの画像特徴点を抽出することと、
前記目標フレーム画像が有効フレーム画像である場合、前記カメラで撮影された１フレーム前の画像における少なくとも１つのオプティカルフロー画像特徴点の特徴情報を取得して、前記少なくとも１つの画像特徴点の特徴情報に基づいて、前記少なくとも１つの画像特徴点から前記オプティカルフロー画像特徴点に対応する画像特徴点を決定することと、
前記１フレーム前の画像におけるオプティカルフロー画像特徴点と、前記目標フレーム画像において対応する画像特徴点との、フレーム画像における変位距離を計算することと、
前記変位距離に基づいて、前記目標フレーム画像が非移動状態で撮影されたものであると決定した場合、前記目標フレーム画像を出力することと、を含む。

【0006】

画像処理のための端末は記憶媒体及びプロセッサを備え、
記憶媒体はカメラで撮影されたフレーム画像を保存するように構成され、且つプログラム命令が記憶され、
前記プロセッサは前記プログラム命令を実行するように構成され、前記プログラム命令が前記プロセッサにより実行されるとき、前記プロセッサは、
カメラで撮影された目標フレーム画像から少なくとも１つの画像特徴点を抽出し、
前記目標フレーム画像が有効フレーム画像である場合、前記カメラで撮影された１フレーム前の画像における少なくとも１つのオプティカルフロー画像特徴点の特徴情報を取得して、前記少なくとも１つの画像特徴点の特徴情報に基づいて、前記少なくとも１つの画像特徴点から前記オプティカルフロー画像特徴点に対応する画像特徴点を決定し、
前記１フレーム前の画像におけるオプティカルフロー画像特徴点と、前記目標フレーム画像において対応する画像特徴点との、フレーム画像における変位距離を計算し、
前記変位距離に基づいて、前記目標フレーム画像が非移動状態で撮影されたものであると決定した場合、前記目標フレーム画像を出力するステップを実行する。

【0007】

記憶媒体であって、前記記憶媒体に複数のプログラム命令が記憶され、前記プログラム命令が１つ又は複数のプロセッサにより実行されるとき、前記１つ又は複数のプロセッサは画像処理方法のステップを実行する。

【0008】

本願の１つ又は複数の実施例の詳細は以下の図面及び説明において提供される。本願の他の特徴、目的及び利点は明細書、図面及び特許請求の範囲から明らかになる。

【図面の簡単な説明】

【0009】

【図1A】図１Ａは本願の実施例に係る画像処理方法のフローチャートである。

【図1B】図１Ｂは本願の実施例に係る変位距離のシーン模式図である。

【図2A】図２Ａは本願の実施例に係る画像処理のためのネットワークアーキテクチャの模式図である。

【図2B】図２Ｂは本願の実施例に係る画像処理シーンの模式図である。

【図2C】図２Ｃは本願の実施例に係る画像処理シーンの模式図である。

【図3A】図３Ａは本願の実施例に係る目標フレーム画像を有効フレーム画像として決定する方法のフローチャートである。

【図3B】図３Ｂは本願の実施例に係る画像特徴点を区分するシーンの模式図である。

【図3C】図３Ｃは本願の実施例に係る画像特徴点のインターフェース模式図である。

【図3D】図３Ｄは本願の実施例に係る知らせ情報のインターフェース模式図である。

【図4】図４は本願の実施例に係る目標フレーム画像を有効フレーム画像として決定する他の方法のフローチャートである。

【図5A】図５Ａは本願の実施例に係る目標フレーム画像を有効フレーム画像として決定する別の方法のフローチャートである。

【図5B】図５Ｂは本願の実施例に係る目標フレーム画像の重心位置を決定するシーンの模式図である。

【図5C】図５Ｃは本願の実施例に係る他の知らせ情報のインターフェース模式図である。

【図6A】図６Ａは本願の実施例に係る目標フレーム画像が非移動状態で撮影されたものであることを決定する方法のフローチャートである。

【図6B】図６Ｂは本願の実施例に係る目標フレーム画像が非移動状態で撮影されたものであることを決定する他の方法のフローチャートである。

【図7】図７は本願の実施例に係る他の画像処理方法のフローチャートである。

【図8】図８は本願の実施例に係る別の画像処理方法のフローチャートである。

【図9】図９は本願の実施例に係る画像処理のための具体的なシーンの模式図である。

【図10】図１０は本願の実施例に係る画像処理装置の構造模式図である。

【図11A】図１１Ａは本願の実施例に係る決定ユニットの構造模式図である。

【図11B】図１１Ｂは本願の実施例に係る他の決定ユニットの構造模式図である。

【図12】図１２は本願の実施例に係る端末の構造模式図である。

【発明を実施するための形態】

【0010】

本願の実施例の技術案をより明確に説明するために、以下に実施例又は従来技術の記述において必要な図面を用いて簡単に説明を行うが、当然ながら、以下に記載する図面は単に本願の実施例の一例であって、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて他の図面に想到しうる。

【0011】

本願の目的、技術案及び利点をより明確にするために、以下に図面を参照しながら、実施例によって本願を更に詳しく説明する。理解すべきこととして、ここで説明される具体的な実施例は本願を解釈するためのものであって、本願を制限するためのものではない。

【0012】

本願の実施例は結像効果の悪い画像の出力を回避し、端末の画像処理効率を向上させることのできる画像処理方法、端末及び記憶媒体を開示する。

【0013】

図１Ａを参照して、図１Ａは本願の実施例に係る画像処理方法のフローチャートであり、図１Ａに示すように、該画像処理方法は以下を含んでもよい。

【0014】

１０１において、カメラで撮影された目標フレーム画像から少なくとも１つの画像特徴点を抽出する。

【0015】

なお、本願の実施例は画像処理のための端末に適用されてもよく、該端末は携帯電話、タブレットＰＣ、ノートパソコン、携帯情報端末、モバイルインターネット装置（ＭＩＤ：Ｍｏｂｉｌｅ Ｉｎｔｅｒｎｅｔ Ｄｅｖｉｃｅ）、ウェアラブル端末（例えば、スマートウォッチ（例えば、ｉＷａｔｃｈ等）等であってもよく、本願の実施例は制限しない。

【0016】

本願の実施例では、カメラは端末におけるカメラであってもよいし、端末に外接されるカメラ等であってもよい。つまり、カメラが端末に外接されるカメラである場合、該カメラで目標フレーム画像を撮影した後、該目標フレーム画像を該端末にアップロードすることにより、該端末に該目標フレーム画像を処理させてもよい。

【0017】

本願の実施例では、画像特徴点はスケール不変特徴変換（ＳＩＦＴ：Ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）アルゴリズムにより抽出されてもよいし、加速ロバスト特徴量（ＳＵＲＦ：Ｓｐｅｅｄｅｄ－Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）アルゴリズムにより抽出されてもよいし、加速化断片試験による特徴抽出（ＦＡＳＴ：Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）アルゴリズムにより抽出されてもよいし、改良されたＳＩＦＴアルゴリズム又は改良されたＳＵＲＦアルゴリズムにより抽出されてもよく、本願の実施例は具体的な画像特徴点抽出アルゴリズムを制限しない。

【0018】

１０２において、上記目標フレーム画像が有効フレーム画像である場合、上記カメラで撮影された１フレーム前の画像における少なくとも１つのオプティカルフロー画像特徴点の特徴情報を取得して、上記少なくとも１つの画像特徴点の特徴情報に基づいて、上記少なくとも１つの画像特徴点から上記オプティカルフロー画像特徴点に対応する画像特徴点を決定する。

【0019】

具体的に、上記特徴情報が画像特徴点の画素カラー情報又は輝度情報を含む。

【0020】

具体的に、上記カメラで撮影された１フレーム前の画像における少なくとも１つのオプティカルフロー画像特徴点の特徴情報を取得して、上記少なくとも１つの画像特徴点の特徴情報に基づいて、上記少なくとも１つの画像特徴点から上記オプティカルフロー画像特徴点に対応する画像特徴点を決定することは、
上記１フレーム前の画像におけるオプティカルフロー画像特徴点の特徴情報に基づいて上記オプティカルフロー画像特徴点に対してオプティカルフローのトラッキングを行い、上記目標フレーム画像における少なくとも１つの画像特徴点の特徴情報に基づいて上記目標フレーム画像においてトラッキングして上記オプティカルフロー画像特徴点に対応する画像特徴点を取得することを含む。

【0021】

オプティカルフローの概念はＧｉｂｓｏｎが１９５０年に初めて提案したものであって、空間で移動する物体の結像平面での画素移動を観察した瞬間速度であり、画像シーケンスにおける画素のタイムドメインでの変化及び隣接フレーム間の関連性を利用して前フレームと現在フレームとの対応関係を見つけるものである。従って、本実施例では、１フレーム前の画像におけるオプティカルフロー画像特徴点の特徴情報によって該オプティカルフロー画像特徴点に対してオプティカルフローのトラッキングを行うことにより、目標フレーム画像から該オプティカルフロー画像特徴点に対応する画像特徴点を取得し、前記オプティカルフロー画像特徴点に対応する画像特徴点の特徴情報が該オプティカルフロー画像特徴点の特徴情報と同じであり又は近似度が設定閾値（例えば、９８％）に達する。前記特徴情報が画像特徴点の画素カラー情報又は輝度情報を含む。

【0022】

上記１フレーム前の画像におけるオプティカルフロー画像特徴点の特徴情報に基づいて上記オプティカルフロー画像特徴点に対してオプティカルフローのトラッキングを行うことは、上記カメラで撮影された１フレーム前の画像が有効フレーム画像である場合、上記１フレーム前の画像におけるオプティカルフロー画像特徴点の特徴情報に基づいて上記オプティカルフロー画像特徴点に対してオプティカルフローのトラッキングを行うことを含む。

【0023】

本実施例では、１フレーム前の画像におけるオプティカルフロー画像特徴点に基づいてオプティカルフローのトラッキングを行う過程において、該１フレーム前の画像における目標オプティカルフロー画像特徴点の特徴情報に基づいてトラッキングして目標フレーム画像における該目標オプティカルフロー画像特徴点に対応する画像特徴点を取得できない場合、オプティカルフローのトラッキングに成功しないと示され、保存されている目標オプティカルフロー画像特徴点の特徴情報を廃棄してもよい。

【0024】

１０３において、上記１フレーム前の画像におけるオプティカルフロー画像特徴点と、上記目標フレーム画像において対応する画像特徴点との、フレーム画像における変位距離を計算する。

【0025】

目標フレーム画像が有効フレーム画像であると決定した場合、１フレーム前の画像におけるオプティカルフロー画像特徴点と、該目標フレーム画像において対応する画像特徴点との、フレーム画像における変位距離を計算してもよい。好適な実施例では、ピラミッドオプティカルフローアルゴリズムによって１フレーム前の画像におけるオプティカルフロー画像特徴点の目標フレーム画像での対応する画像特徴点を計算することにより、１フレーム前の画像におけるオプティカルフロー画像特徴点と、目標フレーム画像において対応する画像特徴点との、フレーム画像における変位距離を計算してもよい。ピラミッドオプティカルフローアルゴリズムは基本的に３つのステップ、すなわちピラミッドの構築、ピラミッドトラッキング及び繰り返す過程に分けられる。ピラミッド特徴トラッキングアルゴリズムについては、まず、画像ピラミッドの最高層でオプティカルフロー及びアフィン変換行列を計算し、次に、最高層の計算結果を初期値として次層の画像に渡し、つまり該次層の画像に対して上記初期値に基づき、該次層のオプティカルフロー及びアフィン変換行列を計算し、そしてから、更に該次層のオプティカルフロー及びアフィン変換行列を初期値として次層に渡し、最終層、即ち原画像層まで渡し、最後に、最終層で計算されたオプティカルフロー及びアフィン変換行列を最後のオプティカルフロー及びアフィン変換行列の結果とする。繰り返しによって最後のオプティカルフローを取得し、それによって繰り返して得られたオプティカルフローに基づいて、１フレーム前の画像におけるオプティカルフロー画像特徴点の目標フレーム画像での対応する画像特徴点を計算する。なお、他の好適な実施例では、他の画像トラッキングアルゴリズムを使用し、例えば改良されたピラミッドオプティカルフローアルゴリズムを用いて画像特徴点位置をトラッキングしてもよく、本実施例は制限しない。

【0026】

図１Ｂを参照して、図１Ｂは本願の実施例に係る変位距離のシーン模式図であり、図中、黒色ドットＡは１フレーム前の画像におけるオプティカルフロー画像特徴点であり、黒色ドットＡ′は、オプティカルフロートを目標フレーム画像までラッキングする、Ａに対応する画像特徴点であり、黒色ドットＡと黒色ドットＡ′との画像での距離は変位距離である。具体的に変位距離を計算するとき、オプティカルフロー画像特徴点及びそれに対応する画像特徴点のそれぞれのフレーム画像での位置座標に基づき、それらの間の変位距離を計算してもよいし、オプティカルフロー画像特徴点Ａを目標フレーム画像における対応位置にマッピングして、目標フレーム画像においてオプティカルフロー画像特徴点Ａとそれに対応する画像特徴点Ａ′との間の変位距離を計算してもよいし、オプティカルフロー画像特徴点Ａに対応する画像特徴点Ａ′を１フレーム前の画像における対応位置にマッピングして、１フレーム前の画像においてオプティカルフロー画像特徴点Ａとそれに対応する画像特徴点Ａ′との間の変位距離を計算してもよい。

【0027】

１０４において、上記変位距離に基づいて上記目標フレーム画像が非移動状態で撮影されたものであると決定した場合、上記目標フレーム画像を出力する。

【0028】

本願の実施例では、上記目標フレーム画像の出力は該目標フレーム画像の保存、又は該目標フレーム画像の共有、又は該目標フレーム画像の展示等であってもよく、本願の実施例は具体的な出力形式を制限しない。

【0029】

例えば、端末が複数枚の画像を連続して撮影し、上記操作によって、結像効果の良い画像をユーザーに展示し、又は結像効果の良い画像を保存し、更に結像効果の悪い画像を削除してもよく、ユーザーの満足度を向上させることができる一方、更に端末の記憶空間を効果的に節約することができる。

【0030】

本願の実施例を実施することにより、端末が結像効果の悪い画像を出力することを回避することができ、それによりユーザーに結像効果の良い画像を提供し、端末の画像処理効率を向上させ、ユーザーの満足度を向上させる。

【0031】

実際の生活の中で、ＱＱブラウザのＱＲコード（登録商標）スキャン又は拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）のクラウド認識を使用するとき、一般的にクラウドに画像をアップロードすることにより関連する画像処理サービスを要求する必要があるが、携帯機器で画像を撮影する過程において、携帯機器の不安定によって、結像効果が影響を受け、例えば画像のボケを引き起こしてしまい、ところが、この場合、画像のボケによって、クラウド側が効果的に認識できなくなる恐れがある。従って、好適な実現方式として、上記目標フレーム画像を出力することは、
上記目標フレーム画像をサーバーに送信することを含む。具体的に、サーバーはクラウドサーバー、ローカルバックグラウンド処理サーバー等を含み、本実施例は制限しない。

【0032】

図２Ａに示すように、図２Ａは本願の実施例に係る画像処理のためのネットワークアーキテクチャの模式図である。図２Ａに示すように、該ネットワークアーキテクチャは画像処理のための端末２０３及びクラウドサーバー２０４を備え、端末２０３は携帯機器、例えば携帯電話等であってもよく、該端末２０３はカメラを備えてもよく、該端末２０３はクラウドサーバー２０４と通信することができ、それによりデータの伝送を実現する。

【0033】

図２Ａに示されるネットワークアーキテクチャの模式図に基づき、図２Ｂ及び図２Ｃを参照して、図２Ｂ及び図２Ｃには本願の実施例に係る具体的な画像処理シーンを示す。該シーンにおいて、ユーザーは端末２１によって「福」字をスキャンする必要があり、端末２１がスキャンされた「福」字をサーバー２３に送信し、サーバー２３が受信された字を認識処理する。図２Ｂに示すように、ユーザーが端末２１によって「福」字をスキャンし、図面によれば、端末２１のスキャン枠２２に十分数の特徴点が得られず、つまり、スキャン枠２２において取得した目標フレーム画像が無効フレーム画像であり、この場合、端末２１が目標フレーム画像をサーバー２３にアップロードすることを実行しなくてもよい。図２Ｃに示すように、端末２１の取得した目標フレーム画像が有効フレーム画像であって、端末２１は該目標フレーム画像が非移動状態で撮影されたものであると決定した場合、端末２１が該目標フレーム画像をサーバー２３にアップロードする。サーバー２３が該目標フレーム画像を認識した後、端末２１へデジタル祝儀袋又は福カード等を送信してもよい。よって、該シーンにおいて、端末２１は無効フレーム画像をサーバー２３にアップロードすることを回避し、アップロード操作の回数を減少させ、且つサーバー２３が目標フレーム画像を頻繁に認識するため、サーバー２３の負荷を増加させるという問題を回避する。

【0034】

本実施例を実施することにより、サーバーが目標フレーム画像を効果的に認識することができ、サーバーによる画像認識効率を向上させる一方、端末が上記条件を満たすフレーム画像をサーバーにアップロードすることができ、アップロードするフレーム数を効果的に減少させ、セルラーネットワークデータを節約する。

【0035】

図３Ａを参照して、図３Ａは本願の実施例に係る目標フレーム画像を有効フレーム画像として決定する方法のフローチャートであり、該方法は画像処理のための端末に適用されてもよく、図３Ａに示すように、目標フレーム画像を有効フレーム画像として決定する方法は、
カメラで撮影された目標フレーム画像から少なくとも１つの画像特徴点を抽出する３０１と、
上記目標フレーム画像から抽出された画像特徴点の数を取得する３０２と、
抽出された画像特徴点の数が数量閾値に達した場合、上記目標フレーム画像を有効フレーム画像として決定する３０３と、を含んでもよい。

【0036】

数量閾値の作用は、画像特徴点の数が数量閾値に達しているかどうかを判断することに用いられ、そうである場合、目標フレーム画像を有効フレーム画像として決定することである。一般的には、画像特徴点の数が多ければ多いほど、フレーム画像の豊富度が高くなると示され、画像特徴点の数が少なければ少ないほど、フレーム画像の認識度が低くなると示される。従って、該数量閾値の設定は端末により行われてもよく、本実施例は制限しない。具体的に、該数量閾値は端末が目標フレーム画像を撮影する前に設定されてもよく、又は１フレーム前の画像を撮影する前に設定されてもよく、該数量閾値の設定は端末が実際の状況に応じて行ってもよく、本願の実施例は制限しない。

【0037】

例えば、該数量閾値は５０であってもよく、つまり、目標フレーム画像から抽出された画像特徴点の数が５０に達した場合、該目標フレームを有効フレーム画像として決定してもよい。

【0038】

具体的に、本願の実施例は更に画像特徴点の決定方法を提供し、該画像特徴点の決定方法は、
上記画像特徴点の周りの隣接する画素点のうち、画素特徴が上記画像特徴点と異なる相違画素点がすべての隣接する画素点に占める割合は割合の閾値に達する。

【0039】

本実施例では、例えば、割合の閾値が３／４である場合、図３Ｂを参照して、図３Ｂは本願の実施例に係る画像特徴点を区分するシーンの模式図である。図中、（１）（図中の丸１に対応。以下同じ。）～（９）（図中の丸９に対応。以下同じ。）がいずれも画素点であり、（２）（図中の丸２に対応。以下同じ。）～（９）がいずれも（１）の隣接する画素点であり、図面によれば、（２）～（７）（図中の丸７に対応。以下同じ。）が（１）と異なる画素点であり、つまり、（２）～（７）が画像特徴点と異なる相違画素点である。従って、画像特徴点の周りの隣接する画素点のうち、画素特徴が該画像特徴点と異なる相違画素点がすべての隣接する画素点に占める割合は３／４であり、つまり、割合の閾値３／４に達し、従って、（１）画素点が画像特徴点である。なお、図３Ｂは例示的なものであり、例示的な画素点及び数は例示的なものに過ぎず、図３Ｂの例は制限のためのものであると理解すべきではない。

【0040】

更に、例えば、図３Ｃに示すように、図中のドット部分が画像特徴点であり、明らかに、画像特徴点と周囲領域の画素点とが大きく異なる。

【0041】

本願の実施例では、画像特徴点の数を取得することにより、目標フレーム画像が有効フレーム画像であるかどうかを決定し、それにより端末が該目標フレーム画像を処理し、本実施例を実施することにより、端末がボケ画像又は具体的な内容を有しない画像を取得することを回避することができ、端末の処理効率を向上させる。

【0042】

本実施例では、本願の実施例は更に知らせ情報の送信方法を提供し、該知らせ情報の送信方法は、
抽出された画像特徴点の数が上記数量閾値に達しない場合、カメラの撮影位置を調整するようにユーザーに提示するための知らせ情報を送信する。

【0043】

図３Ｄを参照して、図３Ｄは本願の実施例に係る知らせ情報のシーン模式図であり、図３Ｄに示すように、３１が端末の送信した知らせ情報であり、３２が端末の撮影した目標フレーム画像であり、端末の抽出した目標フレーム画像における画像特徴点の数が端末の設定した数量閾値に達しない場合、該端末が知らせ情報３１を送信する。なお、図３Ｄは例示的なものに過ぎず、制限のためのものであると理解すべきではない。

【0044】

本実施例を実施することにより、知らせ情報を送信して、ユーザーが操作するようにガイドすることにより、端末が目標フレーム画像を取得する効率を向上させることができる。

【0045】

図４を参照して、図４には本願の実施例に係る目標フレーム画像を有効フレーム画像として決定する他の方法を示し、図４に示すように、該方法は以下を含んでもよい。

【0046】

４０１において、カメラで撮影された目標フレーム画像から少なくとも１つの画像特徴点を抽出する。

【0047】

４０２において、上記目標フレーム画像から抽出された画像特徴点の数を取得する。

【0048】

４０３において、抽出された画像特徴点の数が数量閾値に達しない場合、上記目標フレーム画像の画像精細度を計算する。

【0049】

画像処理において、ボケ度及び精細度は画像の明瞭さ（ボケ度合）を表す２つの相対し、且つ関連する２つの概念である。画像が精細であればあるほど、品質が高くなり、精細度が大きくなり、ボケ度が小さくなるが、画像が精細でなければないほど（ボケであればあるほど）、品質が低くなり、精細度が小さくなり、ボケ度が大きくなる。従って、１枚の画像の明瞭さを説明するとき、精細度を使用してもよいし、ボケ度を使用してもよいが、２つの指標数値が反割合する。これにより、上記目標フレーム画像を有効フレーム画像として決定する方法は制限のためのものであると理解すべきではなく、つまり、目標フレーム画像のボケ度を計算することにより、上記目標フレーム画像が有効フレーム画像であるかどうかを決定してもよい。

【0050】

なお、本願の実施例における数量閾値は図３Ａにおける数量閾値と同じであってもよく、本願の実施例は制限しない。

【0051】

具体的に、上記目標フレーム画像の画像精細度を計算することは、
上記目標フレーム画像の画像勾配値を計算し、上記画像勾配値に基づいて上記目標フレーム画像の画像精細度を決定することを含む。

【0052】

一般的に、画像精細度の評価関数は階調変化関数、勾配関数及び画像階調エントロピー関数等がある。具体的に、画像処理において、画像勾配はエッジ抽出を行うことに用いられてもよく、合焦が良ければ良いほど、画像エッジが鋭くなり、より大きな画像勾配値、例えばテネングラッド関数、Ｒｏｂｅｒｔ勾配及びラプラス演算子等を有すべきである。従って、勾配関数を利用して目標フレームの精細度を計算してもよい。

【0053】

具体的に、本願の実施例では、目標フレーム画像の画像精細度を計算することは、目標フレーム画像をラプラシアン（Ｌａｐｌａｃｉａｎ）変換して、目標フレーム画像の勾配図（すなわち、オリジナルのフレームにおける画素変化幅）を取得し、勾配図の分散がボケ度であり、分散が大きければ大きいほど、フレームが精細になって認識度が高くなり、逆に、フレームがボケて認識度が小さくなることを含んでもよい。

【0054】

４０４において、上記目標フレーム画像の精細度が精細度閾値に達した場合、上記目標フレーム画像を有効フレーム画像として決定する。

【0055】

本願の実施例では、精細度閾値は端末が本願の実施例に係る方法を実行する前に設定されてもよいし、目標フレーム画像の精細度を計算した後、目標フレーム画像の精細度と精細度閾値とを比較する前に設定されてもよく、本願の実施例は制限しない。

【0056】

なお、目標フレーム画像の精細度が精細度閾値に達しない場合、端末は更に合焦することをユーザーに提示するための精細度提示情報を送信してもよく、本願の実施例は具体的に制限しない。

【0057】

本願の実施例では、取得された画像特徴点の数が数量閾値に達しない場合、更に目標フレーム画像の精細度が精細度閾値に達しているかどうかを決定してもよく、ボケ度の高い画像をサンプリングすることを回避し、本願の実施例を実施することにより、端末がボケ画像を取得することを回避することができ、端末の処理効率を向上させる。

【0058】

図５Ａを参照して、図５Ａには本願の実施例に係る目標フレーム画像を有効フレーム画像として決定する別の方法を示し、図５Ａに示すように、該方法は、
カメラで撮影された目標フレーム画像から少なくとも１つの画像特徴点を抽出する５０１と、
抽出された画像特徴点の上記目標フレーム画像における位置に基づいて上記目標フレーム画像の重心位置を計算する５０２と、
上記重心位置が上記目標フレーム画像の中心領域にある場合、上記目標フレーム画像を有効フレーム画像として決定する５０３と、を含んでもよい。

【0059】

本実施例では、図５Ｂを例として本実施例に係る目標フレーム画像の重心位置を決定するシーンの模式図を更に説明する。図５Ｂにおける黒色点５１が重心位置であり、中心領域がグリッド中央の１／２面積領域、例えば領域５２に位置する。

【0060】

抽出された画像特徴点の上記目標フレーム画像における位置に基づいて上記目標フレーム画像の重心位置を計算することは、
上記目標フレーム画像における複数のグリッドサブ領域を決定することと、
抽出された画像特徴点の上記目標フレーム画像における位置に基づいて各画像特徴点の所在するグリッドサブ領域を決定することと、
上記複数のグリッドサブ領域内の各グリッドサブ領域における画像特徴点の数に基づき、上記目標フレーム画像の重心位置を計算することと、を含む。

【0061】

具体的に、重心位置を決定する好適な一実施例におけるステップは以下のとおりである。

【0062】

１１）上記目標フレーム画像における複数のグリッドサブ領域を決定し、つまり、目標フレーム画像をＮ＊Ｍのグリッド（ＮとＭが目標フレーム画像の高さ・幅に応じて設定されてもよい）に分割して、各グリッドに含まれる特徴点数を統計して、Ｎ＊Ｍの密度行列を形成する。

【0063】

１２）抽出された画像特徴点の上記目標フレーム画像における位置に基づいて各画像特徴点の所在するグリッドサブ領域を決定する。好適な実施例では、更にグリッドにおける平均画像特徴点数に応じて一部のグリッドサブ領域をフィルタリングしてもよく、例えば、更にＦＡＳＴアルゴリズムにより抽出された特徴点数をＰとし、グリッドサブ領域における平均画像特徴点数をＡｖｇ＝Ｐ／Ｎ＊Ｍとし、その中の画像特徴点数がＡｖｇより小さいグリッドサブ領域に含まれる画像特徴点の数を０と記すことにより、局所の少量の画像特徴点が目標フレーム画像全体の重心に与える影響を低減する。

【0064】

１３）上記複数のグリッドサブ領域内の各グリッドサブ領域における画像特徴点の数に基づき、上記目標フレーム画像の重心位置を計算し、該重心が目標フレーム画像特徴点の分布位置を代表する。ステップ１２）における好適な実施例に説明される方法に基づき、更にフィルタリング後の密度行列における特徴点計数を重みとして、密度行列の重心を計算してもよく、該重心が該目標フレーム画像特徴点の分布位置を代表してもよい。

【0065】

１４）中心領域がグリッド中央の１／２面積領域に位置する場合、計算された重心位置が該１／２面積領域に位置すれば、該目標フレーム画像が分布条件を満たし、つまり、該目標フレーム画像が有効フレーム画像である。

【0066】

上記重心位置の決定方法によって、図３Ｃにおける重心位置を決定することができ、例えば、図３Ｃにおける黒色中実ドットが図３Ｃの重心位置である。

【0067】

なお、上記中心領域は目標フレーム画像の中心１／２面積領域であってもよいし、目標フレーム画像の中心１／４面積領域等であってもよく、本実施例は制限しない。

【0068】

本実施例では、上記重心位置が上記目標フレーム画像の中心領域に位置しない場合、カメラの撮影位置を調整するようにユーザーに提示するための知らせ情報を送信する。

【0069】

図５Ｃを参照して、図５Ｃは本願の実施例に係る他の知らせ情報のシーン模式図であり、図５Ｃに示すように、端末の送信した知らせ情報は矢印方向情報及び文字提示情報を含み、目標フレーム画像の重心位置が目標フレーム画像の中心領域に位置しない場合、該端末が知らせ情報を送信する。なお、図５Ｃは例示的なものに過ぎず、制限のためのものであると理解すべきではない。

【0070】

本願の実施例を実施することにより、目標フレーム画像の重心位置が中心領域にあるように確保することができ、目標フレーム画像には取得すべき主な内容が含まれるように確保し、端末の処理効率を向上させる。

【0071】

図３Ａ、図４及び図５Ａに説明される目標フレーム画像を有効フレームとして決定する方法は更に１フレーム前の画像が有効フレーム画像であるかどうかを決定することに適用されてもよい。好適な実施例では、目標フレーム画像が図３Ａ、図４及び図５Ａにおける全部又は一部の条件を満たすことを決定した場合、目標フレーム画像が有効フレーム画像であると確認できる一方、目標フレーム画像が図３Ａ、図４及び図５Ａにおける一部又は全部の条件を満たさないことを決定した場合、目標フレーム画像が有効フレーム画像ではないことを決定することができる。

【0072】

具体的に実現するとき、それぞれ図３Ａ、図４及び図５Ａに説明される方法を実行することにより目標フレーム画像が有効フレームであるかどうかを決定してもよいし、図３Ａ、図４及び図５Ａに説明される方法を組み合わせて目標フレーム画像が有効フレームであるかどうかを決定し、例えば、図８に説明される順序通りに目標フレーム画像を有効フレームとして決定してもよいし、図９に説明される順序通りに目標フレーム画像を有効フレームとして決定してもよく、本願の実施例は図３Ａ、図４及び図５Ａの前後順序又は組み合わせ順序を制限しない。

【0073】

図６Ａを参照して、図６Ａは本願の実施例に係る目標フレーム画像が非移動状態で撮影されたものであることを決定する方法のフローチャートであり、図６Ａに示すように、該方法は、
カメラで撮影された目標フレーム画像から少なくとも１つの画像特徴点を抽出する６０１と、
上記目標フレーム画像が有効フレーム画像である場合、上記カメラで撮影された１フレーム前の画像における少なくとも１つのオプティカルフロー画像特徴点の特徴情報を取得して、上記少なくとも１つの画像特徴点の特徴情報に基づいて、上記少なくとも１つの画像特徴点から上記オプティカルフロー画像特徴点に対応する画像特徴点を決定する６０２と、
上記１フレーム前の画像における少なくとも一部のオプティカルフロー画像特徴点と、上記目標フレーム画像において対応する画像特徴点との、フレーム画像における平均変位距離を計算する６０３と、
上記平均変位距離が距離閾値より小さい場合、上記目標フレーム画像が非移動状態で撮影されたものであることを決定する６０４と、を含んでもよい。

【0074】

本実施例では、距離閾値は平均変位距離がある値より小さい場合、目標フレーム画像が非移動状態で撮影されたものであることを決定するものであり、従って、該距離閾値の具体値については、本実施例は制限しない。

【0075】

上記平均変位距離が距離閾値より小さい場合、上記目標フレーム画像が非移動状態で撮影されたものであることを決定することは、
上記目標フレーム画像を含む上記カメラで撮影された連続複数のフレーム画像において、各フレーム画像のオプティカルフロー画像特徴点とその次のフレーム画像において対応する画像特徴点との、フレーム画像における平均変位距離をそれぞれ計算し、上記連続複数のフレーム画像において、隣接する２つのフレーム画像毎の間の平均変位距離がいずれも上記距離閾値より小さい場合、上記目標フレーム画像が非移動状態で撮影されたものであることを決定することを含む。

【0076】

つまり、連続複数のフレーム画像において、１フレーム前の画像に比べて各フレーム画像の画像特徴点の平均変位距離がいずれも上記距離閾値より小さい場合、上記目標フレーム画像が非移動状態で撮影されたものであることを決定する。

【0077】

本願の実施例を実施することにより、目標フレーム画像が非移動状態で撮影されたものであることを決定することにより、端末がボケ画像を撮影することを回避することができ、端末の画像処理効率を向上させ、端末がサーバーにアップロードする回数を減少させ、端末が画像を処理する際のセルラーデータを減少させ、ユーザーの満足度を向上させる。

【0078】

図６Ｂを参照して、図６Ｂには本願の実施例に係る目標フレーム画像が非移動状態で撮影されたものであることを決定する他の方法を示し、図６Ｂに示すように、該方法は、
カメラで撮影された目標フレーム画像から少なくとも１つの画像特徴点を抽出する６１０と、
上記目標フレーム画像が有効フレーム画像である場合、上記カメラで撮影された１フレーム前の画像における少なくとも１つのオプティカルフロー画像特徴点の特徴情報を取得して、上記少なくとも１つの画像特徴点の特徴情報に基づいて、上記少なくとも１つの画像特徴点から上記オプティカルフロー画像特徴点に対応する画像特徴点を決定する６２０と、
上記１フレーム前の画像における少なくとも一部のオプティカルフロー画像特徴点と、上記目標フレーム画像において対応する画像特徴点との、フレーム画像における平均変位距離を計算する６３０と、
上記平均変位距離及び上記目標フレーム画像と１フレーム前の画像との間の撮影時間の間隔に基づき、上記目標フレーム画像と１フレーム前の画像との間の、上記カメラの撮影変位速度を計算する６４０と、
上記カメラの撮影変位速度が速度閾値より小さい場合、上記目標フレーム画像が非移動状態で撮影されたものであることを決定する６５０と、を含んでもよい。

【0079】

本願の実施例では、速度閾値は撮影変位速度がある値より小さい場合、目標フレーム画像が非移動状態で撮影されたものであることを決定するものであり、従って、該速度閾値の具体値については、本実施例は制限しない。

【0080】

なお、本実施例では、撮影変位速度は方向を指定しなくてもよく、つまり、撮影変位レートであってもよく、本実施例は制限しない。

【0081】

上記カメラの撮影変位速度が速度閾値より小さい場合、上記目標フレーム画像が非移動状態で撮影されたものであることを決定することは、
上記目標フレーム画像を含む上記カメラで撮影された連続複数のフレーム画像において、各フレーム画像のオプティカルフロー画像特徴点とその次のフレーム画像において対応する画像特徴点との、フレーム画像における平均変位距離をそれぞれ計算することと、
上記連続複数のフレーム画像において、隣接する２つのフレーム画像毎の間の平均変位距離及び撮影時間の間隔に基づいて各２つの隣接フレーム画像の間の上記カメラの撮影変位速度を計算することと、
各２つの隣接フレーム画像の間の上記カメラの撮影変位速度がいずれも上記速度閾値より小さい場合、上記目標フレーム画像が非移動状態で撮影されたものであることを決定することと、を含む。

【0082】

つまり、連続複数のフレーム画像において、各フレーム画像と１フレーム前の画像との間のカメラの撮影変位速度がいずれも上記速度閾値より小さい場合、上記目標フレーム画像が非移動状態で撮影されたものであることを決定する。

【0083】

本願の実施例を実施することにより、目標フレーム画像が非移動状態で撮影されたものであることを決定することにより、端末がボケ画像を撮影することを回避することができ、端末の画像処理効率を向上させ、端末がサーバーにアップロードする回数を減少させ、端末が画像を処理する際のセルラーデータを減少させ、ユーザーの満足度を向上させる。

【0084】

ただし、図６Ａ及び図６Ｂに説明される目標フレーム画像が非移動状態で撮影されたものであることを決定する２つの実施形態は例示的なものに過ぎず、他の好適な実施例では、より多い実施形態によって変位距離に基づいて目標フレーム画像が非移動状態で撮影されたものであることを決定してもよく、例えば、１フレーム前の画像に比べて目標フレーム画像には変位距離が他の距離閾値より大きい画像特徴点がない場合、目標フレーム画像が非移動状態で撮影されたものであると確認できる。

【0085】

図７を参照して、図７は本願の実施例に係る他の画像処理方法のフローチャートであり、図７に示すように、該画像処理方法は以下を含んでもよい。

【0086】

７０１において、カメラで撮影された目標フレーム画像から少なくとも１つの画像特徴点を抽出する。

【0087】

７０２において、上記カメラで撮影された１フレーム前の画像が有効フレーム画像であるかどうかを判断し、そうである場合、７０３を実行し、そうでない場合、７０４を実行する。

【0088】

７０３において、上記目標フレーム画像が有効フレーム画像であるかどうかを判断し、そうである場合、７０５を実行し、そうでない場合、７０６を実行する。

【0089】

なお、１フレーム前の画像及び目標フレーム画像が有効フレーム画像であるかどうかを判断する方法は図３Ａ、図４及び図５Ａに説明される方法を参照してもよく、ここで詳細な説明は省略する。

【0090】

７０４において、上記目標フレーム画像及び上記少なくとも１つの画像特徴点の特徴情報を保存する。

【0091】

具体的に、上記画像特徴点は、オプティカルフローのトラッキングを行うためのオプティカルフロー特徴点として保存される。

【0092】

つまり、１フレーム前の画像が無効フレーム画像である場合、端末は目標フレーム画像を保存し、つまり、該目標フレーム画像を初期化フレーム画像としてカメラで撮影された目標フレーム画像から少なくとも１つの画像特徴点を抽出してもよい。

【0093】

７０５において、上記１フレーム前の画像におけるオプティカルフロー画像特徴点の特徴情報に基づいて上記オプティカルフロー画像特徴点に対してオプティカルフローのトラッキングを行い、上記目標フレーム画像における少なくとも１つの画像特徴点の特徴情報に基づいて上記目標フレーム画像においてトラッキングして上記オプティカルフロー画像特徴点に対応する画像特徴点を取得する。

【0094】

７０６において、現在保存されている有効フレーム画像及び対応する画像特徴点の特徴情報を削除し、
つまり、目標フレーム画像が無効フレーム画像である場合、端末は保存されている有効フレーム画像を直接削除することにより、フレーム画像の初期化を改めて行ってもよい。

【0095】

７０７において、上記１フレーム前の画像におけるオプティカルフロー画像特徴点と上記目標フレーム画像に対応する画像特徴点とのフレーム画像における変位距離を計算する。

【0096】

７０８において、上記変位距離に基づいて上記目標フレーム画像が非移動状態で撮影されたものであると決定した場合、上記目標フレーム画像を出力する。

【0097】

なお、変位距離に基づいて目標フレーム画像が非移動状態で撮影されたものであることを決定する方法は図６Ａ及び図６Ｂに説明される方法を参照してもよく、ここで詳細な説明は省略する。

【0098】

本願の実施例を実施することにより、１フレーム前の画像及び目標フレーム画像が有効フレームである場合、該目標フレーム画像の画像特徴点と該１フレーム前の画像において対応する画像特徴点との画像での変位距離を計算し、つまり、初期化フレーム画像が有効フレーム画像である場合、後続の操作を実行することにより、オプティカルフローのトラッキング効率を効果的に向上させ、変位距離の計算精度を向上させ、更に端末が目標フレーム画像を出力する効率を向上させ、ユーザーの満足度を向上させることができる。

【0099】

図８を参照して、図８は本願の実施例に係る別の画像処理方法のフローチャートである。該画像処理方法は画像処理のための端末、例えば携帯機器、タブレットＰＣ等に適用されてもよく、本願の実施例は制限しない。図８に示すように、該画像処理方法は以下を含んでもよい。

【0100】

８０１において、カメラで撮影された目標フレーム画像から少なくとも１つの画像特徴点を抽出する。

【0101】

８０２において、抽出された画像特徴点の数が数量閾値に達しているかどうかを判断し、達している場合、８０３を実行し、そうでない場合、８０６を実行する。

【0102】

８０３において、上記目標フレーム画像の精細度が精細度閾値に達しているかどうかを判断し、達している場合、８０４を実行し、そうでない場合、８０６を実行する。

【0103】

８０４において、上記目標フレーム画像における重心位置が上記目標フレーム画像の中心領域に位置するかどうかを判断し、そうである場合、８０５を実行し、そうでない場合、８０６を実行する。

【0104】

８０５において、上記目標フレーム画像を有効フレーム画像として決定する。

【0105】

なお、ステップ８０２、ステップ８０３及びステップ８０４の前後順序については、本願の実施例は制限しない。

【0106】

８０６において、知らせ情報を送信する。

【0107】

上記知らせ情報はカメラの撮影位置を調整するようにユーザーに提示することに用いられる。

【0108】

８０７において、上記カメラで撮影された１フレーム前の画像における少なくとも１つのオプティカルフロー画像特徴点の特徴情報を取得して、上記少なくとも１つの画像特徴点の特徴情報に基づいて、上記少なくとも１つの画像特徴点から上記オプティカルフロー画像特徴点に対応する画像特徴点を決定する。

【0109】

８０８において、上記１フレーム前の画像におけるオプティカルフロー画像特徴点と上記目標フレーム画像に対応する画像特徴点とのフレーム画像における変位距離を計算する。

【0110】

８０９において、上記変位距離に基づいて上記目標フレーム画像が非移動状態で撮影されたものであると決定した場合、上記目標フレーム画像を出力する。

【0111】

本願の実施例における具体的な実現方法は上記実施例の実現方法を参照してもよく、ここで詳細な説明は省略する。

【0112】

本願の実施例を実施することにより、ユーザーとの対話を実現することができ、それにより端末の取得した目標フレーム画像が要件を満たさない場合、ユーザーが関連操作を行うようにガイドし、ユーザーに直観的なガイド操作を提供し、ユーザーの満足度を向上させる一方、端末が画像を出力する効率を向上させ、撮像されたボケ画像を出力することを回避する。

【0113】

上記実施例に説明される方法をより明確に説明するために、図９を参照して、図９は本願の実施例に係る画像処理方法の具体的なシーンの模式図であり、該画像処理方法は携帯機器に適用されてもよく、図９に説明される方法は図２Ａに係るネットワークアーキテクチャの模式図に基づくものであってもよく、図９に示すように、該画像処理方法は以下を含んでもよい。

【0114】

９０１において、カメラで撮影して１フレーム前の画像及び目標フレーム画像を取得し、該１フレーム前の画像が目標フレーム画像の１フレーム前の画像である。

【0115】

９０２において、ＦＡＳＴアルゴリズムによってカメラで撮影された目標フレーム画像から画像特徴点を抽出する。

【0116】

９０３において、抽出された画像特徴点の数が数量閾値に達しているかどうかを検出し、達している場合、９０４を実行し、そうでない場合、９０５を実行する。

【0117】

９０４において、抽出された画像特徴点に基づいて目標フレーム画像の重心位置が上記目標フレーム画像の中心領域にあるかどうかを検出し、そうである場合、９０７を実行し、そうでない場合、９０６を実行する。

【0118】

９０５において、上記目標フレーム画像の精細度が精細度閾値に達しているかどうかを検出し、達している場合、９０４を実行し、そうでない場合、９０６を実行する。

【0119】

抽出された画像特徴点の数が数量閾値に達しない場合、画像がボケる可能性もあるし、カメラが具体的な内容を撮影できない可能性もあり、従って、抽出された画像特徴点の数が数量閾値に達しない場合、更に目標フレーム画像の精細度を判断することにより、該目標フレーム画像の結像効果を効果的に確保し、該端末の画像処理効率を向上させ、更にサーバーによる画像認識効率を向上させることができる。

【0120】

９０６において、知らせ情報を送信する。

【0121】

上記知らせ情報はカメラの撮影位置を調整するようにユーザーに提示することに用いられる。

【0122】

９０７において、カメラで撮影された１フレーム前の画像が有効フレーム画像である場合、１フレーム前の画像におけるオプティカルフロー画像特徴点の特徴情報に基づいて上記オプティカルフロー画像特徴点に対してオプティカルフローのトラッキングを行う。

【0123】

９０８において、上記目標フレーム画像における少なくとも１つの画像特徴点の特徴情報に基づいて上記目標フレーム画像においてトラッキングして上記オプティカルフロー画像特徴点に対応する画像特徴点を取得する。

【0124】

９０９において、上記１フレーム前の画像における少なくとも一部のオプティカルフロー画像特徴点と、上記目標フレーム画像において対応する画像特徴点との、フレーム画像における平均変位距離を計算する。

【0125】

９１０において、上記平均変位距離及び上記目標フレーム画像と１フレーム前の画像との間の撮影時間の間隔に基づき、上記目標フレーム画像と１フレーム前の画像との間の、上記カメラの撮影変位速度を計算する。

【0126】

９１１において、上記カメラの撮影変位速度が速度閾値より小さい場合、上記目標フレーム画像が非移動状態で撮影されたものであることを決定する。

【0127】

９１２において、上記目標フレーム画像をクラウドサーバーに送信する。

【0128】

図９に説明される方法に基づき、生活の中の例を挙げ、例えば、ユーザーが携帯電話ＱＲコード（登録商標）スキャン機能を使用して、シェア自転車を借りる過程において、携帯電話でスキャンされた画像が精細ではない場合、サーバーが認識できない恐れがあり、このような場合、携帯電話がサンプリングしてアップロードする操作を絶え間なく行う必要がある。

【0129】

従って、本願の実施例を実施することにより、端末、例えば携帯機器でスキャンされた画像が精細ではない場合、ユーザーが改めてスキャンするようにガイドし、更に携帯機器でスキャンされた画像の結像效果が良い場合、サーバーにアップロードすることができ、携帯機器のアップロード要求回数を減少させ、データ通信量の消費量を低減させ、携帯電話のアップロードした画像の品質を確保することができる一方、サーバーへのリソース要求サービスを減少させ、サーバーの認識効率を向上させる。

【0130】

上記実施例では、各実施例の説明は異なるところに偏重しており、ある実施例における未説明の部分は他の実施例の関連説明を参照してもよい。

【0131】

理解すべきこととして、図１Ａ、図３Ａ、図４、図５Ａ、図６Ａ、図６Ｂ、図７～図９のフローチャートにおける各ステップは矢印の指示通りに順に表示しているが、これらのステップは必ずしも矢印で示す順序で順に実行しなければならないものではない。本明細書に明確に説明しない限り、これらのステップの実行は厳格に順序通りに行われるものではなく、これらのステップは他の順序で実行されてもよい。且つ、図１Ａ、図３Ａ、図４、図５Ａ、図６Ａ、図６Ｂ、図７～図９における少なくとも一部のステップは複数のサブステップ又は複数の段階を含んでもよく、これらのサブステップ又は段階は必ずしも同じ時刻に実行して完了しなければならないものではなく、異なる時刻に実行してもよく、これらのサブステップ又は段階の実行順序は必ずしも順に行われるものではなく、他のステップ又は他のステップのサブステップ又は段階の少なくとも一部と順番又は交互に実行されてもよい。

【0132】

図１０を参照して、図１０は本願の実施例に係る画像処理装置の構造模式図であり、該画像処理装置は本願の実施例に係る画像処理方法を実行することに用いられてもよく、本願の実施例は制限しない。図１０に示すように、該画像処理装置は、
カメラで撮影された目標フレーム画像から少なくとも１つの画像特徴点を抽出するように構成される抽出ユニット１００１と、
前記目標フレーム画像が有効フレーム画像である場合、上記カメラで撮影された１フレーム前の画像における少なくとも１つのオプティカルフロー画像特徴点の特徴情報を取得して、上記少なくとも１つの画像特徴点の特徴情報に基づいて、上記少なくとも１つの画像特徴点から上記オプティカルフロー画像特徴点に対応する画像特徴点を決定するように構成される取得ユニット１００２と、
上記１フレーム前の画像におけるオプティカルフロー画像特徴点と、上記目標フレーム画像において対応する画像特徴点との、フレーム画像における変位距離を計算するように構成される計算ユニット１００３と、
上記変位距離に基づいて上記目標フレーム画像が非移動状態で撮影されたものであることを決定するように構成される決定ユニット１００４と、
上記決定ユニット１００４が上記変位距離に基づいて上記目標フレーム画像が非移動状態で撮影されたものであると決定した場合、上記目標フレーム画像を出力するように構成される出力ユニット１００５と、を備えてもよい。

【0133】

本願の実施例を実施することにより、画像処理装置が結像効果の悪い画像を出力することを回避することができ、それによりユーザーに結像効果の良い画像を提供し、画像処理装置による画像処理効率を向上させ、ユーザーの満足度を向上させる。

【0134】

好適な実現方式として、上記取得ユニット１００２は、具体的に、上記１フレーム前の画像におけるオプティカルフロー画像特徴点の特徴情報に基づいて上記オプティカルフロー画像特徴点に対してオプティカルフローのトラッキングを行い、上記目標フレーム画像における少なくとも１つの画像特徴点の特徴情報に基づいて上記目標フレーム画像においてトラッキングして上記オプティカルフロー画像特徴点に対応する画像特徴点を取得することに用いられる。

【0135】

本実施例では、上記取得ユニット１００２は、具体的に、上記カメラで撮影された１フレーム前の画像が有効フレーム画像である場合、上記１フレーム前の画像におけるオプティカルフロー画像特徴点の特徴情報に基づいて上記オプティカルフロー画像特徴点に対してオプティカルフローのトラッキングを行うことに用いられ、
上記画像処理装置は、更に、
上記１フレーム前の画像が有効フレーム画像ではない場合、上記目標フレーム画像及び上記少なくとも１つの画像特徴点の特徴情報を保存するように構成され、前記画像特徴点が、オプティカルフローのトラッキングを行うためのオプティカルフロー画像特徴点として保存される保存ユニット１００６を備えてもよい。

【0136】

好適な実現方式として、上記画像処理装置は、更に、
上記目標フレーム画像が有効フレーム画像ではない場合、現在保存されている有効フレーム画像及び有効フレーム画像において対応するオプティカルフロー画像特徴点の特徴情報を削除するように構成される削除ユニット１００７を備えてもよい。

【0137】

上記特徴情報が画像特徴点の画素カラー情報又は輝度情報を含む。

【0138】

本願の実施例を実施することにより、１フレーム前の画像及び目標フレーム画像が有効フレームである場合、該目標フレーム画像の画像特徴点と該１フレーム前の画像において対応する画像特徴点との画像での変位距離を計算し、つまり、初期化フレーム画像が有効フレーム画像である場合、後続の操作を実行し、オプティカルフローのトラッキング効率を効果的に向上させ、変位距離の計算精度を向上させ、更に画像処理装置が目標フレーム画像を出力する効率を向上させ、ユーザーの満足度を向上させることができる。

【0139】

具体的に、図１０に示される画像処理装置に基づき、図１１Ａに示すように、上記決定ユニット１００４は、具体的に、
上記１フレーム前の画像における少なくとも一部のオプティカルフロー画像特徴点と、上記目標フレーム画像において対応する画像特徴点との、フレーム画像における平均変位距離を計算するように構成される第１計算サブユニット１０４１と、
上記平均変位距離が距離閾値より小さい場合、上記目標フレーム画像が非移動状態で撮影されたものであることを決定するように構成される第１決定サブユニット１０４２と、を備える。

【0140】

上記第１決定サブユニット１０４２は、具体的に、上記目標フレーム画像を含む上記カメラで撮影された連続複数のフレーム画像において、各フレーム画像のオプティカルフロー画像特徴点とその次のフレーム画像において対応する画像特徴点との、フレーム画像における平均変位距離をそれぞれ計算し、前記連続複数のフレーム画像において、隣接する２つのフレーム画像毎の間の平均変位距離がいずれも上記距離閾値より小さい場合、上記目標フレーム画像が非移動状態で撮影されたものであることを決定することに用いられる。

【0141】

本願の実施例を実施することにより、目標フレーム画像が非移動状態で撮影されたものであるかどうかを効果的に決定することができ、それにより画像処理装置の結像効果の効率を向上させ、画像のボケの問題の発生を回避する。

【0142】

好適な実現方式として、図１１Ｂに示すように、上記決定ユニット１００４は、具体的に、
上記１フレーム前の画像における少なくとも一部のオプティカルフロー画像特徴点と、上記目標フレーム画像において対応する画像特徴点との、フレーム画像における平均変位距離を計算するように構成される第２計算サブユニット１０４３と、
更に、上記平均変位距離及び上記目標フレーム画像と１フレーム前の画像との間の撮影時間の間隔に基づき、上記目標フレーム画像と１フレーム前の画像との間の、上記カメラの撮影変位距離を計算するように構成される上記第２計算サブユニット１０４３と、
上記カメラの撮影変位距離が速度閾値より小さい場合、上記目標フレーム画像が非移動状態で撮影されたものであることを決定するように構成される第２決定サブユニット１０４４と、を備える。

【0143】

上記第２決定サブユニット１０４４は、具体的に、上記目標フレーム画像を含む上記カメラで撮影された連続複数のフレーム画像において、各フレーム画像のオプティカルフロー画像特徴点とその次のフレーム画像において対応する画像特徴点との、フレーム画像における平均変位距離をそれぞれ計算し、上記連続複数のフレーム画像において、隣接する２つのフレーム画像毎の間の平均変位距離及び撮影時間の間隔に基づいて各２つの隣接フレーム画像の間の上記カメラの撮影変位距離を計算し、各２つの隣接フレーム画像の間の上記カメラの撮影変位速度がいずれも速度閾値より小さい場合、上記目標フレーム画像が非移動状態で撮影されたものであることを決定することに用いられる。

【0144】

本願の実施例を実施することにより、目標フレーム画像が非移動状態で撮影されたものであるかどうかを効果的に決定することができ、それにより画像処理装置の結像効果の効率を向上させ、画像のボケの問題の発生を回避する。

【0145】

好適な実現方式として、上記取得ユニット１００２は、更に、上記目標フレーム画像から抽出された画像特徴点の数を取得することに用いられ、
上記決定ユニット１００４は、更に、抽出された画像特徴点の数が数量閾値に達した場合、上記目標フレーム画像を有効フレーム画像として決定することに用いられる。

【0146】

上記画像特徴点の周りの隣接する画素点のうち、画素特徴が上記画像特徴点と異なる相違画素点がすべての隣接する画素点に占める割合は割合の閾値に達する。

【0147】

本願の実施例を実施することにより、画像特徴点の数によって目標フレーム画像が有効フレーム画像であるかどうかを決定し、それにより該目標フレーム画像が有効フレーム画像である場合、後続の操作を実行し、更に画像処理装置による画像処理効率を向上させ、画像の結像効率を向上させる。

【0148】

好適な実現方式として、上記画像処理装置は、更に、
抽出された画像特徴点の数が上記数量閾値に達しない場合、カメラの撮影位置を調整するようにユーザーに提示するための知らせ情報を送信するように構成される第１送信ユニット１００８を備える。

【0149】

本願の実施例を実施することにより、ユーザーとの対話を実現することができ、それにより画像処理装置の取得した目標フレーム画像が要件を満たさない場合、ユーザーが関連操作を行うようにガイドし、ユーザーに直観的なガイド操作を提供し、ユーザーの満足度を向上させる。

【0150】

好適な実現方式として、上記計算ユニット１００３は、更に、上記目標フレーム画像の画像精細度を計算することに用いられ、
上記決定ユニット１００４は、更に、上記目標フレーム画像の精細度が精細度閾値に達した場合、上記目標フレーム画像を有効フレーム画像として決定することに用いられる。

【0151】

上記取得ユニット１００２は、更に、上記目標フレーム画像から抽出された画像特徴点の数を取得することに用いられ、
上記決定ユニット１００４は、具体的に、抽出された画像特徴点の数が数量閾値に達しない場合、上記計算ユニットによって上記目標フレーム画像の画像精細度を計算し、上記目標フレーム画像の精細度が精細度閾値に達した場合、上記目標フレーム画像を有効フレーム画像として決定することに用いられる。

【0152】

具体的に、上記計算ユニット１００３は、具体的に、上記目標フレーム画像の画像勾配値を計算し、上記画像勾配値に基づいて上記目標フレーム画像の画像精細度を決定することに用いられる。

【0153】

本願の実施例を実施することにより、目標フレーム画像の精細度を判断することにより目標フレーム画像が有効フレーム画像であるかどうかを決定し、それにより該目標フレーム画像が有効フレーム画像である場合、後続の操作を実行し、更に画像処理装置による画像処理効率を向上させ、画像の結像効率を向上させる。

【0154】

好適な実現方式として、上記決定ユニット１００４は、更に、抽出された画像特徴点の上記目標フレーム画像における位置に基づいて上記計算ユニットによって上記目標フレーム画像の重心位置を計算し、上記重心位置が上記目標フレーム画像の中心領域にある場合、上記目標フレーム画像を有効フレーム画像として決定することに用いられる。上記決定ユニット１００４が重心位置を計算することは、具体的に、上記目標フレーム画像における複数のグリッドサブ領域を決定することと、抽出された画像特徴点の上記目標フレーム画像における位置に基づいて各画像特徴点の所在するグリッドサブ領域を決定することと、上記複数のグリッドサブ領域内の各グリッドサブ領域における画像特徴点の数に基づき、上記目標フレーム画像の重心位置を計算することと、を含む。

【0155】

本願の実施例を実施することにより、重心位置の分布によって目標フレーム画像が有効フレーム画像であるかどうかを決定し、それにより該目標フレーム画像が有効フレーム画像である場合、後続の操作を実行し、更に画像処理装置による画像処理効率を向上させ、画像の結像効率を向上させる。

【0156】

好適な実現方式として、上記画像処理装置は、更に、
上記重心位置が上記目標フレーム画像の中心領域に位置しない場合、カメラの撮影位置を調整するようにユーザーに提示するための知らせ情報を送信するように構成される第２送信ユニット１００９を備える。

【0157】

本願の実施例を実施することにより、ユーザーとの対話を実現することができ、それにより画像処理装置の取得した目標フレーム画像が要件を満たさない場合、ユーザーが関連操作を行うようにガイドし、ユーザーに直観的なガイド操作を提供し、ユーザーの満足度を向上させる。

【0158】

好適な実現方式として、上記出力ユニット１００５は、具体的に、上記目標フレーム画像をサーバーに送信することに用いられる。

【0159】

本願の実施例を実施することにより、サーバーが目標フレーム画像を効果的に認識することができ、サーバーによる画像認識効率を向上させる一方、画像処理装置が上記条件を満たすフレーム画像をサーバーにアップロードすることができ、アップロードするフレーム数を効果的に減少させ、セルラーネットワークデータを節約する。

【0160】

具体的に実現するとき、本願の実施例に説明される画像処理装置における各ユニットの具体的な実現方式は上記各実施例の具体的な実現方式を参照してもよく、ここで詳細な説明は省略する。

【0161】

上記画像処理装置はコンピュータプログラムの形式で実現されてもよく、コンピュータプログラムは図１２に示される端末において実行できる。端末の記憶媒体には該画像処理装置を構成する各プログラムユニット、例えば図１０に示される抽出ユニット１００１、取得ユニット１００２、計算ユニット１００３、決定ユニット１００４及び出力ユニット１００５が記憶されてもよい。各プログラムユニットで構成されたコンピュータプログラムがプロセッサにより実行されるとき、プロセッサが本願の各実施例の画像処理方法におけるステップを実行する。

【0162】

図１２を参照して、図１２は本願の実施例に係る端末の構造模式図であり、図１２に示すように、該端末は、
カメラで撮影されたフレーム画像を保存するように構成され、プログラム命令が記憶される記憶媒体１２０１と、
上記プログラム命令を実行するように構成される上記プロセッサ１２０２と、を備え、上記プログラム命令がプロセッサにより実行されるとき、上記プロセッサは、
カメラで撮影された目標フレーム画像から少なくとも１つの画像特徴点を抽出し、
上記目標フレーム画像が有効フレーム画像である場合、上記カメラで撮影された１フレーム前の画像における少なくとも１つのオプティカルフロー画像特徴点の特徴情報を取得して、上記少なくとも１つの画像特徴点の特徴情報に基づいて、上記少なくとも１つの画像特徴点から上記オプティカルフロー画像特徴点に対応する画像特徴点を決定し、
上記１フレーム前の画像におけるオプティカルフロー画像特徴点と、上記目標フレーム画像において対応する画像特徴点との、フレーム画像における変位距離を計算し、
上記変位距離に基づいて上記目標フレーム画像が非移動状態で撮影されたものであると決定した場合、上記目標フレーム画像を出力するステップを実行する。

【0163】

具体的に、上記プログラム命令によって、プロセッサは上記カメラで撮影された１フレーム前の画像における少なくとも１つのオプティカルフロー画像特徴点の特徴情報を取得して、上記少なくとも１つの画像特徴点の特徴情報に基づいて、上記少なくとも１つの画像特徴点から上記オプティカルフロー画像特徴点に対応する画像特徴点を決定するステップを実行するとき、上記プロセッサは、具体的に、
上記１フレーム前の画像におけるオプティカルフロー画像特徴点の特徴情報に基づいて上記オプティカルフロー画像特徴点に対してオプティカルフローのトラッキングを行い、上記目標フレーム画像における少なくとも１つの画像特徴点の特徴情報に基づいて上記目標フレーム画像においてトラッキングして上記オプティカルフロー画像特徴点に対応する画像特徴点を取得するステップを実行する。

【0164】

本実施例では、上記プログラム命令がプロセッサにより実行されるとき、上記プロセッサは、更に、
上記カメラで撮影された１フレーム前の画像が有効フレーム画像である場合、上記１フレーム前の画像におけるオプティカルフロー画像特徴点の特徴情報に基づいて上記オプティカルフロー画像特徴点に対してオプティカルフローのトラッキングを行い、上記１フレーム前の画像が有効フレーム画像ではない場合、上記記憶媒体に上記目標フレーム画像及び上記少なくとも１つの画像特徴点の特徴情報を保存し、上記画像特徴点が、オプティカルフローのトラッキングを行うためのオプティカルフロー画像特徴点として保存されるステップを実行する。

【0165】

好適な実現方式として、上記プログラム命令がプロセッサにより実行されるとき、上記プロセッサは、更に、
上記目標フレーム画像が有効フレーム画像ではない場合、現在保存されている有効フレーム画像及び有効フレーム画像において対応するオプティカルフロー画像特徴点の特徴情報を削除するステップを実行する。

【0166】

具体的に、上記特徴情報が画像特徴点の画素カラー情報又は輝度情報を含む。

【0167】

好適な実現方式として、上記プログラム命令によって、プロセッサは上記変位距離に基づいて上記目標フレーム画像が非移動状態で撮影されたものであることを決定するステップを実行するとき、上記プロセッサは、具体的に、
上記１フレーム前の画像における少なくとも一部のオプティカルフロー画像特徴点と、上記目標フレーム画像において対応する画像特徴点との、フレーム画像における平均変位距離を計算し、
上記平均変位距離が距離閾値より小さい場合、上記目標フレーム画像が非移動状態で撮影されたものであることを決定するステップを実行する。

【0168】

好適な実現方式として、上記プロセッサは上記プログラム命令を実行して上記平均変位距離が距離閾値より小さい場合、上記目標フレーム画像が非移動状態で撮影されたものであることを決定するステップを実行するとき、上記プロセッサは、具体的に、
上記目標フレーム画像を含む上記カメラで撮影された連続複数のフレーム画像において、各フレーム画像のオプティカルフロー画像特徴点とその次のフレーム画像において対応する画像特徴点との、フレーム画像における平均変位距離をそれぞれ計算し、上記連続複数のフレーム画像において、隣接する２つのフレーム画像毎の間の平均変位距離がいずれも距離閾値より小さい場合、上記目標フレーム画像が非移動状態で撮影されたものであることを決定するステップを実行する。

【0169】

好適な実現方式として、上記プログラム命令によって、プロセッサは上記変位距離に基づいて上記目標フレーム画像が非移動状態で撮影されたものであることを決定するステップを実行するとき、上記プロセッサは、具体的に、
上記１フレーム前の画像における少なくとも一部のオプティカルフロー画像特徴点と、上記目標フレーム画像において対応する画像特徴点との、フレーム画像における平均変位距離を計算し、
上記平均変位距離及び上記目標フレーム画像と１フレーム前の画像との間の撮影時間の間隔に基づき、上記目標フレーム画像と１フレーム前の画像との間の、上記カメラの撮影変位速度を計算し、
上記カメラの撮影変位速度が速度閾値より小さい場合、上記目標フレーム画像が非移動状態で撮影されたものであることを決定するステップを実行する。

【0170】

好適な実現方式として、上記プログラム命令によって、プロセッサは上記カメラの撮影変位速度が速度閾値より小さい場合、上記目標フレーム画像が非移動状態で撮影されたものであることを決定するステップを実行するとき、上記プロセッサは、具体的に、
上記目標フレーム画像を含む上記カメラで撮影された連続複数のフレーム画像において、各フレーム画像のオプティカルフロー画像特徴点とその次のフレーム画像において対応する画像特徴点との、フレーム画像における平均変位距離をそれぞれ計算し、
上記連続複数のフレーム画像において、隣接する２つのフレーム画像毎の間の平均変位距離及び撮影時間の間隔に基づいて各２つの隣接フレーム画像の間の上記カメラの撮影変位速度を計算し、
各２つの隣接フレーム画像の間の上記カメラの撮影変位速度がいずれも上記速度閾値より小さい場合、上記目標フレーム画像が非移動状態で撮影されたものであることを決定するステップを実行する。

【0171】

好適な実現方式として、上記プログラム命令がプロセッサにより実行されるとき、プロセッサは、更に、
上記目標フレーム画像から抽出された画像特徴点の数を取得し、抽出された画像特徴点の数が数量閾値に達した場合、上記目標フレーム画像を有効フレーム画像として決定するステップを実行する。

【0172】

上記画像特徴点の周りの隣接する画素点のうち、画素特徴が上記画像特徴点と異なる相違画素点がすべての隣接する画素点に占める割合は割合の閾値に達する。

【0173】

好適な実現方式として、上記端末は、更に、
フレーム画像を撮影するように構成されるカメラ１２０３と、
ユーザーと対話するように構成されるユーザーインターフェース１２０４と、を備え、
上記プログラム命令がプロセッサにより実行されるとき、プロセッサは、更に、
抽出された画像特徴点の数が上記数量閾値に達しない場合、上記ユーザーインターフェースを介して上記カメラの撮影位置を調整することをユーザーに提示するための知らせ情報を送信するステップを実行する。

【0174】

好適な実現方式として、上記プログラム命令がプロセッサにより実行されるとき、プロセッサは、更に、
上記目標フレーム画像の画像精細度を計算し、上記目標フレーム画像の精細度が精細度閾値に達した場合、上記目標フレーム画像を有効フレーム画像として決定するステップを実行する。

【0175】

好適な実現方式として、上記プログラム命令がプロセッサにより実行されるとき、プロセッサは、更に、
上記目標フレーム画像から抽出された画像特徴点の数を取得し、抽出された画像特徴点の数が数量閾値に達しない場合、上記目標フレーム画像の画像精細度を計算し、上記目標フレーム画像の精細度が精細度閾値に達した場合、上記目標フレーム画像を有効フレーム画像として決定するステップを実行する。

【0176】

好適な実現方式として、上記プログラム命令によって、プロセッサは上記目標フレーム画像の画像精細度を計算するステップを実行するとき、プロセッサは、具体的に、
上記目標フレーム画像の画像勾配値を計算し、上記画像勾配値に基づいて上記目標フレーム画像の画像精細度を決定するステップを実行する。

【0177】

好適な実現方式として、上記プログラム命令がプロセッサにより実行されるとき、プロセッサは、更に、
抽出された画像特徴点の上記目標フレーム画像における位置に基づいて前記目標フレーム画像の重心位置を計算し、前記重心位置が前記目標フレーム画像の中心領域にある場合、上記目標フレーム画像を有効フレーム画像として決定するステップを実行する。

【0178】

好適な実現方式として、上記プログラム命令によって、プロセッサは抽出された画像特徴点の前記目標フレーム画像における位置に基づいて前記目標フレーム画像の重心位置を計算するステップを実行するとき、プロセッサは、具体的に、
前記目標フレーム画像における複数のグリッドサブ領域を決定し、
抽出された画像特徴点の前記目標フレーム画像における位置に基づいて各画像特徴点の所在するグリッドサブ領域を決定し、
前記複数のグリッドサブ領域内の各グリッドサブ領域における画像特徴点の数に基づき、前記目標フレーム画像の重心位置を計算するステップを実行する。

【0179】

好適な実現方式として、上記プログラム命令がプロセッサにより実行されるとき、プロセッサは、更に、
上記重心位置が上記目標フレーム画像の中心領域に位置しない場合、上記ユーザーインターフェースを介してカメラの撮影位置を調整するようにユーザーに提示するための知らせ情報を送信するステップを実行する。

【0180】

好適な実現方式として、上記端末は、更に、
外部装置と通信するように構成される通信インターフェース１２０６を備え、
上記プログラム命令によって、プロセッサは上記目標フレーム画像を出力するステップを実行するとき、プロセッサは、具体的に、
上記通信インターフェースを介して上記目標フレーム画像をサーバーに送信するステップを実行する。

【0181】

上記記憶媒体１２０１、プロセッサ１２０２、カメラ１２０３、ユーザーインターフェース１２０４及び通信インターフェース１２０５はバス１２０６によって接続される。

【0182】

本願の実施例を実施することにより、端末が結像効果の悪い画像を出力することを回避することができ、それによりユーザーに結像効果の良い画像を提供し、端末の画像処理効率を向上させ、ユーザーの満足度を向上させる。

【0183】

具体的な実現方式では、本願の実施例に説明されるプロセッサ１２０２、カメラ１２０３、ユーザーインターフェース１２０４及び通信インターフェース１２０５は本願の実施例に係る上記各実施例に説明される実現方式を実行してもよいし、本願の実施例に説明される端末の関連機能を実行してもよく、ここで詳細な説明は省略する。

【0184】

本願の他の実施例は記憶媒体を提供し、上記記憶媒体に複数のプログラム命令が記憶され、上記プログラム命令がプロセッサにより実行されるとき、プロセッサは、カメラで撮影された目標フレーム画像から少なくとも１つの画像特徴点を抽出し、上記目標フレーム画像が有効フレーム画像である場合、上記画像特徴点の特徴情報に基づいて上記カメラで撮影された１フレーム前の画像から対応する画像特徴点を取得し、上記目標フレーム画像の画像特徴点と上記１フレーム前の画像において対応する画像特徴点との画像での変位距離を計算し、上記変位距離に基づいて上記目標フレーム画像が非移動状態で撮影されたものであると決定した場合、上記目標フレーム画像を出力するステップを実行する。

【0185】

上記記憶媒体は上記いずれか１つの実施例に記載の端末の内部記憶ユニット、例えばハードディスク又はメモリであってもよい。上記記憶媒体は更に上記端末の外部記憶装置、例えば上記端末に配置されるプラグインハードディスク、スマートメディアカード（ＳＭＣ：Ｓｍａｒｔ Ｍｅｄｉａ（登録商標） Ｃａｒｄ）、セキュアデジタル（ＳＤ：Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）カード、フラッシュメモリカード（Ｆｌａｓｈ Ｃａｒｄ）等であってもよい。更に、上記記憶媒体は上記端末の内部記憶ユニットを含むだけでなく、更に外部記憶装置を含んでもよい。上記記憶媒体は上記プログラム命令及び上記端末に必要な他のプログラム及びデータを記憶することに用いられる。上記記憶媒体は更に出力された又は出力しようとするデータを一時的に記憶することに用いられてもよい。

【0186】

当業者であれば理解できるように、上記実施例の方法における全部又は一部のプロセスの実現はコンピュータプログラムが関連するハードウェアを命令することで完了してもよく、前記プログラムは不揮発性コンピュータ可読記憶媒体に記憶されてもよく、該プログラムは実行時、上記各方法の実施例のプロセスを含んでもよい。本願に係る各実施例に使用されるメモリ、記憶、データベース又は他の媒体についてのいかなる援用は、いずれも不揮発性メモリ及び／又は揮発性メモリを含んでもよい。不揮発性メモリは読み出し専用メモリ（ＲＯＭ）、プログラム可能ＲＯＭ（ＰＲＯＭ）、電気的プログラム可能ＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラム可能ＲＯＭ（ＥＥＰＲＯＭ）又はフラッシュメモリを含んでもよい。揮発性メモリはランダムアクセスメモリ（ＲＡＭ）又は外部キャッシュメモリを含んでもよい。説明であって制限的ではないが、ＲＡＭは多くの形式、例えばスタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、拡張型ＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクリンク（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、ラムバス（Ｒａｍｂｕｓ）ダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトラムバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）、及びラムバスダイナミックＲＡＭ（ＲＤＲＡＭ）等で得られる。

【0187】

以上の実施例の各技術的特徴は任意に組み合わせられてもよく、説明を簡潔にするために、上記実施例における各技術的特徴のすべての可能な組み合わせを説明しないが、これらの技術的特徴の組み合わせは矛盾しない限り、本明細書に記載の範囲内にあると見なされるべきである。

【0188】

以上の実施例は本願のいくつかの実施形態を説明するためのものに過ぎず、より具体的且つ詳しく説明したが、本発明の範囲を制限するためのものではない。ただし、当業者であれば、本願の構想を逸脱せずに、更に種々の変形や改良を行うことができ、これらはいずれも本願の保護範囲に属する。従って、本願の保護範囲は特許請求の範囲に準じるべきである。

【符号の説明】

【0189】

203 端末
204 クラウドサーバー
1001 抽出ユニット
1002 取得ユニット
1003 計算ユニット
1004 決定ユニット
1005 出力ユニット
1006 保存ユニット
1007 削除ユニット
1008 第１送信ユニット
1009 第２送信ユニット
1041 第１計算サブユニット
1042 第１決定サブユニット
1043 第２計算サブユニット
1044 第２決定サブユニット
1201 記憶媒体
1202 プロセッサ
1203 カメラ
1204 ユーザーインターフェース
1205 通信インターフェース

【図1A】

【図1B】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【図3C】

【図3D】

【図4】

【図5A】

【図5B】

【図5C】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図12】