IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

<図1>
  • -ビデオ復号化方法及びカメラ 図1
  • -ビデオ復号化方法及びカメラ 図2
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-14
(45)【発行日】2022-10-24
(54)【発明の名称】ビデオ復号化方法及びカメラ
(51)【国際特許分類】
   H04N 19/587 20140101AFI20221017BHJP
   H04N 19/59 20140101ALI20221017BHJP
   H04N 19/132 20140101ALI20221017BHJP
   H04N 19/137 20140101ALI20221017BHJP
   H04N 19/182 20140101ALI20221017BHJP
【FI】
H04N19/587
H04N19/59
H04N19/132
H04N19/137
H04N19/182
【請求項の数】 6
(21)【出願番号】P 2020530657
(86)(22)【出願日】2018-11-16
(65)【公表番号】
(43)【公表日】2021-02-18
(86)【国際出願番号】 CN2018115852
(87)【国際公開番号】W WO2019120012
(87)【国際公開日】2019-06-27
【審査請求日】2020-06-04
(31)【優先権主張番号】201711385671.4
(32)【優先日】2017-12-20
(33)【優先権主張国・地域又は機関】CN
【前置審査】
(73)【特許権者】
【識別番号】520159673
【氏名又は名称】影石創新科技股▲ふん▼有限公司
【氏名又は名称原語表記】ARASHI VISION INC.
【住所又は居所原語表記】Room 1101, 1102, 1103, 11th Floor, Building 2, Jinlitong Financial Center, 1100 Xingye Road, Haiwang Community, Xin’an Street, Bao’an District, Shenzhen, Guangdong 518000, China
(74)【代理人】
【識別番号】110002262
【氏名又は名称】TRY国際弁理士法人
(72)【発明者】
【氏名】謝 亮
(72)【発明者】
【氏名】劉 靖康
【審査官】清山 昂平
(56)【参考文献】
【文献】特表2016-515776(JP,A)
【文献】特表2012-506092(JP,A)
【文献】特開2011-082846(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N19/00-19/98
IEEE Xplore
(57)【特許請求の範囲】
【請求項1】
ビデオを読み込んで、ビデオから各フレーム画像を復号化することと、
任意の相互隣接する2つのフレーム画像に対し、第一オプティカルフロー場を算出することと、
前記第一オプティカルフロー場によって、挿入待ちフレーム画像の位置の第二オプティカルフロー場を算出し、前記位置が相互隣接する2つのフレーム画像の中心であることと、
前記第二オプティカルフロー場を利用して、挿入待ちフレーム画像の各画素の前記相互隣接する2つのフレーム画像のうち、前に位置するフレーム画像に対応する画素位置を算出し、前記前に位置するフレーム画像における画素値を取得して前記挿入待ちフレーム画像の画素に割り当てることと、
挿入されたフレーム画像と復号化したオリジナルのフレーム画像を時系列にまとめておいて、高フレームレートのビデオを再構成することを含み、
前記任意の相互隣接する2つのフレーム画像に対し、第一オプティカルフロー場を算出することは、
任意の相互隣接する2つのフレーム画像に対しダウンサンプリングを行って、適切な解像度まで下げることと、
ダウンサンプリング後の前記相互隣接する2つのフレーム画像に対しオプティカルフローを算出して、解像度が下げられた第一オプティカルフロー場を得ることと、
前記第一オプティカルフロー場に対し、オリジナル画像の解像度になるようにアップサンプリングして、オリジナル画像の解像度での第一オプティカルフロー場を得ることを含み、
前記第一オプティカルフロー場によって、挿入待ちフレーム画像の位置の第二オプティカルフロー場を算出し、前記位置が相互隣接する2つのフレーム画像の中心であることは、
前記相互隣接する2つのフレーム画像中の第一フレーム画像I 1 から前記相互隣接する2つのフレーム画像中の第二フレーム画像I 2 への前記第一オプティカルフロー場をM 1 とし、前記第一フレーム画像I 1 と前記第二フレーム画像I 2 との中心に1つのフレーム画像を挿入したとき、挿入された前記フレーム画像から前記第一フレーム画像I 1 への前記第二オプティカルフロー場をMとすると、
M(x+dx,y+dy)=-M 1 (x,y)/2
ここで、(dx,dy)=M 1 (x,y)は、前記第一フレーム画像I 1 の (x,y)座標から前記第二フレーム画像I 2 への動きベクトルであり、
前記第二オプティカルフロー場を利用して、挿入待ちフレーム画像の各画素の前記相互隣接する2つのフレーム画像のうち、前に位置するフレーム画像に対応する画素位置を算出し、前記前に位置するフレーム画像における画素値を取得して前記挿入待ちフレーム画像の画素に割り当てることは、
挿入されるフレーム画像をIとし、前記第二オプティカルフロー場をMとして、前記相互隣接する2つのフレーム画像中の第一フレーム画像I 1 における、前記挿入されるフレーム画像I中の各座標(x,y)の位置(x+dx,y+dy)を算出し、ここで、(dx,dy)=M(x,y) は、前記挿入されるフレーム画像Iから前記第一フレーム画像I 1 への座標 (x,y)での動きベクトルであり、
前記挿入されるフレーム画像Iの各画素に値を与えて、
I(x,y)= I 1 (x+dx,y+dy)である
ことを特徴とするビデオ復号化方法。
【請求項2】
前記第一オプティカルフロー場に対し、オリジナル画像の解像度になるようにアップサンプリングして、オリジナル画像の解像度での第一オプティカルフロー場を得た後、さらに、
前記オリジナル画像の解像度での第一オプティカルフロー場に対して、連続性を確保するように平滑化処理を行う
ことを特徴とする請求項1に記載のビデオ復号化方法。
【請求項3】
前記挿入待ちフレーム画像の位置の第二オプティカルフロー場を算出した後、さらに、
前記第二オプティカルフロー場に存在する無効座標に対し、前記無効座標の周りで最小の領域を取得して、前記領域に有効座標が含まれるようにし、前記有効座標のオプティカルフローの平均値を前記無効座標に割り当てて、オプティカルフローの空洞を埋めて、最後に前記第二オプティカルフロー場Mに対して平滑化処理を行う
ことを特徴とする請求項に記載のビデオ復号化方法。
【請求項4】
前記挿入されたフレーム画像と復号化したオリジナルのフレーム画像を時系列にまとめておいて、高フレームレートのビデオを再構成することは、
前記ビデオから復号化したフレーム画像の配列をIi 、Ii+1……とし、前記オプティカルフローを利用してフレーム画像Ii とIi+1との間にフレーム画像Ii を挿入して、前記フレーム画像をI1、I1 、I2、I2 ……の順にビデオストリーミングに符号化して、高フレームレートのビデオを形成する
ことを特徴とする請求項1~2のいずれか1項に記載のビデオ復号化方法。
【請求項5】
コンピュータープログラムが記憶されており、
処理装置により前記コンピュータープログラムを実行する際、前記請求項1乃至のいずれか一項に記載のビデオ復号化方法のステップを実施する
ことを特徴とするコンピューター可読記憶媒体。
【請求項6】
一つ又は複数の処理装置と、記憶装置と、一つ又は複数のコンピュータープログラムを備え、前記処理装置と前記記憶装置はバスによって接続されており、
前記一つ又は複数のコンピュータープログラムは、前記記憶装置に記憶されて、前記一つ又は複数の処理装置により実行されるように配置され、
前記処理装置により前記コンピュータープログラムを実行する際、前記請求項1乃至のいずれか一項に記載のビデオ復号化方法のステップを実施する
ことを特徴とするカメラ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理の分野に関し、特に、ビデオ復号化方法及びにカメラに関する。
【背景技術】
【0002】
カメラで動くもの、特に高速で動く物体を撮影して得られたビデオでは、ビデオのフレームレートが不十分なため、撮られた物体の動きの不連続現象が発生し、再生速度を下げてスローモーションで見る場合、このような動きの不連続現象がより顕著に現れる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明の目的は、動く物体のビデオに発生する、フレームレートに起因する動きが不連続な現象が解決できるビデオ復号化方法、コンピューター可読記憶媒体及びカメラを提供することである。
【課題を解決するための手段】
【0004】
本発明によるビデオ復号化方法は、ビデオを読み込んで、ビデオから各フレーム画像を復号化するステップ、任意の相互隣接する2つのフレーム画像に対し、第一オプティカルフロー場を算出するステップ、前記第一オプティカルフロー場によって、挿入待ちフレーム画像の位置の第二オプティカルフロー場を算出し、ここで前記位置が相互隣接する2つのフレーム画像の中心であるステップ、前記第二オプティカルフロー場を利用して、前記挿入待ちフレーム画像の各画素の、前記相互隣接する2つのフレーム画像の1つ前のフレーム画像での対応する画素位置を算出し、前記1つ前のフレーム画像における画素値を取得して前記挿入待ちフレーム画像の画素に割り当てるステップ、挿入されたフレーム画像と復号化したオリジナルのフレーム画像を時系列にまとめておいて、高フレームレートのビデオを再構成するステップを含む。
【0005】
さらに、本発明によるコンピューター可読記憶媒体は、コンピュータープログラムが記憶されており、処理装置により前記コンピュータープログラムを実行する際、本発明によるビデオ復号化方法のステップを実施する。
【0006】
さらに、本発明によるカメラは、一つ又は複数の処理装置と、記憶装置と、一つ又は複数のコンピュータープログラムを備え、前記処理装置と前記記憶装置はバスによって接続されており、前記一つ又は複数のコンピュータープログラムは、前記記憶装置に記憶されて、前記一つ又は複数の処理装置により実行されるように配置され、前記処理装置により前記コンピュータープログラムを実行する際、本発明によるビデオ復号化方法のステップを実施する。
【発明の効果】
【0007】
本発明によれば、任意の相互隣接する2つのフレーム画像に対し、第一オプティカルフロー場を算出し、第一オプティカルフロー場によって、挿入待ちフレーム画像の位置の第二オプティカルフロー場を算出し、第二オプティカルフロー場を利用して、挿入待ちフレーム画像の各画素の相互隣接する2つのフレーム画像の1つ前のフレーム画像の対応する画素位置を算出し、1つ前のフレーム画像における画素値を取得して挿入待ちフレーム画像の画素に割り当てて、挿入したフレーム画像と復号化したオリジナルのフレーム画像を時系列にまとめておく。これにより、高フレームレートのビデオを再構成するので、動きが不連続な現象が解消又は遅延して、より円滑な視覚効果を達成することができる。
【図面の簡単な説明】
【0008】
図1】本発明の第一の実施形態によるビデオ復号化方法のフローチャートである。
図2】本発明の第三の実施形態によるカメラの構成ブロック図である。
【発明を実施するための形態】
【0009】
本発明の目的、技術的手段及び有益な効果をより明確に説明するために、以下、図面、実施形態に基づいて詳しく説明する。もちろん、下記の実施形態は本発明を説明するためものであり、本発明を限定するものではない。
【0010】
[第一の実施形態]
図1に示すように、本実施形態によるビデオ復号化方法は、下記ステップを含むが、実質上同じ効果をもたらすのであれば、図1に示されたフローチャートの順番に限らない。
【0011】
S101:ビデオを読み込んで、ビデオから各フレーム画像を復号化する。
【0012】
S102:任意の相互隣接する2つのフレーム画像に対し、第一オプティカルフロー場を算出する。
【0013】
本実施形態において、S102は、具体的には、
任意の相互隣接する2つのフレーム画像に対しダウンサンプリングを行って、適切な解像度まで下げること;
ダウンサンプリング後の相互隣接する2つのフレーム画像に対しオプティカルフローを算出して、解像度が下げられた第一オプティカルフロー場を得ること;
第一オプティカルフロー場に対し、オリジナル画像の解像度になるようにアップサンプリングして、オリジナル画像の解像度での第一オプティカルフロー場を得ることを含む。
【0014】
本実施形態において、ビデオ復号化方法は、第一オプティカルフロー場に対して、オリジナル画像の解像度になるようにアップサンプリングし、オリジナル画像の解像度での第一オプティカルフロー場を得た後、さらに、オリジナル画像の解像度の第一オプティカルフロー場に対して、連続性を確保するように平滑化処理を行うステップを含む。詳しくは、オリジナル画像の解像度での第一オプティカルフロー場のオプティカルフロー値にサンプリング係数を掛けることで、オリジナル画像の解像度になったときのオプティカルフローの正確性を確保する。
【0015】
S103:第一オプティカルフロー場によって、挿入待ちフレーム画像の位置の第二オプティカルフロー場を算出する。その位置は相互隣接する2つのフレーム画像の中心である。
【0016】
本実施形態において、S103は、具体的には、
相互隣接する2つのフレーム画像中の第一フレーム画像I1から前記相互隣接する2つのフレーム画像中の第二フレーム画像I2への第一オプティカルフロー場をM1とし、第一フレーム画像I1と第二フレーム画像I2との中心に1つのフレーム画像を挿入したとき、挿入されたフレーム画像から第一フレーム画像I1への第二オプティカルフロー場をMとすると、
M(x+dx,y+dy)=-M1(x,y)/2;
ここで、(dx,dy)=M1(x,y)は、第一フレーム画像I1の (x,y)座標から第二フレーム画像I2への動きベクトルである。
【0017】
第二オプティカルフロー場Mには空洞が存在する可能性があり、つまり、無効座標が存在する。このため、本実施形態において、ビデオ復号化方法は、挿入待ちフレーム画像の位置の第二オプティカルフロー場を算出した後、さらに、第二オプティカルフロー場に存在する無効座標に対し、無効座標の周りで最小の領域(例えば、正方形、長方形など)を取得して、その領域に有効座標が含まれるようにし、その後、有効座標のオプティカルフローの平均値を無効座標に代入して、オプティカルフローの空洞を埋め、最後に、第二オプティカルフロー場Mに対して平滑化処理を行うステップを含む。
【0018】
S104:第二オプティカルフロー場を利用して、挿入待ちフレーム画像の各画素の、相互隣接する2つのフレーム画像の1つ前のフレーム画像における対応する画素位置を算出し、1つ前のフレーム画像における画素値を取得して挿入待ちフレーム画像の画素に割り当てる。
【0019】
本実施形態において、S104は、具体的には、
挿入されるフレーム画像をIとし、第二オプティカルフロー場をMとして、相互隣接する2つのフレーム画像中の第一フレーム画像I1における、挿入されるフレーム画像I中の各座標(x,y)の位置(x+dx,y+dy)を算出しする。ここで、(dx,dy)=M(x,y) は、挿入されるフレーム画像をIから第一フレーム画像I1への座標 (x,y)での動きベクトルであり、挿入されるフレーム画像Iの各画素に値を与え、具体的な式ははI (x,y)= I1(x+dx,y+dy)である。
【0020】
S105:挿入したフレーム画像と復号化したオリジナルのフレーム画像を時系列にまとめておいて、高フレームレートのビデオを再構成する。
【0021】
本実施形態において、S105は、具体的には、
ビデオから復号化したフレーム画像の配列をIi 、Ii+1……とし、オプティカルフローを利用してフレーム画像Ii とIi+1との間にフレーム画像Ii を挿入して、フレーム画像をI1、I1 、I2、I2 ……の順にビデオストリーミングに符号化して、高フレームレートのビデオを形成する。
【0022】
[第二の実施形態]
本実施形態よるコンピューター可読記憶媒体は、コンピュータープログラムが記憶されており、処理装置によりコンピュータープログラムを実行する際、上記第一の実施形態によるビデオ復号化方法のステップを実施する。
【0023】
[第三の実施形態]
図2は、本発明の実施形態によるカメラの構成ブロック図を示す。本実施形態によるカメラ100は、一つ又は複数の処理装置101と、記憶装置102と、一つ又は複数のコンピュータープログラムとを備えている。処理装置101と記憶装置102はバスによって接続されており、一つ又は複数のコンピュータープログラムは、記憶装置102に記憶されて、一つ又は複数の処理装置101により実行されるように配置されている。処理装置101によりコンピュータープログラムを実行する際、上記第一の実施形態によるビデオ復号化方法のステップを実施する。
【0024】
本発明において、任意の相互隣接する2つのフレーム画像に対し、第一オプティカルフロー場を算出し、第一オプティカルフロー場によって、挿入待ちフレーム画像の位置の第二オプティカルフロー場を算出し、第二オプティカルフロー場を利用して、挿入待ちフレーム画像の各画素の、相互隣接する2つのフレーム画像の1つ前のフレーム画像における対応する画素位置を算出し、1つ前のフレーム画像における画素値を取得して挿入待ちフレーム画像の画素に割り当てて、挿入されたフレーム画像と復号化したオリジナルのフレーム画像を時系列にまとめておく。これにより、高フレームレートのビデオを再構成することができるので、動きが不連続な現象が解消又は遅延して、より円滑な視覚効果を達成する。
【0025】
もちろん、上述した方法におけるすべて又は一部のステップは、プログラムにより関連するハードウェアに指令を出して完了することができ、そのプログラムをコンピューター可読記憶媒体に記憶することができる。ここで、記憶媒体としては、例えば、リードオンリーメモリ(ROM,Read Only Memory)、ランダムアクセスメモリ(RAM,Random Access Memory)、磁気ディスク、光ディスクなどがある。
【0026】
以上のように、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、本発明の趣旨及びその範囲から逸脱しない限り、その趣旨に基づいて変更、同等の置換又は改善することができ、いずれも本発明の保護範囲に含まれる。
図1
図2