特許6549246 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ 華為技術有限公司の特許一覧

特許6549246画像符号化／復号方法および関連装置

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1-a
1-b
1-c
2
3-a
3-b
3-c
3-d
3-e
3-f
4-a
4-b
5-a
5-b
5-c
5-d
6
7
8
9

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6549246

(24)【登録日】2019年7月5日

(45)【発行日】2019年7月24日

(54)【発明の名称】画像符号化／復号方法および関連装置

(51)【国際特許分類】

H04N 19/105 20140101AFI20190711BHJP

H04N 19/172 20140101ALI20190711BHJP

H04N 19/503 20140101ALI20190711BHJP

【ＦＩ】

H04N19/105

H04N19/172

H04N19/503

【請求項の数】30

【全頁数】46

(21)【出願番号】特願2017-551284(P2017-551284)

(86)(22)【出願日】2016年3月25日

(65)【公表番号】特表2018-513627(P2018-513627A)

(43)【公表日】2018年5月24日

(86)【国際出願番号】CN2016077396

(87)【国際公開番号】WO2016155576

(87)【国際公開日】20161006

【審査請求日】2017年10月24日

(31)【優先権主張番号】201510150090.7

(32)【優先日】2015年3月31日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】503433420

【氏名又は名称】華為技術有限公司

【氏名又は名称原語表記】ＨＵＡＷＥＩＴＥＣＨＮＯＬＯＧＩＥＳＣＯ．，ＬＴＤ．

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広信哉

(74)【代理人】

【識別番号】100140534

【弁理士】

【氏名又は名称】木内敬二

(72)【発明者】

【氏名】▲虞▼ 露

(72)【発明者】

【氏名】左旭光

(72)【発明者】

【氏名】▲趙▼ 寅

(72)【発明者】

【氏名】▲楊▼ ▲海▼涛

【審査官】久保光宏

(56)【参考文献】

【文献】特開２０１０−４４３４（ＪＰ，Ａ）

【文献】特開２０１２−８５２１６（ＪＰ，Ａ）

【文献】国際公開第２０１０／１０６６７０（ＷＯ，Ａ１）

【文献】特開２０１３−１６８９４１（ＪＰ，Ａ）

【文献】 "ISO/IEC FDIS 14496-15:2013(E)"，[online], ISO/IEC JTC 1/SC 29/WG 11，２０１４年１月２２日，Page 71 (Section 8.4.9)，[retrieved on 2019.05.17], Retrieved from the Internet，ＵＲＬ，<https://www.3gpp.org/ftp/tsg_sa/WG4_CODEC/TSGS4_77/docs/S4-140201.zip> and <https://www.3gpp.org/ftp/tsg_sa/WG4_CODEC/TSGS4_77/docs/>

【文献】 WENQING DAI，"EFFICIENT H.264 VIDEO CODING WITH A WORKING MEMORY OF OBJECTS"，[online], University of Missouri-Columbia (Master thesis)，２００９年１２月２２日，Pages 1-63，[retrieved on 2018.08.07], Retrieved from the Internet: ，ＵＲＬ，https://mospace.umsystem.edu/xmlui/handle/10355/5343?show=full

【文献】社団法人映像情報メディア学会編，「総合マルチメディア選書ＭＰＥＧ」，日本，株式会社オーム社，１９９６年４月２０日，第１版，第７５〜７９頁，ISBN:4-274-07840-X

【文献】 SM Shen, et al.，"Restricted Multiple Reference Frames with Long Term Frame Buffer"，[online], ITU - Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group (VCEG)，２００１年１１月３０日，Document: VCEG-O49，Pages 1-7，[retrieved on 2018.08.07], Retrieved from the Internet: ，ＵＲＬ，https://www.itu.int/wftp3/av-arch/video-site/0112_Pat/VCEG-O49.doc

【文献】 Toby Walker, et al.，"File Format for JVT Video based on MP4"，[online], Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6)，２００５年１月１７日，Document: JVT-C143，Pages 1-5，[retrieved on 2018.08.07], Retrieved from the Internet: ，ＵＲＬ，https://www.itu.int/wftp3/av-arch/jvt-site/2002_05_Fairfax/JVT-C143d1.doc

【文献】大久保榮監修，「インプレス標準教科書シリーズ H.265/HEVC教科書」，日本，株式会社インプレスジャパン，２０１３年１０月２１日，初版，第１３０〜１３５頁，ISBN:978-4-8443-3468-2

【文献】大久保榮監修，「インプレス標準教科書シリーズ改訂三版H.264/AVC教科書」，日本，株式会社インプレスＲ＆Ｄ，２００９年１月１日，第１版，第169-180,311-323,332-335頁，ISBN:978-4-8443-2664-9

【文献】戸内順一，「新図解人工知能入門」，日本，株式会社日本理工出版会，２０１０年２月２０日，初版，第１４〜１５頁，ISBN:978-4-89019-516-9

【文献】大久保晴代（外２名），「ビデオＣＤオーサリングシステム」，National Technical Report，日本，松下電器産業株式会社，１９９６年１０月１８日，Vol.42, No.5，第８３〜８９頁，ISSN:0028-0291

【文献】 Siwei Ma, et al.，"OVERVIEW OF IEEE 1857 VIDEO CODING STANDARD"，Proceedings of 2013 IEEE International Conference on Image Processing (ICIP 2013)，２０１３年９月１８日，Pages 1500-1504，ISBN: 978-1-4799-2341-0, <DOI: 10.1109/ICIP.2013.6738308>

【文献】 Vasconcelos, N., et al.，"Library-based coding: a representation for efficient video compression and retrieval"，Proceedings of IEEE Data Compression Conference 1997 (DCC'97)，１９９７年３月２７日，Pages 1-10，ISBN: 0-8186-7761-9, <DOI: 10.1109/DCC.1997.581989>, [retrieved on 2018.08.07], Retrieved from the Internet:，ＵＲＬ，http://www.svcl.ucsd.edu/publications/

【文献】 Xianguo Zhang, et al.，"Background-Modeling-Based Adaptive Prediction for Surveillance Video Coding"，IEEE TRANSACTIONS ON IMAGE PROCESSING，２０１３年１２月１１日，Vol.23, No.2，Pages 769-784，ISSN: 1057-7149, <DOI: 10.1109/TIP.2013.2294549>

【文献】小野定康（外２名），「ユビキタス技術動画像の高能率符号化−MPEG-4とH.264−」，日本，株式会社オーム社，２００５年４月２０日，第１版，第１１３〜１１４頁，ISBN:4-274-20060-4

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００−１９／９８

ＣＳＤＢ（日本国特許庁）、

ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）

(57)【特許請求の範囲】

【請求項1】

画像復号方法であって、
現在の画像を取得するステップと、
複数の参照画像候補が記憶された知識ベースから、前記現在の画像のK個の参照画像を選択するステップであって、前記知識ベース内の少なくとも1つの画像は、前記現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数であり、前記知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得され、前記第2のビデオビットストリームの復号された画像は表示されない、ステップと、
前記K個の参照画像に従って、前記現在の画像を復号するステップとを含み、
前記知識ベースから、前記現在の画像のK個の参照画像を選択する前記ステップは、前記知識ベースから、前記現在の画像が属する第1のビデオビットストリームを復号することによって取得される、前記現在の画像の参照画像索引に基づいて、前記現在の画像の前記K個の参照画像を選択するステップであって、前記現在の画像の前記参照画像索引は、参照画像の番号を示し、前記第1のビデオビットストリームに属する画像の番号は、前記第2のビデオビットストリームに属する画像の番号からは独立している、ステップを含む方法。

【請求項2】

前記参照画像索引と一致する参照画像は、前記現在の画像が配置される前記ランダムアクセスセグメントの前の再構成画像である、請求項1に記載の方法。

【請求項3】

前記方法は、前記参照画像索引と一致する参照画像が、前記第1のビデオビットストリームとは異なる第2のビデオビットストリームから見つからない場合、サーバから、前記参照画像索引と一致する参照画像を含む前記第2のビデオビットストリームの増分ビットストリームを要求し、前記第2のビデオビットストリームの前記増分ビットストリームを復号して、前記参照画像索引と一致する前記参照画像を取得し、前記参照画像索引と一致する前記取得された参照画像を、前記現在の画像の参照画像として使用するステップをさらに含む、請求項1または2に記載の方法。

【請求項4】

前記現在の画像の前記参照画像索引は、参照画像の画像特徴、および前記現在の画像の画像特徴のうちの少なくとも1つをさらに示す、請求項1から3のいずれか1項に記載の方法。

【請求項5】

前記参照画像索引が、前記現在の画像の前記画像特徴を示す場合、前記K個の参照画像の画像特徴は、前記現在の画像の前記画像特徴と一致する、請求項4に記載の方法。

【請求項6】

前記画像特徴は、尺度不変特徴変換（SIFT）および/または加速堅牢特徴（SURF）を含む、請求項4または5に記載の方法。

【請求項7】

前記知識ベースは、前記現在の画像が属するビデオシーケンス内のキー画像を含み、前記現在の画像が属する前記ビデオシーケンス内の前記キー画像は、前記現在の画像が属する前記ビデオシーケンス内のシーンカット画像および/または背景画像を含む、請求項1から6のいずれか1項に記載の方法。

【請求項8】

前記シーンカット画像は、前記第1のビデオビットストリームとは異なる第2のビデオビットストリームまたは前記現在の画像が属する前記第1のビデオビットストリームを復号することによって取得され、または、前記背景画像は、前記第2のビデオビットストリームまたは前記現在の画像が属する前記第1のビデオビットストリームを復号することによって取得され、または、前記背景画像は、前記現在の画像が属する前記第1のビデオビットストリーム内の復号されたビデオシーケンスに対して背景モデリングを実行することによって取得される、請求項7に記載の方法。

【請求項9】

前記K個の参照画像に従って、前記現在の画像を復号する前記ステップは、前記K個の参照画像を、前記現在の画像の参照画像リストに追加し、前記参照画像リスト内の参照画像に従って、前記現在の画像を復号するステップを含む、請求項1から8のいずれか1項に記載の方法。

【請求項10】

前記現在の画像が配置される前記ランダムアクセスセグメントは、前記現在の画像が配置されるビデオレイヤにおいて、前記現在の画像の前の最も近いランダムアクセスポイントから、前記現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、前記現在の画像が配置される前記ランダムアクセスセグメントは、前記現在の画像の前の前記最も近いランダムアクセスポイントにおける画像を含むが、前記現在の画像の後の前記最も近いランダムアクセスポイントにおける画像を含まず、または、
前記現在の画像が従属レイヤに配置される場合、前記現在の画像が配置される前記ランダムアクセスセグメントは、前記現在の画像が配置されるビデオレイヤにおいて、前記現在の画像の前の最も近いランダムアクセスポイントから、前記現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、X個の参照画像が配置されるビデオレイヤにおいて、前記現在の画像の前記X個の参照画像の前の最も近いランダムアクセスポイントから、前記X個の参照画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、前記現在の画像が配置される前記ランダムアクセスセグメントは、前記現在の画像の前の前記最も近いランダムアクセスポイントにおける画像を含むが、前記現在の画像の後の前記最も近いランダムアクセスポイントにおける画像を含まず、前記現在の画像が配置される前記ランダムアクセスセグメントは、前記X個の参照画像の前の前記最も近いランダムアクセスポイントにおける画像を含むが、前記X個の参照画像の後の前記最も近いランダムアクセスポイントにおける画像を含まず、前記X個の参照画像は、前記従属レイヤ以外の別のビデオレイヤにある前記現在の画像の参照画像である、請求項1から9のいずれか1項に記載の方法。

【請求項11】

画像復号装置であって、
現在の画像を取得するように構成される取得ユニットと、
複数の参照画像候補が記憶された知識ベースから、前記現在の画像のK個の参照画像を選択するように構成される参照ユニットであって、前記知識ベース内の少なくとも1つの画像は、前記現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数であり、前記知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得され、前記第2のビデオビットストリームの復号された画像は表示されない、参照ユニットと、
前記K個の参照画像に従って、前記現在の画像を復号するように構成される復号ユニットとを含み、
前記参照ユニットは、具体的には、前記知識ベースから、前記現在の画像が属する第1のビデオビットストリームを復号することによって取得される、前記現在の画像の参照画像索引に基づいて、前記現在の画像の前記K個の参照画像を選択するように構成され、前記現在の画像の前記参照画像索引は、参照画像の番号を示し、前記第1のビデオビットストリームに属する画像の番号は、前記第2のビデオビットストリームに属する画像の番号からは独立している、装置。

【請求項12】

前記参照画像索引と一致する参照画像は、前記現在の画像が配置される前記ランダムアクセスセグメントの前の再構成画像である、請求項11に記載の装置。

【請求項13】

前記参照ユニットは、前記参照画像索引と一致する参照画像が、前記第1のビデオビットストリームとは異なる第2のビデオビットストリームから見つからない場合、サーバから、前記参照画像索引と一致する参照画像を含む前記第2のビデオビットストリームの増分ビットストリームを要求し、前記第2のビデオビットストリームの前記増分ビットストリームを復号して、前記参照画像索引と一致する前記参照画像を取得し、前記参照画像索引と一致する前記取得された参照画像を、前記現在の画像の参照画像として使用するようにさらに構成される、請求項11または12に記載の装置。

【請求項14】

前記現在の画像の前記参照画像索引は、参照画像の画像特徴、および前記現在の画像の画像特徴のうちの少なくとも1つをさらに示す、請求項11から13のいずれか1項に記載の装置。

【請求項15】

前記参照画像索引が、前記現在の画像の前記画像特徴を示す場合、前記K個の参照画像の画像特徴は、前記現在の画像の前記画像特徴と一致する、請求項14に記載の装置。

【請求項16】

前記画像特徴は、尺度不変特徴変換（SIFT）および/または加速堅牢特徴（SURF）を含む、請求項14または15に記載の装置。

【請求項17】

前記知識ベースは、前記現在の画像が属するビデオシーケンス内のキー画像を含み、前記現在の画像が属する前記ビデオシーケンス内の前記キー画像は、前記現在の画像が属する前記ビデオシーケンス内のシーンカット画像および/または背景画像を含む、請求項11から16のいずれか1項に記載の装置。

【請求項18】

【請求項19】

前記復号ユニットは、具体的には、前記K個の参照画像を、前記現在の画像の参照画像リストに追加し、前記参照画像リスト内の参照画像に従って、前記現在の画像を復号するように構成される、請求項11から18のいずれか1項に記載の装置。

【請求項20】

【請求項21】

ストレージおよび前記ストレージに結合されるプロセッサを含む画像復号装置であって、
前記プロセッサは、現在の画像を取得し、複数の参照画像候補が記憶された知識ベースから、前記現在の画像のK個の参照画像を選択し、前記K個の参照画像に従って、前記現在の画像を復号するように構成され、前記知識ベース内の少なくとも1つの画像は、前記現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数であり、前記知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得され、前記第2のビデオビットストリームの復号された画像は表示されず、
前記プロセッサは、具体的には、前記知識ベースから、前記現在の画像が属する第1のビデオビットストリームを復号することによって取得される、前記現在の画像の参照画像索引に基づいて、前記現在の画像の前記K個の参照画像を選択するように構成され、前記現在の画像の前記参照画像索引は、参照画像の番号を示し、前記第1のビデオビットストリームに属する画像の番号は、前記第2のビデオビットストリームに属する画像の番号からは独立している、装置。

【請求項22】

前記参照画像索引と一致する参照画像は、前記現在の画像が配置される前記ランダムアクセスセグメントの前の再構成画像である、請求項21に記載の装置。

【請求項23】

前記プロセッサは、前記参照画像索引と一致する参照画像が、前記第1のビデオビットストリームとは異なる第2のビデオビットストリームから見つからない場合、サーバから、前記参照画像索引と一致する参照画像を含む前記第2のビデオビットストリームの増分ビットストリームを要求し、前記第2のビデオビットストリームの前記増分ビットストリームを復号して、前記参照画像索引と一致する前記参照画像を取得し、前記参照画像索引と一致する前記取得された参照画像を、前記現在の画像の参照画像として使用するようにさらに構成される、請求項21または22に記載の装置。

【請求項24】

前記現在の画像の前記参照画像索引は、参照画像の画像特徴、および前記現在の画像の画像特徴のうちの少なくとも1つをさらに示す、請求項21から23のいずれか1項に記載の装置。

【請求項25】

前記参照画像索引が、前記現在の画像の前記画像特徴を示す場合、前記K個の参照画像の画像特徴は、前記現在の画像の前記画像特徴と一致する、請求項24に記載の装置。

【請求項26】

前記画像特徴は、尺度不変特徴変換（SIFT）および/または加速堅牢特徴（SURF）を含む、請求項24または25に記載の装置。

【請求項27】

前記知識ベースは、前記現在の画像が属するビデオシーケンス内のキー画像を含み、前記現在の画像が属する前記ビデオシーケンス内の前記キー画像は、前記現在の画像が属する前記ビデオシーケンス内のシーンカット画像および/または背景画像を含む、請求項21から26のいずれか1項に記載の装置。

【請求項28】

【請求項29】

前記プロセッサは、具体的には、前記K個の参照画像を、前記現在の画像の参照画像リストに追加し、前記参照画像リスト内の参照画像に従って、前記現在の画像を復号するように構成される、請求項21から28のいずれか1項に記載の装置。

【請求項30】

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理技術の分野に関し、詳細には、画像符号化方法、画像復号方法および関連装置に関する。

【背景技術】

【0002】

従来のビデオ符号化においては、符号化されたビデオがランダムアクセス機能をサポートするために、符号化されたビデオにいくつかのランダムアクセスポイント（random access point）が挿入される。ビデオは、ランダムアクセスポイントを使用することによって、ランダムアクセス機能をサポートする複数のビデオセグメントにセグメント化され、これは、簡潔にランダムアクセスセグメントと呼ばれてよい。1つのランダムアクセスセグメントは、1以上の画像（picture）を含む。イントラ符号化（Intra coding）は、ランダムアクセスセグメント内の画像に対して実行されてよく、または、ランダムアクセスセグメント内の画像は、インター予測によって、ランダムアクセスセグメント内の別の画像を参照して符号化されてよく、これは、簡潔にインター符号化（Inter coding）と呼ばれる。

【0003】

従来技術では、ランダムアクセスセグメント内の画像は、そのランダムアクセスセグメント内でのみ、別の画像の参照画像（reference picture/frame）として使用されることができる。すなわち、ランダムアクセスポイント間のインター予測（Inter prediction）は許可されない。この従来機構は、いくつかのシナリオにおいて、ビデオ符号化/復号効率を比較的大きく制限し得る。

【発明の概要】

【課題を解決するための手段】

【0004】

本発明の実施形態は、ビデオ符号化/復号効率を改善するために、画像符号化/復号方法および関連装置を提供する。

【0005】

本発明の実施形態の第1の態様は、画像復号方法を提供し、方法は、
現在の画像を取得するステップと、
知識ベースから、現在の画像のK個の参照画像を選択するステップであって、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である、ステップと、
K個の参照画像に従って、現在の画像を復号するステップとを含む。

【0006】

第1の態様を参照すると、第1の態様の第1の可能な実施では、知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得される。

【0007】

第1の態様または第1の態様の第1の可能な実施を参照すると、第1の態様の第2の可能な実施では、知識ベースから、現在の画像のK個の参照画像を選択するステップは、知識ベースから、現在の画像が属する第1のビデオビットストリームを復号することによって取得される、現在の画像の参照画像索引に基づいて、現在の画像のK個の参照画像を選択するステップを含む。

【0008】

第1の態様の第2の可能な実施を参照すると、第1の態様の第3の可能な実施では、参照画像索引と一致する参照画像は、現在の画像が配置されるランダムアクセスセグメントの前の再構成画像である。

【0009】

第1の態様の第2の可能な実施または第1の態様の第3の可能な実施を参照すると、第1の態様の第4の可能な実施では、方法は、参照画像索引と一致する参照画像が、第2のビデオビットストリームから見つからない場合、サーバから、参照画像索引と一致する参照画像を含む第2のビデオビットストリームの増分ビットストリームを要求し、第2のビデオビットストリームの増分ビットストリームを復号して、参照画像索引と一致する参照画像を取得し、参照画像索引と一致する取得された参照画像を、現在の画像の参照画像として使用するステップをさらに含む。

【0010】

第1の態様の第2の可能な実施、第1の態様の第3の可能な実施または第1の態様の第4の可能な実施を参照すると、第1の態様の第5の可能な実施では、現在の画像の参照画像索引は、参照画像の番号、参照画像の画像特徴および/または現在の画像の画像特徴を示す。

【0011】

第1の態様の第5の可能な実施を参照すると、第1の態様の第6の可能な実施では、参照画像索引が、現在の画像の画像特徴を示す場合、K個の参照画像の画像特徴は、現在の画像の画像特徴と一致する。

【0012】

第1の態様の第5の可能な実施または第1の態様の第6の可能な実施を参照すると、第1の態様の第7の可能な実施では、画像特徴は、尺度不変特徴変換SIFTおよび/または加速堅牢特徴SURFを含む。

【0013】

第1の態様または第1の態様の第1乃至第7の可能な実施のうちのいずれか1つを参照すると、第1の態様の第8の可能な実施では、知識ベースは、現在の画像が属するビデオシーケンス内のキー画像を含み、現在の画像が属するビデオシーケンス内のキー画像は、現在の画像が属するビデオシーケンス内のシーンカット画像および/または背景画像を含む。

【0014】

第1の態様の第8の可能な実施を参照すると、第1の態様の第9の可能な実施では、シーンカット画像は、現在の画像が属する第2のビデオビットストリームまたは第1のビデオビットストリームを復号することによって取得され、または、背景画像は、現在の画像が属する第2のビデオビットストリームまたは第1のビデオビットストリームを復号することによって取得され、または、背景画像は、現在の画像が属する第1のビデオビットストリーム内の復号されたビデオシーケンスに対して背景モデリングを実行することによって取得される。

【0015】

第1の態様または第1の態様の第1乃至第9の可能な実施のいずれか1つを参照すると、第1の態様の第10の可能な実施では、K個の参照画像に従って、現在の画像を復号するステップは、K個の参照画像を、現在の画像の参照画像リストに追加し、参照画像リスト内の参照画像に従って、現在の画像を復号するステップを含む。

【0016】

第1の態様または第1の態様の第1乃至第10の可能な実施のいずれか1つを参照すると、第1の態様の第11の可能な実施では、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、または、
現在の画像が従属レイヤに配置される場合、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、X個の参照画像が配置されるビデオレイヤにおいて、現在の画像のX個の参照画像の前の最も近いランダムアクセスポイントから、X個の参照画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、現在の画像が配置されるランダムアクセスセグメントは、X個の参照画像の前の最も近いランダムアクセスポイントにおける画像を含むが、X個の参照画像の後の最も近いランダムアクセスポイントにおける画像を含まず、X個の参照画像は、従属レイヤ以外の別のビデオレイヤにある現在の画像の参照画像である。

【0017】

本発明の実施形態の第2の態様は、画像符号化方法を提供し、方法は、
現在の画像を取得するステップと、
知識ベースから、現在の画像のK個の参照画像を選択するステップであって、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である、ステップと、
K個の参照画像に従って、現在の画像を符号化するステップとを含む。

【0018】

第2の態様を参照すると、第2の態様の第1の可能な実施では、K個の参照画像の画像特徴は、現在の画像の画像特徴と一致する。

【0019】

第2の態様の第1の可能な実施を参照すると、第2の態様の第2の可能な実施では、画像特徴は、尺度不変特徴変換SIFTおよび/または加速堅牢特徴SURFを含む。

【0020】

第2の態様または第2の態様の第1および第2の可能な実施のいずれか1つを参照すると、
第2の態様の第3の可能な実施では、知識ベースは、現在の画像が属するビデオシーケンス内のキー画像を含み、現在の画像が属するビデオシーケンス内のキー画像は、現在の画像が属するビデオシーケンス内のシーンカット画像および/または背景画像を含む。

【0021】

第2の態様の第3の可能な実施を参照すると、第2の態様の第4の可能な実施では、シーンカット画像は、現在の画像が属するビデオシーケンスに対してシーンカット検出を実行することによって取得され、または、背景画像は、現在の画像が属するビデオシーケンスに対して背景モデリングを実行することによって取得される。

【0022】

第2の態様または第2の態様の第1乃至第4の可能な実施を参照すると、第2の態様の第5の可能な実施では、知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得され、または、知識ベース内の少なくとも1つの画像は、現在の画像を符号化することによって取得される第1のビデオビットストリームを復号することによって取得される。

【0023】

第2の態様または第2の態様の第1乃至第5の可能な実施のいずれか1つを参照すると、第2の態様の第6の可能な実施では、
現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、または、
現在の画像が従属レイヤに配置される場合、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、X個の参照画像が配置されるビデオレイヤにおいて、現在の画像のX個の参照画像の前の最も近いランダムアクセスポイントから、X個の参照画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、現在の画像が配置されるランダムアクセスセグメントは、X個の参照画像の前の最も近いランダムアクセスポイントにおける画像を含むが、X個の参照画像の後の最も近いランダムアクセスポイントにおける画像を含まず、X個の参照画像は、従属レイヤ以外の別のビデオレイヤにある現在の画像の参照画像である。

【0024】

本発明の実施形態の第3の態様は、画像復号装置を提供し、装置は、
現在の画像を取得するように構成される取得ユニットと、
知識ベースから、現在の画像のK個の参照画像を選択するように構成される参照ユニットであって、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である、参照ユニットと、
K個の参照画像に従って、現在の画像を復号するように構成される復号ユニットとを含む。

【0025】

第3の態様を参照すると、第3の態様の第1の可能な実施では、知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得される。

【0026】

第3の態様または第3の態様の第1の可能な実施を参照すると、第3の態様の第2の可能な実施では、参照ユニットは、具体的には、知識ベースから、現在の画像が属する第1のビデオビットストリームを復号することによって取得される、現在の画像の参照画像索引に基づいて、現在の画像のK個の参照画像を選択するように構成される。

【0027】

第3の態様の第2の可能な実施を参照すると、第3の態様の第3の可能な実施では、参照画像索引と一致する参照画像は、現在の画像が配置されるランダムアクセスセグメントの前の再構成画像である。

【0028】

第3の態様の第2の可能な実施または第3の態様の第3の可能な実施を参照すると、第3の態様の第4の可能な実施では、参照ユニットは、参照画像索引と一致する参照画像が、第2のビデオビットストリームから見つからない場合、サーバから、参照画像索引と一致する参照画像を含む第2のビデオビットストリームの増分ビットストリームを要求し、第2のビデオビットストリームの増分ビットストリームを復号して、参照画像索引と一致する参照画像を取得し、参照画像索引と一致する取得された参照画像を、現在の画像の参照画像として使用するようにさらに構成される。

【0029】

第3の態様の第2の可能な実施、第3の態様の第3の可能な実施または第3の態様の第4の可能な実施を参照すると、第3の態様の第5の可能な実施では、現在の画像の参照画像索引は、参照画像の番号、参照画像の画像特徴および/または現在の画像の画像特徴を示す。

【0030】

第3の態様の第5の可能な実施を参照すると、第3の態様の第6の可能な実施では、参照画像索引が、現在の画像の画像特徴を示す場合、K個の参照画像の画像特徴は、現在の画像の画像特徴と一致する。

【0031】

第3の態様の第5の可能な実施または第3の態様の第6の可能な実施を参照すると、第3の態様の第7の可能な実施では、画像特徴は、尺度不変特徴変換SIFTおよび/または加速堅牢特徴SURFを含む。

【0032】

第3の態様または第3の態様の第1乃至第7の可能な実施のいずれか1つを参照すると、第3の態様の第8の可能な実施では、知識ベースは、現在の画像が属するビデオシーケンス内のキー画像を含み、現在の画像が属するビデオシーケンス内のキー画像は、現在の画像が属するビデオシーケンス内のシーンカット画像および/または背景画像を含む。

【0033】

第3の態様の第8の可能な実施を参照すると、第3の態様の第9の可能な実施では、シーンカット画像は、現在の画像が属する第2のビデオビットストリームまたは第1のビデオビットストリームを復号することによって取得され、または、背景画像は、現在の画像が属する第2のビデオビットストリームまたは第1のビデオビットストリームを復号することによって取得され、または、背景画像は、現在の画像が属する第1のビデオビットストリーム内の復号されたビデオシーケンスに対して背景モデリングを実行することによって取得される。

【0034】

第3の態様または第3の態様の第1乃至第9の可能な実施のいずれか1つを参照すると、第3の態様の第10の可能な実施では、復号ユニットは、具体的には、K個の参照画像を、現在の画像の参照画像リストに追加し、参照画像リスト内の参照画像に従って、現在の画像を復号するように構成される。

【0035】

第3の態様または第3の態様の第1乃至第10の可能な実施のいずれか1つを参照すると、第3の態様の第11の可能な実施では、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、または、
現在の画像が従属レイヤに配置される場合、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、X個の参照画像が配置されるビデオレイヤにおいて、現在の画像のX個の参照画像の前の最も近いランダムアクセスポイントから、X個の参照画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、現在の画像が配置されるランダムアクセスセグメントは、X個の参照画像の前の最も近いランダムアクセスポイントにおける画像を含むが、X個の参照画像の後の最も近いランダムアクセスポイントにおける画像を含まず、X個の参照画像は、従属レイヤ以外の別のビデオレイヤにある現在の画像の参照画像である。

【0036】

本発明の実施形態の第4の態様は、画像符号化装置を提供し、装置は、
現在の画像を取得するように構成される取得ユニットと、
知識ベースから、現在の画像のK個の参照画像を選択するように構成される参照ユニットであって、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である、参照ユニットと、
K個の参照画像に従って、現在の画像を符号化するように構成される符号化ユニットとを含む。

【0037】

第4の態様を参照すると、第4の態様の第1の可能な実施では、K個の参照画像の画像特徴は、現在の画像の画像特徴と一致する。

【0038】

第4の態様の第1の可能な実施を参照すると、第4の態様の第2の可能な実施では、画像特徴は、尺度不変特徴変換SIFTおよび/または加速堅牢特徴SURFを含む。

【0039】

第4の態様または第4の態様の第1および第2の可能な実施のいずれか1つを参照すると、第4の態様の第3の可能な実施では、知識ベースは、現在の画像が属するビデオシーケンス内のキー画像を含み、現在の画像が属するビデオシーケンス内のキー画像は、現在の画像が属するビデオシーケンス内のシーンカット画像および/または背景画像を含む。

【0040】

第4の態様の第3の可能な実施を参照すると、第4の態様の第4の可能な実施では、シーンカット画像は、現在の画像が属するビデオシーケンスに対してシーンカット検出を実行することによって取得され、または、背景画像は、現在の画像が属するビデオシーケンスに対して背景モデリングを実行することによって取得される。

【0041】

第4の態様または第4の態様の第1乃至第4の可能な実施のいずれか1つを参照すると、第4の態様の第5の可能な実施では、知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得され、または、知識ベース内の少なくとも1つの画像は、現在の画像を符号化することによって取得される第1のビデオビットストリームを復号することによって取得される。

【0042】

第4の態様または第4の態様の第1乃至第5の可能な実施のいずれか1つを参照すると、第4の態様の第6の可能な実施では、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、または、
現在の画像が従属レイヤに配置される場合、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、X個の参照画像が配置されるビデオレイヤにおいて、現在の画像のX個の参照画像の前の最も近いランダムアクセスポイントから、X個の参照画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、現在の画像が配置されるランダムアクセスセグメントは、X個の参照画像の前の最も近いランダムアクセスポイントにおける画像を含むが、X個の参照画像の後の最も近いランダムアクセスポイントにおける画像を含まず、X個の参照画像は、従属レイヤ以外の別のビデオレイヤにある現在の画像の参照画像である。

【0043】

加えて、本願の実施形態の第5の態様は、画像復号装置を提供する。画像復号装置は、ストレージおよびストレージに結合されるプロセッサを含む。ストレージは命令を記憶するように構成され、プロセッサは命令を実行するように構成される。命令を実行すると、プロセッサは、命令に従って第1の態様の方法を実行してよい。

【0044】

加えて、本願の実施形態の第6の態様は、コンピュータ可読記憶媒体を提供し、コンピュータ可読記憶媒体は、画像を復号するために使用されるプログラムコードを記憶する。プログラムコードは、第1の態様の方法を実行するために使用される命令を含む。

【0045】

本願の実施形態の第7の態様は、画像復号装置を提供する。画像復号装置に含まれるユニットは、第1の態様の方法を実行することができる。

【0046】

加えて、本願の実施形態の第8の態様は、画像符号化装置を提供する。画像符号化装置は、ストレージおよびストレージに結合されるプロセッサを含む。ストレージは命令を記憶するように構成され、プロセッサは命令を実行するように構成される。命令を実行すると、プロセッサは、命令に従って第2の態様の方法を実行してよい。

【0047】

加えて、本願の実施形態の第9の態様は、コンピュータ可読記憶媒体を提供し、コンピュータ可読記憶媒体は、画像を符号化するために使用されるプログラムコードを記憶する。プログラムコードは、第2の態様の方法を実行するために使用される命令を含む。

【0048】

本願の実施形態の第10の態様は、画像符号化装置を提供する。画像符号化装置に含まれるユニットは、第2の態様の方法を実行することができる。

【0049】

本発明の実施形態の技術的解決手段では、現在の画像が取得された後、現在の画像のK個の参照画像は、知識ベースから選択されてよく、現在の画像は、K個の参照画像に従って符号化されることがわかる。知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さないため、すなわち、現在の画像が配置されるランダムアクセスセグメントに属さない少なくとも1つの画像が現在の画像の候補参照画像として使用されてよいため、現在の画像が配置されるランダムアクセスセグメントに属さない画像は、現在の画像の参照画像として選択されてよい。ある程度、これは、現在の画像の参照画像候補範囲に対する従来技術によって課される制限を打ち破り、解決手段は現在の画像の参照画像候補範囲をある程度まで拡張するため、これはさらに、ビデオ符号化効率をある程度まで改善することを助ける。

【図面の簡単な説明】

【0050】

本発明の実施形態における技術的解決手段をより明確に説明するために、以下では、実施形態または従来技術を説明するために必要とされる添付図面を簡潔に説明する。明らかに、以下の説明における添付図面は単に、本発明のいくつかの実施形態を示し、当業者は、創造的努力無しに、これらの添付図面から他の図面をさらに導出してよい。

【0051】

【図1-a】図1-aは、本発明の実施形態に係る、画像ブロック分割のいくつかの概略図である。

【図1-b】図1-bは、本発明の実施形態に係る、画像ブロック分割のいくつかの概略図である。

【図1-c】図1-cは、本発明の実施形態に係る、画像符号化方法の概略フローチャートである。

【図2】図2は、本発明の実施形態に係る、画像復号方法の概略フローチャートである。

【図3-a】図3-aは、本発明の実施形態に係る、画像復号方法の概略フローチャートである。

【図3-b】図3-bは、本発明の実施形態に係る、画像復号システムアーキテクチャの概略図である。

【図3-c】図3-cは、本発明の実施形態に係る、ランダムアクセスセグメントを定義する2つの概略図である。

【図3-d】図3-dは、本発明の実施形態に係る、ランダムアクセスセグメントを定義する2つの概略図である。

【図3-e】図3-eは、本発明の実施形態に係る、2つの他の画像復号システムアーキテクチャの概略図である。

【図3-f】図3-fは、本発明の実施形態に係る、2つの他の画像復号システムアーキテクチャの概略図である。

【図4-a】図4-aは、本発明の実施形態に係る、画像復号方法の概略フローチャートである。

【図4-b】図4-bは、本発明の実施形態に係る、別の画像復号システムアーキテクチャの概略図である。

【図5-a】図5-aは、本発明の実施形態に係る、別の画像符号化方法の概略フローチャートである。

【図5-b】図5-bは、本発明の実施形態に係る、3つの画像符号化システムアーキテクチャの概略図である。

【図5-c】図5-cは、本発明の実施形態に係る、3つの画像符号化システムアーキテクチャの概略図である。

【図5-d】図5-dは、本発明の実施形態に係る、3つの画像符号化システムアーキテクチャの概略図である。

【図6】図6は、本発明の実施形態に係る、画像復号装置の概略構成図である。

【図7】図7は、本発明の実施形態に係る、別の画像復号装置の概略構成図である。

【図8】図8は、本発明の実施形態に係る、画像符号化装置の概略構成図である。

【図9】図9は、本発明の実施形態に係る、別の画像符号化装置の概略構成図である。

【発明を実施するための形態】

【0052】

本発明の実施形態は、ビデオ符号化/復号効率を改善するために、画像符号化/復号方法および関連装置を提供する。

【0053】

本発明の明細書、特許請求の範囲および添付図面では、“第1”、“第2”、“第3”、“第4”等々の用語は、異なるオブジェクト間で区別するように意図されるが、特定の順序を示さない。加えて、“含む”、“含む”という用語またはその任意の他の変形は、非排他的な包含をカバーするように意図される。例えば、一連のステップまたはユニットを含むプロセス、方法、システム、製品またはデバイスは、列挙されたステップまたはユニットに限定されないが、任意で、列挙されていないステップまたはユニットをさらに含み、または、任意で、プロセス、方法、製品またはデバイスの別の固有のステップまたはユニットをさらに含む。

【0054】

詳細な説明は、以下で別々に提供される。

【0055】

以下では、最初に、本発明の実施形態で使用され得るいくつかの概念を説明する。

【0056】

たいていの符号化フレームワークでは、ビデオシーケンスは、一連の画像（picture）を含む。画像はさらに、スライス（slice）に分割される。sliceはさらに、ブロック（block）に分割される。ビデオ符号化中、符号化処理は、pictureの左上隅の位置から始めて、ブロック単位で、左から右に、上から下へ1行ずつ行われてよい。いくつかの新しいビデオ符号化標準では、“block”の概念がさらに拡張される。H.264標準では、マクロブロック（macroblock、略してMB）がある。MBは、予測符号化のために使用されることができる複数の予測ブロック（partition）にさらに分割されてよい。HEVC標準では、“符号化ユニット”（coding unit、略してCU）、“予測ユニット”（prediction unit、略してPU）および“変換ユニット”（transform unit、略してTU）等の基本概念が使用される。Unitは、機能に関して複数のユニットに分割され、新しいツリーベース構造を使用して、記述が行われる。例えば、CUは、四分木に従ってより小さいCUに分割されてよく、四分木構造を形成するために、より小さいCUはさらに分割されてよい。PUおよびTUのための同様のツリー構造もある。CU、PUおよびTUは本質的には、“block”の概念に全て包含される。CUは、マクロブロックMBと同様であり、符号化されるべき画像を分割および符号化するための基本ユニットである。PUは、予測符号化のための基本ユニットである。CUは、分割モードに従って、複数のPUにさらに分割される。TUは、予測残差を変換するための基本ユニットである。高効率ビデオ符号化（high efficiency video coding、略してHEVC）標準では、CUは、符号化ツリーユニット（coding tree unit、略してCTU）等と総称的に呼ばれてよい。

【0057】

HEVC標準では、符号化ユニットのサイズは、64×64、32×32、16×16および8×8の4つのレベルを含んでよい。符号化ユニットの各レベルは、イントラ予測およびインター予測に従って、異なるサイズの予測ユニットに分割されてよい。例えば、図1-aおよび図1-bに示されるように、図1-aは、イントラ予測に対応する予測ユニット分割方式を例示し、図1-bは、インター予測に対応するいくつかの予測ユニット分割方式を例示する。

【0058】

ビデオ符号化技術の進化プロセスにおいて、ビデオ符号化の専門家は、隣接する符号化/復号されるべきブロック間の時間相関および空間相関を使用することによって、符号化効率を可能な限り改善する複数の方法を発明している。H.264/アドバンスドビデオ符号化（advanced video coding、略してAVC）標準では、スキップモード（skip mode）およびダイレクトモード（direct mode）は、符号化効率を改善する有効な手段となる。低ビットレートの場合、2つの符号化モードが使用されるブロックは、符号化シーケンス全体の半分よりも多くを占めることがある。スキップモードが使用されるとき、1つのスキップモードマークのみがビットストリームにおいて転送される必要があり、その結果、現在の画像ブロックの動きベクトルは、隣接する動きベクトルを使用することによって推測されることができ、参照ブロックの値は、動きベクトルに従って、現在の画像ブロックの再構成値として直接コピーされる。加えて、ダイレクトモードが使用されるとき、符号器は、隣接する動きベクトルを使用することによって、現在の画像ブロックの動きベクトルを推測してよく、参照ブロックの値を、動きベクトルに従って、現在の画像ブロックの推測値として直接コピーする。符号器側は、推測値を使用することによって、現在の画像ブロックのために符号化予測を実行する。現在、最新の高効率ビデオ符号化（high efficiency video coding、略してHEVC）標準では、ビデオ符号化効率は、いくつかの新しい符号化手法を導入することによってさらに改善される。マージ（merge）符号化モードおよび高度な動きベクトル予測（advanced motion vector prediction、略してAMVP）モードは、2つの重要なインター予測手法である。マージ（merge）符号化中、現在の符号化されるべきブロックの隣接する符号化ブロックの動き情報（動きベクトル（motion vector、略してMV））、予測方向、参照フレーム索引等を含んでよい）は、候補動き情報セットを形成するために使用される。比較すると、最高符号化効率をもたらす候補動き情報は、現在の符号化されるべきブロックの動き情報として選択されてよい。現在の符号化されるべきブロックの予測値は、参照フレームから見つかり、現在の符号化されるべきブロックに対して、予測符号化が実行される。加えて、隣接する符号化ブロックの選択されるべき動き情報を示す索引値は、ビットストリームに書き込まれてよい。高度な動きベクトル予測モードが使用される場合、隣接する符号化ブロックの動きベクトルは、現在の符号化されるべきブロックの動きベクトルの予測値として使用され、最高符号化効率をもたらす動きベクトルは、現在の符号化されるべきブロックの動きベクトルを予測するために選択されてよく、選択されるべき隣接する動きベクトルを示す索引値は、ビデオビットストリームに書き込まれてよい。

【0059】

以下では、最初に、本発明の実施形態で提供される画像符号化方法を説明する。本発明の本実施形態で提供される画像符号化方法は、画像符号化装置によって実行される。画像符号化装置は、ビデオを出力または記憶する必要がある任意の装置、例えば、ノートブックコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、モバイル電話またはビデオサーバ等のデバイスであってよい。

【0060】

本発明の画像符号化方法の実施形態では、画像符号化方法は、現在の画像を取得するステップと、知識ベースから、現在の画像のK個の参照画像を選択するステップであって、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である、ステップと、K個の参照画像に従って、現在の画像を符号化するステップとを含んでよい。

【0061】

図1-cを参照すると、図1-cは、本発明の実施形態に係る画像符号化方法の概略フローチャートである。図1-cに示されるように、本発明の本実施形態で提供される画像符号化方法は以下のステップを含んでよい。

【0062】

S101. 現在の画像を取得する。

【0063】

S102. 知識ベースから、現在の画像のK個の参照画像を選択し、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である。

【0064】

知識ベースは、現在の画像の候補参照画像を収容することができる画像セットとして考えられることができ、知識ベース内のいくつかまたは全ての画像は、現在の画像の参照画像として選択されてよい。知識ベース内の画像は、元の画像であってよく、または、再構成画像であってよい。

【0065】

知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さないため、すなわち、現在の画像が配置されるランダムアクセスセグメントに属さない少なくとも1つの画像が現在の画像の候補参照画像として使用されてよいため、現在の画像が配置されるランダムアクセスセグメントに属さない画像は、現在の画像の参照画像として選択されてよい。従って、K個の参照画像における少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さない場合があり、確かに、いくつかの場合では、K個の参照画像の全ては、現在の画像が配置されるランダムアクセスセグメントに属し得る。

【0066】

K個の参照画像は、現在の画像の全ての参照画像であってよく、または、現在の画像のいくつかの参照画像であってよい。

【0067】

任意で、例えば、Kは、1、2、3、4、5、8、9、10、20、30、43、50または別の正の整数と等しくてよい。

【0068】

異なるシナリオでは、現在の画像が配置されるランダムアクセスセグメントを定義する方式は、同じでなくてよい。例えば、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み得、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まない。あるいは、現在の画像が従属レイヤに配置される場合、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、X個の参照画像が配置されるビデオレイヤにおいて、現在の画像のX個の参照画像の前の最も近いランダムアクセスポイントから、X個の参照画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、現在の画像が配置されるランダムアクセスセグメントは、X個の参照画像の前の最も近いランダムアクセスポイントにおける画像を含むが、X個の参照画像の後の最も近いランダムアクセスポイントにおける画像を含まず、X個の参照画像は、従属レイヤ以外の別のビデオレイヤにある現在の画像の参照画像である。

【0069】

Xは、1以上の整数である。

【0070】

任意で、例えば、Xは、1、2、3、4、5、7、9、11、20、30、43、50または別の正の整数と等しくてよい。

【0071】

S103. K個の参照画像に従って、現在の画像を符号化する。

【0072】

K個の参照画像に従って、現在の画像を符号化することは、K個の参照画像に従って、現在の画像のために予測を実行して、現在の画像の予測ピクセル値を取得することと、現在の画像の元のピクセル値および予測ピクセル値に従って、現在の画像の予測残差を取得することと、現在の画像の予測残差を第1のビデオビットストリームに書き込むこととを含んでよい。

【0073】

本実施形態の解決手段の画像符号化プロセスでは、現在の画像が取得された後、現在の画像のK個の参照画像は、知識ベースから選択されてよく、現在の画像は、K個の参照画像に従って符号化されることがわかる。知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さないため、すなわち、現在の画像が配置されるランダムアクセスセグメントに属さない少なくとも1つの画像が現在の画像の候補参照画像として使用されてよいため、現在の画像が配置されるランダムアクセスセグメントに属さない画像は、現在の画像の参照画像として選択されてよい。ある程度、これは、現在の画像の参照画像候補範囲に対する従来技術によって課される制限を打ち破り、解決手段は現在の画像の参照画像候補範囲をある程度まで拡張するため、これはさらに、ビデオ符号化効率をある程度まで改善することを助ける。

【0074】

任意で、本発明のいくつかの可能な実施では、現在の画像のK個の参照画像は、事前に設定されたポリシーに基づいて、知識ベースから選択されてよい。例えば、K個の参照画像の画像特徴は、現在の画像の画像特徴と一致する。K個の参照画像の画像特徴は、現在の画像の画像特徴と一致することは、具体的には、K個の参照画像の画像特徴と、現在の画像の画像特徴との間の類似度が、特定の閾値を超えることを意味してよい。例えば、特定の閾値は、0.85、70%、81%、88%または要件を満たす別の値であってよい。例えば、類似度は、2つの画像特徴ベクトル間の線形相関、または、2つの画像特徴ベクトル内の要素のグループ間の最大差の逆数、または、2つの画像特徴ベクトル間のハミング距離の逆数である。

【0075】

任意で、本発明のいくつかの可能な実施では、例えば、画像特徴は、画像の尺度不変特徴変換（SIFT、Scale-invariant feature transform）および/または画像の加速堅牢特徴（SURF、Speeded Up Robust Features）を含んでよく、確かに、別の画像特徴を含んでよい。

【0076】

知識ベースは様々な画像を含み得る。例えば、知識ベースは、現在の画像が属するビデオシーケンス内のキー画像に対して圧縮符号化を実行することによって取得される再構成画像を含んでよい。現在の画像が属するビデオシーケンス内のキー画像は、現在の画像が属するビデオシーケンス内のシーンカット（scene cut）画像および/または背景画像を含んでよい。

【0077】

シーンカット画像および/または背景画像は、複数の方式で取得されてよい。例えば、シーンカット画像は、現在の画像が属するビデオシーケンスに対してシーンカット検出を実行することによって取得されてよく、または、背景画像は、現在の画像が属するビデオシーケンスに対して背景モデリングを実行することによって取得される。

【0078】

解決手段は、1つ以上の背景画像が、現在の画像の参照画像として選択され、選択された背景画像は、現在の画像の前の最も近い背景画像でなくてよいケースをサポートすることがわかる。研究および実行プロセスから、本機構が、ビデオにおける冗長情報をより柔軟に除去することを助けることが判明する。

【0079】

任意で、本発明のいくつかの可能な実施では、知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得されてよく、且つ/または、知識ベース内の少なくとも1つの画像は、現在の画像を符号化することによって取得される第1のビデオビットストリームを復号することによって取得される。第1のビデオビットストリームおよび第2のビデオビットストリームは、異なるビデオビットストリームである。例えば、第1のビデオビットストリーム内の画像の番号は、第2のビデオビットストリーム内の画像の番号からは独立している。第1のビデオビットストリーム内の画像の番号は、表示順序における画像間の相対関係を示す。例えば、比較的小さい番号を持つ画像は、表示順序において、比較的大きい番号を持つ画像の前に現れる。第2のビデオビットストリーム内の画像の番号は、時間順序を示さなくてよい。それぞれ第1のビデオビットストリームおよび第2のビデオビットストリーム内にあり、同じ番号を有する画像は、同じ時点に必ずしも対応していない。

【0080】

任意で、本発明のいくつかの可能な実施では、現在の画像の参照画像索引は第1のビデオビットストリームに書き込まれてよい。現在の画像の参照画像索引は、現在の画像の参照画像を直接または間接的に示してよい。例えば、現在の画像の参照画像索引は、参照画像の番号、参照画像の画像特徴および/または現在の画像の画像特徴を示してよい。復号器側は、現在の画像の参照画像索引に従って、現在の画像の参照画像を決定してよい。

【0081】

以下では、本発明の実施形態で提供される画像復号方法をさらに説明する。本発明の本実施形態で提供される画像復号方法は、画像復号装置によって実行される。画像復号装置は、ビデオを出力または記憶する必要がある任意の装置、例えば、ノートブックコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、モバイル電話またはビデオサーバ等のデバイスであってよい。

【0082】

本発明の画像復号方法の実施形態では、画像復号方法は、現在の画像を取得するステップと、知識ベースから、現在の画像のK個の参照画像を選択するステップであって、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である、ステップと、K個の参照画像に従って、現在の画像を復号するステップとを含んでよい。

【0083】

図2を参照すると、図2は、本発明の別の実施形態に係る画像復号方法の概略フローチャートである。図2に示されるように、本発明の別の実施形態で提供される画像復号方法は以下のステップを含んでよい。

【0084】

201. 現在の画像を取得する。

【0085】

画像復号プロセスでは、現在の画像は、第1のビデオビットストリームの一部に対応している、現在の復号されるべき画像と呼ばれてよい。

【0086】

202. 知識ベースから、現在の画像のK個の参照画像を選択し、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である。

【0087】

知識ベースは、現在の画像の候補参照画像を収容することができる画像セットとして考えられることができ、知識ベース内のいくつかまたは全ての画像は、現在の画像の参照画像として選択されてよい。知識ベース内の画像は、元の画像であってよく、または、再構成画像であってよい。知識ベースは、少なくとも2つの画像を含んでよい。

【0088】

【0089】

K個の参照画像は、現在の画像の全ての参照画像であってよく、または、現在の画像のいくつかの参照画像であってよい。

【0090】

任意で、例えば、Kは、1、2、3、4、5、8、9、10、20、30、43、50または別の正の整数と等しくてよい。

【0091】

【0092】

現在の画像がランダムアクセスポイントに配置される場合、現在の画像の前の最も近いランダムアクセスポイントは、現在の画像が配置されるランダムアクセスポイントであり、且つ、現在の画像の、別のビデオレイヤにある参照画像がランダムアクセスポイントに配置される場合、参照画像の前の最も近いランダムアクセスポイントは、参照画像が配置されるランダムアクセスポイントであることは留意されるべきである。

【0093】

加えて、いくつかの符号化構造では、例えば、階層B（Hierarchical B）フレーム構造を使用することによって、現在の画像が配置されるビデオシーケンスを符号化することによって取得されるビットストリームでは、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の2番目に近いランダムアクセスポイントをさらに含んでよい。

【0094】

Xは、1以上の整数である。

【0095】

任意で、例えば、Xは、1、2、3、4、5、7、9、11、20、30、43、50または別の正の整数と等しくてよい。

【0096】

203. K個の参照画像に従って、現在の画像を復号する。

【0097】

K個の参照画像に従って、現在の画像を復号することは、K個の参照画像に従って、現在の画像のために予測を実行して、現在の画像の予測ピクセル値を取得することと、現在の画像の予測ピクセル値および予測残差に従って、現在の画像を再構成することによって、現在の画像の再構成画像を取得することとを含んでよい。

【0098】

本実施形態の解決手段の画像復号プロセスでは、現在の画像が取得された後、現在の画像のK個の参照画像は、知識ベースから選択されてよく、現在の画像は、K個の参照画像に従って復号されることがわかる。知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さないため、すなわち、現在の画像が配置されるランダムアクセスセグメントに属さない少なくとも1つの画像が現在の画像の候補参照画像として使用されてよいため、現在の画像が配置されるランダムアクセスセグメントに属さない画像は、現在の画像の参照画像として選択されてよい。ある程度、これは、現在の画像の参照画像候補範囲に対する従来技術によって課される制限を打ち破り、解決手段は現在の画像の参照画像候補範囲をある程度まで拡張するため、これはさらに、ビデオ復号効率をある程度まで改善することを助ける。

【0099】

任意で、本発明のいくつかの可能な実施では、知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得される。あるいは、知識ベース内の少なくとも1つの画像は、画像復号装置内に事前に記憶されてよい。例えば、画像復号装置内に記憶される知識ベースは、画像符号化装置内に記憶されるものと同じ、または部分的に同じであってよく、画像復号装置および画像符号化装置の各々は、第2のビデオビットストリームを復号することによって、再構成画像を取得し、画像復号装置および画像符号化装置の各々によって維持される知識ベースに、取得された再構成画像を追加してよい。

【0100】

任意で、本発明のいくつかの可能な実施では、知識ベースから、現在の画像のK個の参照画像を選択することは、知識ベースから、現在の画像が属する第1のビデオビットストリームを復号することによって取得される、現在の画像の参照画像索引に基づいて、現在の画像のK個の参照画像を選択することを含んでよい。

【0101】

現在の画像の参照画像索引は、参照画像の番号、参照画像の画像特徴および/または現在の画像の画像特徴を示してよい。例えば、参照画像索引が、現在の画像の画像特徴を示す場合、K個の参照画像の画像特徴は、現在の画像の画像特徴と一致する。K個の参照画像の画像特徴は、現在の画像の画像特徴と一致することは、具体的には、K個の参照画像の画像特徴と、現在の画像の画像特徴との間の類似度が、特定の閾値を超えることを意味してよい（例えば、閾値は、0.85、70%、85%、88%または要件を満たす別の値であってよい）。例えば、類似度は、2つの画像特徴ベクトル間の線形相関、または、2つの画像特徴ベクトル内の要素のグループ間の最大差の逆数、または、2つの画像特徴ベクトル間のハミング距離の逆数である。

【0102】

任意で、本発明のいくつかの可能な実施では、例えば、画像特徴は、画像の尺度不変特徴変換（SIFT）および/または画像の加速堅牢特徴（SURF）を含んでよく、確かに、別の画像特徴を含んでよい。

【0103】

任意で、本発明のいくつかの可能な実施では、例えば、参照画像索引と一致する参照画像は、現在の画像が配置されるランダムアクセスセグメントの前の再構成画像を含んでよい。

【0104】

任意で、本発明のいくつかの可能な実施では、方法は、参照画像索引と一致する参照画像が、第2のビデオビットストリームから見つからない場合、サーバから、参照画像索引と一致する参照画像を含む第2のビデオビットストリームの増分ビットストリームを要求し、第2のビデオビットストリームの増分ビットストリームを復号して、参照画像索引と一致する参照画像を取得し、参照画像索引と一致する取得された参照画像を、現在の画像の参照画像として使用するステップをさらに含む。

【0105】

具体的には、例えば、参照画像キャッシュは、参照画像索引と一致する参照画像について最初に検索されてよい。参照画像索引と一致する参照画像が、参照画像キャッシュから見つからない場合、第2のビデオビットストリームは、参照画像索引と一致する参照画像について、さらに検索されてよい。参照画像索引と一致する参照画像が、第2のビデオビットストリームから見つからない場合、参照画像索引と一致する参照画像を含む第2のビデオビットストリームの増分ビットストリームは、サーバからさらに要求されてよく、第2のビデオビットストリームの増分ビットストリームは復号されて、参照画像索引と一致する参照画像を取得し、参照画像索引と一致する取得された参照画像は、現在の画像の参照画像として使用される。

【0106】

知識ベースは様々な画像を含み得る。例えば、知識ベースは、現在の画像が属するビデオシーケンス内のキー画像に対して圧縮符号化を実行することによって取得される再構成画像を含んでよい。現在の画像が属するビデオシーケンス内のキー画像は、現在の画像が属するビデオシーケンス内のシーンカット画像および/または背景画像を含んでよい。

【0107】

シーンカット画像および/または背景画像は、複数の方式で取得されてよい。例えば、シーンカット画像は、現在の画像が属する第2のビデオビットストリームまたは第1のビデオビットストリームを復号することによって取得され、または、背景画像は、現在の画像が属する第2のビデオビットストリームまたは第1のビデオビットストリームを復号することによって取得され、または、背景画像は、現在の画像が属する第1のビデオビットストリーム内の復号されたビデオシーケンスに対して背景モデリングを実行することによって取得される。

【0108】

任意で、本発明のいくつかの可能な実施では、知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得されてよく、且つ/または、知識ベース内の少なくとも1つの画像は、現在の画像を符号化することによって取得される第1のビデオビットストリームを復号することによって取得される。第2のビデオビットストリームおよび第1のビデオビットストリームは、異なるビデオビットストリームである。例えば、第1のビデオビットストリーム内の画像の番号は、第2のビデオビットストリーム内の画像の番号からは独立している。第1のビデオビットストリーム内の画像の番号は、表示順序における画像間の相対関係を示す。例えば、比較的小さい番号を持つ画像は、表示順序において、比較的大きい番号を持つ画像の前に現れる。第2のビデオビットストリーム内の画像の番号は、時間順序を示さなくてよい。それぞれ第1のビデオビットストリームおよび第2のビデオビットストリーム内にあり、同じ番号を有する画像は、同じ時点に必ずしも対応していない。

【0109】

任意で、本発明のいくつかの可能な実施では、K個の参照画像に従って、現在の画像を復号することは、K個の参照画像を、現在の画像の参照画像リスト（reference picture list）に追加し、参照画像リスト内の参照画像に従って、現在の画像を復号することを含んでよい。

【0110】

本発明の実施形態の前述の解決手段のより良い理解および実施を容易にするために、以下では、より具体的な適用シナリオを使用することによって、さらなる説明を行う。

【0111】

図3-aおよび図3-bを参照すると、図3-aは、本発明の別の実施形態に係る、画像復号方法の概略フローチャートである。図3-aに示される画像復号方法は、図3-bに示される画像復号システムアーキテクチャに基づいて実施されてよい。

【0112】

図3-aに示されるように、本発明の別の実施形態で提供される画像復号方法は、以下のステップを含んでよい。

【0113】

S301. 画像復号装置は、第1のビデオビットストリームから現在の画像を取得する。

【0114】

画像復号プロセスでは、現在の画像は、第1のビデオビットストリームの一部に対応している、現在の復号されるべき画像と呼ばれてよい。

【0115】

画像復号装置は、参照画像キャッシュを含んでよい。参照画像キャッシュは、現在の復号されるべき画像に関する予測のための短期間参照画像および長期間参照画像を記憶してよい。

【0116】

S302. 画像復号装置は、知識ベースから、現在の画像のK個の参照画像を選択し、K個の参照画像を、現在の画像の参照画像リストに追加し、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である。

【0117】

【0118】

特に、知識ベース内の画像は、画像復号装置内に事前に記憶される画像であってよい。画像は、現在の画像が配置されるビデオシーケンス内の画像に対応していなくてよく、例えば、複数のパターンを含む画像を含んでよく、または、コンピュータによって描画される画像を含んでよく、または、ネットワークからダウンロードされて知識ベースに追加される画像をさらに含んでよく、または、ポータブルな記憶デバイスから知識ベースにコピーされる画像を含んでよい。知識ベースは動的蓄積状態に設定されてよく、その中に含まれる画像は時間の経過と共に量および内容において連続的に更新される。画像は、符号化圧縮が実行されない画像を含んでよく、または、現在の画像が配置されるランダムアクセスセグメントに属さない画像もまた含んでよい。

【0119】

【0120】

【0121】

例えば、図3-cを参照すると、１つの独立レイヤおよび1つの従属レイヤを含む第1のビデオビットストリームの従属レイヤにおける、図3-c内の画像A（現在の画像）等の画像が復号される。画像Aが配置されるランダムアクセスセグメントは、従属レイヤにおいて、画像Aの前の最も近いランダムアクセスポイントRAP 2における画像から画像Aの後の最も近いランダムアクセスポイントRAP 4における画像まで、復号順で配列されている画像を含み、独立レイヤにおいて、画像Bの前の最も近いランダムアクセスポイントRAP 1における画像から画像Bの後の最も近いランダムアクセスポイントRAP 3における画像まで、復号順で配列されている画像をさらに含む。画像Bは、画像Aの、独立レイヤにある参照画像である。復号装置は、画像Cを、画像Aの参照画像として、知識ベースから選択し、画像Cを、画像Aの参照画像リストに追加し、画像Aを復号してよい。画像Cは、画像Aが配置されるランダムアクセスセグメントに属さない。

【0122】

別の例については、図3-dを参照すると、１つの独立レイヤおよび2つの従属レイヤを含むビデオビットストリームの第2の従属レイヤにおける、図3-d内の画像A（現在の画像）等の画像が復号される。画像Aが配置されるランダムアクセスセグメントは、第2の従属レイヤにおいて、画像Aの前の最も近いランダムアクセスポイントRAP 5における画像から画像Aの後の最も近いランダムアクセスポイントRAP 6における画像まで、復号順で配列されている画像を含み、第1の従属レイヤにおいて、画像Bの前の最も近いランダムアクセスポイントRAP 3における画像から、画像Bの後の最も近いランダムアクセスポイントRAP 4における画像まで、復号順で配列されている画像を含み、独立レイヤにおいて、画像Cの前の最も近いランダムアクセスポイントRAP 1における画像から画像Cの後の最も近いランダムアクセスポイントRAP 2における画像まで、復号順で配列されている画像をさらに含む。画像Bは、画像Aの、第1の従属レイヤにある参照画像である。画像Cは、画像Bの、独立レイヤにある参照画像である。復号装置は、画像Dを、画像Aの参照画像として、知識ベースから選択し、画像Dは、画像Aが配置されるランダムアクセスセグメントに属さない。他のケースがこれから推測される。

【0123】

【0124】

【0125】

【0126】

現在の画像の参照画像索引は、参照画像の番号、参照画像の画像特徴および/または現在の画像の画像特徴を示してよい。例えば、参照画像索引が、現在の画像の画像特徴を示す場合、K個の参照画像の画像特徴は、現在の画像の画像特徴と一致する。K個の参照画像の画像特徴は、現在の画像の画像特徴と一致することは、具体的には、K個の参照画像の画像特徴と、現在の画像の画像特徴との間の類似度が、特定の閾値を超えることを意味してよい（例えば、閾値は、70%、85%、88%または要件を満たす別の値であってよい）。あるいは、K個の参照画像の画像特徴と、現在の画像の画像特徴との間の類似度は、現在の画像の画像特徴と、知識ベース内の別の画像の画像特徴との間の類似度以上であってよい。

【0127】

【0128】

S303. 画像復号装置は、参照画像リスト内の参照画像に従って、現在の画像を復号する。

【0129】

画像復号装置が、K個の参照画像に従って、現在の画像を復号することは、具体的には、K個の参照画像に従って、現在の画像のために予測を実行して、現在の画像の予測ピクセル値を取得することと、現在の画像の予測ピクセル値および予測残差に従って、現在の画像を再構成することによって、現在の画像の再構成画像を取得することとを含んでよい。

【0130】

さらに、図3-eに例示されるように、画像復号装置は、背景画像の、第1のビデオビットストリームを復号することによって取得される再構成画像を、知識ベースに追加してよい。

【0131】

さらに、図3-fに例示されるように、第1のビデオビットストリームを復号することによって取得されるビデオシーケンス内のシーンカット画像を取得するために、シーンカット検出は、第1のビデオビットストリームを復号することによって取得されるビデオシーケンスに対してさらに実行されてよく、シーンカット画像の取得された再構成画像は、知識ベースに追加される。

【0132】

シーンカット検出について、複数の比較的成熟した方法がある。例えば、2つの隣接画像内のピクセルの複数のグループ間の平均ピクセル値差が計算される。平均ピクセル値差が閾値よりも大きいとき、2つの画像間でシーンカットが発生したと考えられる。別の例では、画像特徴（SIFT等）が、2つの画像から別々に抽出される。画像特徴間の一致度が閾値よりも小さい場合、2つの画像間でシーンカットが発生したと考えられる。

【0133】

任意で、本発明のいくつかの可能な実施では、方法は、参照画像索引と一致する参照画像が、第2のビデオビットストリームから見つからない場合、サーバから、参照画像索引と一致する参照画像を含む第2のビデオビットストリームの増分ビットストリームを要求し、第2のビデオビットストリームの増分ビットストリームを復号して、参照画像索引と一致する参照画像を取得し、参照画像索引と一致する取得された参照画像を、現在の画像の参照画像リストに追加するステップをさらに含む。

【0134】

【0135】

【0136】

図4-aおよび図4-bを参照すると、図4-aは、本発明の別の実施形態に係る、画像復号方法の概略フローチャートである。図4-aに示される画像復号方法は、図4-bに示される画像復号システムアーキテクチャに基づいて実施されてよい。

【0137】

図4-aに示されるように、本発明の別の実施形態で提供される画像復号方法は、以下のステップを含んでよい。

【0138】

S401. 画像復号装置は、第2のビデオビットストリーム（知識ベース内のビットストリーム）を復号し、第2のビデオビットストリームを復号することによって取得される再構成画像を、知識ベースに追加する。

【0139】

具体的には、例えば、画像復号装置は、第2のビデオビットストリーム内の少なくとも1つの画像を知識ベースに追加してよい。別の例では、第2のビデオビットストリーム内の複数の画像から合成された背景画像が、知識ベースに追加されてよい。

【0140】

S402. 画像復号装置は、第1のビデオビットストリームから現在の画像を取得する。

【0141】

画像復号プロセスでは、現在の画像は、第1のビデオビットストリームの一部に対応している、現在の復号されるべき画像と呼ばれてよい。

【0142】

【0143】

第1のビデオビットストリームおよび第2のビデオビットストリームは、異なるビデオビットストリームである。例えば、第1のビデオビットストリーム内の画像の番号は、第2のビデオビットストリーム内の画像の番号からは独立している。第1のビデオビットストリーム内の画像の番号は、表示順序における画像間の相対関係を示す。例えば、比較的小さい番号を持つ画像は、表示順序において、比較的大きい番号を持つ画像の前に現れる。第2のビデオビットストリーム内の画像の番号は、時間順序を示さなくてよい。それぞれ第1のビデオビットストリームおよび第2のビデオビットストリーム内にあり、同じ番号を有する画像は、同じ時点に必ずしも対応していない。

【0144】

S403. 画像復号装置は、知識ベースから、現在の画像のK個の参照画像を選択し、K個の参照画像を、現在の画像の参照画像リストに追加し、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である。

【0145】

【0146】

【0147】

【0148】

【0149】

【0150】

加えて、いくつかの符号化構造では、例えば、階層B（Hierarchical B）フレーム構造を使用することによって、現在の画像が配置されるビデオシーケンスを符号化することによって取得されるビデオビットストリームでは、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の2番目に近いランダムアクセスポイントをさらに含んでよい。

【0151】

【0152】

現在の画像の参照画像索引は、参照画像の番号、参照画像の画像特徴および/または現在の画像の画像特徴を示してよい。例えば、参照画像索引が、現在の画像の画像特徴を示す場合、K個の参照画像の画像特徴は、現在の画像の画像特徴と一致する。K個の参照画像の画像特徴は、現在の画像の画像特徴と一致することは、具体的には、K個の参照画像の画像特徴と、現在の画像の画像特徴との間の類似度が、特定の閾値を超えることを意味してよい（例えば、閾値は、70%、85%、88%または要件を満たす別の値であってよい）。あるいは、K個の参照画像の画像特徴と、現在の画像の画像特徴との間の類似度は、現在の画像の画像特徴と、知識ベース内の別の画像の画像特徴との間の類似度以上であってよい。例えば、類似度は、2つの画像特徴ベクトル間の線形相関、または、2つの画像特徴ベクトル内の要素のグループ間の最大差の逆数、または、2つの画像特徴ベクトル間のハミング距離の逆数である。

【0153】

【0154】

S404. 画像復号装置は、参照画像リスト内の参照画像に従って、現在の画像を復号する。

【0155】

【0156】

任意で、本発明のいくつかの可能な実施では、方法は、参照画像索引と一致する参照画像が、第2のビデオビットストリームから見つからない場合、サーバから、参照画像索引と一致する参照画像を含む第2のビデオビットストリームの増分ビットストリームを要求し、第2のビデオビットストリームの増分ビットストリームを復号して、参照画像索引と一致する参照画像を取得し、参照画像索引と一致する取得された参照画像を、現在の画像の参照画像リストに追加するステップをさらに含む。

【0157】

【0158】

【0159】

いくつかのより具体的な適用シナリオが、説明のための例として以下で使用される。前述の解決手段がオンラインストリーミングシナリオに適用される場合、ビデオが要求されたときに、ユーザ端末（画像復号装置）は、ビデオアクセス時間情報をサーバ側に送信すると仮定される。例えば、ビデオアクセス時間情報は、アクセスポイントと、オープニングクレジットとの間の間隔である。

【0160】

サーバは、ビデオアクセス時間情報に従って、2つのビデオビットストリーム（第1のビデオビットストリームおよび第2のビデオビットストリーム）をユーザ端末に送信する。第2のビデオビットストリームに含まれる画像の数は、一般に、第1のビデオビットストリームに含まれる画像の数よりも小さい。

【0161】

別の例では、前述の解決手段がオフラインストリーミングシナリオに適用される場合、ユーザ端末（画像復号装置）は、オフライン方式で、第1のビデオビットストリームをダウンロードしてよい。ユーザ端末は、ビデオが視聴されるときに、第1のビデオビットストリームを復号して、第1のビデオビットストリームの復号された画像を表示する。

【0162】

例えば、ユーザ端末の復号プロセスは、以下の処理方式のうち少なくとも1つを含んでよい：

【0163】

処理方式1: ユーザ端末によって、第1のビデオビットストリームを復号するプロセスでは、現在の画像が、第2のビデオビットストリーム内の指定された画像を参照して復号される必要があり、且つ、ユーザ端末に記憶される第2のビデオビットストリームは、指定された画像を含まないと判明した場合、ユーザ端末は、サーバ側に、指定された画像を含む第2のビデオビットストリームの増分ビットストリームを送信するように要求する。ユーザ端末は、第2のビデオビットストリームの増分ビットストリームを受信し、第2のビデオビットストリームの増分ビットストリームを第2のビデオビットストリームに組み込み、第2のビデオビットストリームの増分ビットストリームを復号して、指定された画像を取得し、指定された画像を、現在の画像の参照画像として使用し、指定された画像を、現在の画像の参照画像リストに追加する。ユーザ端末は、参照画像リストを使用することによって、現在の画像を復号する。

【0164】

処理方式2: ユーザ端末によって、第1のビデオビットストリームを復号するプロセスでは、現在の画像が、第2のビデオビットストリーム内の指定された画像を参照して復号される必要があり、且つ、ユーザ端末の、第2のビデオビットストリームの復号された画像を記憶するメモリが、指定された画像を含むと判明した場合、ユーザ端末は、現在の復号されるべき画像の参照画像として、指定された画像を使用し、指定された画像を、現在の復号されるべき画像の参照画像リストに追加してよい。ユーザ端末は、参照画像リストを使用することによって、現在の画像を復号する。

【0165】

処理方式3: ユーザ端末によって、第1のビデオビットストリームを復号するプロセスでは、現在の画像が、第2のビデオビットストリーム内の指定された画像を参照して復号される必要があり、且つ、ユーザ端末に記憶される第2のビデオビットストリームは指定された画像を含むが、ユーザ端末の、第2のビデオビットストリームの復号された画像を記憶するメモリが、指定された画像を含まないと判明した場合、ユーザ端末は、第2のビデオビットストリーム内の対応するビットストリームセグメントを復号して、指定された画像を取得し、指定された画像を、現在の画像の参照画像として使用し、指定された画像を、現在の画像の参照画像リストに追加する。ユーザ端末は、参照画像リストを使用することによって、現在の画像を復号する。指定された画像は、第2のビデオビットストリームの復号された画像を記憶するメモリに追加されてよい。

【0166】

別の例では、第1のビデオビットストリームおよび第2のビデオビットストリームは、光ディスクまたは磁気ディスク等の記憶媒体に記憶されてよい。第1のビデオビットストリーム内の画像の番号は、第2のビデオビットストリーム内の画像の番号からは独立している。例えば、画像の番号は、H.264等のビデオ符号化標準において使用される表示順序を示すために使用されるピクチャオーダーカウント（POC, Picture Order Count）である。第2のビデオビットストリームに含まれる画像の数は、一般に、第1のビデオビットストリームに含まれる画像の数よりも小さい。

【0167】

画像復号装置は、第1のビデオビットストリーム内の少なくとも1つの画像を復号するための以下の解決手段を使用してよい。

【0168】

まず、第2のビデオビットストリームに基づいて、画像復号装置は、現在の画像のための少なくとも1つの指定された再構成画像を取得する。より具体的には、第1のビデオビットストリームの復号された再構成画像を記憶する記憶装置は、第1の記憶装置と呼ばれ、且つ、第2のビデオビットストリームの復号された再構成画像を記憶する記憶装置は、第2の記憶装置と呼ばれる。第1のビデオビットストリーム内の現在の画像に対応する参照画像索引によると、第2の記憶装置は、参照画像索引と一致する再構成画像、すなわち、指定された再構成画像について検索される。指定された再構成画像が第2の記憶装置から見つからない場合、第2のビデオビットストリームが解析され、参照画像索引に対応するターゲット画像ビットストリームが、第2のビデオビットストリームから見つかり、ターゲット画像ビットストリームは復号されて、指定された再構成画像を取得し、指定された再構成画像は、第2の記憶装置に格納される。参照画像索引は、1つ以上の番号を含んでよい。各番号は、第2のビデオビットストリームの復号された画像のうちの1つに対応している。指定された再構成画像の数は、参照画像索引に含まれる番号の数と同じである。特に、第2の記憶装置が、指定された再構成画像が第2の記憶装置に追加されるときにいっぱいである場合、第2の記憶装置における対応する数の画像は、指定された再構成画像によって置き換えられる。参照画像索引は、第1のビデオビットストリームに記憶されてよく、例えば、現在の画像のスライスヘッダ（slice header）に記憶されてよく、または、シーケンスパラメータセット（SPS, sequence parameter set）等の構文構造ユニットに記憶されてよい。加えて、参照画像索引は、第1のビデオビットストリーム以外の他の記憶空間に記憶されてよい。例えば、複数の参照画像索引はデータ構造を形成し、且つ、データ構造は符号化されて、次いで、第2のビデオビットストリームに記憶される。第2のビデオビットストリーム内の画像は、イントラ復号方式で復号されてよく、または、インター予測に基づくインター復号方式で復号されてよい。

【0169】

画像復号装置は、指定された再構成画像を、第1のビデオビットストリーム内の現在の画像の参照画像として使用し、現在の画像を復号して、現在の画像の再構成画像を取得してよい。現在の画像の参照画像は、別の画像をさらに含んでよい。例えば、現在の画像の参照画像は、現在の画像が配置されるランダムアクセスセグメント内の復号された画像を含んでよい。復号方法は、インター予測に基づくインタービデオ復号方法であってよい。

【0170】

より具体的には、複雑さを低減するために、第1のビデオビットストリーム内のランダムアクセスポイントにおける画像のみが、第2のビデオビットストリーム内の再構成画像を参照画像として使用することによって復号されることができる。従来のイントラ復号方式は、いくつかのランダムアクセスポイントにおける画像のために使用されてよい。ランダムアクセスポイントにおける2つのタイプの画像間で区別するために、異なるフレームタイプが、第1のビデオビットストリーム内で使用されてよい。第2のビデオビットストリーム内の非ランダムアクセスポイントにおける画像は、現在の画像が配置されるランダムアクセスセグメントにおける復号された画像のみであってよい。例えば、第2のビデオビットストリーム内の画像は、イントラ復号方式のみで復号されてよい。

【0171】

画像復号装置は、第1のビデオビットストリーム内の全ての復号された画像のピクチャオーダーカウントに従って、第1のビデオビットストリーム内の復号された画像を順次表示してよい。

【0172】

他の復号シナリオは、ここでは列挙されない。

【0173】

図5-aおよび図5-bを参照すると、図5-aは、本発明の別の実施形態に係る、画像符号化方法の概略フローチャートである。図5-aに示される画像符号化方法は、図5-bに示される画像符号化システムアーキテクチャに基づいて実施されてよい。

【0174】

図5-aに示されるように、本発明の別の実施形態で提供される画像符号化方法は、以下のステップを含んでよい。

【0175】

S501. 画像符号化装置は、ビデオシーケンスから、少なくとも2つのキー画像を抽出し、キー画像を符号化することによって取得される再構成画像を、知識ベースに追加する。

【0176】

図5-cに例示されるように、画像符号化装置は、現在の画像が属するビデオシーケンスに対して背景モデリングを実行して、背景画像を取得し、背景画像を符号化して、符号化された背景画像を取得し、符号化された背景画像を復号して、背景画像の再構成画像を取得し、背景画像の取得された再構成画像を、知識ベースに追加してよい。

【0177】

図5-dに例示されるように、画像符号化装置は、現在の画像が属するビデオシーケンスに対して、シーンカット検出を実行して、現在の画像が属するビデオシーケンス内のシーンカット画像を取得し、シーンカット画像の取得された再構成画像を、知識ベースに追加してよい。シーンカット検出について、複数の比較的成熟した方法がある。例えば、2つの隣接画像内のピクセルの複数のグループ間の平均ピクセル値差が計算される。平均ピクセル値差が閾値よりも大きいとき、2つの画像間でシーンカットが発生したと考えられる。別の例では、画像特徴（SIFT等）が、2つの画像から別々に抽出される。画像特徴間の一致度が閾値よりも小さい場合、2つの画像間でシーンカットが発生したと考えられる。

【0178】

キー画像を抽出するために使用されることができる方法は、ビデオシーケンス内の少なくとも1つの画像と、時間領域において少なくとも1つの画像と隣接する画像との間の平均ピクセル値差を計算し、キー画像として、事前に設定された閾値よりも小さい平均ピクセル値差に対応する画像を使用することか、または、ビデオシーケンスの事前に設定された位置における少なくとも1つの画像をキー画像として使用することを含んでよい。例えば、事前に設定された位置における画像は、第1の画像、第2の画像および/または最後の画像を含む。

【0179】

S502. 画像符号化装置は、ビデオシーケンスから現在の画像を取得する。

【0180】

画像符号化プロセスでは、現在の画像は、ビデオシーケンス内の画像に対応している、現在の符号化されるべき画像と呼ばれてよい。

【0181】

画像符号化装置は、参照画像キャッシュを含んでよい。参照画像キャッシュは、現在の符号化されるべき画像に関する予測のための短期間参照画像および長期間参照画像を記憶してよい。

【0182】

S503. 画像符号化装置は、知識ベースから、現在の画像のK個の参照画像を選択し、K個の参照画像を、現在の画像の参照画像リストに追加し、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である。

【0183】

【0184】

任意で、本発明のいくつかの可能な実施では、知識ベースから、現在の画像のK個の参照画像を選択することは、以下の方法のうちの少なくとも1つに基づいて、現在の画像のK個の参照画像を選択することを含んでよい。

【0185】

方法1: 現在の画像に最も類似する少なくとも1つの画像が、知識ベースから選択される。平均二乗誤差およびSIFT特徴差等の複数の類似度メトリック（similarity metric）が、類似性の計算において使用されてよい。

【0186】

方法2: 知識ベース内の画像は、現在の画像の参照画像リストに追加され、現在の画像のレート歪みコスト（RD cost, rate-distortion cost）を取得するために、プリコーディングが実行される。レート歪みコスト計算は、知識ベース内の少なくとも2つの画像に対して実行され、少なくとも2つの画像における最小レート歪みコストに対応する画像が、現在の画像の参照画像として選択される。

【0187】

方法3: 知識ベースに事前に記憶される画像において、現在の画像の領域におけるものと類似するパターンを含む画像が、現在の画像の参照画像として画像から選択される。

【0188】

特に、知識ベース内の画像は、画像符号化装置内に事前に記憶される画像を含んでよい。画像は、現在の画像が配置されるビデオシーケンス内の画像に対応していなくてよく、例えば、複数のパターンを含む画像を含んでよく、または、コンピュータによって描画される画像を含んでよく、または、ネットワークからダウンロードされて知識ベースに追加される画像をさらに含んでよく、または、ポータブルな記憶デバイスから知識ベースにコピーされる画像を含んでよい。知識ベースは動的蓄積状態に設定されてよく、その中に含まれる画像は時間の経過と共に量および内容において連続的に更新される。画像は、符号化圧縮が実行されない画像を含んでよく、または、現在の画像が配置されるランダムアクセスセグメントに属さない画像もまた含んでよい。

【0189】

【0190】

異なるシナリオでは、現在の画像が配置されるランダムアクセスセグメントを定義する方式は、同じでなくてよい。例えば、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、符号化順で配列されている画像を含み得、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まない。あるいは、現在の画像が従属レイヤに配置される場合、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、符号化順で配列されている画像を含み、X個の参照画像が配置されるビデオレイヤにおいて、現在の画像のX個の参照画像の前の最も近いランダムアクセスポイントから、X個の参照画像の後の最も近いランダムアクセスポイントまで、符号化順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、現在の画像が配置されるランダムアクセスセグメントは、X個の参照画像の前の最も近いランダムアクセスポイントにおける画像を含むが、X個の参照画像の後の最も近いランダムアクセスポイントにおける画像を含まず、X個の参照画像は、従属レイヤ以外の別のビデオレイヤにある現在の画像の参照画像である。

【0191】

【0192】

【0193】

任意で、本発明のいくつかの可能な実施では、知識ベースから、現在の画像のK個の参照画像を選択することは、知識ベースから、現在の画像の画像特徴に基づいて、現在の画像のK個の参照画像を選択することを含んでよい。K個の参照画像の画像特徴は、現在の画像の画像特徴と一致する。K個の参照画像の画像特徴は、現在の画像の画像特徴と一致することは、具体的には、K個の参照画像の画像特徴と、現在の画像の画像特徴との間の類似度が、特定の閾値を超えることを意味してよい（例えば、閾値は、70%、85%、88%または要件を満たす別の値であってよい）。あるいは、K個の参照画像の画像特徴と、現在の画像の画像特徴との間の類似度は、現在の画像の画像特徴と、知識ベース内の別の画像の画像特徴との間の類似度以上であってよい。

【0194】

【0195】

S504. 画像符号化装置は、参照画像リスト内の参照画像に従って、現在の画像を符号化する。

【0196】

画像符号化装置が、K個の参照画像に従って、現在の画像を符号化することは、具体的には、K個の参照画像に従って、現在の画像のために予測を実行して、現在の画像の予測ピクセル値を取得することと、現在の画像の予測ピクセル値および予測残差に従って、現在の画像を再構成することによって、現在の画像の再構成画像を取得することとを含んでよい。

【0197】

さらに、画像符号化方法は、画像符号化装置によって、知識ベース参照情報（すなわち、参照画像索引）を第1のビデオビットストリームに追加することをさらに含んでよい。知識ベース内の、現在の符号化されるべき画像のために参照される画像に関する情報は、知識ベース参照情報内に記録され、知識ベース参照情報は、知識ベース内の画像の画像番号、画像特徴記述子または画像のMD5チェックコードのうちの少なくとも1つであってよい。例えば、画像特徴は、SIFTおよび/またはSURFを含む。知識ベースが複数のタイプの画像を含む場合、知識ベース参照情報は、画像タイプ情報をさらに含んでよい。例えば、知識ベースが、N個の背景画像およびM個のシーンカット画像（NおよびMは正の整数である）を含むと構成される場合、知識ベース内の画像の索引は、画像タイプおよび画像タイプに対応する画像における画像の番号を使用することによって示されてよい。特に、知識ベースが、複数のタイプの画像を含み、且つ、各タイプが1つの画像のみに対応していると構成される場合、画像タイプは、知識ベース内の画像を示すように直接使用されてよい。

【0198】

さらに、画像符号化装置は、キー画像を符号化することによって取得される第2のビデオビットストリームをさらに記憶または送信してよい。画像符号化装置は、第1のビデオビットストリームをさらに記憶または送信してよい。

【0199】

【0200】

本発明の実施形態は、ビデオビットストリームを提供する。ビデオビットストリームは、画像Aを含み、且つ、画像Aの画像特徴もまた含む。例えば、画像特徴は、SIFTおよび/またはSURFを含む。画像Aが復号される場合、知識ベース内の少なくとも1つの画像の画像特徴が計算される。知識ベース内の少なくとも1つの画像の画像特徴と、画像Aの画像特徴との間の差が、特定の閾値よりも小さい場合、知識ベース内の少なくとも1つの画像は、画像Aの参照画像として選択される。

【0201】

本発明の実施形態は、第1のビデオビットストリームおよび第2のビデオビットストリームのうちの少なくとも1つを含む、ビデオビットストリームを提供する。第1のビデオビットストリームは画像Aを含み、第2のビデオビットストリームは画像Bを含み、第1のビデオビットストリームは、画像Bの画像特徴をさらに含む。例えば、画像特徴は、SIFTおよび/またはSURFを含む。画像Bの画像特徴は、画像Aに関連付けられる。例えば、画像Bの画像番号は、画像Aに対応するビットストリームセグメントにおける、スライスヘッダ情報に記憶されてよい。画像Aが復号されるとき、第2のビデオビットストリームは、最初に復号され、第2のビデオビットストリームの再構成画像は、知識ベース内に記憶される。次いで、画像Bの画像特徴は、第1のビデオビットストリームを解析することによって取得され、画像Bは、画像Bの画像特徴を使用することによって、画像Aの参照画像として、知識ベースから取り出されて、画像Aを復号する。

【0202】

本発明の実施形態は、第1のビデオビットストリームおよび第2のビデオビットストリームのうちの少なくとも1つを含む、ビデオビットストリームを提供する。第1のビデオビットストリームは画像Aを含み、第2のビデオビットストリームは画像Bを含み、第1のビデオビットストリームは、第2のビデオビットストリーム内の画像Bの画像番号をさらに含む。画像Bの画像番号は、画像Aに関連付けられている。例えば、画像Bの画像番号は、画像Aのスライスヘッダ情報に記憶されてよい。画像Bの画像番号は、第1のビデオビットストリームにおける画像Aの画像番号からは独立している。例えば、画像Bの画像番号は、画像Bの画像番号と、画像Aの画像番号との間の差分値の形式ではなく、画像番号の絶対値の形式で、画像Aと対応するビットストリームセグメントにおけるスライスヘッダ情報に記憶される。画像Aが復号されると、第1のビデオビットストリームは、画像Bの画像番号を取得するために最初に復号されてよく、画像Bに対応するビットストリームセグメントは、次いで、画像Bの画像番号を使用することによって、第2のビデオビットストリームから見つかる。画像Bが復号によって取得された後、画像Bは、画像Aの参照画像として使用され、画像Aの参照画像リストに追加されて、画像Aを復号する。

【0203】

例えば、第1のビデオビットストリームおよび第2のビデオビットストリームの各々は、画像番号のセットを使用する。すなわち、第2のビデオビットストリーム内の画像の画像番号と、第1のビデオビットストリーム内の画像の画像番号との間に関連性はない。時間的に、第1のビデオビットストリーム内の画像は、より小さい画像番号を有し、且つ、第2のビデオビットストリーム内にある画像よりも必ずしも遅くない。第1のビデオビットストリーム内の画像の画像番号は表示順序を示し、第2のビデオビットストリーム内の画像の画像番号は、表示順序によって制限されなくてよい。第2のビデオビットストリーム内の各画像の画像番号は、第1のビデオビットストリーム内の画像のための参照画像として、画像を使用する回数に従って、画像を番号付けすることによって取得されてよい。例えば、第2のビデオビットストリーム内の画像を参照画像として使用するより大きな回数は、画像のより小さな画像番号となる。第1のビデオビットストリームの復号された画像が表示され、第2のビデオビットストリームの復号された画像は表示されない。

【0204】

図6を参照すると、本発明の実施形態は、画像復号装置を提供する。画像復号装置は、
現在の画像を取得するように構成される取得ユニット610と、
知識ベースから、現在の画像のK個の参照画像を選択するように構成される参照ユニット620であって、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である、参照ユニット620と、
K個の参照画像に従って、現在の画像を復号するように構成される復号ユニット630とを含んでよい。

【0205】

任意で、本発明のいくつかの可能な実施では、知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得される。

【0206】

【0207】

任意で、本発明のいくつかの可能な実施では、参照画像索引と一致する参照画像は、現在の画像が配置されるランダムアクセスセグメントの前の再構成画像である。

【0208】

任意で、本発明のいくつかの可能な実施では、参照ユニットは、参照画像索引と一致する参照画像が、第2のビデオビットストリームから見つからない場合、サーバから、参照画像索引と一致する参照画像を含む第2のビデオビットストリームの増分ビットストリームを要求し、第2のビデオビットストリームの増分ビットストリームを復号して、参照画像索引と一致する参照画像を取得し、参照画像索引と一致する取得された参照画像を、現在の画像の参照画像として使用するようにさらに構成される。

【0209】

任意で、本発明のいくつかの可能な実施では、現在の画像の参照画像索引は、参照画像の番号、参照画像の画像特徴および/または現在の画像の画像特徴を示してよい。

【0210】

任意で、本発明のいくつかの可能な実施では、参照画像索引が、現在の画像の画像特徴を示す場合、K個の参照画像の画像特徴は、現在の画像の画像特徴と一致する。

【0211】

任意で、本発明のいくつかの可能な実施では、画像特徴は、尺度不変特徴変換SIFTおよび/または加速堅牢特徴SURFを含む。

【0212】

任意で、本発明のいくつかの可能な実施では、知識ベースは、現在の画像が属するビデオシーケンス内のキー画像を含み、現在の画像が属するビデオシーケンス内のキー画像は、現在の画像が属するビデオシーケンス内のシーンカット画像および/または背景画像を含む。

【0213】

任意で、本発明のいくつかの可能な実施では、シーンカット画像は、現在の画像が属する第2のビデオビットストリームまたは第1のビデオビットストリームを復号することによって取得され、または、背景画像は、現在の画像が属する第2のビデオビットストリームまたは第1のビデオビットストリームを復号することによって取得され、または、背景画像は、現在の画像が属する第1のビデオビットストリーム内の復号されたビデオシーケンスに対して背景モデリングを実行することによって取得される。

【0214】

任意で、本発明のいくつかの可能な実施では、復号ユニット630は、具体的には、K個の参照画像を、現在の画像の参照画像リストに追加し、参照画像リスト内の参照画像に従って、現在の画像を復号するように構成される。

【0215】

任意で、本発明のいくつかの可能な実施では、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、または、
現在の画像が従属レイヤに配置される場合、現在の画像が配置されるランダムアクセスセグメントは、現在の画像が配置されるビデオレイヤにおいて、現在の画像の前の最も近いランダムアクセスポイントから、現在の画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、X個の参照画像が配置されるビデオレイヤにおいて、現在の画像のX個の参照画像の前の最も近いランダムアクセスポイントから、X個の参照画像の後の最も近いランダムアクセスポイントまで、復号順で配列されている画像を含み、現在の画像が配置されるランダムアクセスセグメントは、現在の画像の前の最も近いランダムアクセスポイントにおける画像を含むが、現在の画像の後の最も近いランダムアクセスポイントにおける画像を含まず、現在の画像が配置されるランダムアクセスセグメントは、X個の参照画像の前の最も近いランダムアクセスポイントにおける画像を含むが、X個の参照画像の後の最も近いランダムアクセスポイントにおける画像を含まず、X個の参照画像は、従属レイヤ以外の別のビデオレイヤにある現在の画像の参照画像である。

【0216】

本実施形態における画像復号装置600の機能モジュールの機能は、具体的には、前述の方法の実施形態における方法に従って実施されてよいことは理解されることができる。具体的な実施プロセスについては、前述の方法の実施形態の関連する説明を参照されたい。詳細はここでは再び説明されない。

【0217】

本実施形態における画像復号装置600の画像復号プロセスでは、現在の画像が取得された後、現在の画像のK個の参照画像は、知識ベースから選択されてよく、現在の画像は、K個の参照画像に従って復号されることがわかる。知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さないため、すなわち、現在の画像が配置されるランダムアクセスセグメントに属さない少なくとも1つの画像が現在の画像の候補参照画像として使用されてよいため、現在の画像が配置されるランダムアクセスセグメントに属さない画像は、現在の画像の参照画像として選択されてよい。ある程度、これは、現在の画像の参照画像候補範囲に対する従来技術によって課される制限を打ち破り、解決手段は現在の画像の参照画像候補範囲をある程度まで拡張するため、これはさらに、ビデオ復号効率をある程度まで改善することを助ける。

【0218】

図7を参照すると、本発明の実施形態で提供される画像復号装置700は、
プロセッサ702およびストレージ703を含んでよい。プロセッサ702は、バス701を使用することによって、ストレージ703に結合および接続される。

【0219】

プロセッサ702は、ストレージ703内のコードまたは命令を呼び出して、現在の画像を取得し、知識ベースから、現在の画像のK個の参照画像を選択し、K個の参照画像に従って、現在の画像を復号し、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である。

【0220】

【0221】

【0222】

【0223】

任意で、本発明のいくつかの可能な実施では、プロセッサ702は、参照画像索引と一致する参照画像が、第2のビデオビットストリームから見つからない場合、サーバから、参照画像索引と一致する参照画像を含む第2のビデオビットストリームの増分ビットストリームを要求し、第2のビデオビットストリームの増分ビットストリームを復号して、参照画像索引と一致する参照画像を取得し、参照画像索引と一致する取得された参照画像を、現在の画像の参照画像として使用するようにさらに構成される。

【0224】

【0225】

【0226】

任意で、本発明のいくつかの可能な実施では、画像特徴は、尺度不変特徴変換SIFTおよび/または加速堅牢特徴SURFを含む。

【0227】

【0228】

【0229】

任意で、本発明のいくつかの可能な実施では、プロセッサ702は、具体的には、K個の参照画像を、現在の画像の参照画像リストに追加し、参照画像リスト内の参照画像に従って、現在の画像を復号するように構成される。

【0230】

【0231】

本実施形態における画像復号装置700の機能モジュールの機能は、具体的には、前述の方法の実施形態における方法に従って実施されてよいことは理解されることができる。具体的な実施プロセスについては、前述の方法の実施形態の関連する説明を参照されたい。詳細はここでは再び説明されない。

【0232】

本実施形態における画像復号装置700の画像復号プロセスでは、現在の画像が取得された後、現在の画像のK個の参照画像は、知識ベースから選択されてよく、現在の画像は、K個の参照画像に従って復号されることがわかる。知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さないため、すなわち、現在の画像が配置されるランダムアクセスセグメントに属さない少なくとも1つの画像が現在の画像の候補参照画像として使用されてよいため、現在の画像が配置されるランダムアクセスセグメントに属さない画像は、現在の画像の参照画像として選択されてよい。ある程度、これは、現在の画像の参照画像候補範囲に対する従来技術によって課される制限を打ち破り、解決手段は現在の画像の参照画像候補範囲をある程度まで拡張するため、これはさらに、ビデオ復号効率をある程度まで改善することを助ける。

【0233】

図8を参照すると、本発明の実施形態は、画像符号化装置800を提供する。画像符号化装置800は、取得ユニット810、参照ユニット820および符号化ユニット830を含んでよい。

【0234】

取得ユニット810は、現在の画像を取得するように構成される。

【0235】

参照ユニット820は、知識ベースから、現在の画像のK個の参照画像を選択するように構成され、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である。

【0236】

符号化ユニット830は、K個の参照画像に従って、現在の画像を符号化するように構成される。

【0237】

任意で、本発明のいくつかの可能な実施では、K個の参照画像の画像特徴は、現在の画像の画像特徴と一致する。

【0238】

任意で、本発明のいくつかの可能な実施では、画像特徴は、尺度不変特徴変換SIFTおよび/または加速堅牢特徴SURFを含む。

【0239】

【0240】

任意で、本発明のいくつかの可能な実施では、シーンカット画像は、現在の画像が属するビデオシーケンスに対してシーンカット検出を実行することによって取得され、または、背景画像は、現在の画像が属するビデオシーケンスに対して背景モデリングを実行することによって取得される。

【0241】

任意で、本発明のいくつかの可能な実施では、知識ベース内の少なくとも1つの画像は、第2のビデオビットストリームを復号することによって取得され、または、知識ベース内の少なくとも1つの画像は、現在の画像を符号化することによって取得される第1のビデオビットストリームを復号することによって取得される。

【0242】

【0243】

本実施形態における画像符号化装置800の機能モジュールの機能は、具体的には、前述の方法の実施形態における方法に従って実施されてよいことは理解されることができる。具体的な実施プロセスについては、前述の方法の実施形態の関連する説明を参照されたい。詳細はここでは再び説明されない。

【0244】

本実施形態における画像符号化装置800の画像符号化プロセスでは、現在の画像が取得された後、現在の画像のK個の参照画像は、知識ベースから選択されてよく、現在の画像は、K個の参照画像に従って符号化されることがわかる。知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さないため、すなわち、現在の画像が配置されるランダムアクセスセグメントに属さない少なくとも1つの画像が現在の画像の候補参照画像として使用されてよいため、現在の画像が配置されるランダムアクセスセグメントに属さない画像は、現在の画像の参照画像として選択されてよい。ある程度、これは、現在の画像の参照画像候補範囲に対する従来技術によって課される制限を打ち破り、解決手段は現在の画像の参照画像候補範囲をある程度まで拡張するため、これはさらに、ビデオ符号化効率をある程度まで改善することを助ける。

【0245】

図9を参照すると、本発明の実施形態で提供される画像符号化装置900は、
プロセッサ902およびストレージ903を含んでよい。プロセッサ902は、バス901を使用することによって、ストレージ903に結合および接続される。プロセッサ902は、ストレージ903内のコードまたは命令を呼び出して、現在の画像を取得し、知識ベースから、現在の画像のK個の参照画像を選択し、K個の参照画像に従って、現在の画像を符号化し、ここで、知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さず、Kは1以上の整数である。

【0246】

任意で、本発明のいくつかの可能な実施では、K個の参照画像の画像特徴は、現在の画像の画像特徴と一致する。

【0247】

任意で、本発明のいくつかの可能な実施では、画像特徴は、尺度不変特徴変換SIFTおよび/または加速堅牢特徴SURFを含む。

【0248】

【0249】

【0250】

【0251】

【0252】

本実施形態における画像符号化装置900の機能モジュールの機能は、具体的には、前述の方法の実施形態における方法に従って実施されてよいことは理解されることができる。具体的な実施プロセスについては、前述の方法の実施形態の関連する説明を参照されたい。詳細はここでは再び説明されない。

【0253】

本実施形態における画像符号化装置900の画像符号化プロセスでは、現在の画像が取得された後、現在の画像のK個の参照画像は、知識ベースから選択されてよく、現在の画像は、K個の参照画像に従って符号化されることがわかる。知識ベース内の少なくとも1つの画像は、現在の画像が配置されるランダムアクセスセグメントに属さないため、すなわち、現在の画像が配置されるランダムアクセスセグメントに属さない少なくとも1つの画像が現在の画像の候補参照画像として使用されてよいため、現在の画像が配置されるランダムアクセスセグメントに属さない画像は、現在の画像の参照画像として選択されてよい。ある程度、これは、現在の画像の参照画像候補範囲に対する従来技術によって課される制限を打ち破り、解決手段は現在の画像の参照画像候補範囲をある程度まで拡張するため、これはさらに、ビデオ符号化効率をある程度まで改善することを助ける。

【0254】

説明を簡潔にするために、前述の方法の実施形態は、一連の動作として表現されていることは留意されるべきである。しかしながら、当業者は、本発明によると、いくつかのステップは他の順序で実行されてよく、または同時に実行されてよいため、本発明が、説明された動作順序に限定されないことを認識すべきである。加えて、当業者は、明細書で説明された全ての実施形態は例示的な実施形態であり、関連動作およびモジュールは、本発明に必ずしも必須ではないこともまた認識すべきである。

【0255】

前述の実施形態では、各実施形態の説明は、それぞれの焦点を有する。実施形態で詳細に説明されない部分については、他の実施形態における関連する説明に対して参照が行われてよい。

【0256】

本願で提供されるいくつかの実施形態では、開示される装置は、他の方式で実施されてよいことは理解されるべきである。例えば、説明される装置の実施形態は単に例である。例えば、ユニット分割は、単なる論理機能分割であるとともに、実際の実施において他の分割であってよい。例えば、複数のユニットまたは構成要素は、別のシステムに結合または統合されてよく、または、いくつかの特徴は無視されるか実行されなくてよい。加えて、表示または議論される相互結合または直接結合または通信接続は、いくつかのインタフェースを介して実施されてよい。装置またはユニット間の間接結合または通信接続は、電子的または他の形態で実施されてよい。

【0257】

別々の部分として説明されるユニットは、物理的に分離していてもしていなくてもよく、ユニットとして表示される部分は、物理ユニットであってもなくてもよく、1つの位置に配置されてよく、または、複数のネットワークユニット上に分配されてよい。ユニットの一部または全ては、実施形態の解決手段の目的を達成するために、実際の要件に従って選択されてよい。

【0258】

加えて、本発明の実施形態における機能ユニットは、1つの処理ユニットに統合されてよく、または、ユニットの各々は、物理的に孤立して存在してよく、または2つ以上のユニットは、1つのユニットに統合される。統合されたユニットは、ハードウェアの形態で実施されてよく、または、ソフトウェア機能ユニットの形態で実施されてよい。

【0259】

統合されたユニットが、ソフトウェア機能ユニットの形態で実施され、独立した製品として販売または使用される場合、統合されたユニットは、コンピュータ可読記憶媒体に記憶されてよい。このような理解に基づくと、本発明の技術的解決手段は、本質的に、または、従来技術に貢献する部分は、または、技術的解決手段の全てまたは一部は、ソフトウェア製品の形態で実施されてよい。ソフトウェア製品は、記憶媒体に記憶され、且つ、コンピュータデバイス（パーソナルコンピュータ、サーバまたはネットワークデバイスであってよい）に、本発明の実施形態で説明される方法のステップの全てまたは一部を実行するように命令するための、いくつかの命令を含む。前述の記憶媒体は、USBフラッシュドライブ、読出し専用メモリ（ROM, Read-Only Memory）、ランダムアクセスメモリ（RAM, Random Access Memory）、リムーバブルハードディスク、磁気ディスクまたは光ディスク等の、プログラムコードを記憶することができる任意の媒体を含む。

【0260】

前述の実施形態は単に、本発明の技術的解決手段を説明するように意図されるが、本発明を限定するようには意図されない。本発明は、前述の実施形態を参照して詳細に説明されるが、当業者は、彼らが本発明の実施形態の技術的解決手段の範囲から逸脱することなく、前述の実施形態で説明された技術的解決手段に対してさらに変更を行うことができ、または、そのいくつかの技術的特徴に対して、均等置換をさらに行うことができることを理解すべきである。

【符号の説明】

【0261】

610 取得ユニット
620 参照ユニット
630 復号ユニット
702 プロセッサ
703 ストレージ
810 取得ユニット
820 参照ユニット
830 符号化ユニット
902 プロセッサ
903 ストレージ

【図1-a】