特表 2024-537644 オブジェクト識別及び特徴抽出によるビデオコーディング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-16

(54)【発明の名称】オブジェクト識別及び特徴抽出によるビデオコーディング

(51)【国際特許分類】

   H04N 19/20 20140101AFI20241008BHJP

   H04N 19/46 20140101ALI20241008BHJP

   G06T 7/00 20170101ALI20241008BHJP

【ＦＩ】

H04N19/20

H04N19/46

G06T7/00 350B

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024515511

(86)(22)【出願日】2022-02-21

(85)【翻訳文提出日】2024-03-08

(86)【国際出願番号】 CN2022077141

(87)【国際公開番号】W WO2023035551

(87)【国際公開日】2023-03-16

(31)【優先権主張番号】21461590.8

(32)【優先日】2021-09-13

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＷＣＤＭＡ

(71)【出願人】

【識別番号】516227559

【氏名又は名称】オッポ広東移動通信有限公司

【氏名又は名称原語表記】ＧＵＡＮＧＤＯＮＧ ＯＰＰＯ ＭＯＢＩＬＥ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＣＯＲＰ．， ＬＴＤ．

【住所又は居所原語表記】Ｎｏ． １８ Ｈａｉｂｉｎ Ｒｏａｄ，Ｗｕｓｈａ， Ｃｈａｎｇ’ａｎ，Ｄｏｎｇｇｕａｎ， Ｇｕａｎｇｄｏｎｇ ５２３８６０ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100152205

【弁理士】

【氏名又は名称】吉田 昌司

(74)【代理人】

【識別番号】100137523

【弁理士】

【氏名又は名称】出口 智也

(74)【代理人】

【識別番号】100120385

【弁理士】

【氏名又は名称】鈴木 健之

(72)【発明者】

【氏名】マレク、ドマンスキー

(72)【発明者】

【氏名】トマシュ、グラジェク

(72)【発明者】

【氏名】アダム、グルゼルカ

(72)【発明者】

【氏名】スワボミル、マコービアク

(72)【発明者】

【氏名】スワボミル、ロゼク

(72)【発明者】

【氏名】オルギエルド、スタンキエビチ

(72)【発明者】

【氏名】ヤクブ、スタンコウスキー

【テーマコード（参考）】

5C159

5L096

【Ｆターム（参考）】

5C159MB01

5C159MB11

5C159MB21

5C159MB26

5C159PP04

5C159RC11

5C159UA02

5C159UA05

5L096AA02

5L096AA06

5L096DA01

5L096HA02

5L096KA04

(57)【要約】

送信機及び受信機が提供されて機械向けのビデオを処理する。送信機は、（１）ビデオにおける１つ又は複数のオブジェクトを識別し、当該１つ又は複数のオブジェクトに関連する１つ又は複数の特徴を抽出し、（２）当該１つ又は複数のオブジェクトに基づいてビデオの各フレームを処理し、（３）処理されたビデオをエンコードするように構成されている。受信機は、（ｉ）エンコードされたビデオを受信してデコードし、（ｉｉ）抽出された特徴及びデコードされたビデオに基づいてビデオを生成するように構成されている。

【特許請求の範囲】

【請求項1】

ビデオを処理するための送信機システムであって、
前記ビデオにおける１つ又は複数のオブジェクトを識別し、前記１つ又は複数のオブジェクトに関連する１つ又は複数の特徴を抽出するように構成されたオブジェクト識別コンポーネントと、
前記１つ又は複数のオブジェクトを除去することにより、前記ビデオの各フレームを処理するように構成されたビデオ処理コンポーネントと、
処理された前記ビデオをエンコードするように構成されたビデオエンコードコンポーネントと、
エンコードされた前記ビデオと前記１つ又は複数のオブジェクトの抽出された前記特徴とを送信するように構成された送信コンポーネントと、を備える、
ことを特徴とするビデオを処理するための送信機システム。

【請求項2】

前記システムは、前記１つ又は複数のオブジェクトを識別するために用いられる参照オブジェクト情報を記憶するように構成されたオブジェクトデータベースをさらに備える、
ことを特徴とする請求項１に記載のシステム。

【請求項3】

前記１つ又は複数のオブジェクトは、交通標識、道路標識、情報表、企業／製品／機関のロゴ、又は、テキスト情報及び／もしくは数値情報を提供する領域もしくはフィールド、のうちの少なくとも１つを含む、
ことを特徴とする請求項１に記載のシステム。

【請求項4】

抽出された前記１つ又は複数の特徴は、前記１つ又は複数のオブジェクトに関連するテキスト、数字、色、フォント、サイズ、又は位置のうちの少なくとも１つを含む、
ことを特徴とする請求項１に記載のシステム。

【請求項5】

前記ビデオ処理コンポーネントは、前記ビデオの各フレームにおける前記１つ又は複数のオブジェクトをブランクで置き換えるように構成されている、
ことを特徴とする請求項１に記載のシステム。

【請求項6】

前記ビデオ処理コンポーネントは、前記ビデオの各フレームにおける前記１つ又は複数のオブジェクトを背景色で置き換えるように構成されている、
ことを特徴とする請求項１に記載のシステム。

【請求項7】

前記ビデオ処理コンポーネントは、前記ビデオの各フレームにおける前記１つ又は複数のオブジェクトを背景画像で置き換えるように構成されている、
ことを特徴とする請求項１に記載のシステム。

【請求項8】

前記背景画像は、前記１つ又は複数のオブジェクトに隣接する画像に基づいて確定される、
ことを特徴とする請求項７に記載のシステム。

【請求項9】

前記背景画像は、前記１つ又は複数のオブジェクトを取り囲む画像に基づいて確定される、
ことを特徴とする請求項７に記載のシステム。

【請求項10】

前記オブジェクト識別コンポーネントはさらに、識別された前記１つ又は複数のオブジェクトの移動方向を確定するように前記１つ又は複数のオブジェクトをモニターする、ように構成されている、
ことを特徴とする請求項１に記載のシステム。

【請求項11】

ビデオを処理するための受信機システムであって、受信コンポーネント、ビデオデコードコンポーネント、オブジェクト再構成コンポーネント、及びビデオ統合コンポーネントを備え、
前記受信コンポーネントは、エンコードされたビデオと抽出された１つ又は複数の特徴とを受信するように構成されており、前記エンコードされたビデオの１つ又は複数のオブジェクトが除去されており、前記抽出された１つ又は複数の特徴が前記１つ又は複数のオブジェクトに関連付けられており、
前記ビデオデコードコンポーネントは、前記エンコードされたビデオをデコードするように構成されており、
前記オブジェクト再構成コンポーネントは、前記抽出された特徴に基づいて画像を生成するように構成されており、
前記ビデオ統合コンポーネントは、前記抽出された特徴に基づいた前記画像とデコードされた前記ビデオとを統合するように構成されている、
ことを特徴とするビデオを処理するための受信機システム。

【請求項12】

前記システムは、前記１つ又は複数のオブジェクトを識別するために用いられる参照オブジェクト情報を記憶するように構成されたオブジェクトデータベースをさらに備える、
ことを特徴とする請求項１１に記載のシステム。

【請求項13】

前記１つ又は複数のオブジェクトは、交通標識、道路標識、又は、テキスト情報及び／もしくは数値情報を提供する領域もしくはフィールド、のうちの少なくとも１つを含む、
ことを特徴とする請求項１１に記載のシステム。

【請求項14】

前記抽出された１つ又は複数の特徴は、前記１つ又は複数のオブジェクトに関連するテキスト、数字、色、フォント、サイズ、又は位置のうちの少なくとも１つを含む、
ことを特徴とする請求項１１に記載のシステム。

【請求項15】

前記オブジェクト再構成コンポーネントは、前記抽出された１つ又は複数の特徴を前記１つ又は複数のオブジェクトに加えることによって前記画像を生成するように構成されている、
ことを特徴とする請求項１１に記載のシステム。

【請求項16】

ビデオを処理するための方法であって、
前記ビデオにおける１つ又は複数のオブジェクトを識別することと、
識別された前記オブジェクトに関連する特徴を抽出することと、
前記ビデオの各フレームにける識別された前記オブジェクトに対応する画像を処理することと、
抽出された前記特徴に対応する記述子を生成することと、
生成された前記記述子を圧縮することと、
処理された前記画像を有する前記ビデオをエンコードすることと、
エンコードされた前記ビデオ及びエンコードされた前記記述子を送信することと、を含む、
ことを特徴とするビデオを処理するための方法。

【請求項17】

前記方法は、
エンコードされた前記ビデオ及び圧縮された前記記述子を、ネットワークを介して受信することと、
圧縮された前記記述子を解凍することと、
解凍された前記記述子に基づいて、エンコードされた前記ビデオをデコードすることと、をさらに含む、
ことを特徴とする請求項１６に記載の方法。

【請求項18】

前記１つ又は複数のオブジェクトは、交通標識、道路標識、又は、テキスト情報及び／もしくは数値情報を提供する領域もしくはフィールド、のうちの少なくとも１つを含む、
ことを特徴とする請求項１６に記載の方法。

【請求項19】

抽出された１つ又は複数の前記特徴は、前記１つ又は複数のオブジェクトに関連するテキスト、数字、色、フォント、サイズ、又は位置のうちの少なくとも１つを含む、
ことを特徴とする請求項１６に記載の方法。

【請求項20】

前記ビデオの各フレームにおける識別された前記オブジェクトに対応する前記画像を処理することは、
前記ビデオの各フレームにおける前記１つ又は複数のオブジェクトを背景画像で置き換えること、を含む、
ことを特徴とする請求項１６に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、ビデオコーディングに関し、特に、オブジェクト識別及び特徴抽出に基づいたビデオコーディングに関する。本出願は、上記ビデオコーディングに基づいた画像合成にも関する。

【背景技術】

【0002】

ビデオ圧縮はビデオデータを伝送するために用いられてきた。圧縮率が高ければ高いほど、伝送に必要なリソースを減少できるが、ビデオの画質が損なわれるようになる。人々が見るビデオの場合、画質損失はビデオの美学的要素（見栄えの良し悪しなど）に影響し、それに応じてユーザー体験を悪化させる。しかし、機械（例えば自動運転車）によって識別される画像の場合、ビデオの美学的要素より画像のコンテキストの方が重要である。機械向けのビデオコーディング（Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｆｏｒ Ｍａｃｈｉｎｅｓ、ＶＣＭ）の最新動向は、ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ ２ Ｎ１８「機械向けのビデオコーディングの使用例と要求」から見られることができる。機械向けのビデオデータの伝送時間と伝送リソースの消費を削減するために、機械向けのビデオデータを効果的にエンコード且つデコードするための改良されたシステムと方法が望ましい。

【発明の概要】

【0003】

本開示は、機械向けのビデオデータを処理するための装置及び方法を提供する。いくつかの実施形態において、機械は、自動運転車、ロボット、航空機、及び／又は、例えば人工知能を利用してビデオデータの処理及び分析が可能な他の適切なデバイス又はコンピューティングシステムを含み得る。より詳細には、本開示は、（ｉ）ビデオにおける識別されたオブジェクト及び／又はビデオの特徴に基づいてビデオデータをエンコード又は圧縮するように構成された送信機と、（ｉｉ）上記送信機によってエンコード又は圧縮されたビデオデータをデコード又は解凍するように構成された受信機と、を提供する。

【0004】

ビデオをエンコードするとき、送信機は、（ｉ）ビデオにおける１つ又は複数のオブジェクト（例えば、交通標識、道路標識、ロゴ、表、テキスト情報及び／又は数値情報を提供する他の適切な領域／フィールドなど）を識別し、（ｉｉ）識別されたオブジェクトに関連する特徴（例えば、テキスト、数字、及びそれらに対応する色、フォント、サイズ、位置など）を抽出し、（ｉｉｉ）識別されたオブジェクトをモニター及び／又は追跡して、それらの移動方向及び／又は軌跡を確定又は予測し、（ｉｖ）当該ビデオの各フレームにおける識別されたオブジェクトに対応する画像を処理し（例えば、識別されたオブジェクトが占有する領域全体を代表色で充填し、その領域の解像度を大幅に低下させるようにし）、（ｖ）処理された画像を有するビデオをエンコード（又は圧縮）し、及び（ｖｉ）エンコード（又は圧縮）されたビデオと抽出された特徴とを、ネットワークを介して（例えば、ビットストリームにおいて）送信することができる。当該送信機の実施形態については、図３を参照して詳細に説明する。

【0005】

本開示は、エンコードされたビデオをデコードするように構成された受信機も提供する。いくつかの実施形態において、受信機は、（ａ）エンコードされたビデオを、ネットワークを介して受信し、（ｂ）識別されたオブジェクト及びそれらに対応する特徴に基づいて、エンコードされたビデオをデコードし、（ｃ）識別されたオブジェクトを有するデコードされたビデオを生成することができる。当該送信機の実施形態については、図４を参照して詳細に説明する。

【0006】

本開示の一態様は、オブジェクトを有するビデオを処理するための方法を提供する。当該方法は、例えば、（１）当該ビデオにおける１つ又は複数のオブジェクトを識別することと、（２）識別されたオブジェクトに関連する特徴を抽出することと、（３）識別されたオブジェクトの位置、移動方向、及び／又は軌跡を確定すること、（４）当該ビデオの各フレームにける識別されたオブジェクトに対応する画像を処理することと、（５）抽出された特徴に対応する記述子を生成することと、（６）生成された記述子を圧縮することと、（７）処理された画像を有するビデオをエンコードすること（例えば、処理された画像とビデオの残りの部分とをそれぞれエンコードすること）と、（８）エンコードされたビデオ及び圧縮された記述子を（例えば、多重化されたビットストリームによって）送信することと、を含む。いくつかの実施形態において、当該方法は、（９）エンコードされたビデオ及び圧縮された記述子を、ネットワークを介して受信することと、（１０）圧縮された記述子を解凍することと、（１１）解凍された記述子に基づいて、エンコードされたビデオをデコードすることと、をさらに含むことができる。当該方法の実施形態について、図５及び図９を参照して詳細に説明する。いくつかの実施形態では、オブジェクトは、標識、広告、方向／交通標識などを含むことができる。

【0007】

いくつかの実施形態では、本方法は、有形の非一時的なコンピュータ可読媒体によって実現されることができる。当該コンピュータ可読媒体にプロセッサ命令が記憶されており、当該プロセッサ命令は、１つ又は複数のプロセッサによって実行されると、１つ又は複数のプロセッサに本明細書に記載の方法の１つ又は複数の態様／特徴を実行させる。

【図面の簡単な説明】

【0008】

本開示の実施形態の技術案をより明確に説明するために、以下、図面を簡単に説明する。図面は本開示のいくつかの態様又は実施形態のみを示し、当業者にとって、創造的な努力なしに、これらの図面によって他の図面を得ることができる。

【図1】図１は、本開示の１つ又は複数の実施形態に係る無線通信システムを示す概略図である。いくつかの実施形態では、本技術は、有線通信システムにおいて実現されることもできる。

【図2】図２は、本開示の１つ又は複数の実施形態に係るシステムを示す概略図である。

【図3】図３は、本開示の１つ又は複数の実施形態に係る送信機を示す概略図である。

【図4】図４は、本開示の１つ又は複数の実施形態に係る受信機を示す概略図である。

【図5】図５は、本開示の１つ又は複数の実施形態に係るオブジェクトの画像処理を示す概略図である。

【図6A】図６Ａは、本開示における方法によって処理された画像の例である。

【図6B】図６Ｂは、本開示における方法によって処理された画像の例である。

【図6C】図６Ｃは、本開示における方法によって処理された画像の例である。

【図6D】図６Ｄは、本開示における方法によって処理された画像の例である。

【図7A】図７Ａは、本開示における方法によって処理された画像の例である。

【図7B】図７Ｂは、本開示における方法によって処理された画像の例である。

【図8A】図８Ａは、本開示における方法によって処理された画像の例である。

【図8B】図８Ｂは、本開示における方法によって処理された画像の例である。

【図9】図９は、本開示の１つ又は複数の実施形態に係る方法を示すフローチャートである。

【図10】図１０は、本開示の１つ又は複数の実施形態に係る端末装置を示すブロック図である。

【発明を実施するための形態】

【0009】

通信環境
図１は、本開示の方法を実現するためのシステム１００を示す。図１に示されたように、システム１００は、ネットワーク装置１０１を含む。ネットワーク装置１１０の例には、ベーストランシーバー基地局（ｂａｓｅ ｔｒａｎｓｃｅｉｖｅｒ ｓｔａｔｉｏｎ、ＢＴＳ）、ノードＢ（ＮｏｄｅＢ、ＮＢ）、進化型ノードＢ（ｅｖｏｌｖｅｄ Ｎｏｄｅ Ｂ、ｅＮＢ又はｅＮｏｄｅＢ）、次世代ノードＢ（ｎｅｘｔ ｇｅｎｅｒａｔｉｏｎ ＮｏｄｅＢ、ｇＮＢ又はｇＮｏｄｅ Ｂ）、ワイヤレスフィデリティ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ、Ｗｉ－Ｆｉ）アクセスポイント（ａｃｃｅｓｓ ｐｏｉｎｔ、ＡＰ）などが含まれる。いくつかの実施形態では、ネットワーク装置１１０は、中継局、アクセスポイント、車載デバイス、ウェアラブルデバイスなどを含み得る。ネットワーク装置１１０は、通信ネットワークに用いられる無線接続装置を含むことができ、例として、グローバルシステムフォーモバイルコミュニケーション（ｇｌｏｂａｌ ｓｙｓｔｅｍ ｆｏｒ ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ、ＧＳＭ）ネットワーク、符号分割多元接続（ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ、ＣＤＭＡ）ネットワーク、広帯域符号分割多重接続（ｗｉｄｅｂａｎｄ ＣＤＭＡ、ＷＣＤＭＡ）ネットワーク、ロングタームエボリューション（ｌｏｎｇ ｔｅｒｍ ｅｖｏｌｕｔｉｏｎ、ＬＴＥ）ネットワーク、クラウド無線アクセスネットワーク（Ｃｌｏｕｄ Ｒａｄｉｏ Ａｃｃｅｓｓ Ｎｅｔｗｏｒｋ、ＣＲＡＮ）、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）８０２．１１ベースのネットワーク（例えば、Ｗｉ－Ｆｉネットワーク）、モノのインターネット（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ、ＩｏＴ）ネットワーク、デバイス間（ｄｅｖｉｃｅ ｔｏ ｄｅｖｉｃｅ、Ｄ２Ｄ）ネットワーク、次世代ネットワーク（例えば、５Ｇネットワーク）、将来の進化のパブリック・ランド・モバイル・ネットワーク（ｐｕｂｌｉｃ ｌａｎｄ ｍｏｂｉｌｅ ｎｅｔｗｏｒｋ、ＰＬＭＮ）、「車車間」（ｖｅｈｉｃｌｅ ｔｏ ｖｅｈｉｃｌｅ、Ｖ２Ｖ）通信、「路車間」（ｖｅｈｉｃｌｅ－ｔｏ ｉｎｆｒａｓｔｒｕｃｔｕｒｅ、Ｖ２Ｉ）通信などが挙げられる。５Ｇシステム又はネットワークは、ニューラジオ（ｎｅｗ ｒａｄｉｏ、ＮＲ）システム又はネットワークと呼ばれることができる。

【0010】

図１に示されたように、システム１００は端末装置１０３をさらに含む。端末装置１０３は、ネットワーク装置１１０と通信するように構成されたエンドユーザ装置であることができる。端末装置１０３は、１つ又は複数の対応する通信プロトコル／規格に従って、ワイヤレスで（例えば、無線チャネル１０５を介して）ネットワーク装置１０１に接続するように構成されることができる。端末装置１０３は、移動式、固定式、有線式、テザリング式（ｔｅｔｈｅｒｅｄ）、又はアンテザリング式（ｕｎｔｅｔｈｅｒｅｄ）のいずれであってもよい。端末装置１０３は、ユーザ機器（ｕｓｅｒ ｅｑｕｉｐｍｅｎｔ、ＵＥ）、アクセス端末、ユーザユニット、ユーザステーション、モバイルステーション、移動局、リモートステーション、リモート端末、モバイルデバイス、ユーザ端末、端末、無線通信デバイス、ユーザエージェント、又はユーザデバイスであることができる。端末装置１０３の例には、モデム、セルラー電話、スマートフォン、コードレス電話、セッション初期化プロトコル（ｓｅｓｓｉｏｎ ｉｎｉｔｉａｔｉｏｎ ｐｒｏｔｏｃｏｌ、ＳＩＰ）電話、無線ローカルループ（ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ｌｏｏｐ、ＷＬＬ）ステーション、パーソナルデジタルアシスタント（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ、ＰＤＡ）、無線通信機能を備えたハンドヘルドデバイス、コンピューティングデバイス、又はワイヤレスモデムに接続されている他の処理デバイス、車載デバイス、ウェアラブルデバイス、ＩｏＴデバイス、将来の５Ｇネットワークにおける端末装置、将来の進化のＰＬＭＮにおける端末装置などが含まれる。

【0011】

説明の目的で、図１は、無線通信システム１００における１つのネットワーク装置１０１及び１つの端末装置１０３のみを示した。しかしながら、理解できるように、いくつかの例では、無線通信システム１００は、ネットワーク装置１０１及び／又は端末装置１０３の追加のインスタンス、ネットワークコントローラ、モビリティ管理エンティティ／デバイスなどの、追加のデバイス／他のデバイスを含み得る。

【0012】

いくつかの実施形態では、ネットワーク装置１０１は、本明細書に記載の送信機として動作することができる。又は、いくつかの実施形態では、ネットワーク装置１０１は、本明細書に記載の受信機として動作することができる。同様に、端末装置１０３は、本明細書に記載の送信機として動作することができる。又は、いくつかの実施形態では、端末装置１０３は、本明細書に記載の受信機として動作することができる。

【0013】

図２は、本開示の１つ又は複数の実施形態に係るシステム２００を示す概略図である。システム２００は、送信機２０１及び受信機２０３を含む。送信機２０１は、エンコードされたビデオデータをネットワーク２０５を介して受信機２０３に送信するように構成されている。送信機２０１は、プロセッサ２０１１、メモリ２０１３、及びエンコーダ２０１５を含む。いくつかの実施形態では、送信機２０１は、チップ（例えば、システムオンチップ、ｓｙｓｔｅｍ－ｏｎ－ｃｈｉｐ、ＳｏＣ）として実現されることができる。プロセッサ２０１１は、送信機２０１及びそのコンポーネントの機能を実現するように構成されている。メモリ２０１３は、送信機２０１に関連するデータ、命令、及び／又は情報を記憶するように構成されている。エンコーダ２０１５は、１つ又は複数のオブジェクトを有するビデオを処理してエンコードするように構成されている。いくつかの実施形態では、エンコーダ２０１５は、（１）ビデオにおける１つ又は複数のオブジェクトを識別し、（２）当該１つ又は複数のオブジェクトに関連する１つ又は複数の特徴を抽出し、（３）当該１つ又は複数のオブジェクトに基づいてビデオの各フレームを処理し、（４）処理されたビデオをエンコードし、（５）エンコードされたビデオ及び抽出された特徴を送信することができる。

【0014】

いくつかの実施形態では、エンコーダ２０１５は、機械（例えば、車両、航空機、船舶、ロボット、人工知能などを利用してビデオデータの処理及び分析が可能な他の適切なデバイス又はコンピューティングシステム）向けのビデオデータを処理するために用いられることができる。エンコーダ２０１５は、まず、ビデオにおける１つ又は複数のオブジェクトを識別することができる。オブジェクトの実施例は、例えば、交通標識、道路標識、企業／事業表（例えば、「コカコーラ」、「マクドナルド」という標識など）、ピクトグラム、ロゴ、テキスト情報及び／又は数値情報を提供する他の適切な領域／フィールドなどを含むことができる。いくつかの実施形態では、オブジェクトは、システムオペレータによって定義されることができる（例えば、特定の形状、特定の色、特定のテキスト特徴などを有する）。

【0015】

オブジェクトが識別されると、エンコーダ２０１５は、識別されたオブジェクトから１つ又は複数の特徴を抽出することができる。抽出された特徴の例には、識別されたオブジェクトに関連するテキスト、数字、及びそれらに対応する色、フォント、サイズ、位置などが含まれる。例えば、ビデオにおける交通標識はオブジェクトとして識別され、交通標識における「最高速度：１００ｋｍ／ｈ」という情報は抽出された特徴とされることができる。当該交通標識に載せられた情報を分離することで、交通標識が含まれるビデオはより高い比率で圧縮されること（伝送のためのデータのサイズが比較的小さいことに相当し）ができ、このようにして圧縮によって情報を識別できなくなる心配がない。

【0016】

エンコーダ２０１５は、ビデオの各フレームにおいてオブジェクトに関連する画像を除去することによってビデオを処理することもできる。いくつかの実施形態では、オブジェクトに関連するこれらの画像は、信号の色（例えば、周囲の画像と同じであり又は類似し、代表色など）又は背景画像（例えば、交通標識のデフォルトの背景）で置き換えられることができる。いくつかの実施形態では、これらの画像はブランクにされることができる（後にデコーダによって生成される）。次に、処理されたビデオ（即ち、オブジェクトが除去、置換、又は編集されたビデオ）は、伝送のために（例えば、ビットストリームとして）エンコードされることができる。

【0017】

いくつかの実施形態では、エンコーダ２０１５は、識別されたオブジェクトを追跡又はモニターするように構成されることができ、入力フレーム（ｉｎｃｏｍｉｎｇ ｆｒａｍｅ）におけるオブジェクトの位置、移動方向、及び／又は軌跡を確定又は予測できるようにする。例えば、エンコーダ２０１５は、オブジェクトを取り囲むいくつかの位置（例えば、ピクセル）を「チェックポイント」として設定することができ、オブジェクトの可能な位置変化を追跡又はモニターするようにする。このような設定により、エンコーダ２０１５は、オブジェクトの跡を失うことなく、オブジェクトを効果的に識別且つ管理することができる。いくつかの実施形態では、オブジェクトの境界に関する情報は、フレームごとに追跡及び／又は更新され得る。

【0018】

次に、エンコードされたビデオ及び抽出された特徴は、ネットワーク２０５を介して送信され得る。いくつかの実施形態では、エンコードされたビデオ及び抽出された特徴は、２つのビットストリームにおいて伝送されることができる。いくつかの実施形態では、エンコードされたビデオ及び抽出された特徴は、同じビットストリームにおいて伝送されることができる。

【0019】

図２に示されるように、受信機２０３は、エンコードされたビデオを受信し、その後、当該ビデオをエンコードし且つ抽出された特徴を当該ビデオに加えることによって、エンコードされたビデオを「復元」することができる。例えば、いくつかの実施形態では、オブジェクトは、対応する記述子（例えば、視線方向、オブジェクトのサイズ／形状など）に基づいて変更且つ追加され得る。受信機２０３は、プロセッサ２０３１、メモリ２０３３、及びデコーダ２０３５を含む。いくつかの実施形態では、受信機２０３は、チップ（例えば、ＳｏＣ）として実現されることができる。プロセッサ２０３１は、送信機２０３及びそのコンポーネントの機能を実現するように構成されている。メモリ２０３３は、受信機２０３に関連するデータ、命令、及び／又は情報を記憶するように構成されている。デコーダ２０３５は、エンコードされたビデオをデコードし、当該ビデオにおける除去／置換されたオブジェクトを復元するように構成されている。いくつかの実施形態では、デコーダ２０３５は、ビデオを復元するためにエンコーダ２０１５と「逆」の方式で機能を実行することができる。いくつかの実施形態では、デコーダ２０３５はさらに、より良い画質のためにビデオを処理するか、又はユーザの好みに基づいてビデオを生成することができる。

【0020】

いくつかの実施形態では、送信機２０１及び受信機２０３はいずれも、１つ又は複数のオブジェクトを識別するために用いられる参照オブジェクト情報（例えば、オブジェクトのタイプ、比較のためのサンプルオブジェクトなど）を記憶するように構成されたオブジェクトデータベースをさらに備えることができる。いくつかの実施形態では、オブジェクトデータベースに記憶された情報は、機械学習プロセスによって訓練されることができ、オブジェクトを識別する精度を高めるようにする。

【0021】

いくつかの実施形態では、抽出された特徴は記述子で記述されることができる。記述子は、抽出された特徴のテキスト情報（例えば、テキスト表、道路名など）、数値情報（例えば、示された数字）、位置情報（例えば、オブジェクトの相対位置、移動方向など）、コンテキスト情報（オブジェクトが建物又は道路に隣接していること）、及び／又はグラフィック情報（例えば、色、サイズ、形状など）を指示する。記述子は、例えば、完全に又は部分的に、オブジェクトデータベースに記憶されることができる。例えば、記述子（例えば、交通標識）はオブジェクトデータベースに記憶されることができ、記述子のパラメータ（例えば、記述子のサイズ、位置、及びそれらの外観を定義するアフィン変換のパラメータ）のみが伝送される。

【0022】

いくつかの実施形態では、本明細書で説明されるエンコーディング、デコーディング、圧縮、及び解凍のプロセスは、アドバンスドビデオコーディング（ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ、ＡＶＣ）、高効率ビデオコーディング（ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ、ＨＥＶＣ）、多用途ビデオコーディング（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ、ＶＶＣ）、ＡＶ１（Ａｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ Ｖｉｄｅｏ １）、又は任意の他の適切な方法、プロトコル、又は標準に係るコーディングプロセスを含むことができる。

【0023】

図３は、本開示の１つ又は複数の実施形態に係る送信機３００を示す概略図である。送信機３００は、オブジェクトデータベース３１０、オブジェクト識別コンポーネント３１１、ビデオ処理コンポーネント３１２、圧縮コンポーネント３１３、ビデオエンコーダ３１４、及びビットストリームマルチプレクサ（又は送信コンポーネント）３１５を含む。上記コンポーネントは、送信機３００のプロセッサによって制御又は管理されることができる。

【0024】

入力ビデオ３１が送信機３００に入ると、オブジェクト識別コンポーネント３１１及びビデオ処理コンポーネント３１２に移動することができる。いくつかの実施形態では、入力ビデオ３１は、まずオブジェクト識別コンポーネント３１１に到達し、次にビデオ処理コンポーネント３１２に到達することができる。

【0025】

オブジェクト識別コンポーネント３１１は、ビデオにおける１つ又は複数のオブジェクトを識別するように構成されている。図３に示されたように、オブジェクト識別コンポーネント３１１は、オブジェクトデータベース３１０に結合されている。オブジェクトデータベース３１０は、ビデオにおける１つ又は複数のオブジェクトを識別するために用いられる参照オブジェクト情報（例えば、オブジェクトのタイプ、比較のためのサンプルオブジェクトなど）を記憶する。いくつかの実施形態では、オブジェクトデータベース３１０に記憶された情報は、機械学習プロセスによって訓練されることができ、オブジェクトを識別する精度を高めるようにする。オブジェクト識別コンポーネント３１１は、クエリを送信し、オブジェクトデータベース３１０からクエリ応答３６を受信することができる。クエリ応答３６は、オブジェクト識別コンポーネント３１１が、入力ビデオ３１における１つ又は複数のオブジェクトを識別及び／又は確定することを容易にすることができる。

【0026】

１つ又は複数のオブジェクトが識別されると、当該１つ又は複数のオブジェクトに関連する１つ又は複数の特徴が抽出されることができる。抽出された特徴の例には、識別されたオブジェクトに関連するテキスト、数字、及びそれらに対応する色、フォント、サイズ、位置などが含まれる。１つ又は複数の記述子３４は、抽出された特徴に基づいて生成されることができる。記述子３４は、１つ又は複数のオブジェクトの上記特徴（例えば、その特徴が何であるか、どこに位置するかなど）を指示する。記述子３４は、さらなる処理のために、ビデオ処理コンポーネント３１２及び圧縮コンポーネント３１３に送信される。

【0027】

圧縮コンポーネント３１３は記述子３４を受信した後、記述子３４を圧縮して、圧縮された記述子３５を生成するようにする。いくつかの実施形態では、上記圧縮の圧縮率は、記述子３４のコンテンツに基づいて確定されることができる。次に、圧縮された記述子３５は、さらなる処理のためにビットストリームマルチプレクサ３１５に送信される。

【0028】

ビデオ処理コンポーネント３１２は記述子３４を受信した後、（例えば、記述子３４によって提供される情報に基づいて）ビデオにおける識別されたオブジェクトを除去することによって入力ビデオを処理する。その後、ビデオ処理コンポーネント３１２は、（識別されたオブジェクトが除去された）処理されたビデオ３２を生成する。いくつかの実施形態では、除去されるオブジェクトは、ブランク、背景色、背景画像、又は除去されるオブジェクトより画像解像度が低い適切なアイテムで置き換えられることができる。ブランク、背景色、及び背景画像の実施例については、図５を参照して詳細に説明する。次に、処理されたビデオ３２は、さらなる処理のためにビデオエンコーダ３１４に送信される。

【0029】

次に、ビデオエンコーダ３１４は、ビデオコーディングスキーム（例えば、ＡＶＣ、ＨＥＶＣ、ＶＶＣ、ＡＶ１、又は任意の他の適切な方法、プロトコル、又は規格）を利用して、処理されたビデオ３２をエンコードする。次に、ビデオエンコーダ３１４は、エンコードされたビデオ３３を生成し、当該エンコードされたビデオ３３は、さらなる処理のためにビットストリームマルチプレクサ３１５に送信される。

【0030】

エンコードされたビデオ３３及び圧縮された記述子３５を受信した後、ビットストリームマルチプレクサ３１５は、伝送用の多重化されたビットストリーム３７を生成することができる。いくつかの実施形態では、多重化されたビットストリーム３７は、２つのビットストリーム（即ち、１つはエンコードされたビデオ３３用であり、もう１つは圧縮された記述子３５用である）を含むことができる。いくつかの実施形態では、多重化されたビットストリーム３７は、単一のビットストリームであり得る。いくつかの実施形態では、送信機３００は、多重化されたビットストリーム３７なしで実現され得る。

【0031】

図４は、本開示の１つ又は複数の実施形態に係る受信機４００を示す概略図である。受信機４００は、ビットストリームデマルチプレクサ（又は受信コンポーネント）４１５、オブジェクト記述デコーダ４１３、オブジェクト再構成コンポーネント４１１、オブジェクトデータベース４１０、ビデオデコーダ４１４、及びビデオ統合コンポーネント（ｖｉｄｅｏ ｍｅｒｇｉｎｇ ｃｏｍｐｏｎｅｎｔ）４１２を含む。

【0032】

ビットストリームデマルチプレクサ４１５は、多重化された圧縮ビットストリーム（ｍｕｌｔｉｐｌｅｘｅｄ ｃｏｍｐｒｅｓｓｅｄ ｂｉｔｓｔｒｅａｍ）４０を受信し多重化する。従って、ビットストリームデマルチプレクサ４１５は、圧縮された記述子４１及びエンコードされたビデオ４２を生成することができる。エンコードされたビデオ４２は、ビデオデコーダ４１４に送信される。次に、ビデオデコーダ４１４は、エンコードされたビデオ４２をデコードし、（オブジェクトが除去された）デコードされたビデオ４４を生成する。デコードされたビデオ４４は、さらなる処理のためにビデオ統合コンポーネント４１２に送信される。

【0033】

圧縮された記述子４１は、オブジェクト記述デコーダ４１３に送信される。オブジェクト記述デコーダ４１３は、圧縮された記述子４１をデコードし、記述子４３を生成することができる。記述子４３は、１つ又は複数のオブジェクトに対応する抽出された１つ又は複数の特徴を指示する。記述子４３は、さらなる処理のためにオブジェクト再構成コンポーネント４１１に送信される。

【0034】

オブジェクト再構成コンポーネント４１１は、オブジェクトデータベース４１０に結合されている。オブジェクトデータベース４１０は、記述子４３に基づいて対応する１つ又は複数のオブジェクトを識別するために用いられる参照オブジェクト情報（例えば、オブジェクトのタイプ、比較のためのサンプルオブジェクトなど）を記憶する。いくつかの実施形態では、オブジェクトデータベース４１０に記憶された情報は、機械学習プロセスによって訓練されることができ、オブジェクトを識別する精度を高めるようにする。オブジェクト再構成コンポーネント４１１は、クエリを送信し、オブジェクトデータベース４１０からクエリ応答４５を受信することができる。クエリ応答４５は、オブジェクト再構成コンポーネント４１１が記述子４３によって指示される１つ又は複数のオブジェクトを識別することを容易にすることができる。従って、オブジェクト再構成コンポーネント４１１は、再構成されたオブジェクト４６を生成することができる。再構成されたオブジェクト４６は、さらなる処理のためにビデオ統合コンポーネント４１２に送信されることができる。いくつかの実施形態では、再構成されたオブジェクト４６は、参照又は機械視覚／機械学習研究のために送信且つ利用されることもできる。

【0035】

再構成されたオブジェクト４６及びデコードされたビデオ４４を受信した後、ビデオ統合コンポーネント４１２は、再構成されたオブジェクト４６とデコードされたビデオ４４とを統合し、オブジェクトを有するデコードされたビデオ４７を生成する。オブジェクトを有するデコードされたビデオ４７は、人々（及び機械）がビデオにおけるオブジェクトを識別するのに適した解像度を有する。

【0036】

図５は、本開示の１つ又は複数の実施形態に係るオブジェクト５０１の画像処理を示す概略図である。図５に示されたように、オブジェクト５０１は、複数のグリッド５０を含む画像５００内にある。オブジェクト５０１が識別又は認識されると、画像５００は処理されることができ、「オーバー・ザ・ホール（ｏｖｅｒ－ｔｈｅ－ｈｏｌｅ）」というプロセスを実行することによってオブジェクト５０１を除去するようにする。例えば、「オーバー・ザ・ホール」というプロセスにおいて、オブジェクト５０１によって占有されたグリッドを除去することができる。これらのグリッドは、ブランク５０３、背景画像５０５、又は隣接するグリッド５１、５２によって補間された値で置き換えられることができる。この配置により、画像５００からオブジェクト５０１を除去し、オブジェクトが除去された画像５０７を生成して処理することができる。

【0037】

図６Ａは、本開示における方法によって処理された画像の例である。図６Ｂは、本開示における方法によって処理された画像の例である。図６Ｃは、本開示における方法によって処理された画像の例である。図６Ａは、交通標識６０１（即ち、オブジェクト）を含むオリジナル画像６００Ａを示した。図６Ｂは、交通標識６０１が除去され背景色に置き換えられた、処理された画像６００Ｂを示した。処理された画像６００Ｂは、交通標識６０１に載せられた情報が失われる心配なしに、高い画像圧縮率で伝送されることができる。いくつかの実施形態では、図６Ｃに示された処理された画像６００Ｃのように、交通標識６０１は、その解像度を下げることによって「部分的に除去される」ことができる。伝送後、処理された画像６００Ｂ又は６００Ｃは、図６Ｄに示された復元された画像６００Ｄに復元又は「修復（ｉｎｐａｉｎｔ）」されることができる。

【0038】

図７Ａは、本開示における方法によって処理された画像の例である。図７Ｂは、本開示における方法によって処理された画像の例である。図７Ａ及び図７Ｂに示された実施形態では、オリジナル画像７００Ａは、交通標識７０１及び車線標識７０２という２つのオブジェクトを含む。図７Ｂに示されたように、処理された画像７００Ｂに示されたように、この２つのオブジェクトはいずれも除去されることができる。

【0039】

いくつかの実施形態では、画像に２つより多くのオブジェクトが存在し得る。図８Ａにおいて、オリジナル画像８００Ａは、複数の潜在的オブジェクトを含む。本システム及び方法によって、オペレータがオブジェクトを識別する基準を確定し、当該オブジェクトに関連する画像を処理するか否かを確定することを可能にする。例えば、図８Ｂに示されるように、６つのオブジェクト８０１～８０６が識別され、処理される。しかしながら、他の実施形態では、オペレータは、識別されたオブジェクトの一部のみを処理することを確定することができる（例えば、オブジェクト８０１～８０４のみを処理し、オブジェクト８０５、８０６を処理しない）。本システムによって、オペレータがオブジェクト識別プロセス（例えば、どのようなタイプのオブジェクトを識別するか）をカスタマイズし、特定のタイプのオブジェクトを処理するか否かを確定することを可能にする。

【0040】

図９は、本開示の１つ又は複数の実施形態に係る方法９００を示すフローチャートである。方法９００は、ビデオを処理するために、システム（システム２００）、送信機（例えば、送信機２０１もしくは３００）、及び／又は受信機（例えば、受信機２０３もしくは４００）によって実現され得る。

【0041】

ブロック９０１において、方法９００は、ビデオにおける１つ又は複数のオブジェクトを識別することから開始する。オブジェクトの実施例は、例えば、交通標識、道路標識、テキスト情報及び／又は数値情報を提供する他の適切な領域／フィールドなどを含むことができる。いくつかの実施形態では、オブジェクトは、システムオペレータによって定義されることができる（例えば、特定の形状、特定の色、特定のテキスト特徴などを有する）。

【0042】

ブロック９０３において、方法９００は引き続き、識別されたオブジェクトに関連する特徴を抽出する。抽出された特徴の例には、識別されたオブジェクトに関連するテキスト、数字、及びそれらに対応する色、フォント、サイズ、位置などが含まれる。例えば、ビデオにおける交通標識はオブジェクトとして識別され、交通標識における「最高速度：１００ｋｍ／ｈ」という情報は抽出された特徴とされることができる。

【0043】

ブロック９０５において、方法９００は引き続き、ビデオの各フレームにおける識別されたオブジェクトに対応する画像を処理する。いくつかの実施形態では、画像は、画像におけるオブジェクトを除去することによって処理され得る（例えば、図５を参照する）。

【0044】

ブロック９０７において、方法９００は引き続き、抽出された特徴に対応する記述子を生成する。いくつかの実施形態では、記述子は、抽出された特徴のテキスト情報（例えば、テキスト表、道路名など）、数値情報（例えば、示された数字）、位置情報（例えば、オブジェクトの相対位置、移動方向など）、コンテキスト情報（オブジェクトが建物又は道路に隣接していること）、及び／又はグラフィック情報（例えば、色、サイズ、形状など）を指示する。記述子は、オブジェクトデータベースに記憶されることができる。

【0045】

ブロック９０９において、方法９００は引き続き、生成された記述子と処理された画像を有するビデオとをエンコードする。

【0046】

ブロック９１１において、方法９００は引き続き、エンコードされたビデオ及び記述子を送信する。いくつかの実施形態では、記述子は、第１のスキームで圧縮されることができ、一方、処理された画像を有するビデオは、第２のスキームでエンコードされることができる。いくつかの実施形態では、第１のスキームと第２のスキームは同じであることができる。いくつかの実施形態では、第１のスキームと第２のスキームは異なることができる。いくつかの実施形態では、本明細書で説明されるエンコーディング、デコーディング、圧縮、及び解凍のプロセスは、ＡＶＣ、ＨＥＶＣ、ＶＶＣ、ＡＶ１、又は任意の他の適切な方法、プロトコル、又は標準に係るコーディングプロセスを含むことができる。

【0047】

いくつかの実施形態では、エンコードされたビデオ及び記述子は、単一のビットストリーム又は２つのビットストリームにおいて多重化され、伝送され得る。いくつかの実施形態において、方法９００は、エンコードされたビデオ及び圧縮された記述子を、ネットワークを介して受信することと、圧縮された記述子を解凍することと、解凍された記述子に基づいて、エンコードされたビデオをデコードすることと、をさらに含むことができる。

【0048】

図１０は、本開示の１つ又は複数の実施形態に係る端末装置１０００（例えば、図１の端末装置１０３の例）を示すブロック図である。図１０に示されたように、端末装置１０００は、処理ユニット１０１０及びメモリ１０２０を含む。処理ユニット１０１０は、端末装置１０００に対応する命令を実行するように構成されることができる。

【0049】

理解できるように、本技術の実施形態におけるプロセッサは、信号処理能力を有する集積回路チップであることができる。実施プロセスにおいて、上記方法におけるステップは、プロセッサにおけるハードウェア形態の集積論理回路（ｉｎｔｅｇｒａｔｅｄ ｌｏｇｉｃ ｃｉｒｃｕｉｔ）又はソフトウェア形態の命令によって実現されることができる。プロセッサは、汎用プロセッサ、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラム可能なゲートアレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）又は他のプログラム可能なロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントであることができる。プロセッサは、本技術の実施形態に開示された方法、ステップ及び論理ブロック図を実現又は実行することができる。汎用プロセッサは、マイクロプロセッサ又は任意の通常のプロセッサなどであることができる。本技術の実施形態に開示された方法のステップは、直接にハードウェア復号化プロセッサによって実行又は完成されることができ、又は復号化プロセッサにおけるハードウェア及びソフトウェアモジュールの組み合わせによって実行又は完成されることができる。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読み取り専用メモリ、プログラム可能な読み取り専用メモリ、又は電気的に消去可能なプログラム可能なメモリ、レジスタなど本技術分野におけるマチュアな記憶媒体に位置することができる。当該記憶媒体はメモリに位置する。プロセッサは、メモリにおける情報を読み取り、プロセッサのハードウェアと合わせて上記方法のステップを完成する。

【0050】

理解できるように、本技術の実施形態におけるメモリは、揮発性メモリ又は不揮発性メモリであることができ、又は揮発性メモリ及び不揮発性メモリの両方を含むことができる。不揮発性メモリは、読み取り専用メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、プログラム可能な読み取り専用メモリ（ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ、ＰＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ｅｒａｓａｂｌｅ ＰＲＯＭ、ＥＰＲＯＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ、ＥＥＰＲＯＭ）、又はフラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）であることができる。揮発性メモリは、外部高速キャッシュとして機能するランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）であることができる。例示的であるが限定的ではない例として、様々なＲＡＭが利用可能であり、例えば、スタティックランダムアクセスメモリ（ｓｔａｔｉｃ ＲＡＭ、ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ｄｙｎａｍｉｃ ＲＡＭ、ＤＲＡＭ）、同期ダイナミックランダムアクセスメモリ（ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ、ＳＤＲＡＭ）、ダブルデータレート同期ダイナミックランダムアクセスメモリ（ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ ＳＤＲＡＭ、ＤＤＲＳＤＲＡＭ）、強化された同期ダイナミックランダムアクセスメモリ（ｅｎｈａｎｃｅｄ ＳＤＲＡＭ、ＥＳＤＲＡＭ）、同期リンクダイナミックランダムアクセスメモリ（ｓｙｎｃｈｒｏｎｏｕｓ ｌｉｎｋ ＤＲＡＭ、ＳＬＤＲＡＭ）、ダイレクトランバスランダムアクセスメモリ（ｄｉｅｒｃｔ ｒａｍｂｕｓ ＲＡＭ、ＤＲＲＡＭ）が挙げられる。なお、本明細書に記載されるシステム及び方法におけるメモリは、これら及び他の任意の適切なタイプのメモリを含むことができるが、これらに限定されない。

【0051】

開示された技術の例の上記詳細な説明は、網羅的であること、又は、開示された技術を上記に開示された精確な形態に限定することを意図するものではない。開示された技術の具体的な例は、説明の目的で上述されているが、当業者であれば認識できるように、記載された技術の範囲内で様々な等価な変更が可能である。例えば、プロセス又はブロックが所定の順序で示されているが、別の実施態様では、異なる順序で、ステップを有するルーチンを実行し、又はブロックを有するシステムを採用することができ、また、別の実施態様又はサブコンビネーションを提供するために、いくつかのプロセス又はブロックを削除、移動、追加、細分化、組み合わせ、及び／又は修正することができる。これらのプロセス又はブロックの各々は、様々な異なる方法で実現されてもよい。また、プロセス又はブロックは、直列に実行されるように示されることがあるが、これらのプロセス又はブロックは、並列に実行又は実現されてもよく、又は、異なる時間に実行されてもよい。さらに、本明細書に記載された特定の数値は例示に過ぎず、別の実施態様では異なる値又は範囲を採用することができる。

【0052】

詳細な説明では、現在説明されている技術を完全に理解するために、多数の具体的なディテールが記載されている。他の実施態様では、ここで紹介される技術は、これらの具体的なディテールなしに実施されることができる。他の例では、本開示を不必要に曖昧にすることを避けるため、特定の機能又はルーチンなどの周知の特徴は、詳細に記載されない。本明細書における「実施形態／実施例」、「一実施形態／実施例」などへの言及は、記載される特定の特徴、構造、材料、又は特性が、記載される技術の少なくとも１つの実施形態に含まれることを意味する。従って、本明細書にこのような表現が出ても、必ずしもすべてが同じ実施形態／実施例を指すというわけではない。一方、このような表現は必ずしも相互に排他的であるとは限らない。さらに、特定の特徴、構造、材料、又は特性は、１つ又は複数の実施形態／実施例において任意の適切な方法で組み合わせられることができる。理解できるように、図に示された様々な実施形態は、単なる例示的説明であり、必ずしも縮尺通りに描かれているとは限らない。

【0053】

明瞭化の目的で、構造又はプロセスを説明するいくつかのディテールは、本明細書に記載されておらず、これらの構造又はプロセスは、周知であり、且つ通常では通信システム及びサブシステムに関連するが、開示された技術のいくつかの重要な面を不必要に不明瞭にする可能性がある。さらに、以下の開示は、本開示の異なる態様のいくつかの実施形態を示すが、いくつかの他の実施形態は、このセクションで説明されるものとは異なる構成又は異なるコンポーネントを有し得る。従って、開示された技術は、追加の要素を有するか、又は記載されるいくつか要素を有さない他の実施形態を有し得る。

【0054】

本明細書で説明される技術の多くの実施形態又は態様は、プログラム可能なコンピュータ又はプロセッサによって実行されるルーチンを含む、コンピュータ実行可能な命令又はプロセッサ実行可能な命令の形態をとることができる。当業者であれば、記載された技術が、示され記載されたもの以外のコンピュータ又はプロセッサシステムで実施されることができることを理解するであろう。本明細書で説明される技術は、専用コンピュータ又はデータプロセッサで実現されることができ、当該専用コンピュータ又はデータプロセッサは、説明されるコンピュータ実行可能な命令の１つ又は複数を実行するように特別にプログラムされ、構成され、又は構築される。従って、本明細書で一般的に使用される「プロセッサ」という用語は、任意のデータプロセッサを指す。プロセッサによって扱われる情報は、任意の適切な表示媒体に提示されることができる。コンピュータ実行可能なタスク又はプロセッサ実行可能なタスクを実行するための命令は、ハードウェア、ファームウェア、又はハードウェアとファームウェアの組み合わせを含む、任意の適切なコンピュータ可読媒体に記憶されることができる。命令は、例えば、フラッシュドライブ及び／又は他の適切な媒体を含む、任意の適切なメモリ装置に含まれることができる。

【0055】

用語「結合」と「接続」及びそれらの派生語は、コンポーネント間の構造的関係を表すために本明細書で用いられることができる。理解できるように、これらの用語は、互いの同義語とされることを意図するというわけではない。むしろ、特定の実施態様において、「接続」は、２つ以上の要素が互いに直接に接触していることを示すために用いられることができる。コンテキストで特に明確に説明されない限り、「結合」という用語は、２つ以上の要素が互いに直接に又は間接に（要素間に他の中間要素が存在して）接触していること、又は、２つ以上の要素が（例えば、因果関係において、信号送信／受信のため又は関数呼び出しのため）互いに協力もしくは交互していること、又は、互いに協力且つ交互していることを示すために用いられることができる。本明細書における用語「及び／又は」は単に関連対象の関連関係を説明するものであり、３種類の関係が存在することを示す。例えば、Ａ及び／又はＢの場合は、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在することという３つの状況を示す。

【0056】

上記詳細な説明に照らして、これら及び他の変更は開示された技術に加えられることができる。詳細な説明は、開示された技術の特定の例及び考えられた最良の態様を説明したが、開示された技術は、上記説明が本明細書にいかに詳しく記載されても、多くの方法で実施されることができる。システムのディテールは、その具体的な実施形態においてかなり異なる可能性があるが、依然として本明細書に開示された技術に網羅される。上述したように、開示された技術の特定の特徴又は態様を説明する際に使用される特定の用語は、その用語が本明細書において再定義されて、その用語に関連付けられる開示された技術のいかなる特定の特性、特徴、又は態様に限定されることを暗示するものであると見なされるべきではない。従って、添付の特許請求の範囲以外に、本発明は限定されない。一般に、特許請求の範囲に用いられる用語は、上記詳細な説明でそのような用語が明確に定義されない限り、開示される技術が本明細書に開示される具体例に限定されるものであると解釈されるべきではない。

【0057】

当業者であれば、本明細書に開示された実施形態に記載される例と結びつけて、ユニット及びアルゴリズムステップが電子ハードウェア、又はコンピュータソフトウェアと電子ハードウェアとの組み合わせにより実現され得ることを認識し得る。機能が、ハードウェアにより実行されるかソフトウェアにより実行されるかについては、技術案の特定の応用の場合や設計の制限条件などによって決められる。当業者は、特定応用ごとに異なる方法を使用して記載される機能を実現できるが、これらの実現は、本出願の範囲を超えると見なされるべきではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図6D】

【図7A】

【図7B】

【図8A】

【図8B】

【図9】

【図10】

【国際調査報告】