特表 2024-539177 効果的な映像実行方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-28

(54)【発明の名称】効果的な映像実行方法及びシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241018BHJP

   H04N 23/60 20230101ALI20241018BHJP

【ＦＩ】

G06T7/00 350C

H04N23/60 500

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024523736

(86)(22)【出願日】2022-10-21

(85)【翻訳文提出日】2024-06-17

(86)【国際出願番号】 IB2022060116

(87)【国際公開番号】W WO2023067557

(87)【国際公開日】2023-04-27

(31)【優先権主張番号】63/270,325

(32)【優先日】2021-10-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】521106348

【氏名又は名称】スペクトル オプティックス インコーポレイテッド

(74)【代理人】

【識別番号】100067736

【弁理士】

【氏名又は名称】小池 晃

(74)【代理人】

【識別番号】100192212

【弁理士】

【氏名又は名称】河野 貴明

(74)【代理人】

【識別番号】100200001

【弁理士】

【氏名又は名称】北原 明彦

(72)【発明者】

【氏名】ゴードン，ケビン

(72)【発明者】

【氏名】ダモア，コリン

(72)【発明者】

【氏名】パット，ティモシー

【テーマコード（参考）】

5C122

5L096

【Ｆターム（参考）】

5C122DA03

5C122EA12

5C122EA22

5C122EA61

5C122FH10

5C122FH12

5C122FH14

5C122FH23

5C122HA48

5C122HB01

5L096AA02

5L096AA06

5L096CA04

5L096DA02

5L096EA05

5L096HA11

5L096JA11

5L096JA18

5L096KA04

5L096KA15

(57)【要約】

画像処理パイプラインは、識別可能な物体とノイズ特徴を含む複数の入力画像を受信するように構成された複数のニューラルネットワークを有する画像処理システムを含む。第１のニューラルネットワークが第２のニューラルネットワークに画像情報を提供し、前記第２のニューラルネットワークが前記画像情報を回帰的に処理し、前記識別可能な物体の出力表示の改善及び前記ノイズ特徴の減少の両方を実現する。いくつかの実施形態において、他のローカル又は遠隔ニューラルネットワークが、画像取込設定、センサ処理、グローバル後処理、ローカル後処理、ポートフォリオ後処理の少なくとも１つを修正する、又は、潜在ベクトル又はニューラル埋込情報を提供するように構成される。
【選択図】図２

【特許請求の範囲】

【請求項1】

識別可能な物体とノイズ特徴を含む複数の入力画像を受信するように構成された複数のニューラルネットワークを有する画像処理システムを含む画像処理パイプラインであって、
第１のニューラルネットワークが第２のニューラルネットワークに画像情報を提供し、前記第２のニューラルネットワークが前記画像情報を回帰的に処理し、前記識別可能な物体の出力表示の改善及び前記ノイズ特徴の減少の両方を実現することを特徴とする画像処理パイプライン。

【請求項2】

識別可能な物体とノイズ特徴を含む複数の入力画像を受信するように構成された複数のニューラルネットワークを有する画像処理システムを含む画像処理パイプラインであって、
第１のニューラルネットワークが第２のニューラルネットワークに画像情報を提供し、前記第２のニューラルネットワークが前記画像情報を回帰的に処理し、前記識別可能な物体の出力表示の改善及び前記ノイズ特徴の減少の両方を実現し、前記処理が以前の画像のニューラルネットワーク処理により作成された状態ベクトル情報の使用を含むことを特徴とする画像処理パイプライン。

【請求項3】

グローバル及びローカル動き領域の少なくとも１つを識別する動き識別及び推定システムと、
識別可能な物体とノイズ特徴を含む複数の入力画像を受信するように構成された複数のニューラルネットワークを有する画像処理システムと、
を含むビデオカメラ画像処理システムであって、
前記動き識別及び推定システムを使用して、前記ニューラルネットワークが、画像の選択された部分に基づく画像情報を第２のニューラルネットワークに提供する第１のニューラルネットワークを使用して、前記入力画像の少なくとも１つの動きの無い部分を処理し、前記第２のニューラルネットワークが前記画像情報を回帰的に処理し、識別可能な物体の出力表示の改善及びノイズ特徴の減少の両方を実現し、前記処理が以前の画像のニューラルネットワーク処理により作成された状態ベクトル情報の使用を含むことを特徴とするビデオカメラ画像処理システム。

【請求項4】

識別可能な物体とノイズ特徴を含む複数の入力画像を受信するように構成された複数のニューラルネットワークを有する画像処理システムを含むビデオカメラ画像処理システムであって、
第１のニューラルネットワークが、画像の選択された部分に基づく画像情報を第２のニューラルネットワークに提供し、前記第２のニューラルネットワークは前記第１のニューラルネットワークと組み合わされたニューラルネットワークとして協働して前記画像情報を回帰的に処理し、ノイズ特徴の減少を実現し、前記処理が以前の画像の組み合わされたニューラルネットワークによるニューラルネットワーク処理により作成された状態ベクトル情報の使用を含むことを特徴とするビデオカメラ画像処理システム。

【請求項5】

識別可能な物体とノイズ特徴を含む複数の入力画像を受信するように構成された複数のニューラルネットワークを有する画像処理システムを含むビデオカメラ画像処理システムであって、
第１のニューラルネットワークが、画像の選択された部分に基づく画像情報を第２のニューラルネットワークに提供し、前記第２のニューラルネットワークが前記画像情報を回帰的に処理し、識別可能な物体の出力表示の改善及びノイズ特徴の減少の両方を実現し、前記処理が以前の画像のニューラルネットワーク処理により作成された状態ベクトル情報の使用を含み、
ニューラルネットワークが、画像取込設定、センサ処理、グローバル後処理、ローカル後処理、ポートフォリオ後処理の少なくとも１つを修正する、又は、前記第１のニューラルネットワーク又は前記第２のニューラルネットワークに潜在ベクトル及びニューラル埋込情報を提供するように構成されることを特徴とするビデオカメラ画像処理システム。

【請求項6】

前記ニューラル埋込情報が潜在ベクトルを含むことを特徴とする請求項５に記載の画像処理パイプライン。

【請求項7】

前記ニューラル埋込情報が、前記画像処理システム内のモジュール間で送信された少なくとも１つの潜在ベクトルを含むことを特徴とする請求項５に記載の画像処理パイプライン。

【請求項8】

前記ニューラル埋込情報が、前記画像処理システム内の１以上のニューラルネットワーク間で送信された少なくとも１つの潜在ベクトルを含むことを特徴とする請求項５に記載の画像処理パイプライン。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０２１年１０月２１日に出願された、米国仮特許出願６３／２７０，３２５号、発明の名称「EFFICIENT VIDEO EXECUTION METHOD AND SYSTEM」の優先権を主張し、その全体は、参照により本書に組み込まれるものとする。

【0002】

本開示は、複数の関連画像からの情報を利用するニューラルネットワーク処理技術を使用した画像を改善するシステムに関する。選択された画像又は映像フレームの冗長な処理の減少を提供することにより、画像処理要件を減少するニューラルネットワークを使用する方法及びシステムを開示する。

【背景技術】

【0003】

デジタル画像又は映像カメラは通常、画像センサにより受信した信号を、画像処理アルゴリズム及びフィルタの使用により、利用可能な画像に変換するデジタル画像処理パイプラインを必要とする。例えば、ビデオストリーム内のセンサノイズを減少する為に動き補償一時フィルタが採用されていた。通常、動き補償一時フィルタは、時間領域にわたる画像小領域をマッチングし、マッチした領域配列を使用して基となる信号のより良い推定を生成する。このアルゴリズムは、画像ノイズの多くの原因は通常分散しているという事実を利用し、そして、複数のサンプルを平均化することにより、（中心極限定理によって予期されるように）より少ない変化につながる。

【0004】

他の例として、最新の映像コードは、パッチに基づくマッチング及びアフィンワーピングを使用することができる。キーフレームが、パス毎ワーピングパラメータと共に符号化されて送信される。復号化中に、元の画像を再構築する為にこのデータが使用される。有利なことに、これらのキーフレーム及びワープパラメータを送信することにより、結果として得られる符号化ビデオストリームは、符号化及び復号化ステップ中の追加の計算により、かなりバンド幅に集約的ではない。しかしながら、これらのアルゴリズムの多くは、独占されており、変更が困難であり、又は、最善の結果を得る為に技能のあるユーザによる相当量の作業が必要となる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

画像処理を改善し、ユーザの作業を減少し、そして、更新及び改善を可能にすることができる方法及びシステムが必要である。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本願の特許請求の範囲に記載の画像処理パイプライン及びビデオカメラ画像処理システムを提供するものである。

【0007】

本開示の非限定的かつ非網羅的な実施形態を説明する際に参照する以下の図において、同様の参照符号は、特段の指定がない限り、様々な図を通して同様の部分を指すものとする。

【図面の簡単な説明】

【0008】

【図1A】以前に処理された画像からの入力を含む、画像上にマッピングされた選択されたグリッドを処理する複数のニューラルネットワークを利用する回帰アーキテクチャニューラルネットワークを示す図である。

【図1B】以前に計算された状態ベクトルからの入力を含む、画像上にマッピングされた選択されたグリッドを処理する複数のニューラルネットワークを利用する回帰アーキテクチャニューラルネットワークを示す図である。

【図1C】以前に処理された画像からの入力及び以前に計算された状態ベクトルからの入力の両方を含む、画像上にマッピングされた選択されたグリッドを処理する複数のニューラルネットワークを利用する回帰アーキテクチャニューラルネットワークを示す図である。

【図1D】複数のニューラルネットワークを利用して効果的な映像処理を提供するニューラルネットワーク支援型画像又は映像処理パイプラインを示す図である。

【図1E】複数のニューラルネットワークを利用して効果的な映像処理を提供するニューラルネットワーク支援型画像又は映像処理システムを示す図である。

【図1F】複数のニューラルネットワークを利用して効果的な映像処理を提供するニューラルネットワーク支援型ソフトウェアシステムの他の実施形態を示す図である。

【図2】開示の撮像システムの為の代替処理スキーマを含む、制御、撮像、及び表示サブシステムを有するシステムを示す図である。

【図3】複数のニューラルネットワークを利用して効果的な映像処理を提供するＲＧＢ画像又はフーリエ画像のニューラルネットワーク処理の一例を示す図である。

【発明を実施するための形態】

【0009】

以下に説明する幾つかの実施形態では、ニューラルネットワーク処理を改善する方法、処理スキーム、及びシステムを説明する。複数のニューラルネットワークを利用して効果的な映像処理を提供するニューラルネットワーク処理の実施形態が記載されている。ビデオストリームは一連の静止画像としてモデル化することができる。ビデオストリームの処理は、ビデオストリーム内の各画像を独立して処理することにより実行することができる。しかしながら、独立した処理は、同一の画像又は画像の小領域の冗長な処理を結果としてもたらし、画像の品質又は画像の処理速度を改善する為に使用される時間情報を処分することになる。

【0010】

例えば、１つの実施形態において、以前の画像又は映像フレームからのデータ及び複数のニューラルネットワークを利用して冗長な又は低価値の画像処理を削除する効果的な映像処理を利用してノイズを減少することができる。代替的に、又は追加で、物体追跡及び動き補償を改善することができる。要するに、そのような方法、処理スキーム、又はシステムの実施形態は、例えば、改善された物体追跡及び動き補償を提供し、又は、ノイズ又は複数フレームにわたって持続する他の映像フレーム特徴による視覚的アーティファクトを減少することができる。

【0011】

図１Ａには、複数のニューラルネットワークを利用して効果的な映像処理を提供する複数フレーム処理を利用するニューラルネットワーク方法又はシステムが図示されている。図示されているように、システム又は方法１００Ａは、第１のニューラルネットワーク１２０Ａ内への入力１１０Ａとして１以上の映像フレームを有する。画像フレーム１４０Ａのかなりの部分又は全体が処理され、追加のニューラルネットワーク処理を必要とする特徴を識別する為に使用されるクロッピング層を提供する。第２のニューラルネットワーク１２２Ａは、第１のニューラルネットワーク１２０Ａにより適切な処理が必要であると識別された場合、部分１４２Ａを処理する為に使用されることができる。いくつかの実施形態において、第１のニューラルネットワーク１２０Ａ及び第２のニューラルネットワーク１２２Ａの組合せは、画像処理に利用できる第３のニューラルネットワークを共に定義することができる。この第３のニューラルネットワークは、入力１１０Ａ及び出力１３０Ａ間のエラーを最小化するように訓練されることができる。出力１３０Ａは、処理後の部分１４４Ａを含むことができ、処理後の部分１４４Ａは他の処理後又は未処理の画像部分と共に出力画像を定義する。入力フレームは、ビデオストリームからの最新フレームより前の複数フレームを含むことができる。

【0012】

複数のニューラルネットワークで利用可能な処理能力を最善利用する為に処理することが必要又はできる画像の部分を判定する為に様々な技術を使用することができる。いくつかの実施形態において、入力画像は、任意の寸法の均一のグリッドに細分化することができ、ｍ個のグリッド要素をもたらす。ｎ≦ｍグリッド要素をランダムに選択し、ニューラルネットワークにより処理し、出力画像バッファに複製する。貪欲最小費用評価(greedy minimum cost evaluation)を使用する他の実施形態において、グリッド要素は、いくつかのスキーム毎に費用を割当される（例えば、費用＝ａｂｓ（入力画像－出力バッファ））。グリッド要素は、費用及び選択されたｎ≦ｍグリッド要素により分類されることができる。これらのｎ個の要素は、ニューラルネットワークを利用して処理され、出力１３０Ａに複製される。

【0013】

もう１つの例において、ＲＧＢ又は他の画像の代わりに、フーリエ又は他の周波数領域変換は、周波数領域内の貪欲最小費用を使用して処理されることができる。この技術は、慣習的な貪欲最小費用アルゴリズムにより使用される要素を含むことができるが、さらに、入力画像及び出力画像バッファが対応するラプラシアンピラミッドを有することを保証することを含むことができる。費用は、ラプラシアンピラミッド上で計算することができ、一般的にオクターブ離れていて低周波数残差を加えた１組のバンドパス画像の線形可逆画像表現画像(linear invertible image representation images)を含むことができる。代替的に、又は追加で、開示の画像処理方法において有用な線形変換は、例えば、離散フーリエ及び離散コサイン変換、特異値分解、又は、ウェーブレット変換を含むことができる。

【0014】

上記の技術のいずれかのニューラルネットワーク費用最小化は、ニューラルネットワーク最適化のフレームワークにおいてエンドツーエンドであることができる。小さな第１のニューラルネットワーク１２０Ａは、処理の為に考慮されたパッチの（ｘｉ，ｙｉ）座標上に回帰する為に使用される。第１のニューラルネットワーク１２０Ａは、そのような座標上に回帰するように構成されることができる。これらの出力座標は、クロッピング層に供給されることができ、第２のニューラルネットワーク１２２Ａのスタンドアロン層又は第1の層となることができる。

【0015】

理解されるように、ニューラルネットワーク１２０Ａ、１２２Ａ又は任意の追加のニューラルネットワークは、空間領域又は周波数領域のいずれかにおいて処理することができる。分割マップ、顕著性マップ、又は物体定位情報等の追加のメタデータ層は、ニューラルネットワーク内に入力され、最適化処理をユーザの嗜好に導くことができる。同様に、ニューラルネットワーク１２０Ａは、現在の出力バッファの小領域（スーパーピクセル、タイルグリッド要素、クラス）毎の信頼推定を出力することができ、出力は次の時間ステップでニューラルネットワーク１２０Ａ内に回帰的に供給される。大きなグリッド又はパッチと小さなグリッド又はパッチをつり合わせる為に操作者が使用できるように、異なるクロップ範囲（寸法）を有する多くのバージョンのニューラルネットワーク１２０Ａが存在する。同様に、この決定処理（いくつの、そしてどの寸法のパッチ）は、最適化問題として構成することもでき、エンドツーエンドの方法で費用を最小化することもできる。

【0016】

図１Ｂには、以前に計算された状態ベクトルからの入力を含む、画像上にマッピングされた選択されたグリッドを処理する複数のニューラルネットワークを利用する回帰アーキテクチャニューラルネットワークが図示されている。図示されているように、システム又は方法１００Ｂは、第１のニューラルネットワーク１２０Ｂ内への入力１１０Ｂとして１以上の映像フレームを有する。画像フレーム１４０Ｂのかなりの部分又は全体が処理され、追加のニューラルネットワーク処理を必要とする特徴を識別する為に使用されるクロッピング層を提供する。第２のニューラルネットワーク１２２Ｂは、第１のニューラルネットワーク１２０Ｂにより適切な処理が必要であると識別された場合、部分１４２Ｂを処理する為に使用されることができる。以前のフレームから得られた情報は、ニューラル埋込、潜在ベクトル、又は状態ベクトル１２４Ｂ及び１２６Ｂから第２のニューラルネットワーク１２２Ｂに提供される。そのようなニューラル埋込、潜在ベクトル、又は状態ベクトル１２４Ｂ及び１２６Ｂ入力は、第２のニューラルネットワーク１２２Ｂが以前のフレームからの情報を利用して次のフレームを予測することを補助する軽量のプロセッサレディフォーマット(processor ready format)で情報を提供することができる。ニューラル埋込、潜在ベクトル、又は状態ベクトルを使用することにより、処理する問題の次元数を減少することができ、画像処理速度が大いに改善される。実際に、ニューラル埋込、潜在ベクトル、又は状態ベクトルは、ベクトル（潜在ベクトル）により表される低次元多様体上の位置に高次元画像のマッピングを提供する。潜在ベクトルの要素は、特定離散変数を表すように制限されることができる学習された連続的表現である。いくつかの実施形態において、ニューラル埋込は、連続数のベクトルへの離散変数のマッピングであることができ、離散変数の低次元の学習された連続ベクトル表現を提供する。処理された画像１１０Ｂからの情報は、ニューラルネットワークにより支援されたシステム１００Ｂによって処理する為に、ニューラル埋込、潜在ベクトル、又は状態ベクトルと組み合わせることができる。

【0017】

図１Ｂに記載されている実施形態と同様に、いくつかの実施形態において、第１のニューラルネットワーク１２０Ｂ及び第２のニューラルネットワーク１２２Ｂの組合せは、画像処理に利用できる第３のニューラルネットワークを共に定義することができる。この第３のニューラルネットワークは、入力１１０Ｂ及び出力１３０Ｂ間のエラーを最小化するように訓練されることができる。出力１３０Ｂは、処理後の部分１４４Ｂを含むことができ、処理後の部分１４４Ｂは他の処理後又は未処理の画像部分と共に出力画像を定義する。入力フレームは、ビデオストリームからの最新フレームより前の複数フレームを含むことができる。

【0018】

図１Ｃには、以前に処理された画像から得られた以前に計算された状態ベクトルのみからの入力を含む、画像上にマッピングされた選択されたグリッドを処理する複数のニューラルネットワークを利用する回帰アーキテクチャニューラルネットワークが図示されている。図示されているように、システム又は方法１００Ｃは、第１のニューラルネットワーク１２０Ｃ内への入力１１０Ｃとして１つの映像フレームを有する。第２のニューラルネットワーク１２２Ｃは、第１のニューラルネットワーク１２０Ｃにより適切な処理が必要であると識別された場合、部分１４２Ｃを処理する為に使用されることができる。以前のフレームから得られた情報は、ニューラル埋込、潜在ベクトル、又は状態ベクトル１２４Ｃ及び１２６Ｃから第２のニューラルネットワーク１２２Ｃに提供される。図示されているように、システム又は方法１００Ｃは、第１のニューラルネットワーク１２０Ｃへの入力画像を含む入力１１０Ｃ、及び画像１３０Ｃの部分としての出力１４４Ｃを有する。

【0019】

図１Ｄには、ニューラルネットワーク支援型画像又は映像処理パイプラインシステム及び方法１００Ｄの１つの実施形態が図示されている。このパイプライン１００Ｄは、画像処理パイプライン内の複数点で１以上のニューラルネットワークを使用することができる。例えば、画像取込前に行われるニューラルネットワークに基づく画像前処理（ステップ１１０Ｄ）は、ＩＳＯ、焦点、露出、解像度、画像取込時点（例えば、目が開いている時）、又は他の画像又は映像設定の１以上を選択する為のニューラルネットワークの任意の使用を含むことができる。合理的な画像又は映像設定を単に選択することにニューラルネットワークを使用することに加えて、そのようなアナログ及び画像取込前要因は、その後のニューラルネットワーク処理の有効性を改善する要因を優先するように調整又は自動的に調整されることができる。例えば、フラッシュ又は他の現場証明は、強度及び期間を増加することができ、又は、再配向されることができる。フィルタを光路から除去することができ、開口がより広く開けられ、又は、シャッタ速度を減少することができる。画像センサ効率又は増幅は、（例えば、）全て改善されたニューラルネットワーク色調整又はＨＤＲ処理に向けたＩＳＯ選択により調整することができる。

【0020】

画像取込後、カスタマイズされたデモザイク処理、トーンマップ、曇り除去、ピクセル不良補償、又は粉塵除去を提供する為に、ニューラルネットワークに基づくセンサ処理（ステップ１１２Ｄ）を使用することができる。他のニューラルネットワークに基づく処理は、ベイヤ色フィルタアレイ補正、色空間変換、白黒レベル調整、又は他のセンサ関連処理を含むことができる。さらに、他のニューラルネットワーク処理は、ノイズ除去、又は、図１Ａ、図１Ｂ、図１Ｃにそれぞれ記載された複数フレーム処理、回帰フレーム処理、又は回帰ニューラル埋込処理の使用を通した他の映像改善を含むことができる。

【0021】

任意のニューラルネットワークに基づくグローバル後処理（ステップ１１４Ｄ）は、焦点合成又はＨＤＲ処理と同様に、解像度又は色調整を含むことができる。他のグローバル後処理特徴は、ＨＤＲインフィル、ボケ調整、超解像度、鮮明度、彩度、又は色強調、及び色合い又はＩＲ除去を含むことができる。

【0022】

任意のニューラルネットワークに基づくローカル後処理（ステップ１１６Ｄ）は、赤目除去、シミ除去、目元のくま除去、青空改善、緑色の葉改善、又は、画像の局所的部分、区分、物体又は領域の他の処理を含むことができる。特定の局所的領域の識別は、例えば、顔又は目検出器を含む他のニューラルネットワーク補助機能の利用を含むことができる。

【0023】

任意のニューラルネットワークに基づくポートフォリオ後処理（ステップ１１８Ｄ）は、識別、分類、又は公開に関する画像又は映像処理ステップを含むことができる。例えば、人を識別してメタデータタグ付けの為にその情報を提供することにニューラルネットワークを使用することができる。他の例は、ペット写真、風景、又は肖像画像等のカテゴリに分類する為のニューラルネットワークの使用を含むことができる。

【0024】

図１Ｅには、ニューラルネットワーク支援型画像又は映像処理パイプラインシステム１２０Ｅが図示されている。１つの実施形態において、（設定及びセンサを含む）ハードウェアレベルニューラル制御モジュール１２２Ｅは、処理、メモリへのアクセス、データ転送、及び他の低レベル計算活動を支援する為に使用することができる。システムレベルニューラル制御モジュール１２４Ｅは、ハードウェアモジュール１２２Ｅと相互作用し、有用な又は必要な解像度又は照明又は色調整の判定を含む、事前の又は必要な低レベル自動画像表現ツールを提供する。他のニューラルネットワーク処理は、ノイズ除去、又は、図１Ａ、図１Ｂ、図１Ｃにそれぞれ記載された複数フレーム処理、回帰フレーム処理、又は回帰ニューラル埋込処理の使用を通した他の映像改善を含むことができる。画像又は映像は、ユーザ嗜好設定、履歴ユーザ設定、又は、第３者情報及び嗜好に基づく他のニューラルネットワーク処理設定を含むことができるシステムレベルニューラル制御モジュール１２６Ｅを利用して処理されることができる。システムレベルニューラル制御モジュール１２８Ｅは、ローカル、遠隔、又は分散ニューラルネットワーク処理が必要であるか判定する設定と同様に、第３者情報及び嗜好を含むこともできる。いくつかの実施形態において、分散ニューラル制御モジュール１３０Ｅは、協調データ交換に使用することができる。例えば、ソーシャルネットワークコミュニティが好ましい肖像画像のスタイルを（例えば、ハードフォーカススタイルからソフトフォーカスに）変更すると、肖像モードニューラルネットワーク処理も同様に調整される。この情報は、ネットワーク潜在ベクトル、提供された訓練セット、又はモード関連設定推奨を利用して、様々な開示のモジュールのいずれかに送信されることができる。

【0025】

いくつかの実施形態において、映像内のグローバル又はローカル動きに関連する冗長情報は、映像処理速度及び効率を改善する為に使用することができる。例えば、ノイズ除去及びここに記載の時間的に一定の映像処理方法は、動き領域に適用されると焼き付き等の視覚的アーティファクトを生成しやすい。動きを識別し、これらの識別された動き領域の為の時間的に一定の映像アルゴリズム及びノイズ除去の適用を防止する為には技術が必要である。例えば、動きを識別する為に、ノイズ及び照明変化を補償しながら、フレーム間のピクセル強度の変化を測定することができる。代替的に、又は追加で、フレームｔ及びｔ-1を提供することにより、動きの結果としてどのピクセルが変化したかを予測する為にＣＮＮを使用することができる。動きの無い領域又は画像だけが、ここに記載のノイズ除去及び時間的に一定の映像処理方法の使用対象となる。

【0026】

他の実施形態において、動きモデルを改善する又は動き補償を提供する為に、様々な追加のアルゴリズムを使用することができる。例えば、多重スケールで表される画像を使用してグローバル動きを推定し、粗密の動き推定を実施することができる。そのような多重スケール画像表現の１つは、画像ピラミッド（例えば、ガウシアンピラミッド、ラプラシアンピラミッド）である。実際に、所望の数の解像度を表すまで、画像は反復的に低解像度処理され、そして、最初は最低解像度で、その後、次第により高い解像度で、グリッド検索又は他の動き推定が実施され、以前の解像度の照合結果の出力が現在の照合処理に供給されて検索空間が減少する。

【0027】

改善された動きモデルは、いくつかの実施形態においてローカル動きを含むこともできる。画像は、一貫した動きの領域に分解されることができる。各々の動き領域の為のローカル動きの推定は、グローバル動きに関して記載された技術と同じ又は同様の技術を使用して独立して実行することができる。

【0028】

いくつかの実施形態において、ピクセルが動きを経験したかを推定するだけでなく、その動きをいくつかの「動き群」の１つに分類する為に、ＣＮＮを使用することができる。各々のＣＮＮに識別された動き群は、グローバル動きから区別される通常に存在する一貫した動きであり、独立して補償することができる。

【0029】

いくつかの実施形態において、様々なＨＥＶＣ及びＭＰＥＧ関連エンコーダを含む多くの一般的に符号化された映像フォーマットにおいて利用可能な動き推定を利用して計算負荷を減少することができる。圧縮ビデオストリーム内に記憶された動きベクトルは、映像内の動きを定量化することを補助する為に使用することができる。

【0030】

図１Ｆは、ニューラルネットワーク支援型ソフトウェアシステム１２０Ｆを示す他の実施形態である。図示されているように、光、現場、及び取込媒体を含む環境についての情報が検索され、例えば、外部照明システム又はカメラのフラッシュシステムの制御により、潜在的に変更される。光学及び電子サブシステムを含む撮像システムは、ニューラル処理システム及びソフトウェアアプリケーション層と相互作用することができる。いくつかの実施形態において、遠隔、ローカル又は協調ニューラル処理システムは、設定及びニューラルネットワーク処理条件に関連する情報を提供する為に使用することができる。

【0031】

より詳しくは、撮像システムは、電子システムと相互作用して制御される光学システムを含むことができる。光学システムは、レンズ及び照明エミッタ等の光学ハードウェア、同様に、シャッタ、焦点、フィルタリング、及び絞りの電子、ソフトウェア又はハードウェア制御装置を含む。電子システムは、センサ及び、フィルタリングを提供し、露出時間を設定し、アナログデジタル変換（ＡＤＣ）を提供し、アナログ利得を提供し、照明制御装置として作用する他の電子、ソフトウェア又はハードウェア制御装置を含む。撮像システムからのデータは、更なる処理及び分散の為にアプリケーション層に送信され、制御フィードバックはニューラル処理システム（ＮＰＳ）に提供されることができる。

【0032】

ニューラル処理システムは、フロントエンドモジュール、バックエンドモジュール、ユーザ嗜好設定、ポートフォリオモジュール、及びデータ分散モジュールを含むことができる。モジュールの為の計算は、遠隔で、ローカルで、又は、ローカル又は遠隔の複数の協調ニューラル処理システムを通して実行することができる。ニューラル処理システムは、アプリケーション層及び撮像システムとデータを送受信することができる。複数のニューラルネットワークは、図１Ａ、図１Ｂ、図１Ｃに記載されているような画像を処理する為に使用することができる。

【0033】

図示されている実施形態において、フロントエンドは、撮像システムの設定及び制御、環境補償、環境合成、埋込、及びフィルタリングを含む。バックエンドは、線形化、フィルタ補正、黒レベル設定、白バランス、及びデモザイク処理を提供する。フロントエンド及びバックエンドニューラルネットワーク処理システムの両方は、図１Ａ、図１Ｂ、図１Ｃにそれぞれ記載された複数フレーム処理、回帰フレーム処理、又は回帰ニューラル埋込処理の使用を通して、ノイズ除去を含む複数のニューラルネットワークを利用して効果的な映像処理を支援することができる。ユーザ嗜好は、露出設定、色調及び色設定、環境合成、フィルタリング、及び独創的変換(creative transformation)を含むことができる。ポートフォリオモジュールは、このデータを受信し、分類、人物識別、又は、ジオタギングを提供する。分散モジュールは、複数のニューラル処理システムとデータを送受信し、アプリケーション層と埋込を送受信するように協調することができる。アプリケーション層は、画像又は設定結果プレビューと同様に、カスタム設定のユーザインタフェースを提供する。画像又は他のデータは、記憶されて送信されることができ、ニューラル処理システムに関連する情報は、将来的な利用、又は分類、活動又は物体検出、又は決定タスクの簡略化の為に集計されることができる。

【0034】

理解されるように、複数フレーム処理、回帰フレーム処理、又は回帰ニューラル埋込処理の使用を通して改善された及び／又はノイズ除去された画像を提供することに加えて、ニューラルネットワークは、露出設定判定、ＲＧＢ又はベイヤフィルタ処理、彩度調整、赤目減少、又は所有者の自撮り等の写真のカテゴリ識別、又はメタデータタグ付け及びインターネット媒介分散補助の提供を含む１以上の処理ステップにおける画像取込設定を修正又は制御する為に使用することができる。ニューラルネットワークは、時間的一定性有り又は無しのノイズ除去、彩度調整、ぎらつき除去、赤目減少、及び目色フィルタを含む１以上の処理ステップにおける画像取込設定を修正又は制御する為に使用することができる。ニューラルネットワークは、複数画像の取込、複数画像からの画像選択、高ダイナミックレンジ（ＨＤＲ）処理、輝点除去、及び自動分類及びメタデータタグ付けを含むが限定はされない１以上の処理ステップにおける画像取込設定を修正又は制御する為に使用することができる。ニューラルネットワークは、映像及び音声設定選択、電子フレーム安定化、物体センタリング、動き補償、及び映像圧縮を含む１以上の処理ステップにおける画像取込設定を修正又は制御する為に使用することができる。

【0035】

ニューラルネットワーク支援型画像又は映像処理パイプラインシステム及び方法を使用することは、幅広い静止画カメラ又はビデオカメラにとって有益である。カメラの種類には、以下に限定されるものではないが、静止画又は動画機能を有する従来のＤＳＬＲ、スマートフォン、タブレットカメラ、ラップトップカメラ、専用ビデオカメラ、ウェブカム、又はセキュリティカメラが含まれ得る。いくつかの実施形態では、赤外線カメラ、熱画像装置、ミリ波撮像システム、Ｘ線又は他の放射線撮像装置等の専用カメラを使用できる。実施形態は、赤外線、紫外線、又は他の波長を検出できるセンサを有することによりハイパースペクトル画像処理が可能なカメラも含むこともできる。

【0036】

カメラは、スタンドアロン型、ポータブル型、固定型システムのいずれであってもよい。通常、カメラは、プロセッサ、メモリ、画像センサ、通信インタフェース、カメラ光学システム及びアクチュエータシステム、及びメモリストレージを含む。プロセッサは、カメラ光学システム及びセンサシステム、並びに利用可能な通信インタフェースの操作等のカメラの全体的な動作を制御する。カメラ光学システム及びセンサシステムは、画像センサが取り込んだ画像に対する露光制御等のカメラの動作を制御する。カメラ光学システム及びセンサシステムは、固定レンズシステム又は調整可能なレンズシステム（例えば、ズーム及び自動焦点機能）を含むことができる。カメラは、取り外し可能なメモリカード、有線ＵＳＢ、又は無線データ転送システム等のメモリストレージシステムをサポートできる。

【0037】

いくつかの実施形態において、専用のニューラルネットワーク処理システム、ラップトップ、ＰＣ、サーバ、又はクラウドを含む遠隔計算資源への画像データの転送後にニューラルネットワーク処理を行ってもよい。他の実施形態において、最適化されたソフトウェア、ニューラル処理チップ、専用のＡＳＩＣ、カスタム集積回路、又はプログラマブルＦＰＧＡシステムを使用して、カメラ内でニューラルネットワーク処理を行ってもよい。

【0038】

いくつかの実施形態において、ニューラルネットワーク処理の結果を他の機械学習又はニューラルネットワークシステムへの入力として使用でき、これらのシステムは、物体認識、パターン認識、顔識別、画像安定化、ロボット又は車両のオドメトリ及びポジショニング、又はトラッキング又はターゲティングアプリケーション用に開発されたシステムを含む。有利な点として、このようなニューラルネットワーク処理画像正規化は、例えば、高ノイズ環境におけるコンピュータビジョンアルゴリズムの障害を低減するため、ノイズに関連して特徴信頼度が低下し、障害が生じやすい環境においても、これらのアルゴリズムは動作可能である。このような環境とは、以下に限定されるものではないが、典型的には、低照度環境、霧又は埃がある環境、霞んだ環境、光点滅又は光グレアに暴露される環境を含むことができる。事実上、ニューラルネットワーク処理は画像センサノイズを除去するので、その後の学習アルゴリズムの性能劣化を低減する。

【0039】

いくつかの実施形態において、ニューラルネットワークは、カテゴリ分類変数の次元数を減少し、変換された空間内にカテゴリを表すニューラルネットワーク埋込と共に使用することができる。ニューラル埋込は、分類、追跡、及びマッチングに特に有用であり、同様に、ニューラルネットワークの完全な再訓練を必要とせずにドメイン固有知識を新しい関連ドメインに単純に転送することを可能にする。いくつかの実施形態において、ニューラル埋込は、その後の使用の為に提供されることができ、例えば、画像又は映像メタデータ内に潜在ベクトルを保存することにより、任意のその後の処理又は画像関連クエリへの改善された応答を可能にする。例えば、画像処理システムの第１の部分は、ニューラル埋込情報の利用をサポートする複数のニューラルネットワークを使用する効果的な映像処理を通して、データの次元数を減少し、画像、複数の画像、又は他のデータを効果的に低解像度処理し、又は、ノイズ除去を提供するように構成されることができる。画像処理システムの第２の部分は、ニューラル処理システムから得られたニューラル埋込情報を利用した分類、追跡、及びマッチングの少なくとも１つの為に構成されることができる。同様に、ニューラルネットワーク訓練システムは、ニューラル埋込情報を提供するニューラル処理システムを使用して、データの次元数を減少し、画像又は他のデータを効果的に低解像度処理するように構成されたニューラルネットワークアルゴリズムの第１の部分を含むことができる。ニューラルネットワークアルゴリズムの第２の部分は、ニューラル処理システムから得られたニューラル埋込情報を利用した分類、追跡、及びマッチングの少なくとも１つの為に構成され、ニューラルネットワークアルゴリズムの第１及び第２の部分を最適化する為に訓練手続が利用される。

【0040】

いくつかの実施形態において、訓練及び推論システムは、分類子、又は、ニューラル埋込アルゴリズムと組み合わせて新しいディープラーニングアルゴリズムを生成することができる他のディープラーニングアルゴリズムを含むことができる。ニューラル埋込アルゴリズムは、重みが訓練可能又は訓練不可能なように構成されることができるが、いずれの場合も、完全に微分可能であり、新しいアルゴリズムはエンドツーエンドで訓練可能であり、新しいディープラーニングアルゴリズムが目的関数から生データ入力に直接最適化されることを可能にする。推論中、埋込アルゴリズムがエッジ又はエンドポイントデバイス上で実行され、他のアルゴリズムが集中計算資源（クラウド、サーバ、ゲートウェイデバイス）上で実行されるように、上記アルゴリズムは分割されることができる。

【0041】

特定の実施形態において、より幅広い動作及び検出エンベロープを可能にするように、複数の画像センサは上記ニューラルネットワーク処理と組み合わせて協働することができ、例えば、異なる光感度を有するセンサが協働して高ダイナミックレンジ画像を提供する。他の実施形態において、分離したニューラルネットワーク処理ノードを有する一連の光学又はアルゴリズム撮像システムを連結することができる。さらに他の実施形態において、ニューラルネットワークシステムの訓練は、全体としての撮像システムから切り離すことができ、特定の撮像素子と関連する埋込コンポーネントとして作用する。

【0042】

いくつかの実施形態において、上記システムは、潜在ベクトルを含むニューラルネットワークから得られた情報のバス仲介通信を利用することができる。例えば、マルチセンサ処理システムは、１以上の画像から得られて符号化の為にニューラル処理経路を利用して処理された情報を送信するように作用することができる。この潜在ベクトルは、任意の他の画像データ又はメタデータと共に、通信バス又は適切な相互接続上で中央処理モジュールに送信されることができる。実際に、このことは、個別の撮像システムがニューラル埋込を利用して通信バスのバンド幅要件を減少し、そして、中央処理モジュールにおけるその後の処理要件を減少することを可能にする。

【0043】

ニューラルネットワークのバス仲介通信は、データ転送要件及び費用を大いに減少することができる。例えば、都市、会場、競技場ＩＰカメラシステムは、それぞれのカメラがビデオ画像の為の潜在ベクトルを出力するように構成されることができる。これらの潜在ベクトルは、中央処理装置（例えば、ゲートウェイ、ローカルサーバ、ＶＭＳ等）に送信された画像を補足する又は完全に置換することができる。受信された潜在ベクトルは、画像フィルタリング、映像ノイズ除去又は複数のニューラルネットワークによる効果的な映像処理を利用する他の画像処理技術を実行する為に使用されることができる。いくつかの実施形態において、ニューラルネットワークは、画像分析を支援する、又は人間の操作者に提示する元の映像データと組み合わされた処理後の画像を提供することができる。このことは、大容量のデータパイプライン及び大容量で高価なサーバにアクセスする必要なく、数百又は数千のカメラ上のリアルタイム分析の実行を可能にする。

【0044】

図２は、ニューラルネットワーク及び画像処理アルゴリズムの使用及び訓練の為のハードウェアサポートを包括的に説明する図である。いくつかの実施形態において、ニューラルネットワークは、一般的なアナログ及びデジタル画像処理に適する。制御及び記憶モジュール２０２は、撮像システム２０４及び表示システム２０６にそれぞれの制御信号を送ることができる。撮像システム２０４は、処理された画像データを制御及び記憶モジュール２０２に供給でき、一方、表示システム２０６からプロファイリングデータを受け取ることもできる。教師あり又は半教師ありの方法でニューラルネットワークを訓練するには、高品質の訓練データが必要である。そのようなデータを得るために、システム２００は、自動化された撮像システムプロファイリングを提供する。制御及び記憶モジュール２０２は、表示システム２０６に送信される較正データ及び生プロファイリングデータ（raw profiling data）を含む。較正データは、以下に限定されるものではないが、解像度、焦点、又はダイナミックレンジを評価するためのターゲットを含むことができる。生プロファイリングデータは、以下に限定されるものではないが、高品質の撮像システム（基準システム）から取り込まれた自然及び人工のシーン、及び手続き的に生成された（数学的に導出された）シーンを含むことができる。

【0045】

表示システム２０６の一例は、高品質の電子ディスプレイである。このディスプレイは、その明るさを調整でき、あるいは、ニュートラル密度フィルタ等の物理的フィルタリング要素で補強できる。代替となる表示システムは、前照灯又は後照灯の光源と共に使用される高品質の参照プリント又はフィルタリング要素を備えていてもよい。いずれの場合も、表示システムの目的は、撮像システムに送信される様々な画像、又は画像のシーケンスを生成することである。

【0046】

プロファイリングされる撮像システム２０４は、制御及び記憶用コンピュータによってプログラム制御され、表示システムの出力を画像化できるように、プロファイリングシステムに統合される。絞り、露出時間、アナログ利得等のカメラパラメータを変化させ、１つの表示画像に対して複数の露出を行う。これにより得られた露出は、制御及び記憶用コンピュータに転送され、訓練用に保存される。いくつかの実施形態において、システム全体が制御された照明環境に置かれ、プロファイリング中に光の「ノイズフロア」（photon “noise floor”）が既知となるようにする。

【0047】

撮像システム２０４は、図１Ａ～図１Ｆに示されているようなシステムにより構成することができる効果的なニューラル映像促進モジュール(efficient neural video enhancement modules)（ＥＮＶＥＭ）と呼ばれる様々なタイプのニューラルネットワークを含むこともできる。図２に図示されているように、処理モード又は手順を選択することができ、いくつかの実施形態においては、センサ画像取込後すぐにＥＮＶＥＭニューラルネットワーク処理を実行し、他の実施形態においては、慣習的な画像処理後にＥＮＶＥＭニューラルネットワーク処理を実行し、又は、さらに他の実施形態においては、慣習的な画像処理と並行して又は同時にＥＮＶＥＭニューラルネットワーク処理を実行する。

【0048】

システム全体は、解像度限界要因（limiting resolution factor）が撮像システムとなるように設定される。これは、以下に限定されるものではないが、撮像システムのセンサピクセルピッチ、表示システムのピクセル寸法、撮像システムの焦点距離、撮像システムの作動Ｆ値、センサピクセル数（水平及び垂直）、表示システムのピクセル数（垂直及び水平）等のパラメータを考慮した数学的モデルによって達成される。実際には、特定のセンサ、センサのメーカ又はタイプ、若しくはセンサのクラスをプロファイリングして、個々のセンサ又はセンサモデルに正確に適応させた高品質の訓練データを作成できる。

【0049】

図１Ａ－Ｆ及び図２に示すシステムでは、完全畳み込み、回帰、生成逆境、又は深層畳み込みネットワークを含む、様々なタイプのニューラルネットワークを使用できる。畳み込みニューラルネットワークは、本明細書で説明するような画像処理アプリケーションに特に有用である。図３に示すように、システム３００は、複数の相互作用回帰畳み込みニューラルネットワーク３０２Ａ及び３０２Ｂを含むことができる。ニューラルネットワークに基づくセンサ処理は、入力として単一の露出不足ＲＧＢ画像３１０Ａ又はフーリエ画像３１０Ｂを受け取ることができる。ＲＡＷ形式が好ましいが、圧縮されたＪＰＧ画像も、多少の品質低下を伴うが使用できる。画像は、従来のピクセル操作で前処理でき、又は好ましくは、最小限の修正で訓練された畳み込みニューラルネットワーク３０２Ａ又は３０２Ｂに供給できる。処理は、１つ又は複数の畳み込み層３１２Ａ又は３１２Ｂ、プーリング層３１４Ａ又は３１４Ｂ、完全接続層３１６Ａ又は３１６Ｂを通して進行し、改善された画像の出力３１８Ａ又は３１８Ｂで完了する。実際の動作では、１つ又は複数の畳み込み層は、ＲＧＢ入力に畳み込み演算を適用し、その結果を次の層（複数可）に渡す。畳み込み後、ローカル又はグローバルプーリング層は、出力を次の層における単一の又は少数のノードに結合できる。畳み込みの繰り返し又は畳み込みとプーリングのペアを用いてもよい。ニューラルベースのセンサ処理が完了した後、出力はニューラルネットワーク３０２Ａ又は３０２Ｂ間を渡り、（不図示の）他のローカルニューラルネットワークに、又は、追加的又は代替的に、追加的なニューラルネットワークに基づく修正の為にニューラルネットワークに基づくグローバル後処理に渡すことができる。

【0050】

特に有用な１つのニューラルネットワークの実施形態は、完全畳み込み回帰ニューラルネットワークである。完全畳み込み回帰ニューラルネットワークは、ネットワークの末端に通常見られる完全接続層を持たない畳み込み層で構成される。有利な点として、完全畳み込みニューラルネットワークは、画像サイズに依存せず、訓練又は輝点画像修正のための入力として任意のサイズの画像を受け取ることができる。回帰動作は、畳み込み層又は他の接続されたニューラルネットワーク内に戻るように出力の少なくとも一部を供給することにより提供される。

【0051】

いくつかの実施形態において、カテゴリ分類変数の次元数を減少し、変換された空間内にカテゴリを表示することができるので、ニューラルネットワーク埋込は有用である。ニューラル埋込は、分類、追跡、及びマッチングに特に有用であり、同様に、ニューラルネットワークの完全な再訓練を必要とせずにドメイン固有知識を新しい関連ドメインに単純に転送することを可能にする。いくつかの実施形態において、ニューラル埋込は、その後の使用の為に提供されることができ、例えば、画像又は映像メタデータ内に潜在ベクトルを保存することにより、任意のその後の処理又は画像関連クエリへの改善された応答を可能にする。例えば、画像処理システムの第１の部分は、ニューラル埋込情報を提供するニューラル処理システムを使用して、データの次元数を減少し、画像、複数の画像、又は他のデータを効果的に低解像度処理するように構成されることができる。画像処理システムの第２の部分は、ニューラル処理システムから得られたニューラル埋込情報を利用した分類、追跡、及びマッチングの少なくとも１つの為に構成されることができる。同様に、ニューラルネットワーク訓練システムは、ニューラル埋込情報を提供するニューラル処理システムを使用して、データの次元数を減少し、画像又は他のデータを効果的に低解像度処理するように構成されたニューラルネットワークアルゴリズムの第１の部分を含むことができる。ニューラルネットワークアルゴリズムの第２の部分は、ニューラル処理システムから得られたニューラル埋込情報を利用した分類、追跡、及びマッチングの少なくとも１つの為に構成され、ニューラルネットワークアルゴリズムの第１及び第２の部分を最適化する為に訓練手続が利用される。

【0052】

以上から理解されるように、本明細書に記載のカメラシステム及び方法は、サーバ、デスクトップコンピュータ、ノートパソコン、タブレット、又はスマートフォン等のデバイスと相互作用する為に、これらの機器とローカルで接続してもよく、若しくは有線又は無線接続サブシステムのいずれかへの接続を介してこれらの機器と接続してもよい。無線ネットワーク、パーソナルエリアネットワーク、セルラーネットワーク、インターネット、又はクラウド媒介データソース等の様々な外部データソース間で、データ及び制御信号を受信、生成、又は伝送してもよい。更に、ローカルデータのソース（例えば、ハードドライブ、ソリッドステートドライブ、フラッシュメモリ、若しくはＳＲＡＭ又はＤＲＡＭ等の動的メモリを含む任意の他の適切なメモリ）によって、ユーザ指定嗜好又はプロトコルのローカルデータを保存できる。ある特定の実施形態では、複数の通信システムを提供できる。例えば、直接のＷｉ－Ｆｉ接続（８０２．１１ｂ／ｇ／ｎ）のみでなく、別個の４Ｇセルラー接続を使用できる。

【0053】

また、遠隔サーバに接続する実施形態を、クラウドコンピューティング環境において実装してもよい。クラウドコンピューティングとは、仮想化を介して速やかにプロビジョニングされ、最小限の管理努力又はサービスプロバイダとの相互作用によってリリースされ、その後適宜拡張される、構成可能な計算資源（例えば、ネットワーク、サーバ、ストレージ、アプリケーション、及びサービス）の共有プールへのユビキタスで、便利で、オンデマンドのネットワークアクセスを可能にするモデルとして定義できる。クラウドモデルは、様々な特徴（例えば、オンデマンドセルフサービス、ブロードネットワークアクセス、資源プーリング、迅速な拡張性、測定サービス等）、サービスモデル（例えば、サービスとしてのソフトウェア（「ＳａａＳ」）、サービスとしてのプラットフォーム（「ＰａａＳ」）、サービスとしてのインフラストラクチャ（「ＩａａＳ」）、及び展開モデル（例えば、プライベートクラウド、コミュニティクラウド、パブリッククラウド、ハイブリッドクラウド等）によって構成可能である。

【0054】

本明細書全体を通して「１つの実施形態」、「実施形態」、「一例」、又は「例」といった文言は、実施形態又は例に関連して説明される特定の特徴、構造、又は特性が、本開示の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体の様々な箇所で「１つの実施形態において」、「実施形態において」、「一例」、又は「例」という文言が出現しても、これらは、必ずしも全てが同じ実施形態又は例を指すとは限らない。更に、特定の特徴、構造、データベース、又は特性は、１つ又は複数の実施形態又は例において、任意の適切な組み合わせ及び／又はサブコンビネーションとして組み合わせることができる。更に、本明細書に添付する図面は、当業者への説明のためのものであり、図面は、必ずしも縮尺通りに描かれていない。

【0055】

添付の図面のフローチャート及びブロック図は、本開示の様々な実施形態に基づくシステム、方法、及びコンピュータプログラム製品の可能な具体例のアーキテクチャ、機能、及び動作を示すことを意図する。これに関して、フローチャート又はブロック図の各ブロックは、指定された論理機能を実装するための１つ又は複数の実行可能命令を含むモジュール、セグメント、又はコードの一部を表すことができる。なお、ブロック図及び／又はフローチャートの各ブロック、並びにブロック図及び／又はフローチャート内のブロックの組み合わせは、指定された機能又は動作を実行する専用ハードウェアベースのシステム、又は専用ハードウェアとコンピュータの命令の組み合わせによって実装してもよい。また、これらのコンピュータプログラム命令は、コンピュータ又は他のプログラム可能データ処理装置に特定の方式で機能するように指示できるコンピュータ可読媒体に保存でき、すなわち、コンピュータ可読媒体に保存された命令は、フローチャート及び／又はブロック図のブロック又は複数のブロックで指定された機能／動作を実装する命令手段を含む製品を実現する。

【0056】

本開示に基づく実施形態は、装置、方法、又はコンピュータプログラム製品として具現化できる。したがって、本開示は、完全にハードウェアで構成される実施形態、完全にソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）で構成される実施形態、又は本明細書において総称的に「回路」、「モジュール」、又は「システム」と呼ぶソフトウェア及びハードウェアの態様を組み合わせた実施形態の形式で実現してもよい。更に、本開示の実施形態は、媒体に組み込まれたコンピュータ使用可能プログラムコードを有する任意の有形の媒体に組み込まれたコンピュータプログラム製品の形式で実現することもできる。

【0057】

１つ又は複数のコンピュータ使用可能媒体又はコンピュータ可読媒体の任意の組合せを利用できる。例えば、コンピュータ可読媒体は、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（random access memory：ＲＡＭ）デバイス、リードオンリーメモリ（read-only memory：ＲＯＭ）デバイス、消去可能プログラマブル読出専用メモリ（erasable programmable read-only memory：ＥＰＲＯＭ又はフラッシュメモリ）デバイス、携帯用コンパクトディスク読出専用メモリ（compact disc read-only memory：ＣＤ－ＲＯＭ）、光記憶デバイス、及び磁気記憶デバイスのうちの１つ又は複数を含むことができる。本開示の動作を実行するためのコンピュータプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで書くことができる。このようなコードは、ソースコードから、コードが実行されることになるデバイス又はコンピュータに適したコンピュータ可読アセンブリ言語又はマシンコードにコンパイルしてもよい。

【0058】

以上の説明及び関連する図面に提示された教示に基づき、当業者は、本発明の多くの変形例及び他の実施形態を想到できる。したがって、本発明は、ここに開示する特定の実施形態に限定されるものではなく、これらの変形例及び他の実施形態も特許請求の範囲に含まれることは明らかである。また、本明細書に具体的に開示されていない要素／ステップを欠いていても、本発明の他の実施形態を実施することができる。

【符号の説明】

【0059】

１００Ａ～Ｃ システム又は方法
１００Ｄ ニューラルネットワーク支援型画像又は映像処理パイプラインシステム及び方法
１１０Ａ～Ｃ 入力
１２０Ａ～Ｃ 第１のニューラルネットワーク
１２０Ｅ ニューラルネットワーク支援型画像又は映像処理パイプラインシステム
１２０Ｆ ニューラルネットワーク支援型ソフトウェアシステム
１２２Ａ～Ｃ 第２のニューラルネットワーク
１２４Ｂ～Ｃ ニューラル埋込、潜在ベクトル、又は状態ベクトル
１２６Ｂ～Ｃ ニューラル埋込、潜在ベクトル、又は状態ベクトル
１３０Ａ～Ｃ 出力、画像
１４０Ａ～Ｃ 画像フレーム
１４２Ａ～Ｃ 部分
１４４Ａ～Ｃ 処理後の部分、出力
２００ システム
３００ システム
３０２Ａ～Ｂ 複数の相互作用回帰畳み込みニューラルネットワーク

【図1A】

【図1B】

【図1C】

【図1D】

【図1E】

【図1F】

【図2】

【図3】

【国際調査報告】