特表 2023-510156 セキュアコンテンツ処理パイプライン

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-03-13

(54)【発明の名称】セキュアコンテンツ処理パイプライン

(51)【国際特許分類】

   G06F 21/55 20130101AFI20230306BHJP

   G06F 21/57 20130101ALI20230306BHJP

   G06F 21/10 20130101ALI20230306BHJP

   G06N 3/0475 20230101ALI20230306BHJP

【ＦＩ】

G06F21/55

G06F21/57 370

G06F21/10

G06N3/0475

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022538985

(86)(22)【出願日】2021-01-04

(85)【翻訳文提出日】2022-07-28

(86)【国際出願番号】 US2021012093

(87)【国際公開番号】W WO2021150362

(87)【国際公開日】2021-07-29

(31)【優先権主張番号】16/748,509

(32)【優先日】2020-01-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】504399716

【氏名又は名称】ディズニー エンタープライゼス インコーポレイテッド

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100211395

【弁理士】

【氏名又は名称】鈴木 裕貴

(72)【発明者】

【氏名】ミケル エンジェル ファッレ ジュウ

(72)【発明者】

【氏名】エドワード シー ドレイク

(72)【発明者】

【氏名】アンソニー エム アッカルド

(72)【発明者】

【氏名】マーク アラナ

(57)【要約】

コンテンツ処理パイプラインをセキュアにするためのシステムは、ハードウェアプロセッサと、ソフトウェアコードを格納しているメモリとを有するコンピューティングプラットフォームを含む。ハードウェアプロセッサは、ソフトウェアコードを実行し、悪意のあるニューラルネットワークの１つ又は複数のニューロンを活性化するように構成されている合成されたテスト画像をコンテンツストリームに挿入し、コンテンツストリームを入力ストリームとしてパイプラインの第１処理ノードに提供し、処理後のテスト画像を含む出力ストリームを受信する。ハードウェアプロセッサは、ソフトウェアコードをさらに実行し、出力内の処理後のテスト画像を、合成されたテスト画像に対応する期待画像と比較し、出力内の処理後のテスト画像が期待画像と一致するとき、パイプラインの少なくとも一部分がセキュアであると検証する。
【選択図】図３

【特許請求の範囲】

【請求項1】

複数の処理ノードを含むコンテンツ処理パイプラインのデータセキュリティを確保するように構成されているシステムであって、
ハードウェアプロセッサ及びシステムメモリを含むコンピューティングプラットフォームと、
前記システムメモリに格納されているソフトウェアコードとを含み、
前記ハードウェアプロセッサは、前記ソフトウェアコードを実行し、
合成されたテスト画像をコンテンツストリームに挿入することであって、前記合成されたテスト画像は、悪意のあるニューラルネットワークの１つ又は複数のニューロンを活性化するように構成されている、前記挿入することと、
前記合成されたテスト画像を含む前記コンテンツストリームを、入力ストリームとして、前記コンテンツ処理パイプラインの前記複数の処理ノードのうちの第１処理ノードに提供することと、
前記コンテンツ処理パイプラインの前記複数の処理ノードのうちの前記第１処理ノード又は第２処理ノードの一方から出力ストリームを受信することであって、前記出力ストリームは、処理後のテスト画像を含む、前記受信することと、
前記受信された出力ストリーム内の前記処理後のテスト画像を、前記合成されたテスト画像に対応する期待画像と比較することと、
前記受信された出力ストリーム内の前記処理後のテスト画像が前記期待画像と一致するとき、前記コンテンツ処理パイプラインの少なくとも一部分がセキュアであると検証することと、
によって前記コンテンツ処理パイプラインの少なくとも一部分のセキュリティアセスメントを生成するように構成されている、システム。

【請求項2】

前記受信された出力ストリームは、前記コンテンツ処理パイプラインの前記複数の処理ノードのうちの前記第２処理ノードからのものであり、前記第２処理ノードは、前記コンテンツ処理パイプラインの最終処理ノードであり、前記コンテンツ処理パイプラインの全体は、前記受信された出力ストリーム内の前記合成されたテスト画像が前記期待画像と一致するとき、セキュアであると検証される、請求項１に記載のシステム。

【請求項3】

前記ソフトウェアコードは、前記合成されたテスト画像を生成するために訓練されたニューラルネットワーク（ＮＮ）を含み、前記ハードウェアプロセッサは、前記ソフトウェアコードをさらに実行し、前記ＮＮを使用して前記合成されたテスト画像を生成するように構成されている、請求項１に記載のシステム。

【請求項4】

前記ＮＮは、敵対的生成ネットワーク（ＧＡＮ）を含む、請求項３に記載のシステム。

【請求項5】

前記ＧＡＮは、前記悪意のあるニューラルネットワークをモデル化するように構成されているディスクリミネータを含む、請求項４に記載のシステム。

【請求項6】

前記ＧＡＮは、ディープフェイクニューラルネットワークをモデル化するように構成されているディスクリミネータを含む、請求項４に記載のシステム。

【請求項7】

前記コンテンツ処理パイプラインの前記複数の処理ノードは、画像処理デバイスを含む、請求項１に記載のシステム。

【請求項8】

前記ハードウェアプロセッサは、前記ソフトウェアコードを実行し、前記セキュリティアセスメントを自動的に生成するように構成されている、請求項１に記載のシステム。

【請求項9】

ハードウェアプロセッサと、複数の処理ノードを含むコンテンツ処理パイプラインの少なくとも一部分のセキュリティアセスメントを生成するためのソフトウェアコードを格納しているシステムメモリとを有するコンピューティングプラットフォームを含むシステムによる使用のための方法であって、
前記ハードウェアプロセッサによって実行される前記ソフトウェアコードによって、合成されたテスト画像をテスト画像としてコンテンツストリームに挿入することであって、前記合成されたテスト画像は、悪意のあるニューラルネットワークの１つ又は複数のニューロンを活性化するように構成されている、前記挿入することと、
前記ハードウェアプロセッサによって実行される前記ソフトウェアコードによって、前記合成されたテスト画像を含む前記コンテンツストリームを入力ストリームとして前記コンテンツ処理パイプラインの前記複数の処理ノードのうちの第１処理ノードに提供することと、
前記ハードウェアプロセッサによって実行される前記ソフトウェアコードによって、前記コンテンツ処理パイプラインの前記複数の処理ノードのうちの前記第１処理ノード又は第２処理ノードの一方から出力ストリームを受信することであって、前記出力ストリームは、処理後のテスト画像を含む、前記受信することと、
前記ハードウェアプロセッサによって実行される前記ソフトウェアコードによって、前記受信された出力ストリーム内の前記処理後のテスト画像を、前記合成されたテスト画像に対応する期待画像と比較することと、
前記ハードウェアプロセッサによって実行される前記ソフトウェアコードによって、前記受信された出力ストリーム内の前記処理後のテスト画像が前記期待画像と一致するとき、前記コンテンツ処理パイプラインの少なくとも前記一部分がセキュアであると検証することと、
を含む、方法。

【請求項10】

前記受信された出力ストリームは、前記コンテンツ処理パイプラインの前記複数の処理ノードのうちの前記第２処理ノードからのものであり、前記第２処理ノードは、前記コンテンツ処理パイプラインの最終処理ノードであり、前記コンテンツ処理パイプラインの全体は、前記受信された出力ストリーム内の前記合成されたテスト画像が前記期待画像と一致するとき、セキュアであると検証される、請求項９に記載の方法。

【請求項11】

前記ソフトウェアコードは、前記合成されたテスト画像を生成するために訓練されたニューラルネットワーク（ＮＮ）を含み、前記方法は、前記ハードウェアプロセッサによって実行される前記ソフトウェアコードによって、前記ＮＮを使用して前記合成されたテスト画像を生成することをさらに含む、請求項９に記載の方法。

【請求項12】

前記ＮＮは、敵対的生成ネットワーク（ＧＡＮ）を含む、請求項１１に記載の方法。

【請求項13】

前記ＧＡＮは、前記悪意のあるニューラルネットワークをモデル化するように構成されているディスクリミネータを含む、請求項１２に記載の方法。

【請求項14】

前記ＧＡＮは、ディープフェイクニューラルネットワークをモデル化するように構成されているディスクリミネータを含む、請求項１２に記載の方法。

【請求項15】

前記コンテンツ処理パイプラインの前記複数の処理ノードは、画像処理デバイスを含む、請求項９に記載の方法。

【請求項16】

前記ハードウェアプロセッサは、前記ソフトウェアコードを実行し、前記セキュリティアセスメントを自動的に生成するように構成されている、請求項９に記載の方法。

【請求項17】

ハードウェアプロセッサによって実行されたときに方法をインスタンス化する命令を格納しているコンピュータ読み取り可能な非一時的媒体であって、前記方法は、
合成されたテスト画像を、テスト画像として、コンテンツストリームに挿入することであって、前記合成されたテスト画像は、悪意のあるニューラルネットワークの１つ又は複数のニューロンを活性化するように構成されている、前記挿入することと、
前記合成されたテスト画像を含む前記コンテンツストリームを、入力ストリームとして、コンテンツ処理パイプラインの複数の処理ノードのうちの第１処理ノードに提供することと、
前記コンテンツ処理パイプラインの前記複数の処理ノードのうちの前記第１処理ノード又は第２処理ノードの一方から出力ストリームを受信することであって、前記出力ストリームは、処理後のテスト画像を含む、前記受信することと、
前記受信された出力ストリーム内の前記処理後のテスト画像を、前記合成されたテスト画像に対応する期待画像と比較することと、
前記受信された出力ストリーム内の前記処理後のテスト画像が前記期待画像と一致するとき、前記コンテンツ処理パイプラインの少なくとも一部分がセキュアであると検証することと、
を含む、コンピュータ読み取り可能な非一時的媒体。

【請求項18】

前記受信された出力ストリームは、前記コンテンツ処理パイプラインの前記複数の処理ノードのうちの前記第２処理ノードからのものであり、前記第２処理ノードは、前記コンテンツ処理パイプラインの最終処理ノードであり、前記コンテンツ処理パイプラインの全体は、前記受信された出力ストリーム内の前記合成されたテスト画像が前記期待画像と一致するとき、セキュアであると検証される、請求項１７に記載のコンピュータ読み取り可能な非一時的媒体。

【請求項19】

前記コンピュータ読み取り可能な非一時的媒体は、前記合成されたテスト画像を生成するために訓練されたニューラルネットワーク（ＮＮ）を格納し、前記方法は、前記ＮＮを使用して前記合成されたテスト画像を生成することをさらに含む、請求項１７に記載のコンピュータ読み取り可能な非一時的媒体。

【請求項20】

前記ＮＮは、前記悪意のあるニューラルネットワークをモデル化するように構成されているディスクリミネータを含む敵対的生成ネットワーク（ＧＡＮ）を含む、請求項１９に記載のコンピュータ読み取り可能な非一時的媒体。

【発明の詳細な説明】

【背景技術】

【0001】

機械学習の進歩は、本物のようだが人物の画像又は音声から偽装された再現物の作成を可能にし、それはその作成のためにディープ人工ニューラルネットワークを使用することに起因して、「ディープフェイク」として知られている。ディープフェイクは、画像又は音声が使用される本人の同意なしに作成され、本人が実際には言っていないこと又はやっていないことを、言ったり或いはやったりするように見せかけ得る。その結果、ディープフェイクの加工デジタルコンテンツは、誤報を広めるために悪意を持って使用され得る。

【0002】

エンターテインメント及びニュースの配信にデジタルコンテンツが広く親しまれていることにより、デジタルコンテンツの処理パイプラインのデータセキュリティを確保することは、そのデジタルコンテンツの作成者、所有者、配信者のいずれにも極めて重要である。しかしながら、機械学習モデルが改良し続けるにつれて、ディープフェイクを生成することができ、コンテンツ処理パイプラインの１つ又は複数の処理ノードに導入されたマルウェアの検出は、困難であり続けるであろう。その結果、コンテンツ処理パイプラインのセキュリティをアセスメントするためのロバストで信頼できるソリューションがない場合、わずかに加工された、或いは実質的に偽のデジタルコンテンツが、不注意に放送され、或いは契約上の合意又は規制制限に違反して配信され、それによってコンテンツの所有者及び／又は配信者が潜在的に法的危険にさらされ得る。

【発明の概要】

【0003】

コンテンツ処理パイプラインをセキュアにするためのシステム及び方法が、実質的に、少なくとも１つの図に関連して示され、且つ／或いは説明されることによって、そして、特許請求の範囲に、より完全に明記されることによって、提供される。

【図面の簡単な説明】

【0004】

【図1】図１は、一実装形態において、コンテンツ処理パイプラインをセキュアにするための例示的なシステムのダイアグラムを示す。

【図2】図２は、一実装形態において、コンテンツ処理パイプラインのセキュリティをアセスメントする際の使用に適した例示的な合成されたテスト画像を示す。

【図3】図３は、一実装形態において、図１に示されるシステムによる使用に適した例示的なソフトウェアコードを示す。

【図4】図４は、一実装形態において、コンテンツ処理パイプラインをセキュアにするための例示的な方法を提示するフローチャートを示す。

【発明を実施するための形態】

【0005】

以下の説明は、本開示における実装形態に関する具体的な情報を含む。当業者は、本開示が本明細書で具体的に議論されるものとは異なる方法で実装され得ることを認識するであろう。本願の図面及び添付の詳細な説明は、単に例示的な実装形態を対象とする。特段の記載がない限り、図中の同様の或いは対応する要素は、同様の或いは対応する参照数字によって示され得る。さらに、本願の図面及び図示は一般的に、縮尺通りではなく、実際の相対的な寸法に対応することを目的としない。

【0006】

本願は、従来技術の難点及び欠陥を克服する、コンテンツ処理パイプラインをセキュアにするためのシステム及び方法を開示する。悪意のあるニューラルネットワークの１つ又は複数のニューロンを活性化するように構成されている合成されたテスト画像を、コンテンツ処理パイプラインへの入力ストリームとして提供されるコンテンツストリームに挿入することによって、本セキュリティソリューションは、有利には、悪意のあるニューラルネットワークがパイプラインに存在するときに、悪意のあるニューラルネットワークの検出を可能にする。さらに、パイプラインの１つ又は複数のコンテンツ処理ノードから受信された出力ストリームに含まれる合成されたテスト画像を、合成されたテスト画像に対応する期待画像と比較することによって、本ソリューションは、悪意のあるニューラルネットワークによって感染されたパイプラインの１つ又は複数のノードの識別を可能にする。

【0007】

いくつかの実装形態では、本セキュリティソリューションは、実質的に自動化されたシステムによる実質的に自動化されたプロセスとして実行されてもよいことに留意されたい。さらに、本願で使用されるように、用語「自動化」、「自動化された」、及び「自動化する」は、システム管理者などの、人間のユーザの参加を必要としないシステム及びプロセスを指すことに留意されたい。いくつかの実装形態では、人間のシステムオペレータ又は管理者が、自動化されたシステムによって、且つ本明細書で説明された自動化された方法に従って生成されたセキュリティアセスメントをレビューしてもよいが、その人間の関与は任意である。したがって、本願で説明された方法は、開示された自動化されたシステムのハードウェア処理コンポーネントの制御下で実行されてもよい。

【0008】

また、本願で定義されるように、人工ニューラルネットワーク（ＡＮＮ）としても知られている、ニューラルネットワーク（ＮＮ）は、観測されたデータのパターン又は学習された表現が、入力と出力との間の関係をマッピングする高度に結合された計算層を使用して処理される、機械学習のフレームワークの一種であることに留意されたい。「ディープニューラルネットワーク」は、深層学習の観点から、入力層と出力層との間に複数の隠れ層を利用するニューラルネットワークを指す場合があり、生データで明示的に定義されていない特徴に基づいて学習することを可能にする。そのように、ＮＮの様々な形態は、過去の例又は「訓練データ」に基づいて新しいデータについての予測を行うために使用され得る。様々な実装形態では、ＮＮは、画像処理又は自然言語処理を実行するために利用されてもよい。

【0009】

図１は、一実装形態において、コンテンツ処理パイプラインをセキュアにするための例示的なシステムのダイアグラムを示す。図１に示されるように、システム１００は、ハードウェアプロセッサ１０４と、非一時的記憶デバイスとして実装されているシステムメモリ１０６と、任意のディスプレイ１０８とを有するコンピューティングプラットフォーム１０２を含む。例示的な本実装形態において、システムメモリ１０６は、任意のＮＮ１１２を含むソフトウェアコード１１０とともに、コンテンツストリーム１２８を提供するコンテンツライブラリ１４４、及び１つ又は複数の合成されたテスト画像１２４（以下、「（１つ又は複数の）テスト画像１２４」）を含む画像データベース１２６を格納する。

【0010】

図３によって示され、以下に説明されるように、ソフトウェアコード１１０が任意のＮＮ１１２（図３におけるＮＮ３１２）を含むいくつかの実装形態では、ＮＮ１１２は、ディープフェイクＮＮなどの、悪意のあるニューラルネットワーク（以下、「悪意のあるＮＮ」）をモデル化するように構成されているディスクリミネータを含む敵対的生成ネットワーク（ＧＡＮ）として実装されてもよいことに留意されたい。それらの実装形態では、ＮＮ１１２は、合成されたテスト画像１２４を生成するために使用されてもよく、合成されたテスト画像１２４は、その後、画像データベース１２６上に格納され、画像データベース１２６から取得されてもよい。

【0011】

さらに、図１に示されるように、システム１００は、訓練プラットフォーム１４０と、第１処理ノード１５２ａ、中間処理ノード１５２ｂ、及び最終処理ノード１５２ｃを含むコンテンツ処理パイプライン１５０とともに、通信ネットワーク１２０と、ディスプレイ１３８を含むユーザシステム１３０を利用するシステム管理者又は他のユーザ１３２（以下、「ユーザ１３２」）とを含む使用環境内で実装される。さらに、図１は、通信ネットワーク１２０を介して、訓練プラットフォーム１４０と、コンテンツ処理パイプライン１５０と、ユーザシステム１３０とを、システム１００と通信可能に結合するネットワーク通信リンク１２２を示す。

【0012】

さらに、図１は、コンテンツ処理パイプライン１５０の第１処理ノード１５２ａへの入力ストリーム１４８とともに、コンテンツ処理パイプライン１５０の第１処理ノード１５２ａ、中間処理ノード１５２ｂ、及び最終処理ノード１５２ｃのそれぞれからの出力ストリーム１５４、１５６、及び１５８としてシステム１００によって受信された処理済みコンテンツストリームを示す。また、図１には、システム１００によって生成された、コンテンツ処理パイプライン１５０の少なくともいくつかの部分のセキュリティアセスメント１６４が示される。

【0013】

図１は、コンテンツ処理パイプライン１５０を、第１処理ノード１５２ａ、中間処理ノード１５２ｂ、及び最終処理ノード１５２ｃによって表される３つの処理ノードを含むものとして描写しているが、その表現は、単に例示的なものである。他の実装形態では、コンテンツ処理パイプライン１５０は、わずか１つの処理ノードを含んでもよく、或いはそれよりも多い処理ノードを含んでもよく、或いは３つよりも多い処理ノードを含んでもよい。したがって、いくつかの実装形態では、第１処理ノード１５２ａ、中間処理ノード１５２ｂ、及び最終処理ノード１５２ｃのうちの任意の１つが、コンテンツ処理パイプライン１５０の第１処理ノードであってもよいだけでなく、最終処理ノードであってもよく、他の実装形態では、中間処理ノード１５２ｂが、第１処理ノード１５２ａと最終処理ノード１５２ｃとを結ぶ複数の処理ノードを含んでもよい。

【0014】

第１処理ノード１５２ａ、中間処理ノード１５２ｂ、及び最終処理ノード１５２ｃは、様々な画像処理デバイスのうちの任意の１つとして実装され得ることに留意されたい。すなわち、第１処理ノード１５２ａ、中間処理ノード１５２ｂ、及び最終処理ノード１５２ｃのうちの１つ又は複数は、いくつかの例を挙げると、デジタルカメラ、ビデオ編集ワークステーション、デスクトップ、ラップトップ、又はタブレットコンピュータ、スマートフォン、又はクラウドベースのデータ記憶サービスデバイスの形態をとってもよい。

【0015】

より詳細に以下で説明されるように、ソフトウェアコード１１０は、コンピューティングプラットフォーム１０２のハードウェアプロセッサ１０４によって実行されるとき、合成されたテスト画像１２４を使用してコンテンツ処理パイプライン１５０の少なくとも一部分のセキュリティアセスメント１６４を生成するように構成されている。概念的な明確さのために、本願は、ソフトウェアコード１１０、画像データベース１２６、及びコンテンツライブラリ１４４を、システムメモリ１０６に格納されているものとして言及するが、より一般的には、システムメモリ１０６は、任意のコンピュータ読み取り可能な非一時的記憶媒体の形態をとってもよい。

【0016】

本願で使用されるような、表現「コンピュータ読み取り可能な非一時的記憶媒体」は、コンピューティングプラットフォーム１０２のハードウェアプロセッサ１０４に命令を提供する搬送波又は他の一時的な信号を除く、任意の媒体を指す。したがって、コンピュータ読み取り可能な非一時的記憶媒体は、例えば、揮発性媒体及び不揮発性媒体などの、様々なタイプの媒体に対応してもよい。揮発性媒体は、ダイナミックランダムアクセスメモリ（ダイナミックＲＡＭ）などの、動的メモリを含んでもよく、不揮発性メモリは、光学、磁気、又は静電記憶デバイスを含んでもよい。コンピュータ読み取り可能な非一時的媒体の一般的な形態は、例えば、光ディスク、ＲＡＭ、プログラマブルリードオンリーメモリ（ＰＲＯＭ）、消去可能なＰＲＯＭ（ＥＰＲＯＭ）、及びＦＬＡＳＨメモリを含む。

【0017】

さらに、図１は、訓練プラットフォーム１４０及びユーザシステム１３０を、システム１００から遠隔のコンピュータプラットフォームとして描写しているが、その表現も単に例示的なものである。より一般的には、システム１００は、例えば、コンピュータサーバなどの、１つ又は複数のコンピューティングプラットフォームを含んでもよく、例えば、クラウドベースのシステムなどの、相互的に結ばれているが分散されたシステムを形成してもよい。その結果、ハードウェアプロセッサ１０４及びシステムメモリ１０６は、システム１００内の分散されたプロセッサ及びメモリリソースに対応してもよく、訓練プラットフォーム１４０は、システム１００のコンポーネントであってもよく、或いはシステムメモリ１０６に格納されているソフトウェアモジュールとして実装されてもよい。さらに、いくつかの実装形態では、ユーザシステム１３０は、システム１００の要素として含まれてもよい。

【0018】

一実装形態では、システム１００のコンピューティングプラットフォーム１０２は、例えば、インターネットなどのパケット交換ネットワークを介してアクセス可能な、１つ又は複数のウェブサーバに対応してもよい。代替的に、コンピューティングプラットフォーム１０２は、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）をサポートする、或いは別のタイプの限定的な配信又はプライベートネットワークに含まれる、１つ又は複数のコンピュータサーバに対応してもよい。

【0019】

図１において、ユーザシステム１３０は、デスクトップコンピュータとして示されているが、その表現も単に例として提供されることに留意されたい。より一般的には、ユーザシステム１３０は、ユーザインターフェースを提供し、通信ネットワーク１２０への接続をサポートし、本明細書においてユーザシステム１３０に起因する機能性を実装するのに十分なデータ処理能力を実装する任意の適切なシステムであってもよい。例えば、他の実装形態では、ユーザシステム１３０は、例えば、ラップトップコンピュータ、タブレットコンピュータ、又はスマートフォンの形態をとってもよい。

【0020】

また、様々な実装形態では、ディスプレイ１０８は、コンピューティングプラットフォーム１０２と物理的に統合されてもよく、或いはコンピューティングプラットフォーム１０２と通信可能に結合されているが物理的に分離されてもよいことに留意されたい。さらに、ユーザシステム１３０のディスプレイ１３８は、ユーザシステム１３０と物理的に統合されてもよく、或いはユーザシステム１３０と通信可能に結合されているが物理的に分離されてもよい。例えば、ユーザシステム１３０がスマートフォン、ラップトップコンピュータ、又はタブレットコンピュータとして実装される場合、ディスプレイ１３８は典型的には、ユーザシステム１３０と統合されることとなる。対照的に、ユーザシステム１３０がデスクトップコンピュータとして実装される場合、ディスプレイ１３８は、コンピュータタワーの形態のユーザシステム１３０から分離されたモニタの形態をとってもよい。システム１００のディスプレイ１０８及びユーザシステム１３０のディスプレイ１３８は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又は信号から光への物理的変換を実行する任意の他の適切なディスプレイスクリーンとして実装されてもよい。

【0021】

図２は、一実装形態において、コンテンツ処理パイプラインのセキュリティをアセスメントする際の使用に適した例示的な合成されたテスト画像２２４を示す。図２に示されるように、合成されたテスト画像２２４は、人間の観察者には認識できない「無意味な」画像である。しかしながら、合成されたテスト画像２２４は、よく知られている、広く利用可能な訓練データセット及びアーキテクチャを使用して完全に訓練された悪意のあるＮＮによって、或いはそれらのデータセット及びアーキテクチャの１つを用いて最初に訓練されたニューラルネット上で微調整された悪意のあるＮＮによって認識可能なオブジェクトと間違われるように構成されており、それによって、悪意のあるＮＮに、合成されたテスト画像２２４に実際に描写されていないオブジェクトの「幻覚を起こ」させる。本願の目的のために定義されるように、ＮＮ内の１つ又は複数のニューロンのスコアが、合成されたテスト画像２２４に応答して実質的に最大化されるとき、悪意のあるＮＮは、「幻覚を起こす」と特徴付けられることに留意されたい。

【0022】

例えば、合成されたテスト画像２２４ａは、人間の観察者には任意の特定のオブジェクトとして認識できないにもかかわらず、悪意のあるＮＮに、その画像に描写されたパターンを木として識別させるように構成されている。同様に、例として、合成されたテスト画像２２４ｂは、悪意のあるＮＮに、人間の幻覚を起こさせるように構成されており、合成されたテスト画像２２４ｃは、悪意のあるＮＮに、自転車の幻覚を起こさせるように構成されており、合成されたテスト画像２２４ｄは、悪意のあるＮＮに、自動車の幻覚を起こさせるように構成されている。

【0023】

合成されたテスト画像２２４は、概して、図１における（１つ又は複数の）合成されたテスト画像１２４に対応する。その結果、（１つ又は複数の）合成されたテスト画像１２４は、本開示によって合成されたテスト画像２２４に起因する任意の特性を共有することができ、その逆も同様であり得る。したがって、合成されたテスト画像２２４と同様に、（１つ又は複数の）合成されたテスト画像１２４は、（１つ又は複数の）合成されたテスト画像１２４の人間の観察者には認識できないが、それにもかかわらず、悪意のあるＮＮによって１つ又は複数の認識可能なオブジェクトとして識別されるように構成されている。深層学習の最先端技術は、人間には全く認識できないが、最先端技術のＮＮが認識可能なオブジェクトであるとほぼ完全に信じて疑わない画像を生成、すなわち、合成することが可能であることを示す。

【0024】

その結果、（１つ又は複数の）合成されたテスト画像１２４／２２４は、いわゆる「中間者」攻撃を検出し、阻止するために使用され得る。中間者攻撃は、コンテンツ処理パイプライン１５０内のデータ通信の傍受の結果として起こり得る。代替的に、中間者攻撃は、例えばカメラのファームウェアの更新又はクラウドにおけるセキュリティ侵害に起因して、第１処理ノード１５２ａ、中間処理ノード１５２ｂ、及び最終処理ノード１５２ｃのうちの１つ又は複数に対するファームウェアの更新中にインストールされたマルウェアの結果として発生し得る。

【0025】

ディープフェイクを生成するように構成されている悪意のあるＮＮに、代わりに幻覚を起こさせるであろう合成されたテスト画像１２４／２２４のタイプは、悪意のあるＮＮのアーキテクチャとともに、その訓練に使用されるデータセットに依存することとなる。本コンテンツ処理パイプラインのセキュリティソリューションは、例えば、ＩｍａｇｅＮｅｔ又は「Ｌａｂｅｌｅｄ Ｆａｃｅｓ ｉｎ ｔｈｅ Ｗｉｌｄ」を用いて訓練された、ＲｅｓＮｅｔ、ｙｏｕ ｏｎｌｙ ｌｏｏｋ ｏｎｃｅ（ＹＯＬＯ）、及びＶｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ（ＶＧＧ）アーキテクチャなどの、一般的に使用される訓練データセットに基づいて訓練された最も良く知られているＮＮアーキテクチャを騙すように構成されている１つ又は複数の合成されたテスト画像を利用する。その結果、（１つ又は複数の）合成されたテスト画像１２４／２２４は、悪意のあるＮＮの１つ又は複数のニューロンを活性化するように構成されている。

【0026】

例えば、ディープフェイクのＮＮとして構成されている悪意のあるＮＮが、（１つ又は複数の）合成されたテスト画像１２４／２２４を、例えば、合成されたテスト画像２２４ｂなどの、顔を含むと解釈する場合、典型的には、合成されたテスト画像を予期せぬ方法で変換することとなる。パイプラインの少なくとも一部分による処理後にコンテンツ処理パイプライン１５０への入力として供給される合成されたテスト画像を、合成されたテスト画像に対応する期待画像と比較することによって、本セキュリティソリューションは、悪意のあるＮＮを使用する中間者攻撃の検出を可能にする。

【0027】

図３は、一実装形態において、図１におけるシステム１００による使用に適した例示的なソフトウェアコード３１０を示す。図３に示されるように、ソフトウェアコード３１０は、訓練モジュール３１４と、ＮＮ３１２と、画像挿入モジュール３１６と、セキュリティアセスメントモジュール３１８とを含む。さらに、図３は、訓練データ３４２と、コンテンツストリーム３２８と、１つ又は複数の合成されたテスト画像３２４（以下、「（１つ又は複数の）テスト画像３２４」）と、図１におけるコンテンツ処理パイプライン１５０への入力ストリーム３４８と、コンテンツ処理パイプライン１５０から受信された出力ストリーム３５４、３５６、及び３５８とを示す。また、図３には、コンテンツ処理パイプライン１５０の少なくとも一部分による処理後の（１つ又は複数の）合成されたテスト画像３２４（以下、「（１つ又は複数の）処理後の（post-processed）テスト画像３６０」）と、（１つ又は複数の）合成されたテスト画像３２４にそれぞれ対応する１つ又は複数の期待画像３６２（以下、「（１つ又は複数の）期待画像３６２」）と、セキュリティアセスメント３６４とが示される。

【0028】

ＮＮ３１２と、コンテンツストリーム３２８と、コンテンツ処理パイプライン１５０への入力ストリーム３４８と、コンテンツ処理パイプライン１５０から受信された出力ストリーム３５４、３５６、及び３５８と、セキュリティアセスメント３６４とを含むソフトウェアコード３１０はそれぞれ、概して、図１における、ＮＮ１１２と、コンテンツストリーム１２８と、入力ストリーム１４８と、出力ストリーム１５４、１５６、及び１５８と、セキュリティアセスメント１６４とを含むソフトウェアコード１１０と対応している。すなわち、ソフトウェアコード１１０と、ＮＮ１１２と、コンテンツストリーム１２８と、入力ストリーム１４８と、出力ストリーム１５４、１５６、及び１５８と、セキュリティアセスメント１６４とは、本開示によってそれぞれのソフトウェアコード３１０と、ＮＮ３１２と、コンテンツストリーム３２８と、入力ストリーム３４８と、出力ストリーム３５４、３５６、及び３５８と、セキュリティアセスメント３６４とに起因する任意の特性を共有することができ、その逆も同様であり得る。したがって、図１には明示的に示されていないが、ソフトウェアコード１１０は、訓練モジュール３１４、画像挿入モジュール３１６、及びセキュリティアセスメントモジュール３１８とともに、任意のＮＮ１１２／３１２の各々に対応する機能を含んでもよい。

【0029】

さらに、図３における（１つ又は複数の）合成されたテスト画像３２４は、概して、図１及び図２における（１つ又は複数の）合成されたテスト画像１２４／２２４に対応する。言い換えれば、（１つ又は複数の）合成されたテスト画像３２４は、本開示によって（１つ又は複数の）合成されたテスト画像１２４／２２４に起因する任意の特性を共有することができ、その逆も同様であり得る。したがって、（１つ又は複数の）合成されたテスト画像１２４／２２４と同様に、（１つ又は複数の）合成されたテスト画像３２４は、人間の観察者には認識できないが、それにもかかわらず、合成されたテスト画像を認識可能なオブジェクトとして識別することによって、悪意のあるＮＮに幻覚を起こさせるように構成されていてもよい。

【0030】

ソフトウェアコード１１０／３１０を含むシステム１００の機能性は、図４を、図１、図２、及び図３と組み合わせて参照することによってさらに説明される。図４は、一実装形態において、コンテンツ処理パイプラインをセキュアにするための例示的な方法を提示するフローチャート４７０を示す。図４に概説された方法に関して、本願における発明的特徴の議論を不明瞭にしないために、特定の詳細及び特徴がフローチャート４７０から省かれていることに留意されたい。

【0031】

予備的事項として、概念的な明確化のために、コンテンツ処理パイプライン１５０の２つの例示的な実装形態が、より詳細に本明細書で説明される。しかしながら、本願で開示される特定の実装形態の詳細は、単に例であり、いかなる形でも本発明的概念の範囲を限定するものとして解釈されるものではないことが強調される。

【0032】

例えば、一実装形態では、コンテンツ処理パイプライン１５０は、６つのノード、すなわち、第１処理ノード１５２ａ、４つの中間処理ノード１５２ｂ、及び最終処理ノード１５２ｃを含んでもよい。そのような一実装形態では、第１処理ノード１５２ａは、ビデオカメラを含むモバイルユニットであってもよい。第１処理ノード１５２ａによって生成されたコンテンツは、ビデオトランスコーダの形態の中間処理ノード１５２ｂに転送され、中間処理ノード１５２ｂは、コンテンツを分割し、パッケージ化するように構成されているセグメンタの形態の別の中間処理ノード１５２ｂにトランスコードされたビデオを出力してもよい。セグメンタによって出力されたコンテンツは、ビデオ制作設備の形態の別の中間処理ノード１５２ｂに転送されてもよく、そこで、色補正システムの形態の別の中間処理ノード１５２ｂによって処理される。最後に、最終処理ノード１５２ｃは、コンテンツに追加のテキスト及び／又はグラフィックオーバーレイを追加し、コンテンツをビデオコンテンツの消費者である視聴者に放送してもよい。

【0033】

代替的に、別の実装形態では、第１処理ノード１５２ａは、テレビスタジオ内のグリーンスクリーンステージのビデオをキャプチャするカメラであってもよい。第１処理ノード１５２ａによって生成されたコンテンツは、ビデオトランスコーダの形態の中間処理ノード１５２ｂに転送され、中間処理ノード１５２ｂは、トランスコードされたビデオを、ビデオコンテンツのプレビジュアライゼーション（previsualization）のためのオンラインアプリケーションの形態の別の中間処理ノード１５２ｂに転送してもよい。その後、プレビジュアライズされたビデオコンテンツは、色補正システムの形態の別の中間処理ノード１５２ｂに転送され、次いで、ユーザ１３２が消費者への配信に先立ってビデオコンテンツをプレビューすることを可能にする再生システム又はデバイスの形態の最終処理ノード１５２ｃに転送されてもよい。

【0034】

いくつかの実装形態では、コンテンツ処理パイプライン１５０は、コンテンツ処理パイプライン１５０の他の処理ノードによるオリジナルのコンテンツの処理に先立ってそのオリジナルのコンテンツを作成するように構成されている処理ノード、例えば、第１処理ノード１５２ａを含んでもよいことに留意されたい。しかしながら、他の実装形態では、コンテンツ処理パイプライン１５０は、コンテンツ処理パイプライン１５０の外部で、例えば、モバイルビデオ撮影デバイスを使用する許可された現地レポータなどの、第三者のコンテンツ作成者によって、或いは、例えば、スマートフォン動画又は静止画カメラを使用してキャプチャされた画像を提示するアマチュアユーザから作成されたコンテンツを受信してもよい。

【0035】

ここで、図４を、図１、図２、及び図３と組み合わせて参照すると、フローチャート４７０は、（１つ又は複数の）合成されたテスト画像１２４／２２４／３２４を、コンテンツストリーム１２８／３２８に挿入する（アクション４７１）ことから開始し、ここで、（１つ又は複数の）合成されたテスト画像１２４／２２４／３２４は、悪意のあるＮＮの１つ又は複数のニューロンを活性化するように構成されている。コンテンツストリーム１２８／３２８は、例えば、一連のデジタル写真、又はビデオクリップを含むデジタルコンテンツストリームであってもよい。（１つ又は複数の）合成されたテスト画像１２４／２２４／３２４は、コンテンツストリーム１２８／３２８の先頭又は末尾に付加されることによって、或いはコンテンツストリーム１２８／３２８の写真画像又はビデオフレームの間に挿入されることによって、コンテンツストリーム１２８／３２８に挿入されてもよい。一実装形態では、コンテンツストリーム１２８／３２８に含まれるコンテンツのハッシュ値がコンテンツストリーム１２８／３２８に埋め込まれ、或いは付加されるとき、（１つ又は複数の）合成されたテスト画像１２４／２２４／３２４は、コンテンツストリーム１２８／３２８に挿入されてもよい。（１つ又は複数の）合成されたテスト画像１２４／２２４／３２４は、ハードウェアプロセッサ１０４によって実行され、画像挿入モジュール３１６を使用して、ソフトウェアコード１１０／３１０によってコンテンツストリーム１２８／３２８に挿入されてもよい。

【0036】

いくつかの実装形態では、ソフトウェアコード１１０／３１０は、画像データベース１２６から、（１つ又は複数の）以前に生成された合成されたテスト画像１２４／２２４／３２４を取得してもよいことに留意されたい。しかしながら、他の実装形態では、ソフトウェアコード１１０／３１０は、任意のＮＮ１１２／３１２を含んでもよい。それらの実装形態では、ハードウェアプロセッサ１０４は、ソフトウェアコード１１０／３１０を実行し、ＮＮ１１２／３１２を使用して（１つ又は複数の）合成されたテスト画像１２４／２２４／３２４を生成してもよい。例えば、いくつかの実装形態では、ＮＮ１１２／３１２は、ランダム画像への変更を生成するために使用されるジェネレータ３１３を含むＧＡＮであってもよく、ターゲットの悪意のあるＮＮアーキテクチャのモデルとして実装されるディスクリミネータ３１５を含んでもよい。

【0037】

ＮＮ１１２／３１２が（１つ又は複数の）合成されたテスト画像１２４／２２４／３２４を生成するために使用される実装形態では、ＮＮ１１２／３１２は、アクション４７１に先立って訓練されなければならない。ＮＮ１１２／３１２は、訓練プラットフォーム１４０、訓練データ３４２、及びソフトウェアコード１１０／３１０の訓練モジュール３１４を使用して訓練され得る。訓練の目的は、人間の観察者には認識できないが、ターゲットである悪意のあるＮＮによって認識可能なオブジェクトとして識別される可能性があるテスト画像を合成することである。

【0038】

訓練中、ＮＮ１１２／３１２のディスクリミネータ３１５は、ジェネレータ３１３によって出力された合成されたテスト画像を見て、それが認識可能なオブジェクトをもっともらしく描写しているかどうかを判定し得る。訓練中の学習プロセスの検証は、ユーザシステム１３０を利用し、（１つ又は複数の）合成されたテスト画像１２４／２２４／３２４を評価し得る、ユーザ１３２によって実行されてもよい。しかしながら、いくつかの実装形態では、学習の検証は、ディスクリミネータ３１５を使用して自動化されたプロセスとして実行されてもよい。訓練が完了すると、ＮＮ１１２／３１２を含むソフトウェアコード１１０／３１０は、自動化されたプロセスで利用され、（１つ又は複数の）合成されたテスト画像１２４／２２４／３２４を生成してもよい。

【0039】

いくつかの実装形態では、単一の合成されたテスト画像１２４／２２４／３２４は、アクション４７１においてコンテンツストリーム１２８／３２８に挿入されてもよい。しかしながら、他の実装形態では、複数の合成されたテスト画像１２４／２２４／３２４を、コンテンツストリーム１２８／３２８に挿入することが有利であり、或いは望ましい場合がある。例えば、任意の１つの合成されたテスト画像１２４／２２４／３２４が、悪意のあるＮＮを活性化し、幻覚を起こさせる場合があり、或いはそうでない場合があるので、複数の合成されたテスト画像１２４／２２４／３２４の挿入は、コンテンツ処理パイプライン１５０における悪意のあるＮＮの存在が検出される可能性を増加させる。複数の合成されたテスト画像１２４／２２４／３２４がコンテンツストリーム１２８／３２８に挿入されるとき、それらの合成されたテスト画像１２４／２２４／３２４は、例えば、コンテンツストリーム１２８／３２８の先頭で一緒にグループ化されてもよく、或いはコンテンツストリーム１２８／３２８の全体にわたって分散されてもよい。

【0040】

フローチャート４７０は、続いて、（１つ又は複数の）合成されたテスト画像１２４／２２４／３２４を含むコンテンツストリーム１２８／３２８を、入力ストリーム１４８／３４８として、コンテンツ処理パイプライン１５０の第１処理ノード１５２ａに提供する（アクション４７２）。図１によって示されるように、入力ストリーム１４８／３４８は、通信ネットワーク１２０及びネットワーク通信リンク１２２を介して、第１処理ノード１５２ａに送信されることによって、コンテンツ処理パイプライン１５０の第１処理ノード１５２ａに提供されてもよい。アクション４７２は、ハードウェアプロセッサ１０４によって実行され、ソフトウェアコード１１０／３１０によって実行されてもよい。いくつかの実装形態では、（１つ又は複数の）合成されたテスト画像１２４／２２４／３２４を含む入力ストリーム１４８／３４８は、例えば１日に１回、又は数時間ごとなど、定期的にコンテンツ処理パイプライン１５０に提供されてもよい。

【0041】

フローチャート４７０は、続いて、コンテンツ処理パイプライン１５０の少なくとも一部分による（１つ又は複数の）合成されたテスト画像１２４／２２４／３２４を含む入力ストリーム１４８／３４８の処理後、コンテンツ処理パイプライン１５０の第１処理ノード１５２ａ又は第２処理ノード１５２ｂの一方から出力ストリームを受信し（アクション４７３）、ここで、出力ストリームは、（１つ又は複数の）処理後のテスト画像３６０を含む。いくつかの実装形態では、システム１００は、第１処理ノード１５２ａのセキュリティアセスメント１６４／３６４を単独で生成してもよい。それらの実装形態では、ハードウェアプロセッサ１０４は、ソフトウェアコード１１０／３１０を実行し、アクション４７３において、通信ネットワーク１２０及びネットワーク通信リンク１２２を介して、第１処理ノード１５２ａから出力ストリーム１５４／３５４を受信してもよい。

【0042】

他の実装形態では、システム１００は、第１処理ノード１５２ａ、及び１つ又は複数の中間処理ノード１５２ｂのセキュリティアセスメント１６４／３６４を生成してもよい。それらの実装形態では、ハードウェアプロセッサ１０４は、ソフトウェアコード１１０／３１０を実行し、アクション４７３において、通信ネットワーク１２０及びネットワーク通信リンク１２２を介して、１つ又は複数の中間処理ノード１５２ｂに含まれる第２処理ノードから出力ストリーム１５６／３５６を受信してもよい。

【0043】

さらに他の実装形態では、システム１００は、コンテンツ処理パイプライン１５０の全体のセキュリティアセスメント１６４／３６４を生成してもよい。より包括的なそれらの実装形態では、ハードウェアプロセッサ１０４は、ソフトウェアコード１１０／３１０を実行し、アクション４７３において、通信ネットワーク１２０及びネットワーク通信リンク１２２を介して、最終処理ノード１５２ｃから出力ストリーム１５８／３５８を受信してもよい。アクション４７３は、ハードウェアプロセッサ１０４によって実行され、ソフトウェアコード１１０／３１０によって実行されてもよい。

【0044】

フローチャート４７０は、続いて、受信された出力ストリーム内の（１つ又は複数の）処理後のテスト画像３６０を、（１つ又は複数の）合成されたテスト画像１２４／２２４／３２４にそれぞれ対応する（１つ又は複数の）期待画像３６２と比較する（アクション４７４）。（１つ又は複数の）期待画像３６２は、（１つ又は複数の）合成されたテスト画像１２４／２２４／３２４と実質的に同一であってもよく、或いはコンテンツ処理パイプライン１５０の１つ又は複数の処理ノードによって実行される処理によって課せられる予測可能な変換によって変更された（１つ又は複数の）合成されたテスト画像１２４／２２４／３２４であってもよい。（１つ又は複数の）処理後のテスト画像３６０と、（１つ又は複数の）期待画像３６２との比較は、ハードウェアプロセッサ１０４によって実行され、セキュリティアセスメントモジュール３１８を使用して、ソフトウェアコード１１０／３１０によって実行されてもよい。

【0045】

いくつかの実装形態では、図４に示されるように、フローチャート４７０は、（１つ又は複数の）処理後のテスト画像３６０が、（１つ又は複数の）期待画像３６２と一致するとき、セキュリティに関してアセスメントされたコンテンツ処理パイプライン１５０の少なくとも一部分がセキュアであると検証する（アクション４７５ａ）ことで終了し得る。上述のように、悪意のあるＮＮがアセスメントされるコンテンツ処理パイプライン１５０の部分に存在するユースケースでは、悪意のあるＮＮによる（１つ又は複数の）合成されたテスト画像１２４／２２４／３２４の加工は、（１つ又は複数の）期待画像３６２に存在しない予期せぬ特徴を有する（１つ又は複数の）処理後のテスト画像３６０をもたらすこととなる。その結果、（１つ又は複数の）処理後のテスト画像３６０と、（１つ又は複数の）期待画像３６２との間の一致は、有利には、アクション４７１、４７２、４７３、４７４、及び４７５ａにおいてアセスメントされたコンテンツ処理パイプライン１５０の部分内に悪意のあるＮＮが存在しないことを立証し、それによってパイプラインのその部分におけるデータのセキュリティが検証される。

【0046】

アクション４７１において単一の合成されたテスト画像１２４／２２４／３２４がコンテンツストリーム１２８／３２８に挿入される実装形態では、単一の処理後のテスト画像３６０が単一の期待画像３６２と比較される。しかしながら、複数の合成されたテスト画像１２４／２２４／３２４がコンテンツストリーム１２８／３２８に挿入される実装形態では、複数の処理後のテスト画像３６０の各々が、対応する１つの期待画像３６２と比較される。それらの後者の実装形態では、アクション４７１、４７２、４７３、及び４７４（以下、「アクション４７１から４７４」）においてアセスメントされるコンテンツパイプラインの部分の検証は、処理後のテスト画像３６０の各々がそのそれぞれの期待画像３６２と一致することを要求してもよい。

【0047】

いくつかの実装形態では、全体として、コンテンツ処理パイプライン１５０のセキュリティをアセスメントすることが有利であり、或いは望ましい場合がある。例えば、出力ストリーム１５８／３５８が、アクション４７３においてコンテンツ処理パイプライン１５０の最終処理ノード１５２ｃから受信される場合、コンテンツ処理パイプライン１５０の全体は、（１つ又は複数の）処理後のテスト画像３６０が期待画像３６２に一致するとき、セキュアであると検証され得る。しかしながら、他の実装形態では、各処理ノードのセキュリティを個別にアセスメントすることによって、コンテンツ処理パイプラインのセキュリティをアセスメントすることが有利であり、或いは望ましい場合がある。それらの後者の実装形態では、例えば、アクション４７１から４７４は、第１処理ノード１５２ａ、中間処理ノード１５２ｂ、及び最終処理ノード１５２ｃの各々に関して実行されてもよい。

【0048】

逆に、（１つ又は複数の）処理後のテスト画像３６０が、（１つ又は複数の）期待画像３６２と一致しない場合、フローチャート４７０によって概説された方法は、コンテンツ処理パイプライン１５０の少なくとも１つの処理ノード上の悪意のあるＮＮの存在の可能性を有利に検出する。それらの状況では、アクション４７１、４７２、４７３、及び４７４は、アクション４７３において受信された出力ストリームを提供するコンテンツ処理パイプライン１５０の部分の各処理ノードに関して、或いはそれらの処理ノードのサブセットに関して反復され得る（アクション４７５ｂ）。例えば、（１つ又は複数の）合成されたテスト画像１２４／２２４／３２４を含む入力ストリーム１４８／３４８が、第１処理ノード１５２ａに提供され、最終処理ノード１５２ｃから受信された出力ストリーム１５８／３５８に含まれる（１つ又は複数の）処理後のテスト画像３６０が、（１つ又は複数の）期待画像３６２と一致しない場合、入力ストリーム１４８／３４８は、第１処理ノード１５２ａに新たに提供されてもよいが、この時、中間処理ノード１５２ｂから受信された出力ストリーム１５６／３５６に含まれる（１つ又は複数の）処理後のテスト画像３６０は、（１つ又は複数の）期待画像３６２と比較され得る。出力ストリーム１５６／３５６に含まれる（１つ又は複数の）処理後のテスト画像３６０が、（１つ又は複数の）期待画像３６２と一致するが、出力ストリーム１５８／３５８に含まれる（１つ又は複数の）処理後のテスト画像３６０が一致しない場合、第１処理ノード１５２ａ及び中間処理ノード１５２ｂはセキュアであると検証され、悪意のあるＮＮによって実行された画像の加工は、最終処理ノード１５２ｃに孤立されていると有利に識別され得る。

【0049】

いくつかの実装形態では、ハードウェアプロセッサ１０４は、ソフトウェアコード１１０／３１０を実行し、フローチャート４７０において概説されたアクションを実行し、人間の関与が省略され得る自動化されたプロセスにおいて、セキュリティアセスメント１６４／３６４を生成してもよいことに留意されたい。すなわち、それらの実装形態では、システム１００は、セキュリティアセスメント１６４／３６４を自動的に生成するように構成されている。さらに、いくつかの実装形態では、ハードウェアプロセッサ１０４は、ソフトウェアコード１１０／３１０をさらに実行し、システム１００のディスプレイ１０８上にセキュリティアセスメント１６４／４６４をレンダリングしてもよい。代替的に、いくつかの実装形態では、ハードウェアプロセッサ１０４は、ソフトウェアコード１１０／３１０を実行し、通信ネットワーク１２０及びネットワーク通信リンク１２２を介して、セキュリティアセスメント１６４／３６４をユーザシステム１３０に送信し、ユーザシステム１３０のディスプレイ１３８上にレンダリングしてもよい。

【0050】

このように、本願は、従来技術の難点及び欠陥を克服する、コンテンツ処理パイプラインをセキュアにするためのシステム及び方法を開示する。上述のように、悪意のあるＮＮの１つ又は複数のニューロンを活性化するように構成されている合成されたテスト画像を、コンテンツ処理パイプラインへの入力ストリームとして提供されるコンテンツストリームに挿入することによって、本セキュリティソリューションは、有利には、悪意のあるＮＮがパイプラインに存在するときに、悪意のあるＮＮの検出を可能にする。さらに、パイプラインの１つ又は複数のコンテンツ処理ノードから受信された出力ストリームに含まれる合成されたテスト画像を、合成されたテスト画像に対応する期待画像と比較することによって、本ソリューションは、悪意のあるＮＮによって感染されたパイプラインの１つ又は複数のノードの識別を可能にする。

【0051】

以上の説明から、様々な技術が、本願で説明された概念を実装するために、それらの概念の範囲から逸脱することなく、使用され得ることは明らかである。さらに、概念は、特定の実装形態を具体的に参照して説明されてきたが、当業者は、それらの概念の範囲から逸脱することなく、形態及び詳細において変更が加えられ得ることを認識するであろう。そのように、説明された実装形態は、全ての点で例示的であり、制限的でないとみなされるべきである。また、本願は、本明細書で説明された特定の実装形態に限定されるものではなく、本開示の範囲から逸脱することなく多くの再構成、変更、及び置換が可能であることを理解されるべきである。

【図1】

【図2】

【図3】

【図4】

【国際調査報告】