(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-15
(45)【発行日】2024-04-23
(54)【発明の名称】加工コンテンツの真正性アセスメント
(51)【国際特許分類】
G06F 21/64 20130101AFI20240416BHJP
G06F 16/903 20190101ALI20240416BHJP
【FI】
G06F21/64
G06F16/903
(21)【出願番号】P 2022538984
(86)(22)【出願日】2021-01-04
(86)【国際出願番号】 US2021012090
(87)【国際公開番号】W WO2021141860
(87)【国際公開日】2021-07-15
【審査請求日】2022-07-07
(32)【優先日】2020-01-08
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】504399716
【氏名又は名称】ディズニー エンタープライゼス インコーポレイテッド
(74)【代理人】
【識別番号】100147485
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100211395
【氏名又は名称】鈴木 裕貴
(72)【発明者】
【氏名】マーク アラナ
(72)【発明者】
【氏名】エドワード シー ドレイク
(72)【発明者】
【氏名】ミケル エンジェル ファッレ ジュウ
(72)【発明者】
【氏名】アンソニー エム アッカルド
【審査官】上島 拓也
(56)【参考文献】
【文献】特表2019-534526(JP,A)
【文献】特開2003-122726(JP,A)
【文献】特開2019-003421(JP,A)
【文献】特開2017-204704(JP,A)
【文献】特開2008-192135(JP,A)
【文献】特開2018-073054(JP,A)
【文献】特開2015-072505(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 21/64
G06F 16/903
(57)【特許請求の範囲】
【請求項1】
ハードウェアプロセッサ及びシステムメモリを含むコンピューティングプラットフォームと、
前記システムメモリに格納されたソフトウェアコードであって、
前記ソフトウェアコードは、ベースラインデジタルコンテンツに基づいて生成され
た加工コンテンツの真正性をアセスメントするために訓練されたニューラルネットワークを含
み、前記加工コンテンツは前記ベースラインデジタルコンテンツに対する1つ又は複数の加工を含む、前記ソフトウェアコードと、
を含み、
前記ハードウェアプロセッサは、前記ソフトウェアコードを実行して、
前記ニューラルネットワークを使用して、前記加工コンテンツを受信することと、
前記ニューラルネットワークを使用して、前記ベースラインデジタルコンテンツに対する前記1つ又は複数の加工を、前記ベースラインデジタルコンテンツから区別することと、
前記ニューラルネットワークを使用して、
前記ベースラインデジタルコンテンツから区別された、前記ベースラインデジタルコンテンツに対する前記1つ又は複数の加工の各々の真正性をアセスメントして、
前記ベースラインデジタルコンテンツから区別された、前記ベースラインデジタルコンテンツに対する前記1つ又は複数の加工にそれぞれ対応する1つ又は複数の真正性アセスメントを作成することと、
前記1つ又は複数の真正性アセスメントに基づいて、前記加工コンテンツの真正性評価を生成することと、
ディスプレイ上にレンダリングするために前記真正性評価を出力することと、を行うように構成されている、
システム。
【請求項2】
前記ニューラルネットワークは、前記1つ又は複数の加工の各々の1つ又は複数の固有属性を使用して、前記ニューラルネットワークによって生成された前記1つ又は複数の加工の各々の検証データに基づいて、前記ベースラインデジタルコンテンツに対する前記1つ又は複数の加工の各々の前記真正性をアセスメントするように構成されて
おり、前記1つ又は複数の固有属性は、前記ベースラインデジタルコンテンツの各セグメントにおけるデータの量、前記ベースラインデジタルコンテンツの各セグメントのデータ形式、前記ベースラインデジタルコンテンツの各セグメントを作成するために使用された各デバイスのデバイス識別情報、前記ベースラインデジタルコンテンツの各セグメントの作成日付、又は、前記ベースラインデジタルコンテンツの各セグメントの作成時の前記デバイスの位置、の少なくとも1つ以上を含む、請求項1に記載のシステム。
【請求項3】
前記1つ又は複数の加工の各々の前記検証データは、前記1つ又は複数の加工の各々の前記1つ又は複数の固有属性のハッシュ値を含む、請求項2に記載のシステム。
【請求項4】
前記真正性評価は、前記1つ又は複数の真正性アセスメントをグラフィカルに描写する可視化を含む、請求項1に記載のシステム。
【請求項5】
前記可視化は、前記1つ又は複数の真正性アセスメントに基づく前記加工コンテンツのヒートマップを含む、請求項4に記載のシステム。
【請求項6】
前記ハードウェアプロセッサは、前記ソフトウェアコードを実行して、前記1つ又は複数の真正性アセスメントに基づいて、前記加工コンテンツの1つ又は複数のセグメントに関するアセスメント信頼度スコアを判定することをさらに行うように構成されている、請求項1に記載のシステム。
【請求項7】
前記真正性評価は、前記加工コンテンツの前記1つ又は複数のセグメントに関する前記アセスメント信頼度スコアに基づく前記加工コンテンツのヒートマップを含む、請求項6に記載のシステム。
【請求項8】
前記加工コンテンツの前記1つ又は複数のセグメントの各々は、前記加工コンテンツのタイムコード間隔に基づいてセグメント化される、請求項
1に記載のシステム。
【請求項9】
前記加工コンテンツは、ビデオを含み、前記加工コンテンツの前記1つ又は複数のセグメントの各々は、ビデオのシーン、ビデオのショット、又はビデオのフレームのうちの1つを含む、請求項
1に記載のシステム。
【請求項10】
前記加工コンテンツは、オーディオを含み、前記加工コンテンツの前記1つ又は複数のセグメントの各々は、オーディオトラックを含む、請求項
1に記載のシステム。
【請求項11】
ハードウェアプロセッサと、
ベースラインデジタルコンテンツに基づいて生成され
た加工コンテンツの真正性をアセスメントするために訓練されたニューラルネットワークを含むソフトウェアコードを格納するシステムメモリ
であって、前記加工コンテンツは前記ベースラインデジタルコンテンツに対する1つ又は複数の加工を含む、システムメモリと、
を有するコンピューティングプラットフォームを含むシステムによる使用のための方法であって、前記方法は、
前記ハードウェアプロセッサによって実行され、且つ前記ニューラルネットワークを使用する、前記ソフトウェアコードによって、前記加工コンテンツを受信することと、
前記ハードウェアプロセッサによって実行され、且つ前記ニューラルネットワークを使用する、前記ソフトウェアコードによって、前記ベースラインデジタルコンテンツに対する前記1つ又は複数の加工を、前記ベースラインデジタルコンテンツから区別することと、
前記ハードウェアプロセッサによって実行され、且つ前記ニューラルネットワークを使用する、前記ソフトウェアコードによって、
前記ベースラインデジタルコンテンツから区別された、前記ベースラインデジタルコンテンツに対する前記1つ又は複数の加工の各々の真正性をアセスメントして、
前記ベースラインデジタルコンテンツから区別された、前記ベースラインデジタルコンテンツに対する前記1つ又は複数の加工にそれぞれ対応する1つ又は複数の真正性アセスメントを作成することと、
前記ハードウェアプロセッサによって実行される前記ソフトウェアコードによって、前記1つ又は複数の真正性アセスメントに基づいて、前記加工コンテンツの真正性評価を生成することと、
前記ハードウェアプロセッサによって実行される前記ソフトウェアコードによって、ディスプレイ上にレンダリングするために前記真正性評価を出力することと、
を含む、方法。
【請求項12】
前記ニューラルネットワークは、前記1つ又は複数の加工の各々の1つ又は複数の固有属性を使用して、前記ニューラルネットワークによって生成された前記1つ又は複数の加工の各々の検証データに基づいて、前記ベースラインデジタルコンテンツに対する前記1つ又は複数の加工の各々の前記真正性をアセスメントするように構成されて
おり、前記1つ又は複数の固有属性は、前記ベースラインデジタルコンテンツの各セグメントにおけるデータの量、前記ベースラインデジタルコンテンツの各セグメントのデータ形式、前記ベースラインデジタルコンテンツの各セグメントを作成するために使用された各デバイスのデバイス識別情報、前記ベースラインデジタルコンテンツの各セグメントの作成日付、又は、前記ベースラインデジタルコンテンツの各セグメントの作成時の前記デバイスの位置、の少なくとも1つ以上を含む、請求項11に記載の方法。
【請求項13】
前記1つ又は複数の加工の各々の前記検証データは、前記1つ又は複数の加工の各々の前記1つ又は複数の固有属性のハッシュ値を含む、請求項12に記載の方法。
【請求項14】
前記真正性評価は、前記1つ又は複数の真正性アセスメントをグラフィカルに描写する可視化を含む、請求項11に記載の方法。
【請求項15】
前記可視化は、前記1つ又は複数の真正性アセスメントに基づく前記加工コンテンツのヒートマップを含む、請求項14に記載の方法。
【請求項16】
前記ハードウェアプロセッサによって実行される前記ソフトウェアコードによって、前記1つ又は複数の真正性アセスメントに基づいて、前記加工コンテンツの1つ又は複数のセグメントに関するアセスメント信頼度スコアを判定することをさらに含む、請求項11に記載の方法。
【請求項17】
前記真正性評価は、前記加工コンテンツの前記1つ又は複数のセグメントに関する前記アセスメント信頼度スコアに基づく前記加工コンテンツのヒートマップを含む、請求項16に記載の方法。
【請求項18】
前記加工コンテンツの前記1つ又は複数のセグメントの各々は、前記加工コンテンツのタイムコード間隔に基づいてセグメント化される、請求項
11に記載の方法。
【請求項19】
前記加工コンテンツは、ビデオを含み、前記加工コンテンツの前記1つ又は複数のセグメントの各々は、ビデオのシーン、ビデオのショット、又はビデオのフレームのうちの1つを含む、請求項
11に記載の方法。
【請求項20】
前記加工コンテンツは、オーディオを含み、前記加工コンテンツの前記1つ又は複数のセグメントの各々は、オーディオトラックを含む、請求項
11に記載の方法。
【請求項21】
請求項1に記載のシステムにおいて、前記加工コンテンツを受信する前に、前記システムは、
コンテンツの作成又は前記コンテンツに対する加工の正当性を認証することと、
認証された前記コンテンツから取得された訓練データを用いて前記ニューラルネットワークを訓練することと、
を実行するよう構成される、システム。
【請求項22】
請求項21に記載のシステムにおいて、前記正当性の認証は、ユーザが前記コンテンツを作成した又は加工したことを認証する、システム。
【請求項23】
請求項22に記載のシステムにおいて、前記正当性の認証は、前記コンテンツを作成又は加工するために使用されたデバイス又はアプリケーションを識別するコンテンツ内メタデータを使用する、システム。
【請求項24】
請求項11に記載の方法において、前記加工コンテンツを受信する前に、
コンテンツの作成又は前記コンテンツに対する加工の正当性を認証することと、
認証された前記コンテンツから取得された訓練データを用いて前記ニューラルネットワークを訓練することと、
を含む方法。
【請求項25】
請求項24に記載の方法において、前記正当性の認証は、ユーザが前記コンテンツを作成した又は加工したことを認証する、方法。
【請求項26】
請求項25に記載の方法において、前記正当性の認証は、前記コンテンツを作成又は加工するために使用されたデバイス又はアプリケーションを識別するコンテンツ内メタデータを使用する、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、本願と同時に出願された「Content Authentication Based on Intrinsic Attributes」と題された米国特許出願第16/737,810、代理人整理番号0260635に関し、参照により本願に完全に援用する。
【背景技術】
【0002】
機械学習の進歩は、本物のようだが人物の画像又は音声から偽装された再現物の作成を可能にし、それはその作成のためにディープ人工ニューラルネットワークを使用することに起因して、「ディープフェイク」として知られている。ディープフェイクは、画像又は音声が使用される本人の同意なしに作成され得、本人が実際には言っていないこと又はやっていないことを、言ったり或いはやったりするように見せかけ得る。その結果、ディープフェイクの加工デジタルコンテンツは、誤報を広めるために悪意を持って使用され得る。
【0003】
エンターテインメント及びニュースの配信にデジタルコンテンツが広く親しまれていることにより、そのコンテンツの効果的な認証及び管理は、コンテンツの作成者、所有者、及び配信者のいずれにも重要である。しかしながら、機械学習ソリューションが改良し続けるにつれて、ディープフェイクは検出することが困難になり続けており、困難になり続けるだろう。その結果、わずかに加工された、或いは完全に偽のデジタルコンテンツが、不注意に放送され得、或いは契約上の合意又は規制制限に違反して配信され得、それによってコンテンツの所有者及び/又は配信者が潜在的に法的危険にさらされ得る。
【発明の概要】
【0004】
実質的に、少なくとも1つの図に関連して示され、且つ/或いは説明されるように、且つ、特許請求の範囲に、より完全に明記されるように、加工コンテンツの真正性をアセスメントするためのシステム及び方法が提供される。
【図面の簡単な説明】
【0005】
【
図1】
図1は、一実装形態による、ベースラインデジタルコンテンツが1人又は複数のユーザによって加工される例示的な使用例のダイアグラムを示す。
【
図2】
図2は、一実装形態による、加工コンテンツの真正性をアセスメントするための例示的なシステムのダイアグラムを示す。
【
図3】
図3は、一実装形態による、加工コンテンツの真正性をアセスメントするために訓練されたニューラルネットワーク(NN)を含むソフトウェアコードの例示的なダイアグラムを示す。
【
図4】
図4は、一実装形態による、加工コンテンツの真正性をアセスメントするための例示的な方法を提示するフローチャートを示す。
【
図5】
図5は、一実装形態による、加工コンテンツの真正性をアセスメントするためのシステムによって提供される例示的なグラフィカルユーザインターフェース(GUI)を示す。
【発明を実施するための形態】
【0006】
以下の説明は、本開示における実装形態に関する具体的な情報を含む。当業者は、本開示が本明細書で具体的に議論されるのとは異なる方法で実装され得ることを認識するであろう。本願の図面及び添付の詳細な説明は、単に例示的な実装形態を対象とする。特段の記載がない限り、図中の同様の或いは対応する要素は、同様の或いは対応する参照数字によって示され得る。さらに、本願の図面及び図示は一般的に、縮尺通りではなく、実際の相対的な寸法に対応することを目的としない。
【0007】
本願は、従来技術における難点及び欠陥を克服する加工コンテンツの真正性をアセスメントするためのシステム及び方法を開示する。デジタルコンテンツの最初に作成されたバージョン、又は「ベースライン」バージョンにおいて、デジタルコンテンツに対する1つ又は複数の加工の真正性をアセスメントするために訓練済みのニューラルネットワークを使用することによって、本願は、最新技術を改善する、加工コンテンツの細かな差異のアセスメントを可能にする高度な認証ソリューションを開示する。さらに、基礎となるベースラインデジタルコンテンツに対する1つ又は複数の加工の固有属性に基づいて加工コンテンツをアセスメントするための、検証データを生成することによって、本ソリューションは、有利には、各加工自体の特性を利用し、その真正性をアセスメントする。
【0008】
いくつかの実装形態では、本コンテンツの認証ソリューションは、実質的に自動化されたシステムによる実質的に自動化されたプロセスとして実行され得ることに留意されたい。本願で使用されるように、用語「自動化」、「自動化された」、及び「自動化する」は、システム管理者のような、人間のユーザの参加を必要としないシステム及びプロセスを指すことに留意されたい。いくつかの実装形態では、人間のシステムオペレータ又は管理者が、自動化されたシステムによって、且つ本明細書で説明された自動化された方法に従って行われた認証判定を確認し得るが、その人間の関与は任意である。したがって、本願で説明された方法は、開示された自動化されたシステムのハードウェア処理コンポーネントの制御下で実行され得る。
【0009】
図1は、一実装形態による、ベースラインデジタルコンテンツ122が、許可された編集プロセスにおいてユーザ102bによって加工され、許可された編集プロセスにおいて或いは許可されていない編集プロセスにおいてユーザ102cによってさらに加工され得る、例示的な使用例のダイアグラム100を示す。
図1には、デバイス110aを利用するユーザ102a、デバイス110bを利用するユーザ102b、デバイス110cを利用するユーザ102c、及びデバイス110dを利用するユーザ102dが含まれている。また、
図1には、加工コンテンツ120a及びさらなる加工コンテンツ120bの例が示されている。本願で定義されるように、表現「加工コンテンツ」は、その作成後に1つ又は複数の加工を受けたベースラインデジタルコンテンツ122を指すことに留意されたい。さらに、本明細書で定義されるように、「真正コンテンツ」は、加工が行われていないベースラインデジタルコンテンツ、又は、作成者若しくはベースラインデジタルコンテンツに変更を加えることが許可されたユーザのような、コンテンツの許可されたユーザによって導入された加工のみを含む加工コンテンツ、のいずれかを指す。
【0010】
ベースラインデジタルコンテンツ122は、上述のように、参照により本願に完全に援用する、「Content Authentication Based on Intrinsic Attributes」と題された米国特許出願第16/737,810によって説明された方法を含むが、それに限定されない、任意の適切な方法を使用してそのように判定され得ることに留意されたい。本願において、加工コンテンツ120a及び/又はさらなる加工コンテンツ120bに含まれるベースラインデジタルコンテンツは、本明細書ではそのようにラベル付けされ、且つ/或いは説明されたコンテンツである。
【0011】
図1によって示される例示的な実装形態によれば、ユーザ102bは、ユーザ102aからベースラインデジタルコンテンツ122を受信し得る。例えば、ユーザ102bは、ユーザ102aによって制御されるデバイス110aからベースラインデジタルコンテンツ122を受信してもよい。ユーザ102aは、ベースラインデジタルコンテンツ122の作成者であってもよく、或いはベースラインデジタルコンテンツ122の許可された配信者であってもよい。ユーザ102aは、例えば、ベースラインデジタルコンテンツ122を生成するために、デバイス110aと統合された1つ又は複数のマイクロフォン、及び/又は、1つ又は複数の深度センサ、及び/又は、1つ又は複数のビデオカメラ、及び/又は、1つ又は複数の静止画像カメラを利用してもよい。様々な実装形態では、ベースラインデジタルコンテンツ122は、いくつかの例を挙げると、音声なしのビデオコンテンツ、映像なしのオーディオコンテンツ、又は映画のオーディオ-ビデオコンテンツ、ウェブシリーズ及び/若しくはビデオログを含み得るエピソードテレビ(TV)コンテンツ、スポーツコンテンツ、ニュースコンテンツ、又はビデオゲームコンテンツであってもよい。代替的に、いくつかの実装形態では、ベースラインデジタルコンテンツ122は、デジタル写真の形態をとってもよい。
【0012】
ビデオカメラとしてのデバイス110a、スマートフォンとしてのデバイス110b、ラップトップコンピュータとしてのデバイス110c、及びデスクトップコンピュータとしてのデバイス110dの描写は、単に例示的なものであることに留意されたい。様々な他の実装形態では、1つ又は複数のデバイス110a、110b、110c、及び110d(以下、「(複数の)デバイス110a-110d」)は、タブレットコンピュータ、ゲーム機、スマートテレビ(スマートTV)、又はウェアラブル通信デバイスの形態をとってもよい。さらに、ウェアラブル通信デバイスとして実装されるとき、(複数の)デバイス110a-110dは、拡張現実(AR)若しくは仮想現実(VR)のヘッドセット若しくは眼鏡、スマートウォッチ、スマートリング、又は、1人若しくは複数のユーザ102a、102b、102c、若しくは102d(以下、「ユーザ102a-102d」)によって着用される任意の他のスマート個人アイテムの形態をとってもよく、或いは、1人又は複数のユーザ102a-102dによって着用される衣類の中又は衣服の上に据えられてもよい。
【0013】
図1に示されるように、ユーザ102bは、デバイス110bを利用してユーザ102aによって制御されるデバイス110aからベースラインデジタルコンテンツ122を受信し、デバイス110bを使用してベースラインデジタルコンテンツ122を加工し得、加工コンテンツ120aを作成し得る。
図1に示される例示的な実装形態によれば、ベースラインデジタルコンテンツ122に対して行われた加工は、許可された加工である。いくつかのそのような実装形態では、
図1に示されるように、ユーザ102b及びデバイス110bによって行われたベースラインデジタルコンテンツ122に対する加工は、許可された加工を記述する編集データ121aが、加工コンテンツ120aのその後の認証における記憶及び使用のために安全な取引台帳101に送信されるという結果をもたらす。様々な実装形態では、安全な取引台帳101は、公開或いは非公開の安全な取引台帳の形態をとり得ることに留意されたい。そのような安全な取引台帳の例は、いくつか挙げると、ブロックチェーン、ハッシュグラフ、有向非巡回グラフ(DAG)、及びホロチェーン台帳を含んでもよい。
【0014】
図1にさらに示されるように、ユーザ102cは、デバイス110cを利用してデバイス110bから加工コンテンツ120aを受信し得、デバイス110cを使用して加工コンテンツ120aをさらに加工し得、さらなる加工コンテンツ120bを作成し得る。ユーザ102cによる加工コンテンツ120aのさらなる加工が許可されるいくつかの実装形態では、許可されたさらなる加工を記述する編集データ121bはまた、さらなる加工コンテンツ120bのその後の認証における記憶及び使用のために安全な取引台帳101に送信されてもよい。しかしながら、加工コンテンツ120aに対するさらなる加工が許可されていないとき、編集データ121bは生成されず、安全な取引台帳101に格納されない。
【0015】
図1に示される実装形態は、ユーザ102bがベースラインデジタルコンテンツ122に対する許可された加工を行い、次いで、加工コンテンツ120aをユーザ102cに転送することを描写しているが、その使用例は、単に例示的なものである。他の実装形態では、ユーザ102cは、デバイス110a及び110cを直接結ぶ破線111によって示されるように、ユーザ102aから直接ベースラインデジタルコンテンツ122を受信してもよい。すなわち、いくつかの実装形態では、ベースラインデジタルコンテンツ122は、ユーザ102cによる許可されていない加工を受ける前に、ユーザ102bによる許可された加工を受けない場合がある。
【0016】
ベースラインデジタルコンテンツ122及び加工コンテンツ120aの加工は、デバイス110b及び110cに格納された、例えば、オーディオ及び/若しくはビデオ記録、又は編集アプリケーションのような、1つ又は複数のコンテンツ処理アプリケーションの使用を通じて実行されてもよい。ベースラインデジタルコンテンツ122の加工又は加工コンテンツ120aのさらなる加工は、ベースラインデジタルコンテンツ122及び/又は加工コンテンツ120aに含まれるオーディオコンテンツ及び/又はビデオコンテンツの1つ又は複数のセグメントの加工を含んでもよい。ベースラインデジタルコンテンツ122又は加工コンテンツ120aの加工は、ビデオコンテンツのみの加工、オーディオコンテンツのみの加工、VRアプリケーションによる使用のための深度点群のような、没入型コンテンツのみの加工、又は、オーディオ、ビデオ及び没入型コンテンツの任意の組み合わせの加工を含んでもよい。
【0017】
そのような加工がベースラインデジタルコンテンツ122又は加工コンテンツ120aのビデオコンテンツを加工することである場合、加工は、いくつかの例を挙げると、1つ又は複数のビデオフレームの画像特性(例えば、コントラスト、明るさなど)を変更すること、1つ又は複数のビデオフレームを削除すること、1つ又は複数のビデオフレームを挿入すること、1つ又は複数のビデオフレームからオブジェクトを取り除くこと、1つ又は複数のビデオフレームにオブジェクトを挿入すること、1つ又は複数のビデオフレーム内で色を変更すること、或いは1つ又は複数のビデオフレームにメタデータを付加すること、のうちの1つ又は複数を含んでもよい。同様に、加工がデジタル写真の形態のベースラインデジタルコンテンツ122を加工することである場合、加工は、いくつかの例を挙げると、デジタル写真の画像特性(例えば、コントラスト、明るさなど)を変更すること、デジタル写真からオブジェクトを取り除くこと、デジタル写真にオブジェクトを挿入すること、デジタル写真内で色を変更すること、或いはデジタル写真にメタデータの付加すること、のうちの1つ又は複数を含んでもよい。
【0018】
ベースラインデジタルコンテンツ122又は加工コンテンツ120aの加工が、ベースラインデジタルコンテンツ122又は加工コンテンツ120aのオーディオコンテンツを加工することである場合、そのような加工は、例えば、元のオーディオコンテンツの一部分の削除、及び/又は、音楽若しくはスピーチのような、追加のオーディオコンテンツの挿入を含んでもよい。代替的に或いは追加的に、ベースラインデジタルコンテンツ122又は加工コンテンツ120aのオーディオコンテンツの操作は、オーディオトラックをミキシングすること、1つ又は複数のオーディオトラックのオーディオレベルを変更すること、或いは1つ又は複数のオーディオトラックにメタデータを付加することを含んでもよい。ベースラインデジタルコンテンツ122又は加工コンテンツ120aの加工が、VRアプリケーションでの使用のためにデバイス110aによってキャプチャされた深度点群のような、没入型コンテンツを加工する場合、加工は、例えば、深度点群の一部分の削除を含んでもよい。
【0019】
図1に示される実装形態によれば、ユーザ102dは、デバイス110dを利用してデバイス110bから(ユーザ102bによって作成された)加工コンテンツ120aを受信し、或いはデバイス110cから(ユーザ102cによって作成された場合)さらなる加工コンテンツ120bを受信する。しかしながら、ベースラインデジタルコンテンツ122に対して行われた加工、又は加工コンテンツ120aに対して行われたさらなる加工の真正性をアセスメントするためのロバストなソリューションがない場合、ユーザ102dは、加工コンテンツ120a又はさらなる加工コンテンツ120bがベースラインデジタルコンテンツ122に対する許可された加工のみを含むことを保証することができない。その結果、加工コンテンツの真正性をアセスメントするためのロバストなソリューションがないことから生じる不確実性は、真正コンテンツの配信、消費、及び享受を不所望に妨げ得る。
【0020】
図2は、一実装形態による、加工コンテンツの真正性をアセスメントするための例示的なシステム230のダイアグラムを示す。以下で議論されるように、システム230は、ローカルエリアネットワーク(LAN)を介してアクセス可能なコンピュータサーバを使用して実装されてもよく、或いはクラウドベースのシステムとして実装されてもよい。さらに、
図2に示されるように、システム230は、ハードウェアプロセッサ234を有するコンピューティングプラットフォーム232と、非一時的記憶デバイスとして実装されるシステムメモリ236とを含む。例示的な本実装形態によれば、システムメモリ236は、加工コンテンツ220の真正性をアセスメントするように構成されている真正性評価270を含むグラフィカルユーザインターフェース(GUI)238を提供するソフトウェアコード240を格納する。
図2にさらに示されるように、加工コンテンツ220は、ベースラインデジタルコンテンツ222、ベースラインデジタルコンテンツ222のための認証データ224、及びベースラインデジタルコンテンツ222に対する加工226を含む。
図2に示される例示的な実装形態によれば、ベースラインデジタルコンテンツ222に対する加工226は、認証データ228を有する加工226a、及びそのような認証データを欠く加工226bを含む。
【0021】
いくつかの実装形態によれば、加工226a及び226bの各々は、加工コンテンツ220においてベースラインコンテンツ222に対して行われた全ての加工を表してもよい。すなわち、加工226aは、認証データ228を有する全ての加工に対応してもよく、加工226bは、認証データを欠く全ての加工に対応してもよい。しかしながら、他の実装形態では、ベースラインコンテンツ222に対する個々の加工、例えば、セピアフィルタ又は他の色の変更の適用、明るさの変更などは、別個の加工として格納されてもよい。
【0022】
例えば、ベースラインコンテンツ222に対する各加工は、別個に格納されてもよく、配信又は再生のときに一緒にまとめられてもよい。一実装形態では、例えば、編集アプリケーションは、加工コンテンツをレンダリングするときに「inverse Photoshop Document(.psd)ファイル」を生成するように構成されていてもよく、この「inverse.psdファイル」は、レンダリングするときにベースラインコンテンツ222に適用された全ての変更を否定する変換を実行する命令を有し、それによって加工コンテンツ220に含まれるベースラインコンテンツ222の非破壊保存を可能にする。一実装形態では、EXIF(Exchangeable Image File Format)タグの拡張は、加工を記録するために使用され得る。編集アプリケーションは、加工に「inverse.psdファイル」を埋め込むように構成されていてもよく、これにより、加工コンテンツ220を受信する別のユーザが、ベースラインコンテンツ222を再生成するためにそれを抽出して実行することを選択し得る。別の実装形態では、編集アプリケーションは、ベースラインコンテンツ222がインポートされているかを判定するように構成されていてもよい。インポートされている場合、アプリケーションは、ベースラインコンテンツ222と、加工226a及び226bとを別個にエクスポートしてもよい。
【0023】
また、
図2に示されるように、システム230は、安全な取引台帳201と、ディスプレイ212を含むデバイス210dと、デバイス210dを利用するユーザ202dとを含む使用環境内に実装される。通信ネットワーク204及びネットワーク通信リンク206は、システム230がデバイス210dから加工コンテンツ220を受信し、デバイス210dのディスプレイ212上にレンダリングするために真正性評価270を出力することを可能にするように、デバイス210dにシステム230を通信可能に結合し、任意に安全な取引台帳201にシステム230を結合し得ることに留意されたい。
【0024】
ベースラインデジタルコンテンツ222を含む加工コンテンツ220は、加工コンテンツ120a及びさらなる加工コンテンツ120bのいずれか又は両方に一般的に対応し、加工コンテンツ120a及びさらなる加工コンテンツ120bの両方がベースラインデジタルコンテンツ122を含む。その結果、ベースラインデジタルコンテンツ222、及び加工コンテンツ220は、本開示によってそれぞれのベースラインデジタルコンテンツ122と、加工コンテンツ120a及びさらなる加工コンテンツ120bのいずれか又は両方とに起因する任意の特性を共有してもよく、その逆も同様であってもよい。
【0025】
さらに、ユーザ202dと、ディスプレイ212を含むデバイス210dと、安全な取引台帳201とは、
図1における、ユーザ102dと、デバイス110dと、安全な取引台帳101とにそれぞれ一般的に対応する。その結果、ユーザ202dと、デバイス210dと、安全な取引台帳201とは、本開示によってそれぞれのユーザ102dと、デバイス110dと、安全な取引台帳101とに起因する任意の特性を共有してもよく、その逆も同様であってもよい。すなわち、
図2では、デバイス210dは、デスクトップコンピュータとして示されているが、その表現は、単に例として提供される。より一般的には、デバイス210dは、ユーザインターフェースを提供し、通信ネットワーク204への接続をサポートし、本明細書においてデバイス210dに起因する機能性を実装するのに十分なデータ処理能力を実装する任意の適切なモバイル又は静止コンピューティングデバイス又はシステムであってもよい。
【0026】
様々な実装形態では、ディスプレイ212は、デバイス210dと物理的に統合され得、或いはデバイス210dと通信可能に結合されているが物理的に分離され得ることに留意されたい。例えば、デバイス210dがスマートフォン、ラップトップコンピュータ、又はタブレットコンピュータとして実装される場合、ディスプレイ212は典型的には、デバイス210dと統合されるであろう。対照的に、デバイス210dがデスクトップコンピュータとして実装される場合、ディスプレイ212は、コンピュータタワーの形態のデバイス210dから分離されたモニタの形態をとってもよい。ディスプレイ212は、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイ、有機発光ダイオード(OLED)ディスプレイ、又は信号から光への物理的変換を実行する任意の他の適切なディスプレイスクリーンとして実装され得ることにさらに留意されたい。
【0027】
システム230に関して、本願は、概念的な明確さのために、システムメモリ236に格納されているようなソフトウェアコード240を指すが、より一般的には、システムメモリ236は、任意のコンピュータ読み取り可能な非一時的記憶媒体の形態をとってもよい。本願で使用されるような、表現「コンピュータ読み取り可能な非一時的記憶媒体」は、コンピューティングプラットフォーム232のハードウェアプロセッサ234に命令を提供する搬送波又は他の一時的な信号を除く、任意の媒体を指す。したがって、コンピュータ読み取り可能な非一時的媒体は、例えば、揮発性媒体及び不揮発性媒体のような、様々なタイプの媒体に対応してもよい。揮発性媒体は、ダイナミックランダムアクセスメモリ(ダイナミックRAM)のような、動的メモリを含んでもよく、不揮発性メモリは、光学、磁気、又は静電記憶デバイスを含んでもよい。コンピュータ読み取り可能な非一時的媒体の一般的な形態は、例えば、光ディスク、RAM、プログラマブルリードオンリーメモリ(PROM)、消去可能なPROM(EPROM)、及びFLASHメモリを含む。
【0028】
また、
図2は、ソフトウェアコード240の全体がシステムメモリ236に格納されているように描写しているが、その表現はまた、単に概念的な明確化への補助として提供されることに留意されたい。より一般的には、システム230は、例えばコンピュータサーバのような、1つ又は複数のコンピューティングプラットフォーム232を含んでもよく、コンピューティングプラットフォーム232は、コロケートされてもよく、或いは例えば、クラウドベースシステムのような、相互的に結ばれているが分散されたシステムを形成してもよい。
【0029】
その結果、ハードウェアプロセッサ234及びシステムメモリ236は、システム230内の分散されたプロセッサ及びメモリリソースに対応してもよい。したがって、
図3を参照して以下で説明される1つ又は複数の特徴のような、ソフトウェアコード240の様々な特徴は、システム230の分散されたメモリ及び/又はプロセッサリソースを使用して格納され得、且つ/或いは実行され得ることが理解されるべきである。
【0030】
図2によって示される実装形態によれば、ユーザ202dは、デバイス210dを利用して通信ネットワーク204を介してシステム230と対話し得、加工コンテンツ220の真正性をアセスメントし得る。そのような一実装形態では、コンピューティングプラットフォーム232は、例えば、インターネットのようなパケット交換ネットワークを介してアクセス可能な、1つ又は複数のウェブサーバに対応してもよい。代替的に、コンピューティングプラットフォーム232は、ワイドエリアネットワーク(WAN)、ローカルエリアネットワーク(LAN)をサポートする、或いは別のタイプの限定的な配信又はプライベートネットワークに含まれる、1つ又は複数のコンピュータサーバに対応してもよい。
【0031】
図3は、一実装形態による、
図1及び
図2において、ベースラインデジタルコンテンツ122/222に基づいて生成され、且つベースラインデジタルコンテンツ122/220に対する1つ又は複数の加工226を含む、加工コンテンツ120a/120b/220の真正性をアセスメントするために訓練されたニューラルネットワーク342を含むソフトウェアコード340の例示的なダイアグラムを示す。本願で定義されるように、単に「ニューラルネットワーク」(以下、「NN」)としても知られている、人工ニューラルネットワークは、観測されたデータのパターン又は学習された表現が、入力と出力との間の関係をマッピングする高度に結合された計算層を使用して処理される、機械学習のフレームワークの一種であることに留意されたい。
【0032】
深層学習という面における「ディープニューラルネットワーク」は、入力層と出力層との間の複数の隠れ層を利用するNNを指し得、生データで明示的に定義されていない特徴に基づく学習を可能にし得る。そのように、ディープニューラルネットワークを含むが、それに限定されない、様々な形態のNNは、過去の例又は「訓練データ」に基づいて新しいデータについての予測を行うために使用され得る。様々な実装形態では、NNは、画像解析及び/又は自然言語解析を実行するために利用されてもよい。訓練データは、アーカイブされたデータであり得、或いは、例えば、ユーザ102a又は102bのうちの1人によって以前に作成され、或いは加工され、そのコンテンツの作成又は加工の真正性が検証されたコンテンツであり得ることに留意されたい。それらの使用例では、NNは、例えば、コンテンツを含むデータファイルに埋め込まれた、或いは他の方法で含まれるメタデータによって識別されるように、各ユーザが、コンテンツを作成し、或いは加工するために典型的に利用するデバイス及び/又はアプリケーションのような、ユーザの創造的或いは編集的傾向を学習してもよい。それらの学習された傾向からの大幅な逸脱は、コンテンツ又はコンテンツに対する加工に疑わしいというフラグを立てるために使用され得る。
【0033】
図3に示されるように、NN342に加えて、ソフトウェアコード340は、評価モジュール346を含み、任意のスコアリングモジュール344を含んでもよい。
図3にさらに示されるように、ソフトウェアコード340のNN342は、入力として加工コンテンツ320を受信し、出力として1つ又は複数の真正性アセスメント352a及び/又は352bを提供するように構成されている。いくつかの実装形態では、評価モジュール346は、真正性アセスメント352a及び/又は真正性アセスメント352bに基づいて真正性評価370を生成するように構成されていてもよい。
【0034】
しかしながら、ソフトウェアコード340がスコアリングモジュール344を含む実装形態では、NN342はまた、真正性アセスメント352a及び/又は真正性アセスメント352bをスコアリングモジュール344に出力してもよく、スコアリングモジュール344は、評価モジュール346に、真正性アセスメント352a及び真正性アセスメント352bにそれぞれ対応する1つ又は複数のアセスメント信頼度スコア354a及びアセスメント信頼度スコア354bを提供してもよい。それらの実装形態では、評価モジュール346は、アセスメント信頼度スコア354a及び/又はアセスメント信頼度スコア354b、ならびに真正性アセスメント352a及び/又は真正性アセスメント352bに基づいて真正性評価370を生成するように構成されていてもよい。
【0035】
加工コンテンツ320は、
図2における加工コンテンツ220、ならびに
図1における加工コンテンツ120a及びさらなる加工コンテンツ120bのいずれか又は両方に一般的に対応し、真正性評価370は、
図2における真正性評価270に一般的に対応する。その結果、真正性評価370は、本開示によって真正性評価270に起因する任意の特性を共有してもよく、その逆も同様であってもよい。さらに、加工コンテンツ320は、本開示によって加工コンテンツ220、加工コンテンツ120a、又はさらなる加工コンテンツ120bに起因する任意の特性を共有してもよく、また、その逆も同様であってもよい。すなわち、加工コンテンツ220と同様に、加工コンテンツ320は、ベースラインデジタルコンテンツ222、ベースラインデジタルコンテンツ222のための認証データ224、認証データ228を有するベースラインデジタルコンテンツ222に対する加工226a、及びそのような認証データを欠く、ベースラインデジタルコンテンツ222に対する加工226bを含んでもよい。
【0036】
さらに、ソフトウェアコード340は、ソフトウェアコード240に一般的に対応し、それらの対応する特徴は、本開示によっていずれかの対応する特徴に起因する任意の特性を共有してもよい。したがって、ソフトウェアコード340と同様に、ソフトウェアコード240は、NN342に対応するNN、ならびに評価モジュール346と、いくつかの実装形態では、任意のスコアリングモジュール344とにそれぞれ対応する特徴を含んでもよい。
【0037】
ソフトウェアコード240/340の機能性は、
図2、
図3、及び
図5と組み合わせて
図4への参照によってさらに説明されるであろう。
図4は、一実装形態による、加工コンテンツの真正性をアセスメントするための例示的な方法を提示するフローチャート460を示す。
図4に概説された方法に関して、本願における発明的特徴の議論を不明瞭にしないために、特定の詳細及び特徴がフローチャート460から省かれていることに留意されたい。
【0038】
図5は、一実装形態による、システム230のソフトウェアコード240/340によって提供される例示的なGUI538を示す。
図5に示されるように、例示的なGUI538は、ベースラインデジタルコンテンツ522を識別し、加工ペイン(modifications pane)572と、加工コンテンツ520の例示的なヒートマップの形態の任意の可視化574とを含む、真正性評価570を提供する。しかしながら、他の実装形態では、任意の可視化574は、いくつかの例を挙げると、ベースラインデジタルコンテンツの未加工セグメントとベースラインデジタルコンテンツに対する加工とを区別する表、リスト、又はバッジ又はアイコンの形態をとってもよい。
図5にさらに示されるように、加工ペイン572は、ベースラインデジタルコンテンツ522に対する加工526a及び526bと、加工526a及び526bにそれぞれ対応する少なくとも真正性アセスメント552a及び552bとを識別する。また、
図5の例示的な実装における加工ペイン572は、それぞれの真正性アセスメント552a及び552bに基づくアセスメント信頼度スコア554a及び554bが含まれることが示される。
【0039】
真正性評価570は、
図2及び
図3における真正性評価270/370に一般的に対応し、GUI538は、
図2におけるGUI238に一般的に対応する。すなわち、GUI238及び真正性評価270/370は、本開示によってそれぞれのGUI538及び真正性評価570に起因する任意の特性を共有してもよく、その逆も同様であってもよい。したがって、
図2及び
図3に示されていないが、真正性評価270/370は、ベースラインデジタルコンテンツ222/522を識別してもよく、加工ペイン572及び任意の可視化574にそれぞれ対応する特徴を有してもよい。
【0040】
ベースラインデジタルコンテンツ522は、
図1及び
図2におけるベースラインデジタルコンテンツ122/222に一般的に対応する。したがって、ベースラインデジタルコンテンツ522は、本開示によってベースラインデジタルコンテンツ122/222に起因する任意の特性を共有してもよく、その逆も同様であってもよい。さらに、加工コンテンツ520は、
図2及び
図3における加工コンテンツ220/320、ならびに
図1における加工コンテンツ120a及びさらなる加工コンテンツ120bのいずれか又は両方に一般的に対応する。その結果、加工コンテンツ520は、本開示によって加工コンテンツ220/320、加工コンテンツ120a、又はさらなる加工コンテンツ120bに起因する任意の特性を共有してもよく、その逆も同様であってもよい。すなわち、加工コンテンツ220と同様に、加工コンテンツ520は、ベースラインデジタルコンテンツ222/522、ベースラインデジタルコンテンツ222/522のための認証データ224、認証データ228を有するベースラインデジタルコンテンツ222/522に対する加工226a/226a、及びそのような認証データを欠く、ベースラインデジタルコンテンツ222/522に対する加工226b/226bを含んでもよい。
【0041】
図2、
図3、及び
図5は、単に概念的な明確さのために、ベースラインデジタルコンテンツ222/522に対する2つの加工、すなわち加工226a/526a及び226b/526bを含むものとして加工コンテンツ220/320/520を表すことが強調される。いくつかの実装形態では、加工コンテンツ220/320/520は、ベースラインデジタルコンテンツ222/522に対する単一の加工を含んでもよく、他の実装形態では、加工コンテンツ220/320/520は、ベースラインデジタルコンテンツ222/522に対する、より多くの加工、又は2つよりも多くの加工を含んでもよい。
【0042】
例示的な本実装形態によれば、加工226a/526a及び226b/526bの各々の真正性は、真正性評価270/370/570の生成をもたらすアセスメントの対象である。
図5に示されるように、いくつかの実装形態では、真正性評価270/370/570は、ベースラインデジタルコンテンツ222/522に対するそれぞれの加工226a/526a及び226b/526bの真正性アセスメント352a/552a及び352b/552bをグラフィカルに描写する可視化574を含む。例えば、
図5にさらに示されるように、いくつかの実装形態では、可視化574は、真正性アセスメント352a/552a及び/又は真正性アセスメント352b/552bに基づいて加工コンテンツ220/320/520のヒートマップの形態をとってもよい。
【0043】
いくつかの実装形態では、真正性評価270/370/570は、真正性アセスメント352a/552aに基づいて判定されたアセスメント信頼度スコア354a/554a、及び/又は、真正性アセスメント352b/552bに基づいて判定されたアセスメント信頼度スコア354b/554bをさらに含んでもよい。それらの実装形態では、可視化574は、アセスメント信頼度スコア354a/554a及び/又はアセスメント信頼度スコア354b/554bに基づいて加工コンテンツ220/320/520のヒートマップの形態をとってもよい。
【0044】
例示的なヒートマップ可視化574を参照すると、加工コンテンツ520は、水平のX軸に沿って連続的に配置されたセグメント580a、580b、580c、580d、580e、及び580f(以下、「セグメント580a-580f」)にセグメント化され、水平のX軸は、加工コンテンツ520のタイムコード576と一致し得る。セグメント580a-580fに加えて、ヒートマップ可視化574は、それぞれの加工526a及び526bの真正性アセスメント552a及び552bを含む。すなわち、ベースラインデジタルコンテンツ522のセグメント580aは、加工526aによって加工コンテンツ520で加工され、
図3において、ソフトウェアコード340のNN342によって判定された加工526aの真正性アセスメント552aの視覚的な描写を示す。さらに、ベースラインデジタルコンテンツ522のセグメント580d及び580eは、加工526bによって加工コンテンツ520において加工され、ソフトウェアコード340のNN342によって判定された加工526bの真正性アセスメント552bの視覚的な描写を示す。
【0045】
ヒートマップ可視化574はタイムコード576を含むが、その表現は単に例示的なものであり、ベースラインコンテンツ522又は加工コンテンツ520がビデオクリップ又はオーディオトラックの形態をとる使用例に特に関連し得ることに留意されたい。ベースラインコンテンツ522又は加工コンテンツ520が、タイムコード576が省略されたデジタル写真の形態をとる実装形態では、ヒートマップ可視化574は、それらの領域が加工された可能性に応じてデジタル写真内の領域を強調するために使用されてもよい。デジタル写真の特定の領域が加工された可能性に関する判定は、同じユーザ、デバイス、又はベースラインコンテンツ522を作成するために使用されたアプリケーションによって作成された他の画像と比較したとき、或いはベースラインコンテンツ522と同じ位置及び/又は時間に作成された他の画像と比較したときの変化に基づいて実行されてもよい。
【0046】
セグメント580a-580fへの、加工コンテンツ520のセグメント化は、加工コンテンツ520の真正性アセスメントの一部として発生し得、或いはベースラインコンテンツ522の性質の結果として自然に発生し得ることにさらに留意されたい。例えば、ベースラインコンテンツ522が、ベースラインコンテンツ522の作成中に生成されたタイムコード576を含むビデオクリップを含む場合、タイムコードのインクリメント又はセグメントに含まれるコンテンツがベースラインコンテンツ522と加工コンテンツ520との間で比較され得るように、加工コンテンツ520のセグメント化は、同じ元のタイムコード576を使用することを強要されてもよい。代替的に、加工コンテンツ520が真正性に関してアセスメントされるとき、例えば、タイムコード間隔又はフレームシーケンスに従った全く新しいセグメント化スキームが、ベースラインコンテンツ522及び加工コンテンツ520に与えられ得る。さらに、いくつかの実装形態では、1つより多いセグメント化スキームは、加工コンテンツ520のアセスメント中に適用されてもよい。
【0047】
図5に示される例示的な実装形態によれば、ヒートマップ可視化574は、それぞれの真正性アセスメントの比較を容易にするために、加工コンテンツ520で加工されたベースラインデジタルコンテンツの全てのセグメントを同時に示す。しかしながら、他の実装形態では、加工コンテンツ520に含まれる全てのセグメント又は全てに満たないセグメントを同時に表示することが有利であり得、或いは望ましい場合がある。例えば、様々な実装形態では、可視化574は、加工コンテンツ520の全てのセグメント、加工されたセグメントのみ、真正性アセスメントを含まない加工を含むセグメントのみ、ユーザが選択したセグメントなどを表示してもよい。
【0048】
図5では、セグメント580a-580fの各々は、その塗りつぶしパターン又は暗さによって視覚的に区別され得ることに留意されたい。いくつかの実装形態では、塗りつぶしパターン又は暗さではなく、色、色相、又は色の欠如も、セグメント580a-580f間を視覚的に区別するために使用されてもよい。すなわち、例えば、実質的に無色或いは「白」である加工コンテンツ520のセグメント580b、580c、及び580fは、ベースラインデジタルコンテンツ522におけるそれらの対応するセグメントに対して不変であってもよい。再び、単に例として、ベースラインデジタルコンテンツ522に対する許可された加工526aを含む加工コンテンツ520のセグメント580aは、緑のような色によって描写されてもよく、放送し、或いは他の方法で配信することが安全であることを示す。対照的に、また、単に例として、ベースラインデジタルコンテンツ522に対する未検証の加工526bを含む加工コンテンツ520のセグメント580d及び580eは、注意を知らせるために赤のような色によって描写されてもよい。
【0049】
さらに、いくつかの実装形態では、加工セグメント580a、580d、及び580eは、それらのそれぞれの真正性アセスメントに対応するように着色され得るが、他の実装形態では、ベースラインデジタルコンテンツ522の対応するセグメントと比較したときにそれらのセグメントが変更された程度に基づいて加工セグメント580a、580d、及び580eを着色することが有利であり得、或いは望ましい場合があることに留意されたい。それらの実装形態では、例えば、加工コンテンツ520の未加工セグメントは緑色に着色されてもよく、少し加工された加工セグメントは黄色に着色されてもよく、大幅に加工された加工セグメント又は加工の複数の層を経たものは赤色に着色されてもよい。
【0050】
いくつかの実装形態では、異なる重みが、異なるタイプの加工に割り当てられ得る。例えば、アスペクト比の変更及び圧縮は、明るさの変更又はグリーンスクリーンの視覚効果よりも、悪意のある、或いは他の方法で許可されていない加工の結果である可能性が低くてもよい。したがって、少し加工された加工セグメントは、単一の低リスクのタイプの加工を含むことに基づいてそのように識別されてもよく、大幅に加工された加工セグメントは、複数の加工及び/又は単一の高リスクの加工に基づいてそのように識別されてもよい。
【0051】
セグメント580a-580fの各々は、例えば、加工コンテンツ520のタイムコード間隔であってもよい。すなわち、いくつかの実装形態では、加工コンテンツ520は、加工コンテンツ520のタイムコード576に基づいてセグメント化されてもよい。代替的に、セグメント580a-580fは、ベースラインデジタルコンテンツ522及び加工コンテンツ520の性質に適切な任意の他の所定のコンテンツセグメントであってもよい。例えば、ベースラインデジタルコンテンツ522及び加工コンテンツ520がオーディオを含む場合、セグメント580a-580fは各々、加工コンテンツ520のオーディオトラックの形態をとってもよい。ベースラインデジタルコンテンツ522及び加工コンテンツ520がビデオを含む使用例では、加工コンテンツ520のセグメント580a-580fは、ビデオの1つ又は複数のフレーム、ビデオの1つ又は複数の「ショット」、又はビデオの1つ又は複数のシーンに対応してもよい。
【0052】
本願で使用されるように、「ショット」は、カットなしに、且つ/或いは他の映画的な遷移なしに固有のカメラの視点からキャプチャされるビデオフレームのシーケンスを指すことに留意されたい。したがって、様々な実装形態では、加工コンテンツ520のセグメント580a-580fの各々は、ビデオの単一フレーム、複数の個々のビデオフレームを含むビデオの単一ショット、又は複数のショットを含む1つのシーン若しくは複数のシーンに対応してもよい。
【0053】
ソフトウェアコード240/340がスコアリングモジュール344を含む実装形態では、ヒートマップ可視化574はまた、真正性アセスメント552aに基づくアセスメント信頼度スコア554a、及び真正性アセスメント552bに基づくアセスメント信頼度スコア554bを示し得る。アセスメント信頼度スコア554a及び554bは、例えば、ゼロ(信頼度なし)から100(相当な信頼度)までの数値のように、数値的に表現されてもよい。
図5の例では、アセスメント信頼度スコア554aは、90として数値的に表現され、アセスメント信頼度スコア554bは、80として数値的に表現される。別の例では、アセスメント信頼度スコア554a及び554bは、例えば、異なる幅又は高さを有するバーによって、グラフィカルに表現されてもよい。
図5の例では、アセスメント信頼度スコア554aは第1のバーによってグラフィカルに表現され、アセスメント信頼度スコア554bは第2のバーによってグラフィカルに表現され、アセスメント信頼度スコア554bよりもアセスメント信頼度スコア554aに関連付けられた信頼度の方が大きいので、第1のバーは第2のバーよりも高い高さを有する。アセスメント信頼度スコア554a、554bは、1つ又は複数の方法(例えば、数値的にのみ、グラフィカルにのみ、テキストのみ、又はそれらの組み合わせ)で表現されてもよい。
【0054】
さらに、いくつかの実装形態では、アセスメント信頼度スコア554a及び554bは、それぞれの真正性アセスメント552a及び552bの推定精度を報告する。例えば、加工526aが認証データ228を含む場合、加工526aは、真正であるとアセスメントされてもよく、そのアセスメントは、高いアセスメント信頼度スコア554aを有してもよい。しかしながら、加工526bが真正でない可能性が高いとアセスメントされるにもかかわらず、加工526bが認証データ228に対応する認証データを欠くことに起因して、或いはそれが未検証であることに起因して、加工526bの真正性の低いアセスメントが、比較的高いアセスメント信頼度スコア554bを有してもよい。
【0055】
ここで、
図2及び
図3と組み合わせて
図4を参照すると、フローチャート460は、NN342を使用して、ベースラインデジタルコンテンツ222に基づいて生成され、且つベースラインデジタルコンテンツ222に対する1つ又は複数の加工226a及び/又は226bを含む、加工コンテンツ220/320を受信することから開始する(アクション462)。
図2に示されるように、加工コンテンツ220は、通信ネットワーク204及びネットワーク通信リンク206を介してデバイス210dから受信されてもよい。アクション462は、ハードウェアプロセッサ234によって実行され、且つNN342を使用する、システム230のソフトウェアコード240/340によって実行されてもよい。
【0056】
フローチャート460は、続いて、NN342を使用して、ベースラインデジタルコンテンツ222に対する1つ又は複数の加工226a及び/又は226bの各々の真正性をアセスメントして、ベースラインデジタルコンテンツ222に対する1つ又は複数の加工226a及び/又は226bにそれぞれ対応する1つ又は複数の真正性アセスメント352a及び/又は352bを作成する(アクション464)。概念的な明確さのために、フローチャート460によって概説されるアクションは、加工コンテンツ220/320がベースラインデジタルコンテンツ222に対する加工226a及び226bを含む具体的な使用例を参照することによってさらに説明されるであろう。しかしながら、他の使用例では、加工コンテンツ220/320は、加工226a若しくは226bのうちの1つ、又はそれ以上、又は、加工226a若しくは226bよりさらに多くの加工を含み得ることに留意されたい。
【0057】
アクション464は、多くの異なる方法で、ハードウェアプロセッサ234によって実行され、且つNN342を使用する、ソフトウェアコード240/340によって実行され得る。例えば、
図1、
図2、及び
図3を参照すると、ベースラインデジタルコンテンツ122/222に対する許可された加工が、安全な取引台帳101/201を使用して追跡される実装形態では、アクション464は、安全な取引台帳101/201からベースラインデジタルコンテンツ122/222に関する許可された加工履歴を取得し、その許可された加工履歴を加工コンテンツ120a/120b/220/320に含まれる加工226a及び226bと比較することによって実行されてもよい。いくつかの実装形態では、ベースラインコンテンツ122/222の許可された加工履歴は、ベースラインコンテンツ122/222を加工コンテンツ120aと比較し、次いで、加工コンテンツ120bを加工コンテンツ120a及び/又はベースラインコンテンツ122と比較することによって取得され得ることに留意されたい。
【0058】
そのような一使用例では、例えば、ユーザ102bは、ベースラインデジタルコンテンツ122/222の許可された編集者であってもよく、その目的のために秘密鍵を発行されてもよく、ユーザ102cは、ベースラインデジタルコンテンツ122/222を加工する許可が与えられていなくてもよい。その使用例では、秘密鍵を保有するユーザ102bがベースラインデジタルコンテンツ122/222を加工するたびに、安全な取引台帳101/201は、データ121aを編集することによって更新される。いくつかの実装形態では、秘密鍵を有さないユーザ、例えばユーザ102cは、コンテンツ122又は加工コンテンツ120aを受信し、或いは編集することができない場合があり、それによって、時期尚早な開示又は改ざんを防止し得る。作成後、安全な取引台帳101は、リードディレクタによって、或いはユーザ102a及び/又はユーザ102bが保有する鍵を取り消すことによって、最終版にされ得る。加工226a及び226bの真正性のアセスメントは、ベースラインデジタルコンテンツ122/222の加工されている部分を加工されていない部分から区別する能力を前提としている。例えば、
図5を
図1、
図2、
図3、及び
図4と組み合わせて参照すると、アクション464は、NN342を使用して、ベースラインセグメント580b、580c、及び580fから加工コンテンツ120a/120b/220/320/520の加工セグメント580a、580d、及び580eを区別することを含んでもよい。いくつかの実装形態では、その区別は、ベースラインデジタルコンテンツ122/222/522のための認証データ224を使用して、例えばセグメントごとに、ベースラインデジタルコンテンツ122/222/522の固有属性に基づいて行われてもよい。
【0059】
認証データ224が基づくベースラインデジタルコンテンツ122/222/522の固有属性は、ベースラインデジタルコンテンツ122/222/522の各セグメント自体に含まれるコンテンツ、ならびに各セグメントの具体的な特徴を含み得る。ベースラインセグメント580b、580c、及び580fを参照すると、それらの未加工ベースラインセグメントの各々は、例えば、バイト(byte)単位で各々が含むデータの量及び/又はそのデータ形式に基づいて、そのように識別されてもよい。代替的に或いは追加的に、認証データ224が基づくベースラインセグメント580b、580c及び580fの固有属性は、ベースラインセグメント580b、580c及び580fの各々を作成するために使用されるデバイス110aのデバイス識別(デバイスID)、ベースラインセグメント580b、580c及び580fを作成するために使用されるデジタルコンテンツ作成ソフトウェアのソフトウェアアプリケーション識別(アプリケーションID)、及び/又はデバイス110aのユーザ102aの身元を識別するメタデータを含んでもよい。さらに、いくつかの実装形態では、認証データ224が基づくベースラインセグメント580b、580c及び580fの固有属性は、例えば、デバイス110aの1つ又は複数のポジション/ロケーションセンサ(
図1には示されていないデバイス110aのポジション/ロケーションセンサ)によって記録されたデータに基づいて、ベースラインセグメント580b、580c及び580fの各々が作成された日付、それらの作成のそれぞれの時間、及び/又はベースラインセグメント580b、580c及び580fのそれぞれの生成のときのデバイス110aの位置を識別するメタデータを含んでもよい。
【0060】
ベースラインセグメント580b、580c及び580fの各々を含む、上述された任意の或いは全ての固有属性は、ハッシュ関数のセキュアハッシュタグアルゴリズム(SHA)ファミリーのうちの1つ、例えば、SHA-0、SHA-1、SHA-2、又はSHA-3の1つのような、任意の適切な暗号ハッシュ関数を使用してハッシュ化されてもよい。したがって、認証データ224は、ベースラインセグメント580b、580c及び580fの各々のハッシュ値、ならびに上述されたベースラインセグメント580b、580c及び580fのいくつかの、全ての、或いはいずれでもない追加の固有属性を含んでもよい。いくつかの実装形態では、認証データ224は、ベースラインデジタルコンテンツ122/222/522に付加されてもよい。例えば、認証データ224は、当技術分野で知られているように、「サイドカー」として、ベースラインデジタルコンテンツ122/222/522に付加されてもよい。しかしながら、他の実装形態では、ベースラインデジタルコンテンツ122/222/522に認証データ224を埋め込むことが有利であり得、或いは望ましい場合がある。
【0061】
次いで、加工セグメント580a、580d及び580eは、各セグメントのための検証データを生成し、その検証データを各セグメントのための認証データ224と比較することによって、未加工ベースラインセグメント580b、580c及び580fから区別され得る。認証データ224がベースラインデジタルコンテンツ122/222/522の各セグメントのハッシュ値を含む実装形態では、例えば、セグメント580a-580fの各々のための検証データは、認証データ224を生成するために使用される同じ暗号ハッシュ関数を利用する各セグメントをハッシュ化することによって生成されてもよい。ベースラインセグメント580b、580c、及び580fについてそのように生成された検証データは、それらのセグメントのための認証データ224と一致することとなり、加工セグメント580a、580d及び580eのために生成された検証データは、加工セグメント580a、580d及び580eのための認証データ224と一致しないこととなり、それによって、580a、580d及び580eを加工コンテンツと識別することとなる。
【0062】
加工226a/526a及び226b/526bの各々の真正性のアセスメントは、ベースラインセグメント580b、580c及び580fから加工セグメント580a、580d及び580eを区別するために上述された方法に類似する方法で実行されてもよい。例えば、デバイス110bを使用する許可されたユーザ102bによって行われたベースラインデジタルコンテンツ122/222/522に対する許可された加工226a/526aを参照すると、加工226a/526aの真正性は、加工226a/526aの固有属性に基づいて、加工226a/526aに対する認証データ228を使用して、アセスメントされてもよい。
【0063】
認証データ228が基づく加工226a/526aの固有属性は、加工226a/526a自体に含まれるコンテンツ、ならびに例えば、加工226a/526aのデータサイズ及び/又はそのデータ形式のような、加工226a/526aの具体的な特徴を含み得る。代替的に或いは追加的に、認証データ228が基づく加工226a/526aの固有属性は、加工226a/526aを作成するために使用されるデバイス110bのデバイスID、加工226a/526aを作成するために使用される編集ソフトウェアのアプリケーションID、及び/又はデバイス110bのユーザ102bの身元を識別するメタデータを含んでもよい。さらに、いくつかの実装形態では、認証データ228が基づく加工226a/526aの固有属性は、例えば、デバイス110bの1つ又は複数のポジション/ロケーションセンサ(
図1には示されていないデバイス110bのポジション/ロケーションセンサ)によって記録されたデータに基づいて、加工226a/526aが作成された日付、作成の時間、及び/又は作成の時間におけるデバイス110bの位置を識別するメタデータを含んでもよい。
【0064】
加工226a/526aを含む、上述された任意の或いは全ての固有属性は、上記で識別されたハッシュ関数のSHAファミリーの1つのような、任意の適切な暗号ハッシュ関数を使用してハッシュ化されてもよい。したがって、認証データ228は、加工226a/526aのハッシュ値、ならびに上述された加工226a/526aのいくつかの、全ての、或いはいずれでもない追加の固有属性を含んでもよい。いくつかの実装形態では、認証データ228は、「サイドカー」として、加工226a/526aに付加されてもよい。しかしながら、他の実装形態では、加工226a/526aに認証データ228を埋め込むことが有利であり得、或いは望ましい場合がある。有利には、加工226a/526aに認証データ228を埋め込むことは、加工226a/526aから認証データ228をストリップすることを回避し得る。
【0065】
次いで、加工226a/526aの真正性は、上述された加工226a/526aの1つ又は複数の固有属性を使用する加工226a/526aのための検証データを生成するために、NN342を使用し、その検証データを加工226a/526aのための認証データ228と比較することによってアセスメントされ得る。認証データ228が加工226a/526aのハッシュ値を含む実装形態では、例えば、加工226a/526aのための検証データは、認証データ228を生成するために使用される同じ暗号ハッシュ関数を利用する加工226a/526aをハッシュ化することによって生成されてもよい。すなわち、加工226a/526aのための検証データは、加工226a/526aの1つ又は複数の固有属性のハッシュ値を含んでもよい。加工226a/526aについてそのように生成された検証データは、加工226a/526aのための認証データ228と一致することとなり、それによって、加工226a/526aが真正である可能性が高いと識別されることとなる。対照的に、真正な加工226a/526aの認証データ228に対応する認証データを欠く加工226b/526bは、そのようなアセスメントプロセスにおいて検証されないままであろう。
【0066】
アクション464は、NN342によって、加工226a/526aに対応する真正性アセスメント352a/552aの作成、及び/又は加工226b/526bに対応する真正性アセスメント352b/552bの作成をもたらす。上述されたように、真正性アセスメント352a/552aは、許可されたユーザ102bによるベースラインデジタルコンテンツ122/222/522に対する真正な加工として加工226a/526aを識別してもよい。対照的に、真正性アセスメント352b/552bは、加工226b/526bを、検証されておらず、その結果、真正でない可能性が高いとして識別してもよい。
【0067】
フローチャート460は、続いて、真正性アセスメント352a/552a及び/又は真正性アセスメント352b/552bに基づいて加工コンテンツ120a/120b/220/320/520の真正性評価270/370/570を生成する(アクション466)。上述されたように、いくつかの実装形態では、ソフトウェアコード240/340は、スコアリングモジュール344を省略してもよい。
図3に示されるように、NN342は、真正性アセスメント352a及び/又は真正性アセスメント352bを評価モジュール346に直接出力するように構成されている。したがって、いくつかの実装形態では、ハードウェアプロセッサ234は、評価モジュール346を使用して、ソフトウェアコード240/340を実行してもよく、真正性アセスメント352a/552a及び/又は真正性アセスメント352b/552bだけに基づいて加工コンテンツ120a/120b/220/320/520の真正性評価270/370/570を生成してもよい。
【0068】
しかしながら、ソフトウェアコード240/340がスコアリングモジュール344を含む実装形態では、ハードウェアプロセッサ234は、ソフトウェアコード240/340を実行し得、加工コンテンツ120a/120b/220/320/520のセグメント580aに関するアセスメント信頼度スコア354a/554aを判定し得、且つ/或いは加工コンテンツ120a/120b/220/320/520のセグメント580d及び580eに関するアセスメント信頼度スコア354b/554bを判定し得る。上述されたように、アセスメント信頼度スコア354a/554a及び354b/554bは、それぞれの真正性アセスメント352a/552a及び352a/552bの推定精度を報告する。例えば、さらに上述されたように、加工226a/526aが認証データ228に基づいて真正であるとアセスメントされる場合、そのアセスメントは、高いアセスメント信頼度スコア354a/554aを有してもよい。さらに、加工226b/526bが真正でない可能性が高いとアセスメントされるにもかかわらず、加工226b/526bが認証データ228に対応する認証データを欠くことに起因して、或いは加工226b/526bが検証されていないことに起因して、加工226b/526bの真正性の低いアセスメントが、比較的高いアセスメント信頼度スコア354b/554bを有してもよい。
【0069】
アセスメント信頼度スコア354a/554a及び/又はアセスメント信頼度スコア354b/554bが判定される実装形態では、加工コンテンツ120a/120b/220/520の真正性評価270/370/570は、アセスメント信頼度スコア354a/554a及び/又はアセスメント信頼度スコア354b/554b、ならびにそれぞれの真正性アセスメント352a/552a及び/又は真正性アセスメント352b/552bに基づいて、評価モジュール346を使用して作成されてもよい。
【0070】
フローチャート460によって概説される例示的な方法は、ディスプレイ上でレンダリングするために、加工コンテンツ120a/120b/220/320/520の真正性評価270/370/570を出力することで終了し得る(アクション468)。例えば、
図2に示されるように、いくつかの実装形態では、加工コンテンツ120a/120b/220/320/520の真正性評価270/370/570は、ディスプレイ212上でレンダリングするために、通信ネットワーク204及びネットワーク通信リンク206を介して、デバイス210dに送信されてもよい。いくつかの実装形態では、ハードウェアプロセッサ234は、人間の関与が省略され得る自動化されたプロセスにおいてアクション462、464、466、及び468を実行するためにソフトウェアコード240/340を実行し得ることに留意されたい。
【0071】
したがって、本願は、従来技術における難点及び欠陥を克服する加工コンテンツの真正性をアセスメントするためのシステム及び方法を開示する。デジタルコンテンツの最初に作成されたバージョン、又は「ベースライン」バージョンにおいて、デジタルコンテンツに対する1つ又は複数の加工の真正性をアセスメントするために訓練済みのニューラルネットワークを使用することによって、本願は、加工コンテンツの細かな差異のアセスメントを可能にする高度な認証ソリューションを開示する。さらに、基礎となるベースラインデジタルコンテンツに対する1つ又は複数の加工の固有属性に基づいて加工コンテンツをアセスメントするための、検証データを生成することによって、本ソリューションは、有利には、各加工の特性を利用し、その真正性をアセスメントする。
【0072】
以上の説明から、様々な技術が、本願で説明された概念を実装するために、それらの概念の範囲から逸脱することなく、使用され得ることは明らかである。さらに、概念は、特定の実装形態を具体的に参照して説明されてきたが、当業者は、それらの概念の範囲から逸脱することなく、形態及び詳細において変更が加えられ得ることを認識するであろう。そのように、説明された実装形態は、全ての点で例示的であり、制限的でないとみなされるべきである。また、本願は、本明細書で説明された特定の実装形態に限定されるものではなく、本開示の範囲から逸脱することなく多くの再構成、変更、及び置換が可能であることを理解されるべきである。