ホーム > 特許ランキング > ＵＮＩＱＵＩＦＹ， ＩＮＣ．
知財求人 - 知財ポータルサイト「IP Force」
特表2024-530369サーバＳＯＣのための人工知能およびクラウド技術を伴うシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-08-20
(54)【発明の名称】サーバＳＯＣのための人工知能およびクラウド技術を伴うシステムおよび方法
(51)【国際特許分類】
H04N 21/235 20110101AFI20240813BHJP
G06N 3/02 20060101ALI20240813BHJP
【ＦＩ】
H04N21/235
G06N3/02
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023565610
(86)(22)【出願日】2022-05-02
(85)【翻訳文提出日】2023-10-24
(86)【国際出願番号】 US2022027242
(87)【国際公開番号】W WO2022235550
(87)【国際公開日】2022-11-10
(31)【優先権主張番号】63/184,576
(32)【優先日】2021-05-05
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/184,630
(32)【優先日】2021-05-05
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】PCT/US2022/027035
(32)【優先日】2022-04-29
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＨＤＭＩ
(71)【出願人】
【識別番号】523402774
【氏名又は名称】ユニークファイ， インク
【氏名又は名称原語表記】ＵＮＩＱＵＩＦＹ， ＩＮＣ．
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】リー， ジョシュア
(72)【発明者】
【氏名】キム， サムジョン
【テーマコード（参考）】
5C164
【Ｆターム（参考）】
5C164MA06S
5C164MB11S
5C164SB08P
5C164UD11S
(57)【要約】
本明細書に記載される例示的な実装は、入力データを処理し、エッジデバイスへのメタデータまたは命令を生成することを通じて人工知能／ニューラルネットワークモデルを実行するように構成されたサーバハブデバイスのためのシステムおよび方法を対象とする。例示的な実装では、ＡＩ／ＮＮ動作が、そのような動作に対応する対数量子化されたパラメータに対する論理シフトの実行（例えば、シフタ回路による）を通じて行われる。
【選択図】図５
【選択図】図５
【特許請求の範囲】
【請求項1】
デバイスであって、１つまたは複数の訓練済みニューラルネットワークモデルを格納するように構成されたメモリと、前記１つまたは複数の訓練済みニューラルネットワークモデルは、１つまたは複数のニューラルネットワーク動作を通じて画像データを処理するように構成され、
インターフェイスと、
前記画像データを取り込むことと、
前記１つまたは複数の訓練済みニューラルネットワークモデルを実行して、前記１つまたは複数のニューラルネットワーク動作を通じて前記画像データを処理することと、
前記画像データの前記処理に基づいて、前記画像データの補足コンテンツを提供するためのメタデータを生成することと、前記メタデータは、前記インターフェイスを通じた別のデバイスへの接続から検索される情報に基づいて生成され、
前記画像データを取り込んでいる１つまたは複数の他のデバイスに、前記インターフェイスを通じて前記メタデータを送信することと、
を行うように構成されたシステムオンチップ（ＳｏＣ）と
を備えるデバイス。
【請求項2】
前記メタデータが、前記１つまたは複数の他のデバイスによって１つまたは複数のオーバーレイとして前記画像データ上に前記補足コンテンツとして提供される、１つまたは複数のソーシャルメディアの投稿に関連する情報を含む、請求項１に記載のデバイス。
【請求項3】
前記ＳｏＣが、前記１つまたは複数の訓練済みニューラルネットワークモデルを、前記ＳｏＣ内の１つまたは複数のシフタ回路によって実行するように構成される、請求項１に記載のデバイス。
【請求項4】
前記ＳｏＣが、前記１つまたは複数の訓練済みニューラルネットワークモデルを、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）によって実行するように構成される、請求項１に記載のデバイス。
【請求項5】
前記ＦＰＧＡが、前記１つまたは複数の訓練済みニューラルネットワークモデルを、１つまたは複数の論理シフト演算を通じて実行するように構成される、請求項４に記載のデバイス。
【請求項6】
前記ＳｏＣが、前記１つまたは複数の訓練済みニューラルネットワークモデルを、１つまたは複数のハードウェアプロセッサによって実行するように構成される、請求項１に記載のデバイス。
【請求項7】
前記１つまたは複数のプロセッサが、前記１つまたは複数の訓練済みニューラルネットワークを、１つまたは複数の論理シフト演算を通じて実行するように構成される、請求項６に記載のデバイス。
【請求項8】
前記デバイスがサーバであり、前記画像データがテレビの映像データである、請求項１に記載のデバイス。
【請求項9】
前記別のデバイスがコンテンツサーバであり、前記メモリが、前記１つまたは複数の訓練済みニューラルネットワークモデルによる前記画像データの処理の出力を前記コンテンツサーバから検索された情報にマッピングする、別の情報を格納するように構成され、
前記ＳｏＣが、前記別の情報をメモリから読み出し、対応するマッピングを前記メタデータとして提供するように構成される、請求項１に記載のデバイス。
【請求項10】
前記情報が、分類された物体を、購入可能な物体に関係する情報にマッピングし、前記ＳｏＣが、前記情報をメモリから読み出し、前記購入可能な物体のうち対応するものを、前記インターフェイスを通じて前記コンテンツサーバから検索するように構成され、前記購入可能な物体のうち前記対応するものは、前記１つまたは複数の訓練済みニューラルネットワークモデルによって分類された前記画像データから分類された１つまたは複数の物体に基づく情報として提供される、請求項９に記載のデバイス。
【請求項11】
前記インターフェイスが、１つまたは複数の対数量子化されたパラメータをサーバから検索し、前記１つまたは複数の対数量子化されたパラメータを前記メモリに格納するように構成され、前記１つまたは複数のニューラルネットワーク動作は前記１つまたは複数の対数量子化されたパラメータによって表され、前記ＳｏＣが、前記１つまたは複数の訓練済みニューラルネットワークモデルを実行して、前記１つまたは複数のニューラルネットワーク動作の前記１つまたは複数の対数量子化されたパラメータから導出されたシフト命令を通じて、前記画像データを処理するように構成される、請求項１に記載のデバイス。
【請求項12】
前記メタデータが、前記画像データ内のフレームの識別子と、前記フレーム内の座標と、前記座標に関連するデータとを含む、請求項１に記載のデバイス。
【請求項13】
前記座標に関連する前記データが、オーバーレイとして使用されるためのソーシャルメディアの投稿を含む、請求項１２に記載のデバイス。
【請求項14】
前記座標に関連する前記データが、コンテンツサーバから検索された１つまたは複数のオーバーレイを含む、請求項１２に記載のデバイス。
【請求項15】
前記メタデータが、前記１つまたは複数の他のデバイスに対する実行可能命令を含む、請求項１に記載のデバイス。
【請求項16】
前記デバイスが、前記インターフェイスを通じて前記１つまたは複数の他のデバイスに前記画像データを送信するように構成される、請求項１に記載のデバイス。【発明の詳細な説明】
【技術分野】
【0001】
[0002]本開示は、概して、人工知能／ニューラルネットワーク（ＡＩ／ＮＮ）処理のためのシステムおよびアーキテクチャを対象とし、より具体的には、サーバシステムオンチップ（ＳｏＣ）のためのＡＩおよびクラウド技術を伴うシステムおよび方法を対象とする。
関連技術
関連技術
【0002】
[0003]今日、多くの形態のデジタルコンテンツがある。最初に用語を定義すると、「デジタルコンテンツ」とは、消費者が消費する任意の視覚、可聴、およびテキストのコンテンツである。一例として、テレビ（ＴＶ）のデジタルコンテンツは、画像、映像、音声、およびテキストを含む。そのようなデジタルコンテンツの配信機構には、イーサネット、衛星、ケーブル、携帯電話網、インターネット、ならびにＷＩＦＩ、および／または同類のものがある。コンテンツを配信するために使用されるデバイスには、テレビ（ＴＶ）、携帯電話、自動車ディスプレイ、監視カメラディスプレイ、パーソナルコンピュータ（ＰＣ）、タブレット、強化現実／仮想現実（ＡＲ／ＶＲ）デバイス、およびさまざまなモノのインターネット（ＩｏＴ）デバイスが含まれ得る。デジタルコンテンツは、生のスポーツイベントなどの「リアルタイム」のコンテンツと、映画や連続ドラマまたは他の事前に録画されたイベントもしくは生でないイベントなどの「用意された」コンテンツとに分けることもできる。現在、「リアルタイム」のコンテンツと「用意された」コンテンツはどちらも、さらなる補足または処理を行わずに消費者に提示されている。
【発明の概要】
【0003】
[0004]本明細書に記載される例示的な実装は、デジタルコンテンツを処理して、物体検出、物体分類、顔認識、テキスト検出、自然言語処理から得られる情報などの、コンテンツに関するインテリジェントな情報を入手し、クラウド／インターネット／任意の場所で見つかった適切な関連する情報を、処理されて消費者に提示できる状態になるデジタルコンテンツの部分に結びつける／アノテーションするための新規な手法を伴う。例示的な実装は、処理されたデジタルコンテンツを、クラウド／インターネットで見つかった関連する適切な情報に結びつける／アノテーションする方法を提供し、ハードウェア、ソフトウェア、またはそれらの何らかの組合せとして実装される。
【0004】
[0005]本明細書に記載される例示的な実装は、視覚コンテンツおよびオーディオコンテンツを分類することをさらに伴う。例示的な実装は、視覚コンテンツ内の人、物体、概念、シーン、テキスト、および言語を分類／識別することができる。例示的な実装は、オーディオコンテンツをテキストに変換し、その変換されたテキスト内で関連する情報を識別することができる。
【0005】
[0006]本明細書に記載される例示的な実装は、クラウド／インターネットから任意の適切な情報を取得し、見つかった情報で視覚コンテンツおよびオーディオコンテンツを補足することをさらに伴う。
【0006】
[0007]本明細書に記載される例示的な実装は、補足されたコンテンツを消費者に提示することをさらに伴う。
【0007】
[0008]本明細書に記載される例示的な実装における分類／識別プロセスは、画像、映像、音声、および言語を処理して、人々（例えば、ある者が誰であるか）、物体の部類（車、船等）、テキスト／言語の意味、任意の概念、または任意のシーンを識別するステップを伴う。この分類ステップを達成することができる方法の一例は、画像、映像、および言語を分類することができるさまざまな人工知能（ＡＩ）モデルである。しかし、従来のアルゴリズムなどの他の代替方法があり得る。
【0008】
[0009]本開示において、「クラウド」は、インターネット、任意のサーバ、任意形態のデータベース、任意のコンピュータメモリ、任意の格納デバイス、または任意の消費者デバイスに存在する任意の情報を伴うことができる。
【0009】
[0010]本開示の態様はデバイスを伴うことができ、このデバイスは、１つまたは複数の対数量子化されたパラメータ値によって表される訓練済みニューラルネットワークの形態の物体検出モデルを格納するように構成されたメモリであって、物体検出モデルは、訓練済みニューラルネットワークの対数量子化されたパラメータ値に従って、１つまたは複数のニューラルネットワーク動作を通じて画像データ上で１つまたは複数の物体を分類するように構成される、メモリと、システムオンチップ（ＳｏＣ）であって、画像データを取り込むことと、物体検出モデルを実行して、１つまたは複数のニューラルネットワーク動作を通じて画像データの１つまたは複数の物体を分類することであって、１つまたは複数のニューラルネットワーク動作は、メモリから読み出された１つまたは複数の対数量子化されたパラメータ値に基づく、画像データに対する論理シフト演算によって実行される、物体を分類することと、画像データから分類された１つまたは複数の物体に基づいて画像データをアノテーションするためのメタデータを生成することと、を行うように構成されたＳｏＣと、画像データを受信する１つまたは複数の他のデバイスにメタデータを送信するように構成されたインターフェイスと、を含むことができる。
【0010】
[0011]本開示の態様はコンピュータプログラムを伴うことができ、このコンピュータプログラムは、画像データを取り込むことと、物体検出モデルを実行して、１つまたは複数のニューラルネットワーク動作を通じて画像データの１つまたは複数の物体を分類することであって、１つまたは複数のニューラルネットワーク動作は、メモリから読み出された１つまたは複数の対数量子化されたパラメータ値に基づく、画像データに対する論理シフト演算によって実行される、物体を分類することと、画像データから分類された１つまたは複数の物体に基づいて画像データをアノテーションするためのメタデータを生成することと、画像データを受信する１つまたは複数の他のデバイスにメタデータを送信することと、を伴う命令を含むことができる。コンピュータプログラムおよび命令は、１つまたは複数のプロセッサにより実行するために非一過性のコンピュータ可読媒体に格納されることができる。
【0011】
[0012]本開示の態様は方法を伴うことができ、この方法は、画像データを取り込むことと、物体検出モデルを実行して、１つまたは複数のニューラルネットワーク動作を通じて画像データから１つまたは複数の物体を分類することであって、１つまたは複数のニューラルネットワーク動作は、メモリから読み出された１つまたは複数の対数量子化されたパラメータ値に基づく、画像データに対する論理シフト演算によって実行される、物体を分類することと、画像データから分類された１つまたは複数の物体に基づいて画像データをアノテーションするためのメタデータを生成することと、画像データを受信する１つまたは複数の他のデバイスにメタデータを送信することと、を含むことができる。
【0012】
[0013]本開示の態様はシステムを伴うことができ、このシステムは、画像データを取り込む手段と、物体検出モデルを実行して、１つまたは複数のニューラルネットワーク動作を通じて画像データから１つまたは複数の物体を分類することであって、１つまたは複数のニューラルネットワーク動作は、メモリから読み出された１つまたは複数の対数量子化されたパラメータ値に基づく、画像データに対する論理シフト演算によって実行される、物体を分類することと、画像データから分類された１つまたは複数の物体に基づいて画像データをアノテーションするためのメタデータを生成する手段と、画像データを受信する１つまたは複数の他のデバイスにメタデータを送信する手段と、を含むことができる。
【0013】
[0014]本開示の態様はデバイスを伴うことができ、このデバイスは、１つまたは複数の訓練済みニューラルネットワークモデルを格納するように構成されたメモリであって、１つまたは複数の訓練済みニューラルネットワークモデルは、１つまたは複数のニューラルネットワーク動作を通じて画像データを処理するように構成される、メモリと、インターフェイスと、システムオンチップ（ＳｏＣ）と、を備え、ＳｏＣは、画像データを取り込むことと、１つまたは複数の訓練済みニューラルネットワークモデルを実行して、１つまたは複数のニューラルネットワーク動作を通じて画像データを処理することと、画像データの処理に基づいて、画像データの補足コンテンツを提供するためのメタデータを生成することであって、メタデータは、インターフェイスを通じた別のデバイスへの接続から検索される情報に基づいて生成される、メタデータを生成することと、画像データを取り込んでいる１つまたは複数の他のデバイスに、インターフェイスを通じてメタデータを送信することと、を行うように構成される。
【0014】
[0015]本開示の態様は、デバイスを伴うことができ、このデバイスは、１つまたは複数の訓練済みニューラルネットワークモデルを格納するように構成されたメモリであって、１つまたは複数の訓練済みニューラルネットワークモデルは、１つまたは複数のニューラルネットワーク動作を通じて画像データを処理するように構成される、メモリと、インターフェイスと、システムオンチップ（ＳｏＣ）と、を備え、ＳｏＣは、画像データを取り込むことと、１つまたは複数の訓練済みニューラルネットワークモデルを実行して、１つまたは複数のニューラルネットワーク動作を通じて画像データを処理することと、画像データの処理に基づいて、画像データの補足コンテンツを提供するためのメタデータを生成することであって、メタデータは、インターフェイスを通じた別のデバイスへの接続から検索される情報に基づいて生成される、メタデータを生成することと、画像データを取り込んでいる１つまたは複数の他のデバイスに、インターフェイスを通じてメタデータを送信することと、を行うように構成される。
【0015】
[0016]本開示の態様は方法を伴い、この方法は、画像データを取り込むことと、１つまたは複数の訓練済みニューラルネットワークモデルを実行して、１つまたは複数のニューラルネットワーク動作を通じて画像データを処理することと、画像データの処理に基づいて、画像データの補足コンテンツを提供するためのメタデータを生成することであって、メタデータは、インターフェイスを通じた別のデバイスへの接続から検索される情報に基づいて生成される、メタデータを生成することと、画像データを取り込んでいる１つまたは複数の他のデバイスに、インターフェイスを通じてメタデータを送信することと、を含むことができる。
【0016】
[0017]本開示の態様はコンピュータプログラムを伴い、このコンピュータプログラムは、画像データを取り込むことと、１つまたは複数の訓練済みニューラルネットワークモデルを実行して、１つまたは複数のニューラルネットワーク動作を通じて画像データを処理することと、画像データの処理に基づいて、画像データの補足コンテンツを提供するためのメタデータを生成することであって、メタデータは、インターフェイスを通じた別のデバイスへの接続から検索される情報に基づいて生成される、メタデータを生成することと、画像データを取り込んでいる１つまたは複数の他のデバイスに、インターフェイスを通じてメタデータを送信することと、を伴う命令を含むことができる。コンピュータプログラムおよび命令は、非一過性のコンピュータ可読媒体に格納されることができ、１つまたは複数のプロセッサによって実行されるように構成されることができる。
【0017】
[0018]本開示の態様はシステムを伴い、このシステムは、画像データを取り込む手段と、１つまたは複数の訓練済みニューラルネットワークモデルを実行して、１つまたは複数のニューラルネットワーク動作を通じて画像データを処理する手段と、画像データの処理に基づいて、画像データの補足コンテンツを提供するためのメタデータを生成する手段であって、メタデータは、インターフェイスを通じた別のデバイスへの接続から検索される情報に基づいて生成される、メタデータを生成する手段と、画像データを取り込んでいる１つまたは複数の他のデバイスに、インターフェイスを通じてメタデータを送信する手段と、を含むことができる。
【0018】
[0019]本開示の態様はデバイスを伴うことができ、このデバイスは、１つまたは複数の対数量子化されたパラメータ値によって表される訓練済みニューラルネットワークモデルを格納するように構成されたメモリであって、訓練済みニューラルネットワークモデルは、訓練済みニューラルネットワークの対数量子化されたパラメータ値に従って、１つまたは複数のニューラルネットワーク動作を通じて、入力データに分析を行うように構成される、メモリと、システムオンチップ（ＳｏＣ）と、伴うことができ、ＳｏＣは、訓練済みニューラルネットワークを実行して、１つまたは複数のニューラルネットワーク動作を通じて、入力データに分析を行うことであって、１つまたは複数のニューラルネットワーク動作は、メモリから読み出された１つまたは複数の対数量子化されたパラメータ値に基づく入力データに対する論理シフト演算によって実行される、分析を行うことと、インターフェイスを通じて、入力データに対する分析に基づいて別のデバイスを制御することと、を行うように構成される。
【0019】
[0020]本開示の態様は方法を伴うことができ、この方法は、訓練済みニューラルネットワークを実行して、１つまたは複数のニューラルネットワーク動作を通じて、入力データに分析を行うことであって、１つまたは複数のニューラルネットワーク動作は、メモリから読み出された１つまたは複数の対数量子化されたパラメータ値に基づく入力データに対する論理シフト演算によって実行される、分析を行うことと、インターフェイスを通じて、入力データに対する分析に基づいて別のデバイスを制御することと、を伴う。
【0020】
[0021]本開示の態様はコンピュータプログラムを伴うことができ、このコンピュータプログラムは、訓練済みニューラルネットワークを実行して、１つまたは複数のニューラルネットワーク動作を通じて、入力データに分析を行うことであって、１つまたは複数のニューラルネットワーク動作は、メモリから読み出された１つまたは複数の対数量子化されたパラメータ値に基づく入力データに対する論理シフト演算によって実行される、分析を行うことと、インターフェイスを通じて、入力データに対する分析に基づいて別のデバイスを制御することと、のための命令を伴う。コンピュータプログラムおよび命令は、非一過性のコンピュータ可読媒体に格納され、１つまたは複数のプロセッサによって実行されることができる。
【0021】
[0022]本開示の態様はシステムを伴うことができ、このシステムは、訓練済みニューラルネットワークを実行して、１つまたは複数のニューラルネットワーク動作を通じて、入力データに分析を行う手段であって、１つまたは複数のニューラルネットワーク動作は、メモリから読み出された１つまたは複数の対数量子化されたパラメータ値に基づく入力データに対する論理シフト演算によって実行される、分析を行う手段と、インターフェイスを通じて、入力データに対する分析に基づいて別のデバイスを制御する手段と、を伴う。
【図面の簡単な説明】
【0022】
【発明を実施するための形態】
【0023】
[0038]以下の詳細な説明は、本出願の図および例示的な実装の詳細を提供する。図間の冗長な要素の参照番号および説明は、明確にするために省略される。説明全体を通じて使用される用語は、例として提供されており、制限となるよう意図されていない。例えば、「自動的」という用語の使用は、本出願の実装を実践する当業者の望ましい実装に応じて、実装の特定の態様に対するユーザまたは管理者の制御を伴う完全に自動的な実装または半自動的な実装を含んでよい。選択が、ユーザインターフェイスまたはその他の入力手段を介して、ユーザによって実施されることができ、あるいは望ましいアルゴリズムによって実施されることができる。本明細書に記載されている例示的な実装は、単独で、または組み合わせて利用されることができ、例示的な実装の機能は、望ましい実装に従って任意の手段によって実装されることができる。
【0024】
[0039]本明細書に記載される例示的な実装は、サーバのための新規なＡＩ ＳｏＣおよびブロードキャストアーキテクチャの使用を伴う。本明細書に記載される例示的な実装では、「リアルタイム」のデジタルコンテンツおよび「用意された」デジタルコンテンツが、さらなるアノテーションまたは処理なしで消費者に提示される（例えばブロードキャストされる）。先行する項で提案された技術は、デジタルコンテンツを処理し、消費者に提示するデジタルコンテンツのうち関連する部分に関して見つかった適切なクラウド情報を結びつけるための新規の手法である。例示的な実装が実装され、それが使用されて「補足データ」を作成し、そのような追加情報を本来のデジタルコンテンツと共に消費者に送ることができる。
【0025】
[0040]図１Ａ～１Ｃは、例示的な実装による全体的なシステムアーキテクチャを示している。図１Ａに示されるシステムアーキテクチャでは、本明細書に記載されるように、エッジデバイス１０４に、ならびにＡＩ ＳｏＣ１０３を利用するサーバまたは他のハブデバイスに、コンテンツ１０１がブロードキャストされる。コンテンツ１０１は、これらに限定されないが、衛星、ＴＶ、モバイルデバイスから、カメラ（例えば、監視カメラ）、パーソナルコンピュータからなど、任意の望ましい実装を通じてブロードキャストされることができる。サーバまたは他のハブデバイスは、エッジデバイス１０４にこれからブロードキャストされるコンテンツを観察し、ＡＩ／ニューラルネットワーク（ＮＮ）モデルおよび他の望ましい実装を使用してコンテンツを処理して、エッジデバイス１０４内でブロードキャストされたコンテンツと併せて使用されるための情報を生成するように構成される。例示的な実装では、コンテンツ１０１は、テレビ、映像／オーディオデータ、ストリーミング映像、監視映像等の画像データを含むことができる。しかし、本開示はそれに限定されず、望ましい実装および使用される基礎モデルに応じて、他のコンテンツがブロードキャストされることもできる。例えば、コンテンツは、オーディオ、センサデータ、奥行きカメラ画像データ、およびその他であり得る。
【0026】
[0041]クラウド１０２または別のインターネットリソースからの情報も、サーバまたはＡＩ ＳｏＣ１０３を利用する他のハブデバイスに提供される。そのような情報は、望ましい実装に応じて、クラウドリソースからのデータ、電子商取引情報、ソーシャルメディア情報、ウェブ情報、インターネット情報等を含み得る。ＡＩ ＳｏＣ１０３を利用するサーバまたはハブデバイスは、コンテンツおよびクラウド情報を処理して、コンテンツと共に提供される適切な情報をペアリングする。映像ストリーミングデータを伴う例示的な実装では。例示的な実装では、ＡＩ ＳｏＣ１０３を利用するサーバまたはハブデバイスは、ＡＩ／ＮＮモデルを使用して、映像、オーディオ、およびテキストコンテンツを分類して、映像、オーディオ、およびテキストコンテンツを識別するコンテンツ分類１０５を生成する。コンテンツ分類１０５およびクラウド１０２からの関連する適切な情報に基づいて、補足データ１０６が識別され、それを使用して、受信された画像データのエッジ処理で使用するためにエッジデバイス１０４に提供されるメタデータ１０７を生成する。例示的な実装では、本明細書に記載されるように、エッジデバイスによるアノテーションなどの態様が、メタデータによって達成されることができ、それをエッジデバイス１０４が使用して、クラウド情報１０２を受信したコンテンツ１０１にリンクする。
【0027】
[0042]そのような例示的な実装を通じて、エッジデバイス１０４からの処理に代えて、専用のサーバ、またはブロードキャストされるコンテンツと併せて使用されるための情報をクラウド１０２から提供する中央ハブとして機能することができる他のハブデバイスによって、ＡＩ処理が行われることができる。さらに、ＡＩ ＳｏＣ１０３において論理シフト演算を使用するという新規の手法を通じて、処理は、サーバまたはハブデバイスでシームレスかつ高速に（リアルタイムで）行われることができ、そのため、提供されるクラウド情報１０２は、エッジデバイス１０４が受信コンテンツ１０１を表示するかまたはその他の形で使用できる状態になる時までに、エッジデバイス１０４に提供されることができる。そのような例示的な実装を通じて、エッジデバイス１０４は、クラウド情報１０２とペアリングされた受信コンテンツ１０１を表示／使用することができ、これは、それを行うために必要とされる処理時間のために、関連技術の実装では本来可能でなかった。これは、人手によるメタデータのアノテーションまたは人手によるメタデータが事前に決定されることを必要とする、関連技術の実装に対する改良である。ＡＩ ＳｏＣ１０３を用いるサーバまたはハブデバイスは、複数の異なるコンテンツを処理する複数の異なるエッジデバイス１０４に、そのようなペアリングを提供することができる。
【0028】
[0043]「リアルタイム」のコンテンツおよび「用意された」デジタルコンテンツ１０１は、イーサネット、衛星、ケーブル、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）およびＷＩＦＩなどの接続を介して、これらに限定されないが、ＴＶ、携帯電話、自動車ディスプレイ、監視カメラディスプレイ、ＰＣ、タブレット、ＡＲ／ＶＲ デバイス、およびさまざまなモノのインターネット（ＩｏＴ）デバイスを含み得る、エッジデバイス１０４に配信される。
【0029】
[0044]図１Ｂは、別の例示的なアーキテクチャを示しており、ここでは、コンテンツ１０１がメタデータと併せてまたはそれと共にエッジデバイスに提供される。図１Ａで、コンテンツ１０１の画像データは、ＡＩ ＳｏＣ１０３を管理するサーバまたはハブデバイスに対するブロードキャストも行っている何らかのブロードキャストデバイスから、エッジデバイスによって受信されることができる。しかし、コンテンツ１０１は、必要な場合には、ＡＩ ＳｏＣ１０３を管理するサーバまたはハブデバイスから受信されることができる。そのような例示的な実装では、サーバまたはハブデバイスが、コンテンツ１０１と併せて、またはコンテンツ１０１の中に一体化された、メタデータを１つまたは複数のエッジデバイスに提供することができる。
【0030】
[0045]図１Ｃは、例示的な実装による、すでに処理されたメタデータのリポジトリを伴う例示的な実装を示している。例示的な実装では、メタデータは、同様のコンテンツ１０１を受信している他のデバイスのために再使用されてよい。例えば、サーバまたはハブデバイスがデジタルコンテンツのリポジトリ（例えば、その映像コンテンツを要求するデバイスに提供される映像コンテンツのライブラリを管理しているストリーミングアプリケーション）を管理している場合、リポジトリ内のいずれかのデジタルコンテンツのために生成されたメタデータが、同じデジタルコンテンツを要求する他のエッジデバイスのために再使用されることができる。そのような例示的な実装では、さらに再使用するようにメタデータ１０７を格納するためにメタデータリポジトリ１１０が利用されることができ、リポジトリは、望ましい実装に従って、クラウドシステム、データベース、格納システム等の形態であることができる。
【0031】
[0046]図２は、例示的な実装による、ＡＩ ＳｏＣを用いるサーバまたはハブデバイスの例示的なフロー図を示している。デジタルコンテンツを配信する前に、コンテンツが処理されて、ＡＩ ＳｏＣを用いるサーバまたはハブデバイスによる以下のステップを経ることができる。
【0032】
[0047]視覚、オーディオ、およびテキストコンテンツを分類／識別／処理する２００。例示的な実装におけるＡＩ ＳｏＣを用いるサーバまたはハブデバイスは、視覚コンテンツ内の人、物体、概念、シーン、テキスト、および言語を分類／識別／処理し、オーディオコンテンツをテキストに変換し、そのテキストを分類／処理することができる。このステップを実現するために、ＡＩ、ニューラルネットワーク、および任意の他の従来の技術が使用されることができる。
【0033】
[0048]クラウドから任意の適切な情報を取得し、視覚、オーディオ、およびテキストコンテンツに合わせて見つかった情報（「補足データ」）を集める２０１。
【0034】
[0049]見つかった情報（「補足データ」）を、本来のコンテンツに加えて、閲覧のためにエッジデバイスに配信する２０２。望ましい実装に応じて、「補足データ」は、デジタルコンテンツに埋め込まれることができるか、または受信側デバイスに別途配信されることができ、受信側デバイスは、どの「補足データ」を視聴者に表示するかを選択することができる。
【0035】
[0050]本明細書に記載される例示的な実装では、２００における分類処理および２０１におけるクラウドからの適切な情報の収集は、１つまたは複数のサーバにおけるデジタルコンテンツの配信の前に発生することができる。分類された物体についての分類情報およびクラウド情報は、受信側デバイスが理解できる形式で格納される。受信側デバイスまたは受信側デバイスで実行されているアプリケーションが、望ましい実装に応じて、本来のコンテンツと共に受信された、分類／処理された物体についてのどの情報をどのように表示するかを選択する。
【0036】
[0051]例示的な実装は、「補足データ」を本来のコンテンツ媒体に埋め込むこともできる。関連技術の実装では、利用可能な画像／オーディオ／テキストファイル形式は、映像、オーディオ、およびテキストなどの主コンテンツ以外の追加情報を埋め込むことが可能でない。新しいファイル形式を用いて、視覚、オーディオ、テキストコンテンツおよび「補足データ」などの追加的データを格納することができる。この新しい形式は、「補足データ」と本来のコンテンツデータとの組合せであることができる。
【0037】
[0052]このプロセスは、一回発生することができ、後のストリーミング／ブロードキャストのために格納されることができる。これにより、コンテンツがブロードキャストまたはストリーミングされるたびにこのプロセスを何度も繰り返す必要がなくなる。さらに、エッジデバイス１０４は、受信したコンテンツ１０１および受信した補足データ（例えば、オーバーレイの形態）を、追加的なＡＩ処理を行う必要なく、単純に処理することができる。
【0038】
[0053]図３は、例示的な実装による、ＡＩ ＳｏＣを用いるサーバまたはハブデバイスによってコンテンツと併せて提供されることができる補足メタデータの例を示している。提供されることができる補足メタデータの一例では、ヘッダは、メタデータの残りが関連付けられるべきコンテンツを識別する情報を含むことができる。ヘッダは、例示的な実装に従って、これらに限定されないが、形式バージョン、コンテンツ形式、コンテンツ解像度、コンテンツサイズ、コンテンツレート等の情報を含むことができる。フレームメタデータは、各物体名および物体の座標（サイズ）、ならびに物体に関連付けられるべき任意のデータを識別することができる。よって、クラウドからの補足データは、任意の画像コンテンツまたは映像コンテンツのコンテンツの特定フレーム当たりの出力に関して記述されることができる。
【0039】
[0054]図４Ａおよび図４Ｂは、例示的な実装による、ＡＩ ＳｏＣを用いるサーバまたはハブデバイによってコンテンツと併せて提供されることができる補足メタデータの例を示している。例示的な実装は、画像コンテンツまたは映像コンテンツを越えるものまで拡張されることができ、望ましい実装に従って任意形態のコンテンツ（例えば、オーディオ、ネットワークトラフィック等）に一般化されることができる。そのような例示的な実装では、データ情報は、補足情報および受信されているコンテンツに関連する他の情報を含むことができ、コンテンツは、エッジデバイス１０４による使用のためにコンテンツファイルで提供されることができる。そのようにして、サーバまたはハブデバイスは、必要な場合は、メタデータと併せて、またはメタデータと一体化された、コンテンツを提供することができる。図４Ｂの例では、メタデータは、望ましい実装に従って、１つまたは複数のエッジデバイスによって実行可能な実行可能命令（例えば、メニューを出現させる、カメラを別の方向にパンする）も含むことができる。そのようにして、エッジデバイスは、必要に応じて受信したコンテンツおよびメタデータに付随する命令を実行することができる。図３、図４Ａ、および図４Ｂに示される例示的実装の概念は、望ましい実装を容易にするために任意の形で組み合わせられることができる。
【0040】
[0055]図４Ｃは、例示的な実装による、１つまたは複数のニューラルネットワークモデル／ＡＩモデルの出力ラベルの、補足コンテンツへの例示的マッピングを示している。１つまたは複数のニューラルネットワークモデル／ＡＩモデルは、入力データを任意の目的（例えば、物体分類、テキスト認識、自然言語処理等）のために処理して、１つまたは複数の出力ラベルを、図３、図４Ａ、および図４Ｂに示されるようなメタデータ形態で提供可能なそれらの座標と共に生成するように訓練されることができる。出力ラベルは、コンテンツ１０１と併せて提供される、提供される補足コンテンツ（例えば、オーバーレイ、ソーシャルメディアの投稿、画像、オーディオ、ポップアップメニュー等）にマッピングされることができる。例えば、物体を分類する物体分類モデル（例えば、訓練済みのニューラルネットワークモデルから構築される）を使用して、バスケットボールを、オーバーレイとして使用される補足コンテンツとしての火の画像にマッピングすることができる。アナウンサーによって発話されている選手Ａを認識するオーディオ認識（例えば、訓練済みのニューラルネットワークモデル／ＡＩモデルから構築される）を、図１０に示されるジャージなど、選手Ａに関する購入可能な物体を伴う補足コンテンツにマッピングすることができる。チームＡが攻撃側でプレーしていると画面上で認識されるが、そのような出力ラベルが、図９に示されるようにオーバーレイとして使用されるソーシャルメディアの投稿にマッピングされることができる。さらに、望ましい実装に応じて、補足コンテンツは、メタデータに組み込まれて実行のためにエッジデバイスに送信される実行可能命令（例えば、購入可能な物体に関するポップアップメニューを生成する、インターネットからソーシャルメディアの投稿を検索する等）も伴うことができる。
【0041】
[0056]図５は、例示的な実装による、ＡＩ ＳｏＣの例示的アーキテクチャを示している。ＡＩ ＳｏＣ５００は、本明細書に記載されるようにいくつかの構成要素を含むことができる。
【0042】
[0057]入力処理ユニット５０２は、ＡＩ／ＮＮモデルによる処理のために、ブロードキャストされるコンテンツの入力を取り込むように構成される。そのようなブロードキャストされるコンテンツは、望ましい実装に従って、これらに限定されないが、映像、画像、データ、オーディオ、テキスト等を含むことができる。ＡＩ処理ユニット５０４によって処理されるように、入力処理ユニット５０２は、適切なＡＩ／ＮＮモデルによる処理のためにコンテンツを値の行列に変換するように構成されることができ、ネットワークインターフェイス５０３は、ネットワーク入力／出力（Ｉ／Ｏ）インターフェイス５０１とのインターフェイスをとって、クラウド、インターネットまたは他の外部データ源からデータを取り込むと共に、出力処理ユニット５０８を介してエッジデバイスに出力（例えば、メタデータ／補足データ５０９）を提供するように構成される。ネットワークＩ／Ｏインターフェイス５０１は、望ましい実装に従って、サーバまたはハブデバイスに設置された別個のハードウェア構成要素、またはその他であることができる。プロセッサコア５０７は、ＡＩ ＳｏＣ５００の代わりに命令を読み出し、それに応じてプロセスを実行する１つまたは複数のＩＰコアを伴うことができる。
【0043】
[0058]コントローラ５０５は、ＡＩ ＳｏＣ５００による処理のためにＡＩ／ＮＮモデルをメモリ５０６からロードするように構成されたメモリコントローラである。例示的な実装では、メモリ５０６は、ダブル・データ・レート・シンクロナス・ダイナミック・ランダムアクセスメモリ（ＤＤＲ ＳＤＲＡＭ）の形態であることができ、または望ましい実装に従って他の種のメモリであることができる。同様に、コントローラ５０５はＤＤＲコントローラであることができるが、それに限定されない。
【0044】
[0059]ＡＩ処理ユニット（ＡＰＵ）５０４は、コントローラ５０５からロードされたパラメータに基づいてＡＩ／ＮＮモデルを実行し、これらに限定されないが、望ましい実装に従って、物体分類、物体検出、物体セグメント化、顔認識などの機能、または他の種のＡＩ／ＮＮモデルを行うように構成される。本明細書に記載される例示的実装では、ＡＰＵ５０４は、図６に示されるように１つまたは複数のＡＩ処理要素（ＡＩＰＥ）から構成されることができる。エッジデバイスがコンテンツを受信するのと同時に補足データ／メタデータがエッジデバイスに提供されることができるように、適時のＡＩ／ＮＮモデルの処理を容易にするために、ＡＰＵ５０４は、乗算でＡＩ／ＮＮモデルを処理する代わりに、論理シフト演算を利用して、ＡＩ／ＮＮモデルの対数量子化されたパラメータを処理する。本明細書に記載される例示的な実装では、ＡＩ／ニューラルネットワークモデルのパラメータは対数量子化され（２ｒｏｕｎｄ（ｌｏｇ
２
Ｘ）の形態の最も近い２の累乗に丸められ、ＸはＡＩ／ＮＮモデルの重みまたはバイアスパラメータである）、それにより、対数量子化されたパラメータが、入力処理ユニット５０２によって受け取られたコンテンツに対してモデルによって必要とされる対応するＡＩ／ＮＮ動作に従って、値をシフトするためのシフト命令に変換されることができる。乗算演算ではなく論理シフト演算を使用することにより、ＡＩ／ＮＮモデルの出力を生成するために必要とされる処理時間を大幅に節減することが可能となる。さらに、そのような演算は、乗算器／累算器（ＭＡＣ）回路に代えて物理的なハードウェアシフタを利用するＡＩＰＥによって容易にされることができ、それにより、消費電力、モデルを処理するために必要とされる時間、マザーボード上のフットプリント等を節減する。しかし、ＡＰＵは、望ましい実装に従って、受信されたコンテンツに２値／論理シフト演算を実行してＡＩ／ＮＮモデル処理を実行するようにプログラムされた中央処理装置（ＣＰＵ）、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの、物理的プロセッサの形態であることもできる。さらに、ＡＩ ＳｏＣ５００の構成要素のいずれかが、望ましい実装に従って、等価回路およびＦＰＧＡを含む、その機能を行うための専用ハードウェア要素の形態で実装されることができる。
【0045】
[0060]出力処理ユニット５０８は、プロセッサコア５０７を利用して、図３、図４Ａおよび図４Ｂに示されるもののような対応するメタデータ／補足データ５０９を出力として生成するための命令を伴うことができる。そのようなメタデータ／補足データは、例えば、図５に示されるような視聴者に対するオーバーレイなどの追加的情報を生成するために、エッジデバイスによって使用することができる。そのような命令は、訓練済みニューラルネットワーク／ＡＩモデル内で示される出力へのラベルのマッピングに基づいて出力を出力ラベルに変換し、次いで、図４Ｃに示されるようにそのようなラベルを補足コンテンツにマッピングして、図３、図４Ａ、および図４Ｂに示されるようなメタデータを生成することを伴うことができる。
【0046】
[0061]図６は、例示的な実装による、デジタルコンテンツを処理するためのＡＩＰＥの例を示している。図６のＡＩＰＥは、デジタルコンテンツを処理するために算術シフトアーキテクチャを備えてよい。しかし、本開示は、本明細書に開示される算術シフトアーキテクチャに限定されることは意図されない。一部の態様では、ＡＩＰＥは、デジタルコンテンツを処理するための加算器および／または乗算器を含んでよい。図６のＡＩＰＥは、算術シフタ６０２および加算器６０４を利用して、これらに限定されないが、畳み込み、ｄｅｎｓｅ層、パラメトリックＲｅＬＵ、バッチ正規化、ｍａｘプーリング、加算、および／または乗算などのニューラルネットワーク動作を処理する。算術シフタ６０２は、論理シフト演算を容易にするために、データ６０６と、対数量子化されたパラメータ６０８から導出されたシフト命令とを入力として受け取る。データ６０６は、３２ビットのデータを２の補数の形式で備えてよく、対数量子化されたパラメータ６０８から導出されたシフト命令は、７ビットのデータを備えてよい。例えば、算術シフタ６０２は、３２ビットの算術シフタを備えてよい。算術シフタ６０２は、対数量子化されたパラメータ６０８から導出されたシフト命令に基づいてデータ６０６をシフトする。算術シフタ６０２の出力は、２の補数のアーキテクチャを通過し、バイアス６１０が加算される。バイアス６１０は、３２ビットバイアスを備えてよい。加算器６０４は、算術シフタ６０２の出力を入力として受け取る。算術シフタ６０２の出力は、２の補数の形態であり、ＸＯＲに供給されて、対数量子化されたパラメータ６０８から導出されたシフト命令の符号ビット６１２と比較される。符号ビット６１２が負である場合には、算術シフタ６０２の出力が反転される。算術シフタ６０２の出力と符号ビット６１２との間のＸＯＲ演算の出力は、次いで加算器６０４に供給される。加算器６０４は、バイアス６１０、算術シフタ６０２の出力と符号ビット６１２との間のＸＯＲ演算の出力を受け取って、共に加算する。加算器６０４は、桁上げデータとしての符号ビット６１２も入力として受け取る。加算器６０４の出力は、フリップフロップ６１４に供給される。フリップフロップ６１４のデータは、図６のＡＩＰＥに戻される。例えば、フリップフロップ６１４の出力は、マルチプレクサに供給され、データ６０６と多重化される。フリップフロップ６１４の出力はまた、マルチプレクサに供給され、バイアス６１０と多重化される。フリップフロップ６１４の出力はまた、マルチプレクサに供給され、加算器６０４の出力と多重化される。フリップフロップ６１４の出力は、２の補数の形態であってよい。フリップフロップ６１４のデータの符号ビットもＡＩＰＥに戻される。例えば、フリップフロップ６１４のデータの符号ビットは、ＯＲ演算子に供給されて信号Ｓ２と比較され、ＯＲ演算の結果は、パラメータ６０８と一定の０信号とを多重化するマルチプレクサに供給される。
【0047】
[0062]シフタの使用を通じて乗算および他のニューラルネットワーク動作を実行する図６の変形例も可能であり、本開示はこれに限定されない。そのような例は、例えば、２０２２年４月２９日に出願され、「ＩＭＰＬＥＭＥＮＴＡＴＩＯＮＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＰＲＯＣＥＳＳＩＮＧ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫ ＩＮ ＳＥＭＩＣＯＮＤＵＣＴＯＲ ＨＡＲＤＷＡＲＥ」と題された、ＰＣＴ出願第ＰＣＴ／ＵＳ２２／２７０３５号に見られ、その開示は、その全体が参照によって明示的に本明細書に組み込まれている。
【0048】
[0063]上記の図は例であり、機能的な相当物を利用して、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を用いることや、そのような要素をハードウェアの他の機能相当物と置き換えることを通じて、望ましい実装を容易にすることができ、または、追加的な要素で変更して、望ましい実装に従って追加的な機能を容易にすることができる。
【0049】
[0064]図７は、例示的な実装による、ＡＩＰＥアレイの例を示している。図７の例では、ニューラルネットワークアレイは複数のＡＩＰＥを備え、ここでは、データおよびパラメータ（カーネル）がＡＩＰＥに入力されて、本明細書に開示されるようにデジタルコンテンツを処理するためのさまざまな動作を行う。ＡＩＰＥアーキテクチャは、シフタおよび論理ゲートを備えてよいが、他の要素を利用するように構成されてよく、本開示は、本明細書に開示される例に制限されることは意図されない。本明細書に開示される例は、７ビットのパラメータと共に３２ビットのデータを含み、データは、１ビット～Ｎビットであることができ、パラメータは、１ビット～Ｍビットのパラメータであることができ、ＮおよびＭは任意の正の整数である。一部の例は、１つの３２ビットのシフタを含むが、シフタの数は、２つ以上であってよく、１つのシフタからＯ個のシフタまで変化してよく、Ｏは正の整数である。場合によっては、アーキテクチャは、データの１２８ビット、パラメータの８ビット、および直列に（次々に）接続された７つのシフタを備える。また、本明細書に示された論理ゲートは、特定のアーキテクチャに応じて変化することができる論理ゲートの標準的なセットである。
【0050】
[0065]場合によっては、ＡＩＰＥアーキテクチャは、シフタ、加算器、および／または論理ゲートを利用してよい。本明細書に開示される例は、７ビットのパラメータと共に３２ビットのデータを備え、データは、１ビット～Ｎビットであることができ、パラメータは、１ビット～Ｍビットのパラメータであることができ、ＮおよびＭは任意の正の整数である。一部の例は、１つの３２ビットシフタおよび１つの３２ビットの２入力加算器を含むが、シフタおよび加算器の数は２つ以上であってよく、１つのシフタからＯ個のシフタまで、および１つの加算器からＰ個の加算器まで変化してよく、ＯおよびＰは正の整数である。場合によっては、アーキテクチャは、データの１２８ビット、パラメータの８ビット、および直列に接続された２つのシフタ、および直列に（次々に）接続された２つの加算器を備える。
【0051】
[0066]本明細書に開示されるＡＩＰＥアーキテクチャは、シフタおよび論理ゲートを備えて実装されてよく、その場合、シフタが乗算および加算／累算動作を代替する。本明細書に開示されるＡＩＰＥアーキテクチャは、シフタ、加算器、および論理ゲートを備えて実装されてもよく、その場合、シフタが乗算および加算／累算動作を代替する。ＡＩＰＥアーキテクチャは、乗算動作を代替するシフタおよび加算／累算動作を代替する論理関数から構成されてよい。加算／累算動作を代替する論理関数は、乗算器でも、加算器でも、シフタでもない論理関数である。しかし、一部の態様では、ＡＩＰＥアーキテクチャは、乗算器、加算器、および／またはシフタから構成されてよい。累算動作は、多数の数が累算動作に入り、１つの数が結果として出てくる簡約動作と考えられることができる。
【0052】
[0067]図８は、例示的な実装による、ＡＩモデルアーキテクチャの例示的なフローを示している。ＡＩモデルアーキテクチャ８０２は、入力処理８０４、ニューラルネットワーク８０６、および出力フォーマッタ８０８を含む。ＡＩモデルアーキテクチャ８０２は、入力としてデジタルコンテンツ８１０を受け取ってよく、入力処理８０４がそのデジタルコンテンツ８１０を処理する。入力処理８０４は、デジタルコンテンツ８１０の映像を複数のフレームとして処理してよく、またはデジタルコンテンツ８１０のオーディオを音声として処理してよい。次いで、入力処理８０４は、処理されたデジタルコンテンツ８１０をニューラルネットワーク８０６に提供してよい。ニューラルネットワーク８０６は、処理されたデジタルコンテンツ８１０に対して複数の動作を行ってよい。例えば、ニューラルネットワーク８０６は、処理されたデジタルコンテンツ内で物体を検出するように構成されてよい。例えば、ニューラルネットワーク８０６は、これらに限定されないが、人々、物体、テキスト等の１つまたは複数の種々の物体を、デジタルコンテンツ内で検出してよい。ニューラルネットワーク８０６は、検出された物体の各々に対して１つまたは複数のサブフレームを生成してよい。
【0053】
[0068]検出された物体のサブフレームが、ニューラルネットワーク８０６によってさらに処理されてよい。例えば、ニューラルネットワーク８０６は、サブフレームを処理して、検出された物体を分類または識別してよい。ニューラルネットワーク８０６は、検出された物体を分類または識別し、分類または識別された物体に関連する情報を出力フォーマッタ８０８に提供してよい。検出された物体が人々を含む事例では、ニューラルネットワーク８０６は、例えば、検出された人の身体部分を識別することを試みて、検出された人々に関連するサブフレームを処理してよい。例えば、ニューラルネットワーク８０６は、デジタルコンテンツ内の１人または複数の検出された人を識別するために顔認識または検出を行ってよい。
【0054】
[0069]入力処理８０４がデジタルコンテンツのオーディオを処理する場合、ニューラルネットワーク８０６は、音声認識のためにオーディオを処理してよい。ニューラルネットワーク８０６は、検出された音声を、自然言語処理を使用して処理してよい。自然言語処理は、デジタルコンテンツに関連する関連情報を検出または識別してよい。デジタルコンテンツのオーディオから得られた検出された関連情報は、出力フォーマッタ８０８に提供されてよい。
【0055】
[0070]出力フォーマッタ８０８は、ニューラルネットワーク８０６の出力を利用して、表示のための補足されたデジタルコンテンツ８１２を提供してよい。例えば、出力フォーマッタ８０８は、デジタルコンテンツのオーディオから得られた関連情報を利用して、そのオーディオから得られた関連情報に関係する補足されたデジタルコンテンツ８１２の中で広告、情報等を表示してよい。別の例では、出力フォーマッタ８０８は、デジタルコンテンツ内の１人または複数の検出された人に関係する情報を利用して、それら１人または複数の検出された人に関係する関連付けられた情報を表示してよい。例えば、１人または複数の検出された人が運動選手である場合は、関係するスポーツ用衣料品（例えば、ジャージ、ユニフォーム等）の広告が、補足されたデジタルコンテンツ８１２の中で表示されてよい。さらに別の例では、出力フォーマッタ８０８は、（検出された人々以外の）検出された物体に関係する情報を利用して、検出された物体に関係する補足されたデジタルコンテンツ８１２内で情報を表示してよい。例えば、検出された物体内の任意の検出されたテキストまたは項目を出力フォーマッタ８０８によって利用して、検出されたそのテキストまたは項目に関係する広告または情報を表示してよい。
【0056】
[0071]他の実装も可能であり、本開示は、本明細書に記載される実装に特に制限されない。本明細書において提案されるＡＩ ＳｏＣは、望ましい実装に従って、そのような機能を利用することができる他のエッジシステムまたはサーバシステムに拡張されることもでき、そのようなシステムには、モバイルデバイス、監視デバイス（例えば、中央ステーションまたはローカルユーザ制御システムに接続されたカメラまたは他のセンサ）、パーソナルコンピュータ、タブレットもしくは他のユーザ機器、車両（例えば、ＡＤＡＳシステム、またはＥＣＵを利用したシステム）、モノのインターネットのエッジデバイス（例えば、アグリゲータ、ゲートウェイ、ルータ）、ＡＲ／ＶＲシステム、スマート住宅および他のスマートシステムの実装等が含まれる。
【0057】
[0072]図９は、例示的な実装による、クラウド情報およびソーシャルメディア情報で補足されたデジタルコンテンツの例を示している。図９の例では、ソーシャルメディアからの情報がデジタルコンテンツを補足するように、ソーシャルメディア（例えば、ソーシャルメディアの投稿）が、デジタルコンテンツと関係付けられてよい。例えば、本明細書に記載されるサーバ／ハブデバイスからメタデータ／ソーシャルメディアの投稿または該当する命令を受け取った後に、デジタルコンテンツに結びつけられたソーシャルメディアアプリケーション上で投稿しているユーザが、エッジデバイスによってデジタルコンテンツに重畳されてよい。デジタルコンテンツと共に表示されるソーシャルメディアからのコンテンツは、ソーシャルオーバーレイとして知られることがある。ソーシャルオーバーレイは、ユーザ同士が、人々がテレビで見ているものについてソーシャルメディア上で共有体験を有することを可能にし得る。例えば、デジタルコンテンツ内の検出された物体または人々の上に、ソーシャルオーバーレイが重畳されてよい。一部の態様では、ディスプレイ上の表示項目がデジタルコンテンツと共に提供され得るように、選手が選択されてよい。ソーシャルオーバーレイで補足されたデジタルコンテンツは、ソーシャルメディアに投稿され得る。ソーシャルオーバーレイの一部として表示される項目は、ランダムであってもまたは事前に設定されてもよい。
【0058】
[0073]図１０は、例示的な実装による、クラウド情報および電子商取引情報で補足されたデジタルコンテンツの例を示している。一部の態様では、デジタルコンテンツ内の検出された物体は、電子商取引アプリケーションに関係付けられてよい。例えば、リアルタイムのスポーツイベントでは、ジャージ、ユニフォーム、または運動用衣料品がデジタルコンテンツ内で検出されてよく、検出されたジャージ、ユニフォーム、または運動用衣料品が、同様のまたは関係するジャージ、ユニフォーム、または運動用衣料品を購入するためのリンクをトリガしてよい。リンクは、適切なメタデータまたはそれに対する命令がサーバ／ハブデバイスによって提供された後に、電子商取引ウェブサイトへのインターフェイスが、エッジデバイスによってデジタルコンテンツと共に表示デバイスに表示され得るように選択されてよい。例示的な実装では、命令は、別のデバイスのアプリケーションによって管理されるグラフィカルユーザインターフェイス（ＧＵＩ）上にメニューを生成するための命令を伴うことができる。例えば、メタデータは、図４Ｂに示されるように命令を含むことができ、その命令は、実行されると、対応するポップアップメニューをアプリケーションのＧＵＩに出現させる（例えば、購入が可能なジャージや他の物を示すポップアップメニュー、より多くの情報を得るためにリンクが利用可能であることを示すメニュー等）。
【0059】
[0074]図１１は、例示的な実装による、検出アルゴリズムからの出力の例を示している。検出アルゴリズムは、デジタルコンテンツ内の人々などの物体を検出してよい。例えば、検出アルゴリズムは、選手ならびに検出された選手の身体部分（例えば、手、顔、脚、足、胴等）を検出してよい。検出アルゴリズムは、ボール、バスケット、またはバックボードなど、コンテンツ内の物体を検出してもよい。検出アルゴリズムは、広告やデジタルコンテンツに関与する選手／チームの点数など、デジタルコンテンツ内のテキストを検出してもよい。検出アルゴリズムは、人を検出すると、望ましい実装に応じて、その選手を識別することを試みて検出された人をさらに処理してよく、選手の名前をデジタルコンテンツ内に提供することができる。そのような物体／人々が検出され、分類されると、それに応じて適切なメタデータまたは命令が生成されることができ、それがエッジデバイスを制御して、本明細書における例に示されるように分類された物体／人々に基づいて何らかのプロセスを実行させる。例示的な実装は、当技術分野で知られる任意のＡＩ／ＮＮに基づく物体検出、物体認識アルゴリズムを利用して望ましい実装を容易にすることができる。
【0060】
[0075]生成されたメタデータに基づいて命令を実行するまたはオーバーレイを提供する例において、図１２は、例示的な実装による、カスタマイズされたデジタルコンテンツの例を示している。一部の態様では、デジタルコンテンツ内で物体を検出すると、検出された物体の位置を示すメタデータまたは特定の物体をオーバーレイで変更するための命令を受け取った後に、検出された物体が、カスタマイズ可能なオーバーレイを含むようにエッジデバイスによって変更されてよい。例えば、図１２はリアルタイムのバスケットボールの試合の例を提供し、ここではバスケットボールが検出されている。バスケットボールは、カスタマイズ可能なオーバーレイを含むように選択されてよく、オーバーレイは、図１２の例では、火と煙から構成されるオーバーレイを含んでいる。場合によっては、火と煙のオーバーレイを有するバスケットボールは、バスケットボールをシュートした者が良い試合をしており、その選手が「燃えて」いることを示すために利用され得る。しかし、場合によっては、多くの異なるオーバーレイが、検出された物体との関連で使用されてよく、本開示は、火と煙から構成されるオーバーレイに制限されない。
【0061】
[0076]図１３は、例示的な実装による、ＡＩ ＳｏＣを用いるサーバまたはハブデバイスの例示的な構成を示している。例示的な実装では、望ましい実装に従って、サーバ／ハブデバイス１３００は、コンテンツＩ／Ｏ１３０１、図５に関して説明したネットワークＩ／Ｏインターフェイス５０１、ＡＩ ＳｏＣ５００、およびメモリ５０６、プロセッサ１３０３等を含むことができる。
【0062】
[0077]コンテンツＩ／Ｏ１３０１は、ＡＩ ＳｏＣ５００を通じたＡＩ／ＮＮモデルによる処理のために、直接のコンテンツを提供するように構成されることができる。望ましい実装に応じて、コンテンツＩ／Ｏ１３０１は、直接の画像／映像／オーディオインターフェイス（例えば、高精細度マルチメディアインターフェイス（ＨＤＭＩ）入力、アナログ入力、オーディオ入力、カメラからのカメラフィード等）を含むことができ、または、望ましい実装に従って、ＡＩ／ＮＮモデル処理を必要とする任意の他の直接のデータインターフェイス（例えば、ローカルエリアネットワークからの、または直接接続、衛星インターフェイス、無線インターフェイスを介した、セキュリティ保護されたセンサデータフィード等）を伴うことができる。さらに、例示的な実装は、複数のデータ源を伴うことができ、コンテンツＩ／Ｏ１３０１は、サーバ／ハブデバイス１３００によって受け取られるすべてのデータに対応するためのいくつかの異なるインターフェイスを伴うことができる。例えば、コンテンツＩ／Ｏ１３０１は、望ましい実装を容易にするために、任意数の同じまたは異なるデバイスを供給源とする画像、オーディオ、またはデータの任意の組合せを受け取るように構成されることができる。
【0063】
[0078]ネットワークＩ／Ｏインターフェイス５０１は、望ましい実装に従って、クラウドまたはインターネットからの外部データに接続するための任意のインターフェイスを含むことができる。そのような外部データは、クラウドデータベースから抽出されることができ、望ましい実装に従って、メモリ５０６に格納されているＡＩ／ＮＮモデルを更新するための対数量子化されたパラメータ等を含むことができる。
【0064】
[0079]サーバ／ハブデバイス１３００は、望ましい実装に従って、任意数のＡＩ ＳｏＣ５００を伴うことができる。メモリ５０６は、ＡＩ ＳｏＣ５００にロードされる、訓練済みＡＩ／ＮＮモデルの対数量子化されたパラメータを格納するように構成されることができ、そのため、ＡＩ ＳｏＣ５００は、それに応じてシフトおよび／または加算演算を実行して、データに対してＡＩ／ＮＮモデルを実行することにより、エッジデバイスが使用するためのメタデータを生成することができる。プロセッサ１３０３は、望ましい実装に従って、ＡＩ ＳｏＣ５００の出力をメタデータ、補足データ、または他の出力に変換するなどの追加的な機能を容易にするための任意の命令をロードして実行するように構成されることができる。望ましい実装に応じて、プロセッサ１３０３は、ＡＩ ＳｏＣ５００からの出力を、対応するエッジデバイスによって実行するための命令に変換するための命令をロードして実行するように構成されることもでき、そのような命令は、ネットワークＩ／Ｏインターフェイス５０１を介して対応するエッジデバイスに送信されることができる。そのような命令は、エッジデバイスを制御するための命令を含むことができる（例えば、カメラを別の角度に回転させる、空気圧縮機のモータ回転数を調整する、オーバーレイを生成する、またはユーザインターフェイスにメニューを出現させる等）。
【0065】
[0080]例示的な実装では、サーバ／ハブデバイス１３００は、ストリーミングテレビサービスのブロードキャスト側にあることができ、そのサービスから、すべてのストリーミングブロードキャストが、エッジデバイスに、および同時にサーバ／ハブデバイス１３００に送信される。サーバ／ハブデバイス１３００は、未処理のブロードキャストを処理し、それに応じてＡＩ／ＮＮモデルを実行して、エッジデバイス内のアプリケーションが使用するためのメタデータ／補足データを生成することができる。次いで、エッジデバイス内のアプリケーションは、そのメタデータ／補足データを使用して、図９～１２等に示されるように、表示コンテンツ上にオーバーレイを生成することができる。別の例示的な実装では、サーバ／ハブデバイス１３００は、望ましい実装に従って、メニューを呼び出す、モバイルデバイスまたはモバイルデバイスとペアリングされた他のデバイスと対話する（例えば、ペアリングされたモバイルデバイスに電子商取引またはソーシャルメディア情報を提供する）等のために、エッジデバイスのアプリケーションに送信する命令を生成することもできる。そのような例示的な実装を容易にするために任意数のサーバ／ハブデバイス１３００が利用されてよく、望ましい実装を容易にするために、複数のサーバ／ハブデバイス１３００が、クラウドサービスの提供者として同じようにして使用されることができる。
【0066】
[0081]例示的な実装では、サーバ／ハブデバイス１３００は、望ましい実装を容易にするために、ローカルネットワーク内の１つまたは複数のエッジデバイスと対話する／それらを制御するように構成されることができ、または、クラウドを通じて１つまたは複数のエッジデバイスと対話する／それらを制御するエッジサーバとして機能することができる。ローカルネットワーク内の１つまたは複数のエッジデバイスを制御するサーバ／ハブデバイスの例示的な実装では、そのような実装は、高いプライバシーを必要とするシステム（例えば、住宅デバイス、スマート工場フロア等）内で使用されることができ、ここでは、送信されるデータはＡＩ／ＮＮモデルの処理を必要とするが、データはプライベートでもある。一例では、１つまたは複数の住宅カメラがサーバ／ハブデバイス１３００に監視映像フィードを提供することができ、ソフトウェアが使用されて、その住宅の所望の構成員（例えば、家族、ペット等）を認識するようにＡＩ／ＮＮモデルを訓練することができる。ＡＩ／ＮＮモデルは、次いで対数量子化され、サーバ／ハブデバイス１３００のメモリに格納されて、インターネットを通じて画像データを送信する必要なしに、および／またはサーバ／ハブデバイス１３００がインターネットに接続されることを必要とせずに、ローカルセキュリティシステムを容易にし、それによりデータのセキュリティを向上させる。望ましい実装に従って他のデバイスがサーバ／ハブデバイスと対話してもよく、本開示はこれに制限されない。例えば、望ましい実装に従って、カメラおよび他のセンサが冷蔵庫内に設置されて、商品を監視して買い物リストを生成し、食品が期限切れになろうとしている時にそれを知らせ、または示される商品に関するレシピを示すことができる。エッジデバイスからのデータまたは他のフィードバックに対してＡＩ／ＮＮモデルを実装するための任意の望ましい実装が利用されることができる。
【0067】
[0082]サーバ／ハブデバイス１３００の例示的な実装では、メモリ５０６が、１つまたは複数の訓練済みニューラルネットワークモデル（例えば、物体検出モデル、物体認識モデル、顔認識モデル等）を格納するように構成され、各モデルは、１つまたは複数の対数量子化されたパラメータ値から構成され得る１つまたは複数のニューラルネットワーク動作（例えば、ニューラルネットワーク層）によって表されることができる。一例では、図１１に示されるように、物体検出モデルが、そのようなニューラルネットワーク動作を通じて画像データ上の１つまたは複数の物体を分類するように構成されることができる。サーバ／ハブデバイス１３００は、ＡＩ ＳｏＣ５００を伴うこともでき、それは、（例えば、ＩＰＵ５０２を介して）画像データを取り込むことと、１つまたは複数の訓練済みニューラルネットワークモデル（例えば、物体検出モデル、物体認識モデル等）を（例えばＡＰＵ５０４を介して）実行して、１つまたは複数のニューラルネットワーク動作を通じて、受信された画像データを処理する（例えば、画像データから１つまたは複数の物体を分類する）ことと、を含む方法またはコンピュータ命令を実行するように構成されることができる。図６に示されるように、１つまたは複数のニューラルネットワーク動作が、メモリ５０６から読み出された１つまたは複数の対数量子化されたパラメータ値に基づいて、論理シフト演算によって画像データに実行されることができ（例えば、対数量子化されたパラメータ６０８から導出されたシフト命令を介して、事前処理された画像データ６０６に）、１つまたは複数のニューラルネットワークモデルの出力に基づいて（例えば、図１１に示されるように、物体検出モデルからの画像データ出力から分類された１つまたは複数の物体に基づいて）、画像データを補足する（例えば、図９～１１に示されるようにアノテーションまたはオーバーレイを介して）ためのメタデータを生成する。サーバ／ハブデバイス１３００は、画像データを受信する１つまたは複数の他のデバイス（例えば、１４０１）にメタデータ（例えば、図３、図４Ａ、図４Ｂに示されるような）を送信するように構成されたインターフェイス５０１を伴うことができる。
【0068】
[0083]望ましい実装に応じて、メタデータは、１つまたは複数の他のデバイスによって１つまたは複数のオーバーレイとして画像データ上に提供される、１つまたは複数のソーシャルメディアの投稿に関連する情報（例えば、図３、図４Ａ、または図４Ｂに組み込まれたものとして図９に示されるように）を伴うことができる。
【0069】
[0084]望ましい実装に応じて、図６に示されるように、ＡＩ ＳｏＣ５００の１つまたは複数のシフタ回路にシフト命令を供給することにより、論理シフト演算が実行される。同様に、１つまたは複数のニューラルネットワーク動作に対応する加算演算が、ＡＩ ＳｏＣ５００内の１つまたは複数のシフタ回路あるいは１つまたは複数の加算器回路によって実行されることもできる。
【0070】
[0085]望ましい実装に応じて、論理シフト演算は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）によって実行されることができる。すなわち、ＦＰＧＡは、図６の回路およびその変形例の機能と同等の機能を実行すると共に、望ましい実装に従ってＡＩ ＳｏＣ５００の任意の他の機能を容易にするための専用ハードウェアとして、プログラムおよび構成されることができる。
【0071】
[0086]望ましい実装に応じて、論理シフト演算は、中央処理装置（ＣＰＵ）などの１つまたは複数のハードウェアプロセッサによって実行されることもできる。すなわち、ＡＩ ＳｏＣ５００は、ハードウェアプロセッサを用いてコンピュータプログラムを実行して、論理シフト演算を実行することができる。そのような例示的な実装は、専用ハードウェアが利用可能でない場合に、ＡＩ／ＮＮ動作を処理するための実行サイクルおよび消費電力の節減を可能にすることができる。
【0072】
[0087]望ましい実装に応じて、デバイス１３００は、サーバであることができ、画像データは、テレビの映像／オーディオデータを伴うことができる。そのような例示的な実装では、テレビコンテンツは、テレビなどのエッジデバイスにブロードキャストされることができ、サーバは、望ましい実装に従って、メタデータおよびテレビの映像／オーディオデータ等をブロードキャストすることがでる。
【0073】
[0088]望ましい実装に応じて、インターフェイス５０１は、コンテンツサーバ（例えば、クラウド１０２を容易にするために使用される１つまたは複数のコンテンツサーバ、インターネットで検索可能な補足コンテンツを容易にするコンテンツサーバ、データベースから補足コンテンツを提供するように構成されたコンテンツサーバ等）からデータを検索するように構成されることができ、メモリ５０６は、図４Ｃに示されるように、分類された物体をデータにマッピングする情報を、コンテンツサーバからの検索のために格納するように構成され、ＡＩ ＳｏＣ５００は、メモリからその情報を読み出して、画像データから分類された１つまたは複数の物体に基づいて、対応するマッピングをメタデータとして提供するように構成される。
【0074】
[0089]望ましい実装に応じて、その情報は、図４Ｃおよび図１０に示されるように、分類された物体を、購入可能な物体に関係するデータにマッピングすることができ、ＡＩ ＳｏＣは、メモリからその情報を読み出し、購入可能な物体のうち対応するものを、インターフェイスを通じてコンテンツサーバから検索するように構成され、購入可能な物体のうち対応するものは、画像データから分類された１つまたは複数の物体に基づく情報として提供される。
【0075】
[0090]望ましい実装に応じて、１つまたは複数のニューラルネットワークモデルは、訓練済みニューラルネットワークの対数量子化されたパラメータ値に従って、１つまたは複数のニューラルネットワーク動作を通じて画像データに顔認識を行う顔認識モデルを伴うことができ、ＡＩ ＳｏＣ５００は、顔認識で識別された顔に基づいてメタデータを生成するように構成される。
【0076】
[0091]望ましい実装に応じて、インターフェイス５０１は、サーバ（例えば、クラウド１０２にある１つまたは複数のサーバ）から１つまたは複数の対数量子化されたパラメータを検索し、この１つまたは複数の対数量子化されたパラメータをメモリに格納するように構成される。対数量子化されたパラメータは、データ処理を行う１つまたは複数の訓練済みニューラルネットワーク／ＡＩモデルを構成する、１つまたは複数のニューラルネットワーク／ＡＩ動作を表すことができる。
【0077】
[0092]望ましい実装に応じて、メタデータは、図３、図４Ａ、および図４Ｂに示されるように、画像データ内のフレームの識別子、物体検出モデルによってフレーム内で識別された１つまたは複数の物体、フレーム内で識別された１つまたは複数の物体の座標、およびフレーム内で識別された１つまたは複数の物体に関連するデータ、を伴うことができる。
【0078】
[0093]望ましい実装に応じて、フレーム内で識別された１つまたは複数の物体に関連するデータは、図３、図４Ａ、図４Ｂ、図４Ｃ、および図９に示されるようにオーバーレイとして使用されるためのソーシャルメディアの投稿を伴うことができる。
【0079】
[0094]望ましい実装に応じて、１つまたは複数の物体に関連するデータは、図４Ｃに示されるようにコンテンツサーバから検索された１つまたは複数のオーバーレイを伴うことができる。
【0080】
[0095]望ましい実装に応じて、１つまたは複数の物体に関連するデータは、図４Ｂに示されるように１つまたは複数のエッジデバイスにより実行するための実行可能命令を伴うことができる。
【0081】
[0096]例示的な実装では、サーバ／ハブデバイス１３００は、１つまたは複数の訓練済みニューラルネットワークモデルを格納するように構成されたメモリ５０６であって、１つまたは複数の訓練済みニューラルネットワークモデルは、１つまたは複数のニューラルネットワーク動作を通じて画像データを処理するように構成される、メモリ５０６と、インターフェイス５０１と、システムオンチップ（ＳｏＣ）５００と、を含むことができ、ＳｏＣ５００は、画像データを取り込むための方法またはコンピュータ命令を実行して、図５に示されるように、１つまたは複数の訓練済みニューラルネットワークモデルを実行して、１つまたは複数のニューラルネットワーク動作を通じて画像データを処理することと、図３および図４Ａ～４Ｃに示されるように、画像データの処理に基づいて画像データの補足コンテンツを提供するためのメタデータを生成することであって、メタデータは、インターフェイス５０１を介した別のデバイス（例えば図１Ａ～１Ｃのクラウド１０２にある１つまたは複数のコンテンツサーバ）からの接続から検索された情報に基づいて生成される、メタデータを生成することと、画像データを取り込んでいる１つまたは複数の他のデバイス（例えば、エッジデバイス１０４）に、インターフェイス５０１を通じてメタデータを送信することと、を行うように構成される。
【0082】
[0097]望ましい実装に応じて、メタデータは、図９に示されるように、１つまたは複数の他のデバイス１０４によって１つまたは複数のオーバーレイとして画像データ上に補足コンテンツとして提供される、１つまたは複数のソーシャルメディアの投稿に関連する情報を伴うことができる。そのようなソーシャルメディアの投稿は、図４Ｂに示されるように、インターネット接続からそのようなソーシャルメディアの投稿を受信するための実行可能命令により、図４Ａに示されるようにコンテンツとして提供されることができ、または、図４Ｃに示されるように、マッピングに基づいてエッジデバイス１０４によって行われることができる。
【0083】
[0098]望ましい実装に応じて、ＳｏＣ５００は、図６に示されるように、ＳｏＣ内の１つまたは複数のシフタ回路により、１つまたは複数の訓練済みニューラルネットワークモデルを実行するように構成されることができる。
【0084】
[0099]別の例示的な実装では、ＳｏＣは、図６の回路と同等の機能を実行するようにプログラムされた（例えば、１つまたは複数の論理シフト演算を通じて１つまたは複数の訓練済みニューラルネットワークモデルを実行するようにプログラムされた）フィールドプログラマブルゲートアレイ（ＦＰＧＡ）により、１つまたは複数の訓練済みニューラルネットワークモデルを実行するように構成される。別の例示的な実装では、ＳｏＣは、１つまたは複数のハードウェアプロセッサにより、１つまたは複数の訓練済みニューラルネットワークモデルを実行して、図６の回路と同等の機能をコンピュータ命令によって行う（例えば、１つまたは複数の論理シフト演算を通じて１つまたは複数の訓練済みニューラルネットワークを実行する）ように構成されることができる。そのような例示的な実装では、図６に示されるような専用回路が利用可能でないにも関わらず、ハードウェアデバイスでコンピューティングサイクルおよび電力が節減されることができる。
【0085】
[0100]望ましい実装に応じて、デバイス１３００は、図１Ｂに示されるように、インターフェイス５０１を通じて１つまたは複数のエッジデバイスに画像データを送信するように構成されることができる。
【0086】
[0101]例示的な実装では、サーバ／ハブデバイス１３００は、１つまたは複数の訓練済みニューラルネットワークモデルを格納するように構成されたメモリ５０６であって、１つまたは複数の訓練済みニューラルネットワークモデルは、１つまたは複数のニューラルネットワーク動作を通じて画像データを処理するように構成される、メモリ５０６と、インターフェイス５０１と、システムオンチップ（ＳｏＣ）５００と、を含むことができ、ＳｏＣ５００は、図５に示されるように、（例えば、ＩＰＵ５０２を介して）画像データを取り込むことと、１つまたは複数の訓練済みニューラルネットワークモデルを実行して、１つまたは複数のニューラルネットワーク動作を通じて（例えばＡＰＵ５０４を介して）画像データを処理することと、図４Ｂに示されるように、画像データの処理に基づいて、１つまたは複数の他のデバイスのアプリケーションによって実行するための命令を（例えば、ＯＰＵ５０８を介して）生成することと、画像データを取り込んでいる１つまたは複数の他のデバイス１０４に、インターフェイス５０１を介して命令を送信することと、を含む方法または命令を実行するように構成される。
【0087】
[0102]例示的な実装では、上記命令は、図１０に関して説明されたように、別のデバイスのアプリケーションによって管理されるグラフィカルユーザインターフェイス（ＧＵＩ）にメニューを生成するための命令を伴うことができる。
【0088】
[0103]例示的な実装では、サーバ／ハブデバイス１３００は、訓練済みニューラルネットワークの対数量子化されたパラメータ値に従って、１つまたは複数のニューラルネットワーク動作を通じて入力データに分析を行うように構成された訓練済みニューラルネットワークモデルを格納するように構成されたメモリ５０６と、命令または方法を実行するように構成されたシステムオンチップ（ＳｏＣ）５００と、を含むことができ、命令または方法は、訓練済みニューラルネットワークを実行して、１つまたは複数のニューラルネットワーク動作を通じて入力データに分析を行うことであって、１つまたは複数のニューラルネットワーク動作は、メモリ５０６から読み出された１つまたは複数の対数量子化されたパラメータ値に基づく入力データに対する論理シフト演算によって実行される、分析を行うことと、インターフェイス５０１を通じて、入力データに対する分析に基づいて別のデバイスを制御することと、を含むことができ、その例は図１４に関して説明された。
【0089】
[0104]例示的な実装では、１つまたは複数のデバイスに送信される画像データを（例えば、ＩＰＵ５０２を介して）取り込むことと、１つまたは複数の訓練済みニューラルネットワークモデルを実行して、１つまたは複数のニューラルネットワーク動作を通じて（例えば、ＡＰＵ５０４を介して）画像データを処理することと、画像データの処理に基づいて、画像データを補足するためのメタデータを生成することであって、メタデータは、別のデバイス（例えば、クラウド１０２）への接続から検索される情報に基づいて生成される、メタデータを生成することと、メタデータを１つまたは複数の他のデバイスに送信することであって、１つまたは複数のデバイスは、メタデータに従って画像データ上に１つまたは複数のオーバーレイを提供するように（例えば、図９～１１に示されるように）構成される、送信することと、を含むシステムおよび方法があることができる。
【0090】
[0105]図１４は、例示的な実装による、図１３のサーバ／ハブデバイスの例示的な実装が実装されることが可能な例示的なシステムを示している。１つまたは複数のエッジ／ネットワーク化デバイス１４０１が、図１３に示されるように、サーバ／ハブデバイス１４０２に接続されているネットワーク１４００（例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ＷＩＦＩ等）に通信的に接続される。サーバ／ハブデバイス１４０２は、望ましい実装に応じて、ＬＡＮまたはインターネット接続を介してデータベース／クラウドシステム１４０３に接続することができる。そのようなデータベース／クラウドシステム１４０３は、望ましい実装に応じて、提供されたメタデータに基づいてエッジ／ネットワーク化デバイス１４０１によって検索されることが可能なオーバーレイに関するデータを含むことができ、および／または、エッジ／ネットワーク化デバイス１４０１によって提供されるデータを含むこともできる。データベース／クラウドシステム１４０３は、当技術分野で知られるように、１つまたは複数のコンテンツサーバまたは格納システムを通じて実装されることができる。望ましい実装に応じて、システムは、望ましい実装に従って、複数の異種デバイスがサーバ／ハブデバイス１４０２によって管理または制御されることができる、モノのインターネット（ＩｏＴ）システムとして実装されることもできる。
【0091】
[0106]例示的な実装では、サーバ／ハブデバイス１４０２は、エッジ／ネットワーク化デバイス１４０１に代わって、ニューラルネットワークモデルを実行することによって分析を行うように構成されることもできる。そのような例示的な実装では、そのようなエッジ／ネットワーク化デバイス１４０１は、ＡＩ／ＮＮモデルによる処理のためにサーバ／ハブデバイス１４０２にデータを送信するように構成されることができ、サーバ／ハブデバイス１４０２は、該当する処理を行い、それに応じて命令の送信を通じてエッジ／ネットワーク化デバイスを制御することができる。
【0092】
[0107]例えば、セキュリティシステムでは、望ましい実装に従って、エッジ／ネットワーク化デバイス１４０１が、監視カメラ、音センサ、モバイルデバイス、ラップトップ、ＴＶ、ドアセンサ等を伴うことができる。映像データまたは他のデータが、エッジ／ネットワーク化デバイス１４０１からサーバ／ハブデバイス１４０２に送信されて、侵入者を検出するように構成されたＡＩ ＳｏＣ上のＡＩ／ＮＮモデルで処理されることができ、侵入者が検出された場合、サーバ／ハブデバイス１４０２は、それに応じて命令を送信する（例えば、モバイルデバイスに監視カメラから映像フィールドを取り出すように命じる）、または、それに応じてメタデータを送信する（例えば、示されたデバイスから侵入に関するメタデータをモバイルデバイスに送り、モバイルデバイスは、それに応じて知らされた侵入を知らせるためのメッセージを生成するか、またはメニューをロードする）ように構成されることができる。
【0093】
[0108]別の例では、サーバ／ハブデバイス１４０２は、複数の工場デバイスを制御するための工場フロアにあるプログラム可能論理コントローラ（ＰＬＣ）の形態であることができる。そのような例示的な実装では、そのような工場デバイスが、サーバ／ハブデバイス１４０２にセンサデータを送信してよく、サーバ／ハブデバイス１４０２は、望ましい実装に従ってＡＩ ＳｏＣを通じてＡＩ／ＮＮモデルを実行することでそのような工場デバイスを制御する。例えば、ＡＩ／ＮＮモデルは、分析を行って工場デバイスが故障を起こしそうであるかどうかを判断するように構成されたニューラルネットワークモデルを実行してよく、故障を起こしそうな場合、サーバ／ハブデバイス１４０２は、さらなる損害を回避するために電源を落とすようにそのような工場デバイスを制御するように構成されることができる。
【0094】
[0109]望ましい実装に従って他の分析の例も可能であり得、本発明は特に制限されない。例えば、工場ラインにあるさまざまなデバイスからのセンサデータが訓練済みニューラルネットワークモデルによって分析されて、望ましい実装に従って調節することができる。分析に基づく変更の他の例には、望ましい実装に従って、分析結果に応じてセンサが再構成されること、分析に応じて音声認識パラメータが変更されること等が含まれ得る。
【0095】
[0110]上記の例示的な実装は、望ましい実装に従って、任意のネットワーク化された環境およびデバイスに拡張されることができる。当業者は、望ましい実装に従って、本明細書に記載される例示的な実装を利用して、ネットワーク化デバイスによって処理するためのメタデータを生成する、またはそのようなネットワークデバイスを命令で制御することができる。
【0096】
[0111]詳細な説明の一部は、コンピュータ内の動作のアルゴリズムおよび記号的表現として提示されている。これらのアルゴリズム的記述および記号表現は、革新的技術の本質を他の当業者に伝達するために、データ処理技術の当業者によって使用される手段である。アルゴリズムは、望まれる最終状態または結果につながる一連の定義されたステップである。例示的な実装では、実行されるステップは、有形の結果を達成するために、有形の量の物理的操作を必要とする。
【0097】
[0112]説明から明らかであるように、特に具体的に述べられない限り、説明全体を通じて、「処理」、「計算」、「算出」、「決定」、「表示」などの用語を利用する説明は、コンピュータシステムのレジスタおよびメモリ内の物理（電子）量として表されたデータを操作して、コンピュータシステムのメモリまたはレジスタあるいはその他の情報の格納デバイス、送信デバイス、または表示デバイス内の物理量として同様に表された他のデータに変換する、コンピュータシステムまたはその他の情報処理デバイスの動作およびプロセスを含むことができると理解される。
【0098】
[0113]例示的な実装は、本明細書における動作を実行するための装置に関連してもよい。この装置は、必要とされる目的のために特別に構築されてよく、あるいは１つまたは複数のコンピュータプログラムによって選択的に作動または再構成される１つまたは複数の汎用コンピュータを含んでよい。そのようなコンピュータプログラムは、コンピュータ可読ストレージ媒体またはコンピュータ可読信号媒体などのコンピュータ可読媒体に格納されてよい。コンピュータ可読ストレージ媒体は、これらに限定されないが、光ディスク、磁気ディスク、読み取り専用メモリ、ランダムアクセスメモリ、半導体デバイスおよびドライブ、あるいは電子情報を格納するのに適している任意のその他の種類の有形または非一過性の媒体などの、有形の媒体を含んでよい。コンピュータ可読信号媒体は、搬送波などの媒体を含んでよい。本明細書において提示されたアルゴリズムおよび表示は、本質的に、どの特定のコンピュータまたはその他の装置にも関連していない。コンピュータプログラムは、望ましい実装の動作を実行する命令を伴う純粋なソフトウェア実装を含むことができる。
【0099】
[0114]さまざまな汎用システムが、本明細書における例に従って、プログラムおよびモジュールと共に使用されてよく、または、望まれる方法のステップを実行するために、より特殊な装置を構築することが便利であると判明することもある。加えて、例示的な実装は、いずれかの特定のプログラミング言語を参照して説明されない。本明細書に記載された例示的な実装の技術を実装するために、さまざまなプログラミング言語が使用されてよいことが理解されるであろう。プログラミング言語の命令は、１つまたは複数の処理デバイス（例えば、中央処理装置（ＣＰＵ）、プロセッサ、またはコントローラ）によって実行されてよい。
【0100】
[0115]当技術分野において知られているように、上記の動作は、ハードウェア、ソフトウェア、またはソフトウェアとハードウェアの何らかの組合せによって実行されることができる。例示的な実装のさまざまな態様は、回路および論理デバイス（ハードウェア）を使用して実装されてよいが、他の態様は、機械可読媒体に格納された命令（ソフトウェア）を使用して実装されてもよく、これらの命令は、プロセッサによって実行された場合、プロセッサに、本出願の実装を実行するための方法を実行させる。さらに、本出願の一部の例示的な実装は、ハードウェアのみで実行されてよく、一方、他の例示的な実装は、ソフトウェアのみで実行されてよい。さらに、説明されたさまざまな機能は、単一のユニットにおいて実行されることができ、または任意数の方式で複数のコンポーネントにわたって分散されることができる。ソフトウェアによって実行される場合、方法は、コンピュータ可読媒体に格納された命令に基づいて、汎用コンピュータなどのプロセッサによって実行されてよい。必要に応じて、命令は、圧縮された形式および／または暗号化された形式で媒体に格納されることができる。
【0101】
[0116]さらに、本明細書の検討および本出願の教示の実践から、本出願の他の実装が当業者にとって明らかになるであろう。説明された例示的な実装のさまざまな態様および／またはコンポーネントが、単独で、または任意の組合せで使用されてよい。本明細書および例示的な実装は、単なる例と見なされることが意図され、本出願の真の範囲および思想は、以下の特許請求の範囲によって示されている。
【図1A】
【図1B】
【図1C】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【手続補正書】
【提出日】2024-08-08
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
[0001]本出願は、２０２１年５月５日に出願され、「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ Ｉｎｖｏｌｖｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ Ｃｌｏｕｄ Ｔｅｃｈｎｏｌｏｇｙ ｆｏｒ Ｅｄｇｅ ａｎｄ Ｓｅｒｖｅｒ ＳＯＣ」と題された、米国仮出願第６３／１８４，５７６号、２０２１年５月５日に出願され、「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ Ｉｎｖｏｌｖｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ Ｃｌｏｕｄ Ｔｅｃｈｎｏｌｏｇｙ ｆｏｒ Ｅｄｇｅ ａｎｄ Ｓｅｒｖｅｒ ＳＯＣ」と題された、米国仮出願第６３／１８４，６３０号、および、２０２２年４月２９日に出願され、「ＩＭＰＬＥＭＥＮＴＡＴＩＯＮＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＰＲＯＣＥＳＳＩＮＧ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫ ＩＮ ＳＥＭＩＣＯＮＤＵＣＴＯＲ ＨＡＲＤＷＡＲＥ」と題された、ＰＣＴ出願第ＰＣＴ／ＵＳ２２／２７０３５号に対する恩恵および優先権を主張し、それらの開示はその全体が参照によって本明細書に明示的に組み込まれている。
[0002]本開示は、概して、人工知能／ニューラルネットワーク（ＡＩ／ＮＮ）処理のためのシステムおよびアーキテクチャを対象とし、より具体的には、サーバシステムオンチップ（ＳｏＣ）のためのＡＩおよびクラウド技術を伴うシステムおよび方法を対象とする。
関連技術
[0001]本出願は、２０２１年５月５日に出願され、「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ Ｉｎｖｏｌｖｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ Ｃｌｏｕｄ Ｔｅｃｈｎｏｌｏｇｙ ｆｏｒ Ｅｄｇｅ ａｎｄ Ｓｅｒｖｅｒ ＳＯＣ」と題された、米国仮出願第６３／１８４，５７６号、２０２１年５月５日に出願され、「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ Ｉｎｖｏｌｖｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ Ｃｌｏｕｄ Ｔｅｃｈｎｏｌｏｇｙ ｆｏｒ Ｅｄｇｅ ａｎｄ Ｓｅｒｖｅｒ ＳＯＣ」と題された、米国仮出願第６３／１８４，６３０号、および、２０２２年４月２９日に出願され、「ＩＭＰＬＥＭＥＮＴＡＴＩＯＮＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＰＲＯＣＥＳＳＩＮＧ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫ ＩＮ ＳＥＭＩＣＯＮＤＵＣＴＯＲ ＨＡＲＤＷＡＲＥ」と題された、ＰＣＴ出願第ＰＣＴ／ＵＳ２２／２７０３５号に対する恩恵および優先権を主張し、それらの開示はその全体が参照によって本明細書に明示的に組み込まれている。
[0002]本開示は、概して、人工知能／ニューラルネットワーク（ＡＩ／ＮＮ）処理のためのシステムおよびアーキテクチャを対象とし、より具体的には、サーバシステムオンチップ（ＳｏＣ）のためのＡＩおよびクラウド技術を伴うシステムおよび方法を対象とする。
関連技術
【0002】
[0003]今日、多くの形態のデジタルコンテンツがある。最初に用語を定義すると、「デジタルコンテンツ」とは、消費者が消費する任意の視覚、可聴、およびテキストのコンテンツである。一例として、テレビ（ＴＶ）のデジタルコンテンツは、画像、映像、音声、およびテキストを含む。そのようなデジタルコンテンツの配信機構には、イーサネット、衛星、ケーブル、携帯電話網、インターネット、ならびにＷＩＦＩ、および／または同類のものがある。コンテンツを配信するために使用されるデバイスには、テレビ（ＴＶ）、携帯電話、自動車ディスプレイ、監視カメラディスプレイ、パーソナルコンピュータ（ＰＣ）、タブレット、強化現実／仮想現実（ＡＲ／ＶＲ）デバイス、およびさまざまなモノのインターネット（ＩｏＴ）デバイスが含まれ得る。デジタルコンテンツは、生のスポーツイベントなどの「リアルタイム」のコンテンツと、映画や連続ドラマまたは他の事前に録画されたイベントもしくは生でないイベントなどの「用意された」コンテンツとに分けることもできる。現在、「リアルタイム」のコンテンツと「用意された」コンテンツはどちらも、さらなる補足または処理を行わずに消費者に提示されている。
【発明の概要】
【0003】
[0004]本明細書に記載される例示的な実装は、デジタルコンテンツを処理して、物体検出、物体分類、顔認識、テキスト検出、自然言語処理から得られる情報などの、コンテンツに関するインテリジェントな情報を入手し、クラウド／インターネット／任意の場所で見つかった適切な関連する情報を、処理されて消費者に提示できる状態になるデジタルコンテンツの部分に結びつける／アノテーションするための新規な手法を伴う。例示的な実装は、処理されたデジタルコンテンツを、クラウド／インターネットで見つかった関連する適切な情報に結びつける／アノテーションする方法を提供し、ハードウェア、ソフトウェア、またはそれらの何らかの組合せとして実装される。
【0004】
[0005]本明細書に記載される例示的な実装は、視覚コンテンツおよびオーディオコンテンツを分類することをさらに伴う。例示的な実装は、視覚コンテンツ内の人、物体、概念、シーン、テキスト、および言語を分類／識別することができる。例示的な実装は、オーディオコンテンツをテキストに変換し、その変換されたテキスト内で関連する情報を識別することができる。
【0005】
[0006]本明細書に記載される例示的な実装は、クラウド／インターネットから任意の適切な情報を取得し、見つかった情報で視覚コンテンツおよびオーディオコンテンツを補足することをさらに伴う。
【0006】
[0007]本明細書に記載される例示的な実装は、補足されたコンテンツを消費者に提示することをさらに伴う。
【0007】
[0008]本明細書に記載される例示的な実装における分類／識別プロセスは、画像、映像、音声、および言語を処理して、人々（例えば、ある者が誰であるか）、物体の部類（車、船等）、テキスト／言語の意味、任意の概念、または任意のシーンを識別するステップを伴う。この分類ステップを達成することができる方法の一例は、画像、映像、および言語を分類することができるさまざまな人工知能（ＡＩ）モデルである。しかし、従来のアルゴリズムなどの他の代替方法があり得る。
【0008】
[0009]本開示において、「クラウド」は、インターネット、任意のサーバ、任意形態のデータベース、任意のコンピュータメモリ、任意の格納デバイス、または任意の消費者デバイスに存在する任意の情報を伴うことができる。
【0009】
[0010]本開示の態様はデバイスを伴うことができ、このデバイスは、１つまたは複数の対数量子化されたパラメータ値によって表される訓練済みニューラルネットワークの形態の物体検出モデルを格納するように構成されたメモリであって、物体検出モデルは、訓練済みニューラルネットワークの対数量子化されたパラメータ値に従って、１つまたは複数のニューラルネットワーク動作を通じて画像データ上で１つまたは複数の物体を分類するように構成される、メモリと、システムオンチップ（ＳｏＣ）であって、画像データを取り込むことと、物体検出モデルを実行して、１つまたは複数のニューラルネットワーク動作を通じて画像データの１つまたは複数の物体を分類することであって、１つまたは複数のニューラルネットワーク動作は、メモリから読み出された１つまたは複数の対数量子化されたパラメータ値に基づく、画像データに対する論理シフト演算によって実行される、物体を分類することと、画像データから分類された１つまたは複数の物体に基づいて画像データをアノテーションするためのメタデータを生成することと、を行うように構成されたＳｏＣと、画像データを受信する１つまたは複数の他のデバイスにメタデータを送信するように構成されたインターフェイスと、を含むことができる。
【0010】
[0011]本開示の態様はコンピュータプログラムを伴うことができ、このコンピュータプログラムは、画像データを取り込むことと、物体検出モデルを実行して、１つまたは複数のニューラルネットワーク動作を通じて画像データの１つまたは複数の物体を分類することであって、１つまたは複数のニューラルネットワーク動作は、メモリから読み出された１つまたは複数の対数量子化されたパラメータ値に基づく、画像データに対する論理シフト演算によって実行される、物体を分類することと、画像データから分類された１つまたは複数の物体に基づいて画像データをアノテーションするためのメタデータを生成することと、画像データを受信する１つまたは複数の他のデバイスにメタデータを送信することと、を伴う命令を含むことができる。コンピュータプログラムおよび命令は、１つまたは複数のプロセッサにより実行するために非一過性のコンピュータ可読媒体に格納されることができる。
【0011】
[0012]本開示の態様は方法を伴うことができ、この方法は、画像データを取り込むことと、物体検出モデルを実行して、１つまたは複数のニューラルネットワーク動作を通じて画像データから１つまたは複数の物体を分類することであって、１つまたは複数のニューラルネットワーク動作は、メモリから読み出された１つまたは複数の対数量子化されたパラメータ値に基づく、画像データに対する論理シフト演算によって実行される、物体を分類することと、画像データから分類された１つまたは複数の物体に基づいて画像データをアノテーションするためのメタデータを生成することと、画像データを受信する１つまたは複数の他のデバイスにメタデータを送信することと、を含むことができる。
【0012】
[0013]本開示の態様はシステムを伴うことができ、このシステムは、画像データを取り込む手段と、物体検出モデルを実行して、１つまたは複数のニューラルネットワーク動作を通じて画像データから１つまたは複数の物体を分類することであって、１つまたは複数のニューラルネットワーク動作は、メモリから読み出された１つまたは複数の対数量子化されたパラメータ値に基づく、画像データに対する論理シフト演算によって実行される、物体を分類することと、画像データから分類された１つまたは複数の物体に基づいて画像データをアノテーションするためのメタデータを生成する手段と、画像データを受信する１つまたは複数の他のデバイスにメタデータを送信する手段と、を含むことができる。
【0013】
[0014]本開示の態様はデバイスを伴うことができ、このデバイスは、１つまたは複数の訓練済みニューラルネットワークモデルを格納するように構成されたメモリであって、１つまたは複数の訓練済みニューラルネットワークモデルは、１つまたは複数のニューラルネットワーク動作を通じて画像データを処理するように構成される、メモリと、インターフェイスと、システムオンチップ（ＳｏＣ）と、を備え、ＳｏＣは、画像データを取り込むことと、１つまたは複数の訓練済みニューラルネットワークモデルを実行して、１つまたは複数のニューラルネットワーク動作を通じて画像データを処理することと、画像データの処理に基づいて、画像データの補足コンテンツを提供するためのメタデータを生成することであって、メタデータは、インターフェイスを通じた別のデバイスへの接続から検索される情報に基づいて生成される、メタデータを生成することと、画像データを取り込んでいる１つまたは複数の他のデバイスに、インターフェイスを通じてメタデータを送信することと、を行うように構成される。
【0014】
[0015]本開示の態様は、デバイスを伴うことができ、このデバイスは、１つまたは複数の訓練済みニューラルネットワークモデルを格納するように構成されたメモリであって、１つまたは複数の訓練済みニューラルネットワークモデルは、１つまたは複数のニューラルネットワーク動作を通じて画像データを処理するように構成される、メモリと、インターフェイスと、システムオンチップ（ＳｏＣ）と、を備え、ＳｏＣは、画像データを取り込むことと、１つまたは複数の訓練済みニューラルネットワークモデルを実行して、１つまたは複数のニューラルネットワーク動作を通じて画像データを処理することと、画像データの処理に基づいて、画像データの補足コンテンツを提供するためのメタデータを生成することであって、メタデータは、インターフェイスを通じた別のデバイスへの接続から検索される情報に基づいて生成される、メタデータを生成することと、画像データを取り込んでいる１つまたは複数の他のデバイスに、インターフェイスを通じてメタデータを送信することと、を行うように構成される。
【0015】
[0016]本開示の態様は方法を伴い、この方法は、画像データを取り込むことと、１つまたは複数の訓練済みニューラルネットワークモデルを実行して、１つまたは複数のニューラルネットワーク動作を通じて画像データを処理することと、画像データの処理に基づいて、画像データの補足コンテンツを提供するためのメタデータを生成することであって、メタデータは、インターフェイスを通じた別のデバイスへの接続から検索される情報に基づいて生成される、メタデータを生成することと、画像データを取り込んでいる１つまたは複数の他のデバイスに、インターフェイスを通じてメタデータを送信することと、を含むことができる。
【0016】
[0017]本開示の態様はコンピュータプログラムを伴い、このコンピュータプログラムは、画像データを取り込むことと、１つまたは複数の訓練済みニューラルネットワークモデルを実行して、１つまたは複数のニューラルネットワーク動作を通じて画像データを処理することと、画像データの処理に基づいて、画像データの補足コンテンツを提供するためのメタデータを生成することであって、メタデータは、インターフェイスを通じた別のデバイスへの接続から検索される情報に基づいて生成される、メタデータを生成することと、画像データを取り込んでいる１つまたは複数の他のデバイスに、インターフェイスを通じてメタデータを送信することと、を伴う命令を含むことができる。コンピュータプログラムおよび命令は、非一過性のコンピュータ可読媒体に格納されることができ、１つまたは複数のプロセッサによって実行されるように構成されることができる。
【0017】
[0018]本開示の態様はシステムを伴い、このシステムは、画像データを取り込む手段と、１つまたは複数の訓練済みニューラルネットワークモデルを実行して、１つまたは複数のニューラルネットワーク動作を通じて画像データを処理する手段と、画像データの処理に基づいて、画像データの補足コンテンツを提供するためのメタデータを生成する手段であって、メタデータは、インターフェイスを通じた別のデバイスへの接続から検索される情報に基づいて生成される、メタデータを生成する手段と、画像データを取り込んでいる１つまたは複数の他のデバイスに、インターフェイスを通じてメタデータを送信する手段と、を含むことができる。
【0018】
[0019]本開示の態様はデバイスを伴うことができ、このデバイスは、１つまたは複数の対数量子化されたパラメータ値によって表される訓練済みニューラルネットワークモデルを格納するように構成されたメモリであって、訓練済みニューラルネットワークモデルは、訓練済みニューラルネットワークの対数量子化されたパラメータ値に従って、１つまたは複数のニューラルネットワーク動作を通じて、入力データに分析を行うように構成される、メモリと、システムオンチップ（ＳｏＣ）と、伴うことができ、ＳｏＣは、訓練済みニューラルネットワークを実行して、１つまたは複数のニューラルネットワーク動作を通じて、入力データに分析を行うことであって、１つまたは複数のニューラルネットワーク動作は、メモリから読み出された１つまたは複数の対数量子化されたパラメータ値に基づく入力データに対する論理シフト演算によって実行される、分析を行うことと、インターフェイスを通じて、入力データに対する分析に基づいて別のデバイスを制御することと、を行うように構成される。
【0019】
[0020]本開示の態様は方法を伴うことができ、この方法は、訓練済みニューラルネットワークを実行して、１つまたは複数のニューラルネットワーク動作を通じて、入力データに分析を行うことであって、１つまたは複数のニューラルネットワーク動作は、メモリから読み出された１つまたは複数の対数量子化されたパラメータ値に基づく入力データに対する論理シフト演算によって実行される、分析を行うことと、インターフェイスを通じて、入力データに対する分析に基づいて別のデバイスを制御することと、を伴う。
【0020】
[0021]本開示の態様はコンピュータプログラムを伴うことができ、このコンピュータプログラムは、訓練済みニューラルネットワークを実行して、１つまたは複数のニューラルネットワーク動作を通じて、入力データに分析を行うことであって、１つまたは複数のニューラルネットワーク動作は、メモリから読み出された１つまたは複数の対数量子化されたパラメータ値に基づく入力データに対する論理シフト演算によって実行される、分析を行うことと、インターフェイスを通じて、入力データに対する分析に基づいて別のデバイスを制御することと、のための命令を伴う。コンピュータプログラムおよび命令は、非一過性のコンピュータ可読媒体に格納され、１つまたは複数のプロセッサによって実行されることができる。
【0021】
[0022]本開示の態様はシステムを伴うことができ、このシステムは、訓練済みニューラルネットワークを実行して、１つまたは複数のニューラルネットワーク動作を通じて、入力データに分析を行う手段であって、１つまたは複数のニューラルネットワーク動作は、メモリから読み出された１つまたは複数の対数量子化されたパラメータ値に基づく入力データに対する論理シフト演算によって実行される、分析を行う手段と、インターフェイスを通じて、入力データに対する分析に基づいて別のデバイスを制御する手段と、を伴う。
【図面の簡単な説明】
【0022】
【発明を実施するための形態】
【0023】
[0038]以下の詳細な説明は、本出願の図および例示的な実装の詳細を提供する。図間の冗長な要素の参照番号および説明は、明確にするために省略される。説明全体を通じて使用される用語は、例として提供されており、制限となるよう意図されていない。例えば、「自動的」という用語の使用は、本出願の実装を実践する当業者の望ましい実装に応じて、実装の特定の態様に対するユーザまたは管理者の制御を伴う完全に自動的な実装または半自動的な実装を含んでよい。選択が、ユーザインターフェイスまたはその他の入力手段を介して、ユーザによって実施されることができ、あるいは望ましいアルゴリズムによって実施されることができる。本明細書に記載されている例示的な実装は、単独で、または組み合わせて利用されることができ、例示的な実装の機能は、望ましい実装に従って任意の手段によって実装されることができる。
【0024】
[0039]本明細書に記載される例示的な実装は、サーバのための新規なＡＩ ＳｏＣおよびブロードキャストアーキテクチャの使用を伴う。本明細書に記載される例示的な実装では、「リアルタイム」のデジタルコンテンツおよび「用意された」デジタルコンテンツが、さらなるアノテーションまたは処理なしで消費者に提示される（例えばブロードキャストされる）。先行する項で提案された技術は、デジタルコンテンツを処理し、消費者に提示するデジタルコンテンツのうち関連する部分に関して見つかった適切なクラウド情報を結びつけるための新規の手法である。例示的な実装が実装され、それが使用されて「補足データ」を作成し、そのような追加情報を本来のデジタルコンテンツと共に消費者に送ることができる。
【0025】
[0040]図１Ａ～１Ｃは、例示的な実装による全体的なシステムアーキテクチャを示している。図１Ａに示されるシステムアーキテクチャでは、本明細書に記載されるように、エッジデバイス１０４に、ならびにＡＩ ＳｏＣ１０３を利用するサーバまたは他のハブデバイスに、コンテンツ１０１がブロードキャストされる。コンテンツ１０１は、これらに限定されないが、衛星、ＴＶ、モバイルデバイスから、カメラ（例えば、監視カメラ）、パーソナルコンピュータからなど、任意の望ましい実装を通じてブロードキャストされることができる。サーバまたは他のハブデバイスは、エッジデバイス１０４にこれからブロードキャストされるコンテンツを観察し、ＡＩ／ニューラルネットワーク（ＮＮ）モデルおよび他の望ましい実装を使用してコンテンツを処理して、エッジデバイス１０４内でブロードキャストされたコンテンツと併せて使用されるための情報を生成するように構成される。例示的な実装では、コンテンツ１０１は、テレビ、映像／オーディオデータ、ストリーミング映像、監視映像等の画像データを含むことができる。しかし、本開示はそれに限定されず、望ましい実装および使用される基礎モデルに応じて、他のコンテンツがブロードキャストされることもできる。例えば、コンテンツは、オーディオ、センサデータ、奥行きカメラ画像データ、およびその他であり得る。
【0026】
[0041]クラウド１０２または別のインターネットリソースからの情報も、サーバまたはＡＩ ＳｏＣ１０３を利用する他のハブデバイスに提供される。そのような情報は、望ましい実装に応じて、クラウドリソースからのデータ、電子商取引情報、ソーシャルメディア情報、ウェブ情報、インターネット情報等を含み得る。ＡＩ ＳｏＣ１０３を利用するサーバまたはハブデバイスは、コンテンツおよびクラウド情報を処理して、コンテンツと共に提供される適切な情報をペアリングする。映像ストリーミングデータを伴う例示的な実装では。例示的な実装では、ＡＩ ＳｏＣ１０３を利用するサーバまたはハブデバイスは、ＡＩ／ＮＮモデルを使用して、映像、オーディオ、およびテキストコンテンツを分類して、映像、オーディオ、およびテキストコンテンツを識別するコンテンツ分類１０５を生成する。コンテンツ分類１０５およびクラウド１０２からの関連する適切な情報に基づいて、補足データ１０６が識別され、それを使用して、受信された画像データのエッジ処理で使用するためにエッジデバイス１０４に提供されるメタデータ１０７を生成する。例示的な実装では、本明細書に記載されるように、エッジデバイスによるアノテーションなどの態様が、メタデータによって達成されることができ、それをエッジデバイス１０４が使用して、クラウド情報１０２を受信したコンテンツ１０１にリンクする。
【0027】
[0042]そのような例示的な実装を通じて、エッジデバイス１０４からの処理に代えて、専用のサーバ、またはブロードキャストされるコンテンツと併せて使用されるための情報をクラウド１０２から提供する中央ハブとして機能することができる他のハブデバイスによって、ＡＩ処理が行われることができる。さらに、ＡＩ ＳｏＣ１０３において論理シフト演算を使用するという新規の手法を通じて、処理は、サーバまたはハブデバイスでシームレスかつ高速に（リアルタイムで）行われることができ、そのため、提供されるクラウド情報１０２は、エッジデバイス１０４が受信コンテンツ１０１を表示するかまたはその他の形で使用できる状態になる時までに、エッジデバイス１０４に提供されることができる。そのような例示的な実装を通じて、エッジデバイス１０４は、クラウド情報１０２とペアリングされた受信コンテンツ１０１を表示／使用することができ、これは、それを行うために必要とされる処理時間のために、関連技術の実装では本来可能でなかった。これは、人手によるメタデータのアノテーションまたは人手によるメタデータが事前に決定されることを必要とする、関連技術の実装に対する改良である。ＡＩ ＳｏＣ１０３を用いるサーバまたはハブデバイスは、複数の異なるコンテンツを処理する複数の異なるエッジデバイス１０４に、そのようなペアリングを提供することができる。
【0028】
[0043]「リアルタイム」のコンテンツおよび「用意された」デジタルコンテンツ１０１は、イーサネット、衛星、ケーブル、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）およびＷＩＦＩなどの接続を介して、これらに限定されないが、ＴＶ、携帯電話、自動車ディスプレイ、監視カメラディスプレイ、ＰＣ、タブレット、ＡＲ／ＶＲ デバイス、およびさまざまなモノのインターネット（ＩｏＴ）デバイスを含み得る、エッジデバイス１０４に配信される。
【0029】
[0044]図１Ｂは、別の例示的なアーキテクチャを示しており、ここでは、コンテンツ１０１がメタデータと併せてまたはそれと共にエッジデバイスに提供される。図１Ａで、コンテンツ１０１の画像データは、ＡＩ ＳｏＣ１０３を管理するサーバまたはハブデバイスに対するブロードキャストも行っている何らかのブロードキャストデバイスから、エッジデバイスによって受信されることができる。しかし、コンテンツ１０１は、必要な場合には、ＡＩ ＳｏＣ１０３を管理するサーバまたはハブデバイスから受信されることができる。そのような例示的な実装では、サーバまたはハブデバイスが、コンテンツ１０１と併せて、またはコンテンツ１０１の中に一体化された、メタデータを１つまたは複数のエッジデバイスに提供することができる。
【0030】
[0045]図１Ｃは、例示的な実装による、すでに処理されたメタデータのリポジトリを伴う例示的な実装を示している。例示的な実装では、メタデータは、同様のコンテンツ１０１を受信している他のデバイスのために再使用されてよい。例えば、サーバまたはハブデバイスがデジタルコンテンツのリポジトリ（例えば、その映像コンテンツを要求するデバイスに提供される映像コンテンツのライブラリを管理しているストリーミングアプリケーション）を管理している場合、リポジトリ内のいずれかのデジタルコンテンツのために生成されたメタデータが、同じデジタルコンテンツを要求する他のエッジデバイスのために再使用されることができる。そのような例示的な実装では、さらに再使用するようにメタデータ１０７を格納するためにメタデータリポジトリ１１０が利用されることができ、リポジトリは、望ましい実装に従って、クラウドシステム、データベース、格納システム等の形態であることができる。
【0031】
[0046]図２は、例示的な実装による、ＡＩ ＳｏＣを用いるサーバまたはハブデバイスの例示的なフロー図を示している。デジタルコンテンツを配信する前に、コンテンツが処理されて、ＡＩ ＳｏＣを用いるサーバまたはハブデバイスによる以下のステップを経ることができる。
【0032】
[0047]視覚、オーディオ、およびテキストコンテンツを分類／識別／処理する２００。例示的な実装におけるＡＩ ＳｏＣを用いるサーバまたはハブデバイスは、視覚コンテンツ内の人、物体、概念、シーン、テキスト、および言語を分類／識別／処理し、オーディオコンテンツをテキストに変換し、そのテキストを分類／処理することができる。このステップを実現するために、ＡＩ、ニューラルネットワーク、および任意の他の従来の技術が使用されることができる。
【0033】
[0048]クラウドから任意の適切な情報を取得し、視覚、オーディオ、およびテキストコンテンツに合わせて見つかった情報（「補足データ」）を集める２０１。
【0034】
[0049]見つかった情報（「補足データ」）を、本来のコンテンツに加えて、閲覧のためにエッジデバイスに配信する２０２。望ましい実装に応じて、「補足データ」は、デジタルコンテンツに埋め込まれることができるか、または受信側デバイスに別途配信されることができ、受信側デバイスは、どの「補足データ」を視聴者に表示するかを選択することができる。
【0035】
[0050]本明細書に記載される例示的な実装では、２００における分類処理および２０１におけるクラウドからの適切な情報の収集は、１つまたは複数のサーバにおけるデジタルコンテンツの配信の前に発生することができる。分類された物体についての分類情報およびクラウド情報は、受信側デバイスが理解できる形式で格納される。受信側デバイスまたは受信側デバイスで実行されているアプリケーションが、望ましい実装に応じて、本来のコンテンツと共に受信された、分類／処理された物体についてのどの情報をどのように表示するかを選択する。
【0036】
[0051]例示的な実装は、「補足データ」を本来のコンテンツ媒体に埋め込むこともできる。関連技術の実装では、利用可能な画像／オーディオ／テキストファイル形式は、映像、オーディオ、およびテキストなどの主コンテンツ以外の追加情報を埋め込むことが可能でない。新しいファイル形式を用いて、視覚、オーディオ、テキストコンテンツおよび「補足データ」などの追加的データを格納することができる。この新しい形式は、「補足データ」と本来のコンテンツデータとの組合せであることができる。
【0037】
[0052]このプロセスは、一回発生することができ、後のストリーミング／ブロードキャストのために格納されることができる。これにより、コンテンツがブロードキャストまたはストリーミングされるたびにこのプロセスを何度も繰り返す必要がなくなる。さらに、エッジデバイス１０４は、受信したコンテンツ１０１および受信した補足データ（例えば、オーバーレイの形態）を、追加的なＡＩ処理を行う必要なく、単純に処理することができる。
【0038】
[0053]図３は、例示的な実装による、ＡＩ ＳｏＣを用いるサーバまたはハブデバイスによってコンテンツと併せて提供されることができる補足メタデータの例を示している。提供されることができる補足メタデータの一例では、ヘッダは、メタデータの残りが関連付けられるべきコンテンツを識別する情報を含むことができる。ヘッダは、例示的な実装に従って、これらに限定されないが、形式バージョン、コンテンツ形式、コンテンツ解像度、コンテンツサイズ、コンテンツレート等の情報を含むことができる。フレームメタデータは、各物体名および物体の座標（サイズ）、ならびに物体に関連付けられるべき任意のデータを識別することができる。よって、クラウドからの補足データは、任意の画像コンテンツまたは映像コンテンツのコンテンツの特定フレーム当たりの出力に関して記述されることができる。
【0039】
[0054]図４Ａおよび図４Ｂは、例示的な実装による、ＡＩ ＳｏＣを用いるサーバまたはハブデバイによってコンテンツと併せて提供されることができる補足メタデータの例を示している。例示的な実装は、画像コンテンツまたは映像コンテンツを越えるものまで拡張されることができ、望ましい実装に従って任意形態のコンテンツ（例えば、オーディオ、ネットワークトラフィック等）に一般化されることができる。そのような例示的な実装では、データ情報は、補足情報および受信されているコンテンツに関連する他の情報を含むことができ、コンテンツは、エッジデバイス１０４による使用のためにコンテンツファイルで提供されることができる。そのようにして、サーバまたはハブデバイスは、必要な場合は、メタデータと併せて、またはメタデータと一体化された、コンテンツを提供することができる。図４Ｂの例では、メタデータは、望ましい実装に従って、１つまたは複数のエッジデバイスによって実行可能な実行可能命令（例えば、メニューを出現させる、カメラを別の方向にパンする）も含むことができる。そのようにして、エッジデバイスは、必要に応じて受信したコンテンツおよびメタデータに付随する命令を実行することができる。図３、図４Ａ、および図４Ｂに示される例示的実装の概念は、望ましい実装を容易にするために任意の形で組み合わせられることができる。
【0040】
[0055]図４Ｃは、例示的な実装による、１つまたは複数のニューラルネットワークモデル／ＡＩモデルの出力ラベルの、補足コンテンツへの例示的マッピングを示している。１つまたは複数のニューラルネットワークモデル／ＡＩモデルは、入力データを任意の目的（例えば、物体分類、テキスト認識、自然言語処理等）のために処理して、１つまたは複数の出力ラベルを、図３、図４Ａ、および図４Ｂに示されるようなメタデータ形態で提供可能なそれらの座標と共に生成するように訓練されることができる。出力ラベルは、コンテンツ１０１と併せて提供される、提供される補足コンテンツ（例えば、オーバーレイ、ソーシャルメディアの投稿、画像、オーディオ、ポップアップメニュー等）にマッピングされることができる。例えば、物体を分類する物体分類モデル（例えば、訓練済みのニューラルネットワークモデルから構築される）を使用して、バスケットボールを、オーバーレイとして使用される補足コンテンツとしての火の画像にマッピングすることができる。アナウンサーによって発話されている選手Ａを認識するオーディオ認識（例えば、訓練済みのニューラルネットワークモデル／ＡＩモデルから構築される）を、図１０に示されるジャージなど、選手Ａに関する購入可能な物体を伴う補足コンテンツにマッピングすることができる。チームＡが攻撃側でプレーしていると画面上で認識されるが、そのような出力ラベルが、図９に示されるようにオーバーレイとして使用されるソーシャルメディアの投稿にマッピングされることができる。さらに、望ましい実装に応じて、補足コンテンツは、メタデータに組み込まれて実行のためにエッジデバイスに送信される実行可能命令（例えば、購入可能な物体に関するポップアップメニューを生成する、インターネットからソーシャルメディアの投稿を検索する等）も伴うことができる。
【0041】
[0056]図５は、例示的な実装による、ＡＩ ＳｏＣの例示的アーキテクチャを示している。ＡＩ ＳｏＣ５００は、本明細書に記載されるようにいくつかの構成要素を含むことができる。
【0042】
[0057]入力処理ユニット５０２は、ＡＩ／ＮＮモデルによる処理のために、ブロードキャストされるコンテンツの入力を取り込むように構成される。そのようなブロードキャストされるコンテンツは、望ましい実装に従って、これらに限定されないが、映像、画像、データ、オーディオ、テキスト等を含むことができる。ＡＩ処理ユニット５０４によって処理されるように、入力処理ユニット５０２は、適切なＡＩ／ＮＮモデルによる処理のためにコンテンツを値の行列に変換するように構成されることができ、ネットワークインターフェイス５０３は、ネットワーク入力／出力（Ｉ／Ｏ）インターフェイス５０１とのインターフェイスをとって、クラウド、インターネットまたは他の外部データ源からデータを取り込むと共に、出力処理ユニット５０８を介してエッジデバイスに出力（例えば、メタデータ／補足データ５０９）を提供するように構成される。ネットワークＩ／Ｏインターフェイス５０１は、望ましい実装に従って、サーバまたはハブデバイスに設置された別個のハードウェア構成要素、またはその他であることができる。プロセッサコア５０７は、ＡＩ ＳｏＣ５００の代わりに命令を読み出し、それに応じてプロセスを実行する１つまたは複数のＩＰコアを伴うことができる。
【0043】
[0058]コントローラ５０５は、ＡＩ ＳｏＣ５００による処理のためにＡＩ／ＮＮモデルをメモリ５０６からロードするように構成されたメモリコントローラである。例示的な実装では、メモリ５０６は、ダブル・データ・レート・シンクロナス・ダイナミック・ランダムアクセスメモリ（ＤＤＲ ＳＤＲＡＭ）の形態であることができ、または望ましい実装に従って他の種のメモリであることができる。同様に、コントローラ５０５はＤＤＲコントローラであることができるが、それに限定されない。
【0044】
[0059]ＡＩ処理ユニット（ＡＰＵ）５０４は、コントローラ５０５からロードされたパラメータに基づいてＡＩ／ＮＮモデルを実行し、これらに限定されないが、望ましい実装に従って、物体分類、物体検出、物体セグメント化、顔認識などの機能、または他の種のＡＩ／ＮＮモデルを行うように構成される。本明細書に記載される例示的実装では、ＡＰＵ５０４は、図６に示されるように１つまたは複数のＡＩ処理要素（ＡＩＰＥ）から構成されることができる。エッジデバイスがコンテンツを受信するのと同時に補足データ／メタデータがエッジデバイスに提供されることができるように、適時のＡＩ／ＮＮモデルの処理を容易にするために、ＡＰＵ５０４は、乗算でＡＩ／ＮＮモデルを処理する代わりに、論理シフト演算を利用して、ＡＩ／ＮＮモデルの対数量子化されたパラメータを処理する。本明細書に記載される例示的な実装では、ＡＩ／ニューラルネットワークモデルのパラメータは対数量子化され（２ｒｏｕｎｄ（ｌｏｇ
２
Ｘ）の形態の最も近い２の累乗に丸められ、ＸはＡＩ／ＮＮモデルの重みまたはバイアスパラメータである）、それにより、対数量子化されたパラメータが、入力処理ユニット５０２によって受け取られたコンテンツに対してモデルによって必要とされる対応するＡＩ／ＮＮ動作に従って、値をシフトするためのシフト命令に変換されることができる。乗算演算ではなく論理シフト演算を使用することにより、ＡＩ／ＮＮモデルの出力を生成するために必要とされる処理時間を大幅に節減することが可能となる。さらに、そのような演算は、乗算器／累算器（ＭＡＣ）回路に代えて物理的なハードウェアシフタを利用するＡＩＰＥによって容易にされることができ、それにより、消費電力、モデルを処理するために必要とされる時間、マザーボード上のフットプリント等を節減する。しかし、ＡＰＵは、望ましい実装に従って、受信されたコンテンツに２値／論理シフト演算を実行してＡＩ／ＮＮモデル処理を実行するようにプログラムされた中央処理装置（ＣＰＵ）、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの、物理的プロセッサの形態であることもできる。さらに、ＡＩ ＳｏＣ５００の構成要素のいずれかが、望ましい実装に従って、等価回路およびＦＰＧＡを含む、その機能を行うための専用ハードウェア要素の形態で実装されることができる。
【0045】
[0060]出力処理ユニット５０８は、プロセッサコア５０７を利用して、図３、図４Ａおよび図４Ｂに示されるもののような対応するメタデータ／補足データ５０９を出力として生成するための命令を伴うことができる。そのようなメタデータ／補足データは、例えば、図５に示されるような視聴者に対するオーバーレイなどの追加的情報を生成するために、エッジデバイスによって使用することができる。そのような命令は、訓練済みニューラルネットワーク／ＡＩモデル内で示される出力へのラベルのマッピングに基づいて出力を出力ラベルに変換し、次いで、図４Ｃに示されるようにそのようなラベルを補足コンテンツにマッピングして、図３、図４Ａ、および図４Ｂに示されるようなメタデータを生成することを伴うことができる。
【0046】
[0061]図６は、例示的な実装による、デジタルコンテンツを処理するためのＡＩＰＥの例を示している。図６のＡＩＰＥは、デジタルコンテンツを処理するために算術シフトアーキテクチャを備えてよい。しかし、本開示は、本明細書に開示される算術シフトアーキテクチャに限定されることは意図されない。一部の態様では、ＡＩＰＥは、デジタルコンテンツを処理するための加算器および／または乗算器を含んでよい。図６のＡＩＰＥは、算術シフタ６０２および加算器６０４を利用して、これらに限定されないが、畳み込み、ｄｅｎｓｅ層、パラメトリックＲｅＬＵ、バッチ正規化、ｍａｘプーリング、加算、および／または乗算などのニューラルネットワーク動作を処理する。算術シフタ６０２は、論理シフト演算を容易にするために、データ６０６と、対数量子化されたパラメータ６０８から導出されたシフト命令とを入力として受け取る。データ６０６は、３２ビットのデータを２の補数の形式で備えてよく、対数量子化されたパラメータ６０８から導出されたシフト命令は、７ビットのデータを備えてよい。例えば、算術シフタ６０２は、３２ビットの算術シフタを備えてよい。算術シフタ６０２は、対数量子化されたパラメータ６０８から導出されたシフト命令に基づいてデータ６０６をシフトする。算術シフタ６０２の出力は、２の補数のアーキテクチャを通過し、バイアス６１０が加算される。バイアス６１０は、３２ビットバイアスを備えてよい。加算器６０４は、算術シフタ６０２の出力を入力として受け取る。算術シフタ６０２の出力は、２の補数の形態であり、ＸＯＲに供給されて、対数量子化されたパラメータ６０８から導出されたシフト命令の符号ビット６１２と比較される。符号ビット６１２が負である場合には、算術シフタ６０２の出力が反転される。算術シフタ６０２の出力と符号ビット６１２との間のＸＯＲ演算の出力は、次いで加算器６０４に供給される。加算器６０４は、バイアス６１０、算術シフタ６０２の出力と符号ビット６１２との間のＸＯＲ演算の出力を受け取って、共に加算する。加算器６０４は、桁上げデータとしての符号ビット６１２も入力として受け取る。加算器６０４の出力は、フリップフロップ６１４に供給される。フリップフロップ６１４のデータは、図６のＡＩＰＥに戻される。例えば、フリップフロップ６１４の出力は、マルチプレクサに供給され、データ６０６と多重化される。フリップフロップ６１４の出力はまた、マルチプレクサに供給され、バイアス６１０と多重化される。フリップフロップ６１４の出力はまた、マルチプレクサに供給され、加算器６０４の出力と多重化される。フリップフロップ６１４の出力は、２の補数の形態であってよい。フリップフロップ６１４のデータの符号ビットもＡＩＰＥに戻される。例えば、フリップフロップ６１４のデータの符号ビットは、ＯＲ演算子に供給されて信号Ｓ２と比較され、ＯＲ演算の結果は、パラメータ６０８と一定の０信号とを多重化するマルチプレクサに供給される。
【0047】
[0062]シフタの使用を通じて乗算および他のニューラルネットワーク動作を実行する図６の変形例も可能であり、本開示はこれに限定されない。そのような例は、例えば、２０２２年４月２９日に出願され、「ＩＭＰＬＥＭＥＮＴＡＴＩＯＮＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＰＲＯＣＥＳＳＩＮＧ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫ ＩＮ ＳＥＭＩＣＯＮＤＵＣＴＯＲ ＨＡＲＤＷＡＲＥ」と題された、ＰＣＴ出願第ＰＣＴ／ＵＳ２２／２７０３５号に見られ、その開示は、その全体が参照によって明示的に本明細書に組み込まれている。
【0048】
[0063]上記の図は例であり、機能的な相当物を利用して、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を用いることや、そのような要素をハードウェアの他の機能相当物と置き換えることを通じて、望ましい実装を容易にすることができ、または、追加的な要素で変更して、望ましい実装に従って追加的な機能を容易にすることができる。
【0049】
[0064]図７は、例示的な実装による、ＡＩＰＥアレイの例を示している。図７の例では、ニューラルネットワークアレイは複数のＡＩＰＥを備え、ここでは、データおよびパラメータ（カーネル）がＡＩＰＥに入力されて、本明細書に開示されるようにデジタルコンテンツを処理するためのさまざまな動作を行う。ＡＩＰＥアーキテクチャは、シフタおよび論理ゲートを備えてよいが、他の要素を利用するように構成されてよく、本開示は、本明細書に開示される例に制限されることは意図されない。本明細書に開示される例は、７ビットのパラメータと共に３２ビットのデータを含み、データは、１ビット～Ｎビットであることができ、パラメータは、１ビット～Ｍビットのパラメータであることができ、ＮおよびＭは任意の正の整数である。一部の例は、１つの３２ビットのシフタを含むが、シフタの数は、２つ以上であってよく、１つのシフタからＯ個のシフタまで変化してよく、Ｏは正の整数である。場合によっては、アーキテクチャは、データの１２８ビット、パラメータの８ビット、および直列に（次々に）接続された７つのシフタを備える。また、本明細書に示された論理ゲートは、特定のアーキテクチャに応じて変化することができる論理ゲートの標準的なセットである。
【0050】
[0065]場合によっては、ＡＩＰＥアーキテクチャは、シフタ、加算器、および／または論理ゲートを利用してよい。本明細書に開示される例は、７ビットのパラメータと共に３２ビットのデータを備え、データは、１ビット～Ｎビットであることができ、パラメータは、１ビット～Ｍビットのパラメータであることができ、ＮおよびＭは任意の正の整数である。一部の例は、１つの３２ビットシフタおよび１つの３２ビットの２入力加算器を含むが、シフタおよび加算器の数は２つ以上であってよく、１つのシフタからＯ個のシフタまで、および１つの加算器からＰ個の加算器まで変化してよく、ＯおよびＰは正の整数である。場合によっては、アーキテクチャは、データの１２８ビット、パラメータの８ビット、および直列に接続された２つのシフタ、および直列に（次々に）接続された２つの加算器を備える。
【0051】
[0066]本明細書に開示されるＡＩＰＥアーキテクチャは、シフタおよび論理ゲートを備えて実装されてよく、その場合、シフタが乗算および加算／累算動作を代替する。本明細書に開示されるＡＩＰＥアーキテクチャは、シフタ、加算器、および論理ゲートを備えて実装されてもよく、その場合、シフタが乗算および加算／累算動作を代替する。ＡＩＰＥアーキテクチャは、乗算動作を代替するシフタおよび加算／累算動作を代替する論理関数から構成されてよい。加算／累算動作を代替する論理関数は、乗算器でも、加算器でも、シフタでもない論理関数である。しかし、一部の態様では、ＡＩＰＥアーキテクチャは、乗算器、加算器、および／またはシフタから構成されてよい。累算動作は、多数の数が累算動作に入り、１つの数が結果として出てくる簡約動作と考えられることができる。
【0052】
[0067]図８は、例示的な実装による、ＡＩモデルアーキテクチャの例示的なフローを示している。ＡＩモデルアーキテクチャ８０２は、入力処理８０４、ニューラルネットワーク８０６、および出力フォーマッタ８０８を含む。ＡＩモデルアーキテクチャ８０２は、入力としてデジタルコンテンツ８１０を受け取ってよく、入力処理８０４がそのデジタルコンテンツ８１０を処理する。入力処理８０４は、デジタルコンテンツ８１０の映像を複数のフレームとして処理してよく、またはデジタルコンテンツ８１０のオーディオを音声として処理してよい。次いで、入力処理８０４は、処理されたデジタルコンテンツ８１０をニューラルネットワーク８０６に提供してよい。ニューラルネットワーク８０６は、処理されたデジタルコンテンツ８１０に対して複数の動作を行ってよい。例えば、ニューラルネットワーク８０６は、処理されたデジタルコンテンツ内で物体を検出するように構成されてよい。例えば、ニューラルネットワーク８０６は、これらに限定されないが、人々、物体、テキスト等の１つまたは複数の種々の物体を、デジタルコンテンツ内で検出してよい。ニューラルネットワーク８０６は、検出された物体の各々に対して１つまたは複数のサブフレームを生成してよい。
【0053】
[0068]検出された物体のサブフレームが、ニューラルネットワーク８０６によってさらに処理されてよい。例えば、ニューラルネットワーク８０６は、サブフレームを処理して、検出された物体を分類または識別してよい。ニューラルネットワーク８０６は、検出された物体を分類または識別し、分類または識別された物体に関連する情報を出力フォーマッタ８０８に提供してよい。検出された物体が人々を含む事例では、ニューラルネットワーク８０６は、例えば、検出された人の身体部分を識別することを試みて、検出された人々に関連するサブフレームを処理してよい。例えば、ニューラルネットワーク８０６は、デジタルコンテンツ内の１人または複数の検出された人を識別するために顔認識または検出を行ってよい。
【0054】
[0069]入力処理８０４がデジタルコンテンツのオーディオを処理する場合、ニューラルネットワーク８０６は、音声認識のためにオーディオを処理してよい。ニューラルネットワーク８０６は、検出された音声を、自然言語処理を使用して処理してよい。自然言語処理は、デジタルコンテンツに関連する関連情報を検出または識別してよい。デジタルコンテンツのオーディオから得られた検出された関連情報は、出力フォーマッタ８０８に提供されてよい。
【0055】
[0070]出力フォーマッタ８０８は、ニューラルネットワーク８０６の出力を利用して、表示のための補足されたデジタルコンテンツ８１２を提供してよい。例えば、出力フォーマッタ８０８は、デジタルコンテンツのオーディオから得られた関連情報を利用して、そのオーディオから得られた関連情報に関係する補足されたデジタルコンテンツ８１２の中で広告、情報等を表示してよい。別の例では、出力フォーマッタ８０８は、デジタルコンテンツ内の１人または複数の検出された人に関係する情報を利用して、それら１人または複数の検出された人に関係する関連付けられた情報を表示してよい。例えば、１人または複数の検出された人が運動選手である場合は、関係するスポーツ用衣料品（例えば、ジャージ、ユニフォーム等）の広告が、補足されたデジタルコンテンツ８１２の中で表示されてよい。さらに別の例では、出力フォーマッタ８０８は、（検出された人々以外の）検出された物体に関係する情報を利用して、検出された物体に関係する補足されたデジタルコンテンツ８１２内で情報を表示してよい。例えば、検出された物体内の任意の検出されたテキストまたは項目を出力フォーマッタ８０８によって利用して、検出されたそのテキストまたは項目に関係する広告または情報を表示してよい。
【0056】
[0071]他の実装も可能であり、本開示は、本明細書に記載される実装に特に制限されない。本明細書において提案されるＡＩ ＳｏＣは、望ましい実装に従って、そのような機能を利用することができる他のエッジシステムまたはサーバシステムに拡張されることもでき、そのようなシステムには、モバイルデバイス、監視デバイス（例えば、中央ステーションまたはローカルユーザ制御システムに接続されたカメラまたは他のセンサ）、パーソナルコンピュータ、タブレットもしくは他のユーザ機器、車両（例えば、ＡＤＡＳシステム、またはＥＣＵを利用したシステム）、モノのインターネットのエッジデバイス（例えば、アグリゲータ、ゲートウェイ、ルータ）、ＡＲ／ＶＲシステム、スマート住宅および他のスマートシステムの実装等が含まれる。
【0057】
[0072]図９は、例示的な実装による、クラウド情報およびソーシャルメディア情報で補足されたデジタルコンテンツの例を示している。図９の例では、ソーシャルメディアからの情報がデジタルコンテンツを補足するように、ソーシャルメディア（例えば、ソーシャルメディアの投稿）が、デジタルコンテンツと関係付けられてよい。例えば、本明細書に記載されるサーバ／ハブデバイスからメタデータ／ソーシャルメディアの投稿または該当する命令を受け取った後に、デジタルコンテンツに結びつけられたソーシャルメディアアプリケーション上で投稿しているユーザが、エッジデバイスによってデジタルコンテンツに重畳されてよい。デジタルコンテンツと共に表示されるソーシャルメディアからのコンテンツは、ソーシャルオーバーレイとして知られることがある。ソーシャルオーバーレイは、ユーザ同士が、人々がテレビで見ているものについてソーシャルメディア上で共有体験を有することを可能にし得る。例えば、デジタルコンテンツ内の検出された物体または人々の上に、ソーシャルオーバーレイが重畳されてよい。一部の態様では、ディスプレイ上の表示項目がデジタルコンテンツと共に提供され得るように、選手が選択されてよい。ソーシャルオーバーレイで補足されたデジタルコンテンツは、ソーシャルメディアに投稿され得る。ソーシャルオーバーレイの一部として表示される項目は、ランダムであってもまたは事前に設定されてもよい。
【0058】
[0073]図１０は、例示的な実装による、クラウド情報および電子商取引情報で補足されたデジタルコンテンツの例を示している。一部の態様では、デジタルコンテンツ内の検出された物体は、電子商取引アプリケーションに関係付けられてよい。例えば、リアルタイムのスポーツイベントでは、ジャージ、ユニフォーム、または運動用衣料品がデジタルコンテンツ内で検出されてよく、検出されたジャージ、ユニフォーム、または運動用衣料品が、同様のまたは関係するジャージ、ユニフォーム、または運動用衣料品を購入するためのリンクをトリガしてよい。リンクは、適切なメタデータまたはそれに対する命令がサーバ／ハブデバイスによって提供された後に、電子商取引ウェブサイトへのインターフェイスが、エッジデバイスによってデジタルコンテンツと共に表示デバイスに表示され得るように選択されてよい。例示的な実装では、命令は、別のデバイスのアプリケーションによって管理されるグラフィカルユーザインターフェイス（ＧＵＩ）上にメニューを生成するための命令を伴うことができる。例えば、メタデータは、図４Ｂに示されるように命令を含むことができ、その命令は、実行されると、対応するポップアップメニューをアプリケーションのＧＵＩに出現させる（例えば、購入が可能なジャージや他の物を示すポップアップメニュー、より多くの情報を得るためにリンクが利用可能であることを示すメニュー等）。
【0059】
[0074]図１１は、例示的な実装による、検出アルゴリズムからの出力の例を示している。検出アルゴリズムは、デジタルコンテンツ内の人々などの物体を検出してよい。例えば、検出アルゴリズムは、選手ならびに検出された選手の身体部分（例えば、手、顔、脚、足、胴等）を検出してよい。検出アルゴリズムは、ボール、バスケット、またはバックボードなど、コンテンツ内の物体を検出してもよい。検出アルゴリズムは、広告やデジタルコンテンツに関与する選手／チームの点数など、デジタルコンテンツ内のテキストを検出してもよい。検出アルゴリズムは、人を検出すると、望ましい実装に応じて、その選手を識別することを試みて検出された人をさらに処理してよく、選手の名前をデジタルコンテンツ内に提供することができる。そのような物体／人々が検出され、分類されると、それに応じて適切なメタデータまたは命令が生成されることができ、それがエッジデバイスを制御して、本明細書における例に示されるように分類された物体／人々に基づいて何らかのプロセスを実行させる。例示的な実装は、当技術分野で知られる任意のＡＩ／ＮＮに基づく物体検出、物体認識アルゴリズムを利用して望ましい実装を容易にすることができる。
【0060】
[0075]生成されたメタデータに基づいて命令を実行するまたはオーバーレイを提供する例において、図１２は、例示的な実装による、カスタマイズされたデジタルコンテンツの例を示している。一部の態様では、デジタルコンテンツ内で物体を検出すると、検出された物体の位置を示すメタデータまたは特定の物体をオーバーレイで変更するための命令を受け取った後に、検出された物体が、カスタマイズ可能なオーバーレイを含むようにエッジデバイスによって変更されてよい。例えば、図１２はリアルタイムのバスケットボールの試合の例を提供し、ここではバスケットボールが検出されている。バスケットボールは、カスタマイズ可能なオーバーレイを含むように選択されてよく、オーバーレイは、図１２の例では、火と煙から構成されるオーバーレイを含んでいる。場合によっては、火と煙のオーバーレイを有するバスケットボールは、バスケットボールをシュートした者が良い試合をしており、その選手が「燃えて」いることを示すために利用され得る。しかし、場合によっては、多くの異なるオーバーレイが、検出された物体との関連で使用されてよく、本開示は、火と煙から構成されるオーバーレイに制限されない。
【0061】
[0076]図１３は、例示的な実装による、ＡＩ ＳｏＣを用いるサーバまたはハブデバイスの例示的な構成を示している。例示的な実装では、望ましい実装に従って、サーバ／ハブデバイス１３００は、コンテンツＩ／Ｏ１３０１、図５に関して説明したネットワークＩ／Ｏインターフェイス５０１、ＡＩ ＳｏＣ５００、およびメモリ５０６、プロセッサ１３０３等を含むことができる。
【0062】
[0077]コンテンツＩ／Ｏ１３０１は、ＡＩ ＳｏＣ５００を通じたＡＩ／ＮＮモデルによる処理のために、直接のコンテンツを提供するように構成されることができる。望ましい実装に応じて、コンテンツＩ／Ｏ１３０１は、直接の画像／映像／オーディオインターフェイス（例えば、高精細度マルチメディアインターフェイス（ＨＤＭＩ）入力、アナログ入力、オーディオ入力、カメラからのカメラフィード等）を含むことができ、または、望ましい実装に従って、ＡＩ／ＮＮモデル処理を必要とする任意の他の直接のデータインターフェイス（例えば、ローカルエリアネットワークからの、または直接接続、衛星インターフェイス、無線インターフェイスを介した、セキュリティ保護されたセンサデータフィード等）を伴うことができる。さらに、例示的な実装は、複数のデータ源を伴うことができ、コンテンツＩ／Ｏ１３０１は、サーバ／ハブデバイス１３００によって受け取られるすべてのデータに対応するためのいくつかの異なるインターフェイスを伴うことができる。例えば、コンテンツＩ／Ｏ１３０１は、望ましい実装を容易にするために、任意数の同じまたは異なるデバイスを供給源とする画像、オーディオ、またはデータの任意の組合せを受け取るように構成されることができる。
【0063】
[0078]ネットワークＩ／Ｏインターフェイス５０１は、望ましい実装に従って、クラウドまたはインターネットからの外部データに接続するための任意のインターフェイスを含むことができる。そのような外部データは、クラウドデータベースから抽出されることができ、望ましい実装に従って、メモリ５０６に格納されているＡＩ／ＮＮモデルを更新するための対数量子化されたパラメータ等を含むことができる。
【0064】
[0079]サーバ／ハブデバイス１３００は、望ましい実装に従って、任意数のＡＩ ＳｏＣ５００を伴うことができる。メモリ５０６は、ＡＩ ＳｏＣ５００にロードされる、訓練済みＡＩ／ＮＮモデルの対数量子化されたパラメータを格納するように構成されることができ、そのため、ＡＩ ＳｏＣ５００は、それに応じてシフトおよび／または加算演算を実行して、データに対してＡＩ／ＮＮモデルを実行することにより、エッジデバイスが使用するためのメタデータを生成することができる。プロセッサ１３０３は、望ましい実装に従って、ＡＩ ＳｏＣ５００の出力をメタデータ、補足データ、または他の出力に変換するなどの追加的な機能を容易にするための任意の命令をロードして実行するように構成されることができる。望ましい実装に応じて、プロセッサ１３０３は、ＡＩ ＳｏＣ５００からの出力を、対応するエッジデバイスによって実行するための命令に変換するための命令をロードして実行するように構成されることもでき、そのような命令は、ネットワークＩ／Ｏインターフェイス５０１を介して対応するエッジデバイスに送信されることができる。そのような命令は、エッジデバイスを制御するための命令を含むことができる（例えば、カメラを別の角度に回転させる、空気圧縮機のモータ回転数を調整する、オーバーレイを生成する、またはユーザインターフェイスにメニューを出現させる等）。
【0065】
[0080]例示的な実装では、サーバ／ハブデバイス１３００は、ストリーミングテレビサービスのブロードキャスト側にあることができ、そのサービスから、すべてのストリーミングブロードキャストが、エッジデバイスに、および同時にサーバ／ハブデバイス１３００に送信される。サーバ／ハブデバイス１３００は、未処理のブロードキャストを処理し、それに応じてＡＩ／ＮＮモデルを実行して、エッジデバイス内のアプリケーションが使用するためのメタデータ／補足データを生成することができる。次いで、エッジデバイス内のアプリケーションは、そのメタデータ／補足データを使用して、図９～１２等に示されるように、表示コンテンツ上にオーバーレイを生成することができる。別の例示的な実装では、サーバ／ハブデバイス１３００は、望ましい実装に従って、メニューを呼び出す、モバイルデバイスまたはモバイルデバイスとペアリングされた他のデバイスと対話する（例えば、ペアリングされたモバイルデバイスに電子商取引またはソーシャルメディア情報を提供する）等のために、エッジデバイスのアプリケーションに送信する命令を生成することもできる。そのような例示的な実装を容易にするために任意数のサーバ／ハブデバイス１３００が利用されてよく、望ましい実装を容易にするために、複数のサーバ／ハブデバイス１３００が、クラウドサービスの提供者として同じようにして使用されることができる。
【0066】
[0081]例示的な実装では、サーバ／ハブデバイス１３００は、望ましい実装を容易にするために、ローカルネットワーク内の１つまたは複数のエッジデバイスと対話する／それらを制御するように構成されることができ、または、クラウドを通じて１つまたは複数のエッジデバイスと対話する／それらを制御するエッジサーバとして機能することができる。ローカルネットワーク内の１つまたは複数のエッジデバイスを制御するサーバ／ハブデバイスの例示的な実装では、そのような実装は、高いプライバシーを必要とするシステム（例えば、住宅デバイス、スマート工場フロア等）内で使用されることができ、ここでは、送信されるデータはＡＩ／ＮＮモデルの処理を必要とするが、データはプライベートでもある。一例では、１つまたは複数の住宅カメラがサーバ／ハブデバイス１３００に監視映像フィードを提供することができ、ソフトウェアが使用されて、その住宅の所望の構成員（例えば、家族、ペット等）を認識するようにＡＩ／ＮＮモデルを訓練することができる。ＡＩ／ＮＮモデルは、次いで対数量子化され、サーバ／ハブデバイス１３００のメモリに格納されて、インターネットを通じて画像データを送信する必要なしに、および／またはサーバ／ハブデバイス１３００がインターネットに接続されることを必要とせずに、ローカルセキュリティシステムを容易にし、それによりデータのセキュリティを向上させる。望ましい実装に従って他のデバイスがサーバ／ハブデバイスと対話してもよく、本開示はこれに制限されない。例えば、望ましい実装に従って、カメラおよび他のセンサが冷蔵庫内に設置されて、商品を監視して買い物リストを生成し、食品が期限切れになろうとしている時にそれを知らせ、または示される商品に関するレシピを示すことができる。エッジデバイスからのデータまたは他のフィードバックに対してＡＩ／ＮＮモデルを実装するための任意の望ましい実装が利用されることができる。
【0067】
[0082]サーバ／ハブデバイス１３００の例示的な実装では、メモリ５０６が、１つまたは複数の訓練済みニューラルネットワークモデル（例えば、物体検出モデル、物体認識モデル、顔認識モデル等）を格納するように構成され、各モデルは、１つまたは複数の対数量子化されたパラメータ値から構成され得る１つまたは複数のニューラルネットワーク動作（例えば、ニューラルネットワーク層）によって表されることができる。一例では、図１１に示されるように、物体検出モデルが、そのようなニューラルネットワーク動作を通じて画像データ上の１つまたは複数の物体を分類するように構成されることができる。サーバ／ハブデバイス１３００は、ＡＩ ＳｏＣ５００を伴うこともでき、それは、（例えば、ＩＰＵ５０２を介して）画像データを取り込むことと、１つまたは複数の訓練済みニューラルネットワークモデル（例えば、物体検出モデル、物体認識モデル等）を（例えばＡＰＵ５０４を介して）実行して、１つまたは複数のニューラルネットワーク動作を通じて、受信された画像データを処理する（例えば、画像データから１つまたは複数の物体を分類する）ことと、を含む方法またはコンピュータ命令を実行するように構成されることができる。図６に示されるように、１つまたは複数のニューラルネットワーク動作が、メモリ５０６から読み出された１つまたは複数の対数量子化されたパラメータ値に基づいて、論理シフト演算によって画像データに実行されることができ（例えば、対数量子化されたパラメータ６０８から導出されたシフト命令を介して、事前処理された画像データ６０６に）、１つまたは複数のニューラルネットワークモデルの出力に基づいて（例えば、図１１に示されるように、物体検出モデルからの画像データ出力から分類された１つまたは複数の物体に基づいて）、画像データを補足する（例えば、図９～１１に示されるようにアノテーションまたはオーバーレイを介して）ためのメタデータを生成する。サーバ／ハブデバイス１３００は、画像データを受信する１つまたは複数の他のデバイス（例えば、１４０１）にメタデータ（例えば、図３、図４Ａ、図４Ｂに示されるような）を送信するように構成されたインターフェイス５０１を伴うことができる。
【0068】
[0083]望ましい実装に応じて、メタデータは、１つまたは複数の他のデバイスによって１つまたは複数のオーバーレイとして画像データ上に提供される、１つまたは複数のソーシャルメディアの投稿に関連する情報（例えば、図３、図４Ａ、または図４Ｂに組み込まれたものとして図９に示されるように）を伴うことができる。
【0069】
[0084]望ましい実装に応じて、図６に示されるように、ＡＩ ＳｏＣ５００の１つまたは複数のシフタ回路にシフト命令を供給することにより、論理シフト演算が実行される。同様に、１つまたは複数のニューラルネットワーク動作に対応する加算演算が、ＡＩ ＳｏＣ５００内の１つまたは複数のシフタ回路あるいは１つまたは複数の加算器回路によって実行されることもできる。
【0070】
[0085]望ましい実装に応じて、論理シフト演算は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）によって実行されることができる。すなわち、ＦＰＧＡは、図６の回路およびその変形例の機能と同等の機能を実行すると共に、望ましい実装に従ってＡＩ ＳｏＣ５００の任意の他の機能を容易にするための専用ハードウェアとして、プログラムおよび構成されることができる。
【0071】
[0086]望ましい実装に応じて、論理シフト演算は、中央処理装置（ＣＰＵ）などの１つまたは複数のハードウェアプロセッサによって実行されることもできる。すなわち、ＡＩ ＳｏＣ５００は、ハードウェアプロセッサを用いてコンピュータプログラムを実行して、論理シフト演算を実行することができる。そのような例示的な実装は、専用ハードウェアが利用可能でない場合に、ＡＩ／ＮＮ動作を処理するための実行サイクルおよび消費電力の節減を可能にすることができる。
【0072】
[0087]望ましい実装に応じて、デバイス１３００は、サーバであることができ、画像データは、テレビの映像／オーディオデータを伴うことができる。そのような例示的な実装では、テレビコンテンツは、テレビなどのエッジデバイスにブロードキャストされることができ、サーバは、望ましい実装に従って、メタデータおよびテレビの映像／オーディオデータ等をブロードキャストすることがでる。
【0073】
[0088]望ましい実装に応じて、インターフェイス５０１は、コンテンツサーバ（例えば、クラウド１０２を容易にするために使用される１つまたは複数のコンテンツサーバ、インターネットで検索可能な補足コンテンツを容易にするコンテンツサーバ、データベースから補足コンテンツを提供するように構成されたコンテンツサーバ等）からデータを検索するように構成されることができ、メモリ５０６は、図４Ｃに示されるように、分類された物体をデータにマッピングする情報を、コンテンツサーバからの検索のために格納するように構成され、ＡＩ ＳｏＣ５００は、メモリからその情報を読み出して、画像データから分類された１つまたは複数の物体に基づいて、対応するマッピングをメタデータとして提供するように構成される。
【0074】
[0089]望ましい実装に応じて、その情報は、図４Ｃおよび図１０に示されるように、分類された物体を、購入可能な物体に関係するデータにマッピングすることができ、ＡＩ ＳｏＣは、メモリからその情報を読み出し、購入可能な物体のうち対応するものを、インターフェイスを通じてコンテンツサーバから検索するように構成され、購入可能な物体のうち対応するものは、画像データから分類された１つまたは複数の物体に基づく情報として提供される。
【0075】
[0090]望ましい実装に応じて、１つまたは複数のニューラルネットワークモデルは、訓練済みニューラルネットワークの対数量子化されたパラメータ値に従って、１つまたは複数のニューラルネットワーク動作を通じて画像データに顔認識を行う顔認識モデルを伴うことができ、ＡＩ ＳｏＣ５００は、顔認識で識別された顔に基づいてメタデータを生成するように構成される。
【0076】
[0091]望ましい実装に応じて、インターフェイス５０１は、サーバ（例えば、クラウド１０２にある１つまたは複数のサーバ）から１つまたは複数の対数量子化されたパラメータを検索し、この１つまたは複数の対数量子化されたパラメータをメモリに格納するように構成される。対数量子化されたパラメータは、データ処理を行う１つまたは複数の訓練済みニューラルネットワーク／ＡＩモデルを構成する、１つまたは複数のニューラルネットワーク／ＡＩ動作を表すことができる。
【0077】
[0092]望ましい実装に応じて、メタデータは、図３、図４Ａ、および図４Ｂに示されるように、画像データ内のフレームの識別子、物体検出モデルによってフレーム内で識別された１つまたは複数の物体、フレーム内で識別された１つまたは複数の物体の座標、およびフレーム内で識別された１つまたは複数の物体に関連するデータ、を伴うことができる。
【0078】
[0093]望ましい実装に応じて、フレーム内で識別された１つまたは複数の物体に関連するデータは、図３、図４Ａ、図４Ｂ、図４Ｃ、および図９に示されるようにオーバーレイとして使用されるためのソーシャルメディアの投稿を伴うことができる。
【0079】
[0094]望ましい実装に応じて、１つまたは複数の物体に関連するデータは、図４Ｃに示されるようにコンテンツサーバから検索された１つまたは複数のオーバーレイを伴うことができる。
【0080】
[0095]望ましい実装に応じて、１つまたは複数の物体に関連するデータは、図４Ｂに示されるように１つまたは複数のエッジデバイスにより実行するための実行可能命令を伴うことができる。
【0081】
[0096]例示的な実装では、サーバ／ハブデバイス１３００は、１つまたは複数の訓練済みニューラルネットワークモデルを格納するように構成されたメモリ５０６であって、１つまたは複数の訓練済みニューラルネットワークモデルは、１つまたは複数のニューラルネットワーク動作を通じて画像データを処理するように構成される、メモリ５０６と、インターフェイス５０１と、システムオンチップ（ＳｏＣ）５００と、を含むことができ、ＳｏＣ５００は、画像データを取り込むための方法またはコンピュータ命令を実行して、図５に示されるように、１つまたは複数の訓練済みニューラルネットワークモデルを実行して、１つまたは複数のニューラルネットワーク動作を通じて画像データを処理することと、図３および図４Ａ～４Ｃに示されるように、画像データの処理に基づいて画像データの補足コンテンツを提供するためのメタデータを生成することであって、メタデータは、インターフェイス５０１を介した別のデバイス（例えば図１Ａ～１Ｃのクラウド１０２にある１つまたは複数のコンテンツサーバ）からの接続から検索された情報に基づいて生成される、メタデータを生成することと、画像データを取り込んでいる１つまたは複数の他のデバイス（例えば、エッジデバイス１０４）に、インターフェイス５０１を通じてメタデータを送信することと、を行うように構成される。
【0082】
[0097]望ましい実装に応じて、メタデータは、図９に示されるように、１つまたは複数の他のデバイス１０４によって１つまたは複数のオーバーレイとして画像データ上に補足コンテンツとして提供される、１つまたは複数のソーシャルメディアの投稿に関連する情報を伴うことができる。そのようなソーシャルメディアの投稿は、図４Ｂに示されるように、インターネット接続からそのようなソーシャルメディアの投稿を受信するための実行可能命令により、図４Ａに示されるようにコンテンツとして提供されることができ、または、図４Ｃに示されるように、マッピングに基づいてエッジデバイス１０４によって行われることができる。
【0083】
[0098]望ましい実装に応じて、ＳｏＣ５００は、図６に示されるように、ＳｏＣ内の１つまたは複数のシフタ回路により、１つまたは複数の訓練済みニューラルネットワークモデルを実行するように構成されることができる。
【0084】
[0099]別の例示的な実装では、ＳｏＣは、図６の回路と同等の機能を実行するようにプログラムされた（例えば、１つまたは複数の論理シフト演算を通じて１つまたは複数の訓練済みニューラルネットワークモデルを実行するようにプログラムされた）フィールドプログラマブルゲートアレイ（ＦＰＧＡ）により、１つまたは複数の訓練済みニューラルネットワークモデルを実行するように構成される。別の例示的な実装では、ＳｏＣは、１つまたは複数のハードウェアプロセッサにより、１つまたは複数の訓練済みニューラルネットワークモデルを実行して、図６の回路と同等の機能をコンピュータ命令によって行う（例えば、１つまたは複数の論理シフト演算を通じて１つまたは複数の訓練済みニューラルネットワークを実行する）ように構成されることができる。そのような例示的な実装では、図６に示されるような専用回路が利用可能でないにも関わらず、ハードウェアデバイスでコンピューティングサイクルおよび電力が節減されることができる。
【0085】
[0100]望ましい実装に応じて、デバイス１３００は、図１Ｂに示されるように、インターフェイス５０１を通じて１つまたは複数のエッジデバイスに画像データを送信するように構成されることができる。
【0086】
[0101]例示的な実装では、サーバ／ハブデバイス１３００は、１つまたは複数の訓練済みニューラルネットワークモデルを格納するように構成されたメモリ５０６であって、１つまたは複数の訓練済みニューラルネットワークモデルは、１つまたは複数のニューラルネットワーク動作を通じて画像データを処理するように構成される、メモリ５０６と、インターフェイス５０１と、システムオンチップ（ＳｏＣ）５００と、を含むことができ、ＳｏＣ５００は、図５に示されるように、（例えば、ＩＰＵ５０２を介して）画像データを取り込むことと、１つまたは複数の訓練済みニューラルネットワークモデルを実行して、１つまたは複数のニューラルネットワーク動作を通じて（例えばＡＰＵ５０４を介して）画像データを処理することと、図４Ｂに示されるように、画像データの処理に基づいて、１つまたは複数の他のデバイスのアプリケーションによって実行するための命令を（例えば、ＯＰＵ５０８を介して）生成することと、画像データを取り込んでいる１つまたは複数の他のデバイス１０４に、インターフェイス５０１を介して命令を送信することと、を含む方法または命令を実行するように構成される。
【0087】
[0102]例示的な実装では、上記命令は、図１０に関して説明されたように、別のデバイスのアプリケーションによって管理されるグラフィカルユーザインターフェイス（ＧＵＩ）にメニューを生成するための命令を伴うことができる。
【0088】
[0103]例示的な実装では、サーバ／ハブデバイス１３００は、訓練済みニューラルネットワークの対数量子化されたパラメータ値に従って、１つまたは複数のニューラルネットワーク動作を通じて入力データに分析を行うように構成された訓練済みニューラルネットワークモデルを格納するように構成されたメモリ５０６と、命令または方法を実行するように構成されたシステムオンチップ（ＳｏＣ）５００と、を含むことができ、命令または方法は、訓練済みニューラルネットワークを実行して、１つまたは複数のニューラルネットワーク動作を通じて入力データに分析を行うことであって、１つまたは複数のニューラルネットワーク動作は、メモリ５０６から読み出された１つまたは複数の対数量子化されたパラメータ値に基づく入力データに対する論理シフト演算によって実行される、分析を行うことと、インターフェイス５０１を通じて、入力データに対する分析に基づいて別のデバイスを制御することと、を含むことができ、その例は図１４に関して説明された。
【0089】
[0104]例示的な実装では、１つまたは複数のデバイスに送信される画像データを（例えば、ＩＰＵ５０２を介して）取り込むことと、１つまたは複数の訓練済みニューラルネットワークモデルを実行して、１つまたは複数のニューラルネットワーク動作を通じて（例えば、ＡＰＵ５０４を介して）画像データを処理することと、画像データの処理に基づいて、画像データを補足するためのメタデータを生成することであって、メタデータは、別のデバイス（例えば、クラウド１０２）への接続から検索される情報に基づいて生成される、メタデータを生成することと、メタデータを１つまたは複数の他のデバイスに送信することであって、１つまたは複数のデバイスは、メタデータに従って画像データ上に１つまたは複数のオーバーレイを提供するように（例えば、図９～１１に示されるように）構成される、送信することと、を含むシステムおよび方法があることができる。
【0090】
[0105]図１４は、例示的な実装による、図１３のサーバ／ハブデバイスの例示的な実装が実装されることが可能な例示的なシステムを示している。１つまたは複数のエッジ／ネットワーク化デバイス１４０１が、図１３に示されるように、サーバ／ハブデバイス１４０２に接続されているネットワーク１４００（例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ＷＩＦＩ等）に通信的に接続される。サーバ／ハブデバイス１４０２は、望ましい実装に応じて、ＬＡＮまたはインターネット接続を介してデータベース／クラウドシステム１４０３に接続することができる。そのようなデータベース／クラウドシステム１４０３は、望ましい実装に応じて、提供されたメタデータに基づいてエッジ／ネットワーク化デバイス１４０１によって検索されることが可能なオーバーレイに関するデータを含むことができ、および／または、エッジ／ネットワーク化デバイス１４０１によって提供されるデータを含むこともできる。データベース／クラウドシステム１４０３は、当技術分野で知られるように、１つまたは複数のコンテンツサーバまたは格納システムを通じて実装されることができる。望ましい実装に応じて、システムは、望ましい実装に従って、複数の異種デバイスがサーバ／ハブデバイス１４０２によって管理または制御されることができる、モノのインターネット（ＩｏＴ）システムとして実装されることもできる。
【0091】
[0106]例示的な実装では、サーバ／ハブデバイス１４０２は、エッジ／ネットワーク化デバイス１４０１に代わって、ニューラルネットワークモデルを実行することによって分析を行うように構成されることもできる。そのような例示的な実装では、そのようなエッジ／ネットワーク化デバイス１４０１は、ＡＩ／ＮＮモデルによる処理のためにサーバ／ハブデバイス１４０２にデータを送信するように構成されることができ、サーバ／ハブデバイス１４０２は、該当する処理を行い、それに応じて命令の送信を通じてエッジ／ネットワーク化デバイスを制御することができる。
【0092】
[0107]例えば、セキュリティシステムでは、望ましい実装に従って、エッジ／ネットワーク化デバイス１４０１が、監視カメラ、音センサ、モバイルデバイス、ラップトップ、ＴＶ、ドアセンサ等を伴うことができる。映像データまたは他のデータが、エッジ／ネットワーク化デバイス１４０１からサーバ／ハブデバイス１４０２に送信されて、侵入者を検出するように構成されたＡＩ ＳｏＣ上のＡＩ／ＮＮモデルで処理されることができ、侵入者が検出された場合、サーバ／ハブデバイス１４０２は、それに応じて命令を送信する（例えば、モバイルデバイスに監視カメラから映像フィールドを取り出すように命じる）、または、それに応じてメタデータを送信する（例えば、示されたデバイスから侵入に関するメタデータをモバイルデバイスに送り、モバイルデバイスは、それに応じて知らされた侵入を知らせるためのメッセージを生成するか、またはメニューをロードする）ように構成されることができる。
【0093】
[0108]別の例では、サーバ／ハブデバイス１４０２は、複数の工場デバイスを制御するための工場フロアにあるプログラム可能論理コントローラ（ＰＬＣ）の形態であることができる。そのような例示的な実装では、そのような工場デバイスが、サーバ／ハブデバイス１４０２にセンサデータを送信してよく、サーバ／ハブデバイス１４０２は、望ましい実装に従ってＡＩ ＳｏＣを通じてＡＩ／ＮＮモデルを実行することでそのような工場デバイスを制御する。例えば、ＡＩ／ＮＮモデルは、分析を行って工場デバイスが故障を起こしそうであるかどうかを判断するように構成されたニューラルネットワークモデルを実行してよく、故障を起こしそうな場合、サーバ／ハブデバイス１４０２は、さらなる損害を回避するために電源を落とすようにそのような工場デバイスを制御するように構成されることができる。
【0094】
[0109]望ましい実装に従って他の分析の例も可能であり得、本発明は特に制限されない。例えば、工場ラインにあるさまざまなデバイスからのセンサデータが訓練済みニューラルネットワークモデルによって分析されて、望ましい実装に従って調節することができる。分析に基づく変更の他の例には、望ましい実装に従って、分析結果に応じてセンサが再構成されること、分析に応じて音声認識パラメータが変更されること等が含まれ得る。
【0095】
[0110]上記の例示的な実装は、望ましい実装に従って、任意のネットワーク化された環境およびデバイスに拡張されることができる。当業者は、望ましい実装に従って、本明細書に記載される例示的な実装を利用して、ネットワーク化デバイスによって処理するためのメタデータを生成する、またはそのようなネットワークデバイスを命令で制御することができる。
【0096】
[0111]詳細な説明の一部は、コンピュータ内の動作のアルゴリズムおよび記号的表現として提示されている。これらのアルゴリズム的記述および記号表現は、革新的技術の本質を他の当業者に伝達するために、データ処理技術の当業者によって使用される手段である。アルゴリズムは、望まれる最終状態または結果につながる一連の定義されたステップである。例示的な実装では、実行されるステップは、有形の結果を達成するために、有形の量の物理的操作を必要とする。
【0097】
[0112]説明から明らかであるように、特に具体的に述べられない限り、説明全体を通じて、「処理」、「計算」、「算出」、「決定」、「表示」などの用語を利用する説明は、コンピュータシステムのレジスタおよびメモリ内の物理（電子）量として表されたデータを操作して、コンピュータシステムのメモリまたはレジスタあるいはその他の情報の格納デバイス、送信デバイス、または表示デバイス内の物理量として同様に表された他のデータに変換する、コンピュータシステムまたはその他の情報処理デバイスの動作およびプロセスを含むことができると理解される。
【0098】
[0113]例示的な実装は、本明細書における動作を実行するための装置に関連してもよい。この装置は、必要とされる目的のために特別に構築されてよく、あるいは１つまたは複数のコンピュータプログラムによって選択的に作動または再構成される１つまたは複数の汎用コンピュータを含んでよい。そのようなコンピュータプログラムは、コンピュータ可読ストレージ媒体またはコンピュータ可読信号媒体などのコンピュータ可読媒体に格納されてよい。コンピュータ可読ストレージ媒体は、これらに限定されないが、光ディスク、磁気ディスク、読み取り専用メモリ、ランダムアクセスメモリ、半導体デバイスおよびドライブ、あるいは電子情報を格納するのに適している任意のその他の種類の有形または非一過性の媒体などの、有形の媒体を含んでよい。コンピュータ可読信号媒体は、搬送波などの媒体を含んでよい。本明細書において提示されたアルゴリズムおよび表示は、本質的に、どの特定のコンピュータまたはその他の装置にも関連していない。コンピュータプログラムは、望ましい実装の動作を実行する命令を伴う純粋なソフトウェア実装を含むことができる。
【0099】
[0114]さまざまな汎用システムが、本明細書における例に従って、プログラムおよびモジュールと共に使用されてよく、または、望まれる方法のステップを実行するために、より特殊な装置を構築することが便利であると判明することもある。加えて、例示的な実装は、いずれかの特定のプログラミング言語を参照して説明されない。本明細書に記載された例示的な実装の技術を実装するために、さまざまなプログラミング言語が使用されてよいことが理解されるであろう。プログラミング言語の命令は、１つまたは複数の処理デバイス（例えば、中央処理装置（ＣＰＵ）、プロセッサ、またはコントローラ）によって実行されてよい。
【0100】
[0115]当技術分野において知られているように、上記の動作は、ハードウェア、ソフトウェア、またはソフトウェアとハードウェアの何らかの組合せによって実行されることができる。例示的な実装のさまざまな態様は、回路および論理デバイス（ハードウェア）を使用して実装されてよいが、他の態様は、機械可読媒体に格納された命令（ソフトウェア）を使用して実装されてもよく、これらの命令は、プロセッサによって実行された場合、プロセッサに、本出願の実装を実行するための方法を実行させる。さらに、本出願の一部の例示的な実装は、ハードウェアのみで実行されてよく、一方、他の例示的な実装は、ソフトウェアのみで実行されてよい。さらに、説明されたさまざまな機能は、単一のユニットにおいて実行されることができ、または任意数の方式で複数のコンポーネントにわたって分散されることができる。ソフトウェアによって実行される場合、方法は、コンピュータ可読媒体に格納された命令に基づいて、汎用コンピュータなどのプロセッサによって実行されてよい。必要に応じて、命令は、圧縮された形式および／または暗号化された形式で媒体に格納されることができる。
【0101】
[0116]さらに、本明細書の検討および本出願の教示の実践から、本出願の他の実装が当業者にとって明らかになるであろう。説明された例示的な実装のさまざまな態様および／またはコンポーネントが、単独で、または任意の組合せで使用されてよい。本明細書および例示的な実装は、単なる例と見なされることが意図され、本出願の真の範囲および思想は、以下の特許請求の範囲によって示されている。
【国際調査報告】