特許 7164561 プロセッサチップ及びその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-24

(45)【発行日】2022-11-01

(54)【発明の名称】プロセッサチップ及びその制御方法

(51)【国際特許分類】

   G06N 3/06 20060101AFI20221025BHJP

【ＦＩ】

G06N3/06

【請求項の数】 15

(21)【出願番号】P 2020066302

(22)【出願日】2020-04-01

(65)【公開番号】P2021034008

(43)【公開日】2021-03-01

【審査請求日】2020-04-01

(31)【優先権主張番号】10-2019-0099124

(32)【優先日】2019-08-13

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】太 龍旻

(72)【発明者】

【氏名】趙 仁相

(72)【発明者】

【氏名】李 元宰

(72)【発明者】

【氏名】黄 讃榮

【審査官】金田 孝之

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０１８０１７７（ＵＳ，Ａ１）

【文献】特表２０１５－５３０６８３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０３７９００４（ＵＳ，Ａ１）

【文献】特表２０１８－５２３１８２（ＪＰ，Ａ）

【文献】特開２０１９－０５３７３４（ＪＰ，Ａ）

【文献】欧州特許出願公開第０３３８９００５（ＥＰ，Ａ１）

【文献】米国特許出願公開第２０２０／００８２２７９（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１４／０２８２５０８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－ ３／１２

Ｇ０６Ｆ １５／７６－１５／８２

(57)【特許請求の範囲】

【請求項1】

ニューラルネットワーク演算を行うプロセッサチップにおいて、
メモリと、
前記メモリに保存されたデータに対する前記ニューラルネットワーク演算を行う第１プロセッサと、
第２プロセッサと、
第３プロセッサと
を含み、
前記メモリは、前記第２プロセッサによってアクセス可能でないセキュリティ領域と、前記第２プロセッサによってアクセス可能な非セキュリティ領域とを含むように構成され、
前記第２プロセッサは、
前記第１プロセッサ及び前記第３プロセッサが動作を行うように、前記第１プロセッサ及び前記第３プロセッサに制御信号を伝送するように構成され、
前記第１プロセッサは、
前記第３プロセッサから前記セキュリティ領域に保存した入力コンテンツのアドレス情報を受信し、該アドレス情報と、前記非セキュリティ領域に保存した人工知能モデル情報とに基づいて、前記入力コンテンツに対する前記ニューラルネットワーク演算を行うように構成される、
プロセッサチップ。

【請求項2】

前記第２プロセッサは、
前記第３プロセッサが前記アドレス情報を前記第１プロセッサに提供するように開始信号を前記第３プロセッサに伝送し、且つ
前記入力コンテンツに対する前記アドレス情報及び前記人工知能モデル情報に基づいて、前記入力コンテンツに対する前記ニューラルネットワーク演算を行うように初期化信号を前記第１プロセッサに伝送することを特徴とする請求項１に記載のプロセッサチップ。

【請求項3】

前記第２プロセッサは、
前記第３プロセッサが前記セキュリティ領域にアクセスして前記入力コンテンツの前記アドレス情報を識別し、前記入力コンテンツの前記アドレス情報を前記第１プロセッサに提供するように前記開始信号を前記第３プロセッサに伝送することを特徴とする請求項２に記載のプロセッサチップ。

【請求項4】

前記第２プロセッサは、
前記非セキュリティ領域に保存された複数の人工知能モデルのうちの一つに対するアドレス情報を前記第１プロセッサに提供し、
前記第１プロセッサは、
前記第２プロセッサから提供された前記人工知能モデルのアドレス情報に基づいて前記人工知能モデル情報を獲得することを特徴とする請求項３に記載のプロセッサチップ。

【請求項5】

前記第２プロセッサは、
前記第３プロセッサが、前記入力コンテンツに基づいて前記非セキュリティ領域に保存された複数の人工知能モデルのうちの一つに対するアドレス情報を前記第１プロセッサに提供するように前記開始信号を前記第３プロセッサに伝送し、
前記第１プロセッサは、
前記第３プロセッサから提供された前記人工知能モデルのアドレス情報に基づいて前記人工知能モデル情報を獲得することを特徴とする請求項３に記載のプロセッサチップ。

【請求項6】

通信インターフェースを更に含み、
前記入力コンテンツに含まれた複数のフレームは、
前記通信インターフェースを介して順次に受信されて前記メモリのセキュリティ領域に保存され、
前記第２プロセッサは、
前記第３プロセッサが、前記メモリに順次に保存されるフレームのアドレス情報を予め設定された時間おきに前記第１プロセッサに提供するように前記開始信号を前記第３プロセッサに伝送することを特徴とする請求項３に記載のプロセッサチップ。

【請求項7】

前記第２プロセッサは、
第１アプリケーションが実行されると、前記第３プロセッサが前記入力コンテンツに対する情報を前記第１プロセッサに提供するように前記開始信号を前記第３プロセッサに伝送することを特徴とする請求項２に記載のプロセッサチップ。

【請求項8】

前記第２プロセッサは、
前記第１アプリケーションが終了すると、前記第３プロセッサが前記情報を提供する動作を中止するように前記第３プロセッサに終了信号を伝送し、
前記第３プロセッサは、
前記第１プロセッサが前記ニューラルネットワーク演算の動作を中止するように制御し、前記ニューラルネットワーク演算の動作が中止されていることを示す信号を前記第２プロセッサに提供することを特徴とする請求項７に記載のプロセッサチップ。

【請求項9】

前記第２プロセッサは、
第２アプリケーションが実行されると、前記非セキュリティ領域にアクセスし、前記第２アプリケーションに対応するデータのアドレス情報を識別し、
前記識別されたアドレス情報を前記第１プロセッサに提供し、
前記第１プロセッサが前記第２プロセッサから提供された前記データのアドレス情報及び前記非セキュリティ領域に保存された人工知能モデル情報に基づいて、前記データに対するニューラルネットワーク演算を行うように制御することを特徴とする請求項３に記載のプロセッサチップ。

【請求項10】

ディスプレイを更に含み、
前記第２プロセッサは、
前記第３プロセッサが複数の入力コンテンツのうち、前記ディスプレイを介してディスプレイされる入力コンテンツのアドレス情報を識別し、前記識別されたアドレス情報を前記第１プロセッサに提供するように前記開始信号を前記第３プロセッサに伝送することを特徴とする請求項３に記載のプロセッサチップ。

【請求項11】

前記第１プロセッサは、
ＮＰＵであり、
前記第２プロセッサは、
オペレーティングシステムに基づいて動作するプロセッサであり、
前記第３プロセッサは、
予め設定された動作を行うプロセッサであることを特徴とする請求項１に記載のプロセッサチップ。

【請求項12】

メモリと、前記メモリに保存されたデータに対するニューラルネットワーク演算を行う第１プロセッサと、第２プロセッサと、第３プロセッサとを含むプロセッサチップの制御方法において、
前記第３プロセッサが動作を行うように前記第２プロセッサが前記第３プロセッサに制御信号を伝送するステップと、
前記第１プロセッサが動作を行うように前記第２プロセッサが前記第１プロセッサに制御信号を伝送するステップと、
前記第１プロセッサが、前記第３プロセッサから前記メモリのセキュリティ領域に保存した入力コンテンツに対するアドレス情報を受信するステップと、
前記第１プロセッサが、前記アドレス情報と、前記メモリの非セキュリティ領域に保存した人工知能モデル情報とに基づいて、前記ニューラルネットワーク演算を行うステップと、を含み、
前記セキュリティ領域は、前記第２プロセッサによってアクセス可能でなく、
前記非セキュリティ領域は、前記第２プロセッサによってアクセス可能である、
制御方法。

【請求項13】

前記第３プロセッサに制御信号を伝送するステップは、
前記第３プロセッサが前記入力コンテンツに対する前記アドレス情報を前記第１プロセッサに提供するように開始信号を前記第３プロセッサに伝送し、
前記第１プロセッサに制御信号を伝送するステップは、
前記第１プロセッサが前記入力コンテンツに対する前記アドレス情報及び前記人工知能モデル情報に基づいて、前記入力コンテンツに対する前記ニューラルネットワーク演算を行うように初期化信号を前記第１プロセッサに伝送することを特徴とする請求項１２に記載の制御方法。

【請求項14】

前記第３プロセッサに制御信号を伝送するステップは、
前記第３プロセッサが前記メモリの前記セキュリティ領域にアクセスして前記入力コンテンツの前記アドレス情報を識別し、前記入力コンテンツの前記アドレス情報を前記第１プロセッサに提供するように前記開始信号を前記第３プロセッサに伝送することを特徴とする請求項１３に記載の制御方法。

【請求項15】

前記第２プロセッサが、前記非セキュリティ領域に保存された複数の人工知能モデルのうちの一つに対するアドレス情報を前記第１プロセッサに提供するステップと、
前記第１プロセッサが、前記第２プロセッサから提供された前記人工知能モデルのアドレス情報に基づいて前記人工知能モデル情報を獲得するステップと
を更に含むことを特徴とする請求項１４に記載の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プロセッサチップ及びその制御方法に関し、より詳細には、ニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）演算を行うプロセッサチップ及びその制御方法に関する。

【背景技術】

【0002】

近来、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）のようなニューラルネットワーク技術を用いて多様な体験を提供する電子装置が開発されている。特に、ニューラルネットワーク技術を用いて、Ｓｅｇｍｅｎｔａｔｉｏｎ、Ｓｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ、ＨＤＲなどの性能が改善されている。

【0003】

電子装置でニューラルネットワーク技術を用いて画質を向上させる技術は、まず、ＲＴＬ（Ｒｅｇｉｓｔｅｒ－Ｔｒａｎｓｆｅｒ Ｌｅｖｅｌ）のように、デジタル回路設計を通じてハードウェア的に実現されたり、ＮＰＵ（Ｎｅｕｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のようなプロセッサを用いてソフトウェア的に実現されてよい。

【0004】

その中で、プロセッサを使用する方法は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＮＰＵなど、多様なタイプのプロセッサが用いられてよい。特に、ＮＰＵは、ニューラルネットワーク演算に特化して早く結果を出力することができ、特化した加速器によってニューラルネットワーク演算の際、他のタイプのプロセッサよりｐｅｒｆｏｒｍａｎｃｅとｅｆｆｉｃｉｅｎｃｙのほうが優れている。

【0005】

このようなＮＰＵは、通常、ＣＰＵによる制御が必要であり、特に、ＣＰＵによって入力データ及び入力データに適用される人工知能モデル情報を受信するようになる。具体的に、図１に示すように、ＣＰＵは、ＮＰＵを初期化（ｉｎｉｔｉａｌｉｚｉｎｇ）し、メモリに保存されている入力データと人工知能モデル情報をＮＰＵに提供し、ＮＰＵを動作（Ｔｒｉｇｇｅｒ）させるようになる。

【0006】

ただ、電子装置が入力データとしてコンテンツを利用する場合、電子装置は、コンテンツのセキュリティのためにＣＰＵがコンテンツの原本に直接アクセスすることができない。

【0007】

それを迂回する方法として、セキュリティ領域（Ｔｒｕｓｔ領域）にあるコンテンツの原本を一般領域にコピーするモジュールを使うか、ダウンスケーリングされたコンテンツにアクセスする方法がある。ただ、この場合、メモリの使い過ぎ、動作時間の遅延、コンテンツの品質低下などの問題が発生する。

【0008】

なお、電子装置内において、ＣＰＵは多様な業務を行うため、ＮＰＵ制御を毎フレーム単位にすると、負荷がかかるおそれがある。即ち、ＣＰＵを用いる場合、リアルタイムの処理が困難になることもある。

【0009】

以上のように、電子装置のＣＰＵがＮＰＵを制御する場合、様々な問題が生じる。

【先行技術文献】

【特許文献】

【0010】

【文献】中国特許第１０８２５５７７３号明細書

【文献】韓国公開特許第２００８－００６０６４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0011】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ＮＰＵ（Ｎｅｕｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）をより効率よく制御するためのプロセッサチップ及びその制御方法を提供することにある。

【課題を解決するための手段】

【0012】

以上のような目的を達成するための本発明の一実施形態によると、ニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）演算を行うプロセッサチップは、メモリと、前記メモリに保存されたデータに対する前記ニューラルネットワーク演算を行う第１プロセッサと、第２プロセッサと、第３プロセッサとを含み、前記第２プロセッサは、前記第１プロセッサ及び前記第３プロセッサが動作を行うように、前記第１プロセッサ及び前記第３プロセッサに制御信号を伝送してよい。

【0013】

なお、前記第２プロセッサは、前記第３プロセッサが前記メモリに保存された入力コンテンツに対する情報を前記第１プロセッサに提供するように開始信号を前記第３プロセッサに伝送し、前記プロセッサが、前記第３プロセッサから提供された前記入力コンテンツに対する情報及び前記メモリに保存された人工知能モデル情報に基づいて、前記入力コンテンツに対する前記ニューラルネットワーク演算を行うように初期化信号を前記第１プロセッサに伝送してよい。

【0014】

そして、前記メモリは、前記第２プロセッサのアクセスができないセキュリティ領域及び前記第２プロセッサのアクセスができる非セキュリティ領域を含み、前記第２プロセッサは、前記第３プロセッサが前記セキュリティ領域にアクセスして前記入力コンテンツのアドレス情報を識別し、前記入力コンテンツのアドレス情報を前記第１プロセッサに提供するように前記開始信号を前記第３プロセッサに伝送し、前記第１プロセッサが、前記第３プロセッサから提供された前記入力コンテンツのアドレス情報及び前記非セキュリティ領域に保存された人工知能モデル情報に基づいて、前記入力コンテンツに対するニューラルネットワーク演算を行うように前記初期化信号を前記第１プロセッサに伝送してよい。

【0015】

なお、前記第２プロセッサは、前記非セキュリティ領域に保存された複数の人工知能モデルのうちの一つに対するアドレス情報を前記第１プロセッサに提供し、前記第１プロセッサは、前記第２プロセッサから提供された前記人工知能モデルのアドレス情報に基づいて前記人工知能モデル情報を獲得してよい。

【0016】

そして、前記第２プロセッサは、前記第３プロセッサが前記入力コンテンツに基づいて前記非セキュリティ領域に保存された複数の人工知能モデルのうちの一つに対するアドレス情報を前記第１プロセッサに提供するように前記開始信号を前記第３プロセッサに伝送し、前記第１プロセッサは、前記第３プロセッサから提供された前記人工知能モデルのアドレス情報に基づいて前記人工知能モデル情報を獲得してよい。

【0017】

なお、通信インターフェースを更に含み、前記入力コンテンツに含まれた複数のフレームは、前記通信インターフェースを介して順次に受信されて前記メモリのセキュリティ領域に保存され、前記第２プロセッサは、前記第３プロセッサが前記メモリに順次に保存されるフレームのアドレス情報を予め設定された時間おきに前記第１プロセッサに提供するように前記開始信号を前記第３プロセッサに伝送してよい。

【0018】

そして、前記第２プロセッサは、第１アプリケーションが実行されると、前記第３プロセッサが前記入力コンテンツに対する情報を前記第１プロセッサに提供するように前記開始信号を前記第３プロセッサに伝送してよい。

【0019】

なお、前記第２プロセッサは、前記第１アプリケーションが終了すると、前記第３プロセッサが前記提供動作を中止するように前記第３プロセッサに終了信号を伝送し、前記第３プロセッサは、前記第１プロセッサが前記ニューラルネットワーク演算動作を中止するように制御し、前記ニューラルネットワーク演算動作が中止されていることを示す信号を前記第２プロセッサに提供してよい。

【0020】

そして、前記第２プロセッサは、第２アプリケーションが実行されると、前記非セキュリティ領域にアクセスし、前記第２アプリケーションに対応するデータのアドレス情報を識別し、前記識別されたアドレス情報を前記第１プロセッサに提供し、前記第１プロセッサが前記第２プロセッサから提供された前記データのアドレス情報及び前記非セキュリティ領域に保存された人工知能モデル情報に基づいて、前記データに対するニューラルネットワーク演算を行うように制御してよい。

【0021】

なお、ディスプレイを更に含み、前記第２プロセッサは、前記第３プロセッサが複数の入力コンテンツのうち、前記ディスプレイを介してディスプレイされる入力コンテンツのアドレス情報を識別し、前記識別されたアドレス情報を前記第１プロセッサに提供するように前記開始信号を前記第３プロセッサに伝送してよい。

【0022】

そして、前記第１プロセッサは、ＮＰＵ（Ｎｅｕｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、前記第２プロセッサは、オペレーティングシステム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）に基づいて動作するプロセッサであり、前記第３プロセッサは、予め設定された動作を行うプロセッサであってよい。

【0023】

一方、本発明の一実施形態によると、メモリと、前記メモリに保存されたデータに対するニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）演算を行う第１プロセッサと、第２プロセッサと、第３プロセッサとを含むプロセッサチップの制御方法は、前記第３プロセッサが動作を行うように前記第２プロセッサが前記第３プロセッサに制御信号を伝送するステップと、前記第１プロセッサが動作を行うように前記第２プロセッサが前記第１プロセッサに制御信号を伝送するステップとを含む。

【0024】

なお、前記第３プロセッサに制御信号を伝送するステップは、前記第３プロセッサが前記メモリに保存された入力コンテンツに対する情報を前記第１プロセッサに提供するように開始信号を前記第３プロセッサに伝送し、前記第１プロセッサに制御信号を伝送するステップは、前記第１プロセッサが前記第３プロセッサから提供された前記入力コンテンツに対する情報及び前記メモリに保存された人工知能モデル情報に基づいて、前記入力コンテンツに対する前記ニューラルネットワーク演算を行うように初期化信号を前記第１プロセッサに伝送してよい。

【0025】

そして、前記第３プロセッサに制御信号を伝送するステップは、前記第３プロセッサが前記メモリのセキュリティ領域にアクセスして前記入力コンテンツのアドレス情報を識別し、前記入力コンテンツのアドレス情報を前記第１プロセッサに提供するように前記開始信号を前記第３プロセッサに伝送し、前記第１プロセッサに制御信号を伝送するステップは、前記第１プロセッサが、前記第３プロセッサから提供された前記入力コンテンツのアドレス情報及び前記メモリの非セキュリティ領域に保存された人工知能モデル情報に基づいて、前記入力コンテンツに対する前記ニューラルネットワーク演算を行うように初期化信号を前記第１プロセッサに伝送してよい。

【0026】

なお、前記第２プロセッサが、前記非セキュリティ領域に保存された複数の人工知能モデルのうちの一つに対するアドレス情報を前記第１プロセッサに提供するステップと、前記第１プロセッサが、前記第２プロセッサから提供された前記人工知能モデルのアドレス情報に基づいて前記人工知能モデル情報を獲得するステップとを含んでよい。

【0027】

そして、前記第３プロセッサに制御信号を伝送するステップは、前記第３プロセッサが前記入力コンテンツに基づいて前記非セキュリティ領域に保存された複数の人工知能モデルのうちの一つに対するアドレス情報を前記第１プロセッサに提供するように前記開始信号を前記第３プロセッサに伝送し、前記制御方法は、前記第１プロセッサが、前記第３プロセッサから提供された前記人工知能モデルのアドレス情報に基づいて前記人工知能モデル情報を獲得するステップを更に含んでよい。

【0028】

なお、前記入力コンテンツに含まれた複数のフレームが順次に受信されて前記メモリのセキュリティ領域に保存されるステップを更に含み、前記第３プロセッサに制御信号を伝送するステップは、前記第３プロセッサが前記メモリに順次に保存されるフレームのアドレス情報を予め設定された時間おきに前記第１プロセッサに提供するように前記開始信号を前記第３プロセッサに伝送してよい。

【0029】

そして、前記第３プロセッサに制御信号を伝送するステップは、第１アプリケーションが実行されると、前記第３プロセッサが前記入力コンテンツに対する情報を前記第１プロセッサに提供するように前記開始信号を前記第３プロセッサに伝送してよい。

【0030】

なお、前記第１アプリケーションが終了すると、前記第３プロセッサが前記提供動作を中止するように前記第２プロセッサが前記第３プロセッサに終了信号を伝送するステップと、前記第３プロセッサの制御により、前記第１プロセッサが前記ニューラルネットワーク演算動作を中止するステップと、前記第３プロセッサが前記ニューラルネットワーク演算動作が中止されていることを示す信号を前記第２プロセッサに提供するステップとを更に含んでよい。

【0031】

一方、本発明の別の実施形態によると、メモリと、第１プロセッサと、第２プロセッサと、第３プロセッサとを含むプロセッサチップの制御方法は、第１アプリケーションが実行されると、前記第２プロセッサが前記メモリに保存されたデータに対する情報を前記第１プロセッサに伝送するステップと、前記第１プロセッサが前記第２プロセッサから提供された前記データに対する情報及び前記メモリに保存された第１人工知能モデル情報に基づいて、前記データに対するニューラルネットワーク演算を行うように前記第２プロセッサが前記第１プロセッサに第１初期化信号を伝送するステップと、前記第１アプリケーションが終了して第２アプリケーションが実行されると、前記第３プロセッサが前記メモリに保存された入力コンテンツに対する情報を前記第１プロセッサに提供するように前記第２プロセッサが前記第３プロセッサに開始信号を伝送するステップと、前記第１プロセッサが前記第３プロセッサから提供された前記入力コンテンツに対する情報及び前記メモリに保存された第２人工知能モデル情報に基づいて、前記入力コンテンツに対するニューラルネットワーク演算を行うように前記第２プロセッサが前記第１プロセッサに第２初期化信号を伝送するステップとを含む。

【発明の効果】

【0032】

以上説明したように、本発明によれば、プロセッサチップは、コンテンツの原本に対するニューラルネットワーク演算を行うことで、メモリの使用を減らし、コンテンツの出力品質を改善し、リアルタイムで処理を行うことができるようになる。

【図面の簡単な説明】

【0033】

【図1】従来技術によるＮＰＵ（Ｎｅｕｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の制御方法を説明するための図である。

【図2】本発明の一実施形態に係るプロセッサチップの構成を示すブロック図である。

【図3】本発明の一実施形態に係るメモリのセキュリティ領域及び非セキュリティ領域を説明するための図である。

【図4A】本発明の一実施形態に係るニューラルネットワーク演算を説明するための図である。

【図4B】本発明の一実施形態に係るニューラルネットワーク演算を説明するための図である。

【図5A】本発明の別の実施形態に係るニューラルネットワーク演算を説明するための図である。

【図5B】本発明の別の実施形態に係るニューラルネットワーク演算を説明するための図である。

【図6A】本発明の一実施形態に係るアプリケーションによる動作を説明するための図である。

【図6B】本発明の一実施形態に係るアプリケーションによる動作を説明するための図である。

【図6C】本発明の一実施形態に係るアプリケーションによる動作を説明するための図である。

【図7】本発明の一実施形態に係るプロセッサチップの制御方法を説明するためのフローチャートである。

【発明を実施するための形態】

【0034】

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

【0035】

図２は、本発明の一実施形態に係るプロセッサチップ１００の構成を示すブロック図である。

【0036】

同図に示すように、プロセッサ１００は、メモリ１１０、第１プロセッサ１２０、第２プロセッサ１３０及び第３プロセッサ１４０を含む。

【0037】

プロセッサチップ１００は、ニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）演算を行う装置として、例えば、プロセッサチップ１００は、テレビ、スマートフォン、タブレットパソコン、携帯電話、テレビ電話機、電子ブックリーダー、デスクトップ、ラップトップパソコン、ネットブックコンピュータ、ワークステーション、サーバ、ＰＤＡ、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ＭＰ３プレーヤ、ウェアラブル装置であってよい。

【0038】

特に、プロセッサチップ１００は、ディスプレイ（図示せず）が備えられた装置として、コンテンツに対するニューラルネットワーク演算を行い、ニューラルネットワーク演算によって映像処理されたコンテンツをディスプレイを介してディスプレイする装置であってよい。又は、プロセッサチップ１００は、別途のディスプレイを備えずに、コンテンツに対するニューラルネットワーク演算を行う装置であってよい。この場合、プロセッサチップ１００は、ニューラルネットワーク演算によって映像処理されたコンテンツをディスプレイ装置に提供してよい。

【0039】

メモリ１１０は、第１プロセッサ１２０、第２プロセッサ１３０及び第３プロセッサ１４０と電気的に接続され、本発明の多様な実施形態のために、必要なデータを保存することができる。例えば、メモリ１１０は、第１プロセッサ１２０、第２プロセッサ１３０及び第３プロセッサ１４０のそれぞれに含まれたＲＯＭ（例えば、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ））、ＲＯＭなどの内部メモリで実現されたり、第１プロセッサ１２０、第２プロセッサ１３０及び第３プロセッサ１４０と別途のメモリで実現されてよい。この場合、メモリ１１０は、データの保存用途に応じて、プロセッサチップ１００にエンベデッドされたメモリで実現されたり、プロセッサチップ１００に着脱自在なメモリで実現されてよい。例えば、プロセッサチップ１００の駆動のためのデータである場合、プロセッサチップ１００にエンベデッドされたメモリに保存され、プロセッサチップ１００の拡張機能のためのデータの場合、プロセッサチップ１００に着脱自在なメモリに保存されてよい。一方、プロセッサチップ１００にエンベデッドされたメモリである場合、揮発性メモリ（例えば、ＤＲＡＭ（ｄｙｎａｍｉｃ ＲＡＭ）、ＳＲＡＭ（ｓｔａｔｉｃ ＲＡＭ）又はＳＤＲＡＭ（ｓｙｎｃｈｒｏｎｏｕｓ ｄｙｎａｍｉｃ ＲＡＭ）など）、非揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ）（例えば、ＯＴＰＲＯＭ（ｏｎｅ ｔｉｍｅ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（ｅｒａｓａｂｌｅ ａｎｄ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ａｎｄ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ｍａｓｋ ＲＯＭ、ｆｌａｓｈ ＲＯＭ、フラッシュメモリ（例えば、ＮＡＮＤ ｆｌａｓｈ又はＮＯＲ ｆｌａｓｈなど）、ハードドライブ、又はソリッドステートドライブ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ（ＳＳＤ））のうち少なくとも一つで実現されてよく、プロセッサチップ１００に着脱自在なメモリである場合、メモリカード（例えば、ＣＦ（ｃｏｍｐａｃｔ ｆｌａｓｈ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）、Ｍｉｃｒｏ－ＳＤ（Ｍｉｃｒｏ Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）、Ｍｉｎｉ－ＳＤ（ｍｉｎｉ Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）、ｘＤ（ｅｘｔｒｅｍｅ Ｄｉｇｉｔａｌ）、ＭＭＣ（Ｍｕｌｔｉ－Ｍｅｄｉａ Ｃａｒｄ）など）、ＵＳＢポートに接続可能な外部メモリ（例えば、ＵＳＢメモリ）などのような形で実現されてよい。

【0040】

メモリ１１０は、データに対するニューラルネットワーク演算を行うために用いられる人工知能モデルを保存することができる。例えば、人工知能モデルは、入力コンテンツの解像度を８Ｋアップスケーリング（Ｕｐｓｃａｌｉｎｇ）するためのモデルとして、原本イメージ（８Ｋ）と原本イメージがダウンスケーリングされたイメージ（例えば、４Ｋ）との関係をＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）学習したモデルであってよい。ここで、ＣＮＮは、音声処理、イメージ処理などのために考案された特殊な接続構造を有する多層ニューラルネットワークである。

【0041】

ただ、それは一実施形態に過ぎず、人工知能モデルは、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）など、多様なニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に基づいたモデルであってよい。

【0042】

そして、メモリ１１０は、人工知能モデルの適用されるデータを保存することができる。例えば、メモリ１１０は、人工知能モデルの適用されるコンテンツを保存することができる。

【0043】

メモリ１１０は、セキュリティ領域及び非セキュリティを含んでよい。ここで、セキュリティ領域は、セキュリティの必要なデータが保存される領域であり、非セキュリティ領域は、セキュリティとは関係のないデータが保存される領域である。例えば、人工知能モデルは、非セキュリティ領域に保存され、人工知能モデルの適用されるコンテンツは、セキュリティ領域に保存されてよい。

【0044】

ただ、それに限定されるものではなく、人工知能モデルにセキュリティが必要であれば、セキュリティ領域に保存されてよい。なお、人工知能モデルの適用されるデータがセキュリティと関係ないとしたら、非セキュリティ領域に保存されてよい。

【0045】

メモリ１１０のセキュリティ領域及び非セキュリティ領域は、ソフトウェア的に区分されてよい。例えば、第２プロセッサ１３０は、メモリ１１０と電気的に接続されているが、ソフトウェア的にメモリ１１０の３０％に該当するセキュリティ領域を認識できないこともある。

【0046】

ただ、それに限定されるものではなく、メモリ１１０のセキュリティ領域は第１メモリで実現され、メモリ１１０の非セキュリティ領域は、第２メモリで実現されてよい。即ち、メモリ１１０のセキュリティ領域及び非セキュリティ領域は、ハードウェア的に区分されてよい。

【0047】

後述の第１プロセッサ１２０及び第３プロセッサ１４０は、メモリ１１０のセキュリティ領域及び非セキュリティ領域にアクセスができるが、第２プロセッサ１３０は、メモリ１１０のセキュリティ領域にはアクセスが不可能で、非セキュリティ領域のみにアクセスが可能である。

【0048】

第１プロセッサ１２０は、ニューラルネットワーク演算を行うプロセッサであってよい。例えば、第１プロセッサ１２０は、ＮＰＵ（Ｎｅｕｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのように、ニューラルネットワーク演算専用のプロセッサとして、複数の演算素子（Ｐｒｏｃｅｓｓｉｎｇ Ｅｌｅｍｅｎｔ）を含んでよい。隣接する演算素子間では、データの片方向シフト又は双方向シフトが可能である。

【0049】

演算素子のそれぞれは、基本的に乗算器（ｍｕｌｔｉｐｌｉｅｒ）及び算術論理演算装置（Ａｒｉｔｈｍｅｔｉｃ Ｌｏｇｉｃ Ｕｎｉｔ：ＡＬＵ）を含み、ＡＬＵは、少なくとも一つ以上の加算器（ａｄｄｅｒ）を含んでよい。演算素子は、乗算器及びＡＬＵを用いて四則演算を行うことができる。ただ、それに限られるものではなく、四則演算及びソフトなどのような機能を行うことができれば、いくらでも他の構造で形成されることができる。なお、演算素子のそれぞれは、データを保存するためのレジスタを含んでよい。

【0050】

第１プロセッサ１２０は、複数の演算素子を制御する制御部を含んでよく、制御部は、複数の演算素子を制御してニューラルネットワーク演算過程で必要な演算を並行して処理することができる。

【0051】

第１プロセッサ１２０は、第２プロセッサ１３０又は第３プロセッサ１４０の制御によって、ニューラルネットワーク演算を行うことができる。例えば、第１プロセッサ１２０は、第２プロセッサ１３０又は第３プロセッサ１４０から提供されたデータに対する情報及び非セキュリティ領域に保存された人工知能モデル情報に基づいてデータに対するニューラルネットワーク演算を行うことができる。ここで、データは、セキュリティ領域に保存されたデータであってよく、非セキュリティ領域に保存されたデータであってよい。即ち、第１プロセッサ１２０は、セキュリティ領域にアクセスすることができる。

【0052】

第２プロセッサ１３０は、プロセッサチップ１００の動作全般を制御し、オペレーティングシステム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）に基づいて動作するプロセッサであってよい。ただ、第２プロセッサ１３０は、メモリ１１０のセキュリティ領域にはアクセスが不可能であり、非セキュリティ領域のみにアクセスが可能である。

【0053】

一実施形態によって、第２プロセッサ１３０は、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、ＴＣＯＮ（Ｔｉｍｅ Ｃｏｎｔｒｏｌｌｅｒ）で実現されてよい。ただ、それに限られるものではなく、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ（ＣＰＵ））、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、コントローラ（ｃｏｎｔｒｏｌｌｅｒ）、アプリケーションプロセッサ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ（ＡＰ））、又はコミュニケーションプロセッサ（Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ（ＣＰ））、ＡＲＭプロセッサのうち、一つ又はそれ以上を含むか、当該用語で定義されてよい。なお、第２プロセッサ１３０は、プロセッシングアルゴリズムの内蔵されたＳｏＣ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）で実現されてよく、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）で実現されてよい。即ち、第２プロセッサ１３０は、汎用プロセッサであってよい。

【0054】

第２プロセッサ１３０は、第１プロセッサ１２０及び第２プロセッサ１３０が動作を行うように、第１プロセッサ１２０及び第３プロセッサ１４０に制御信号を伝送することができる。

【0055】

第２プロセッサ１３０は、第３プロセッサ１４０がメモリ１１０に保存された入力コンテンツに対する情報を第１プロセッサ１２０に提供するように開始信号を第３プロセッサ１４０に伝送してよい。例えば、第２プロセッサ１３０は、セキュリティ領域にアクセス可能な第３プロセッサ１４０がセキュリティ領域にアクセスし、入力コンテンツのアドレス（ａｄｄｒｅｓｓ）情報を識別し、入力コンテンツのアドレス情報を第１プロセッサ１２０に提供するように開始信号を第３プロセッサ１４０に伝送することができる。即ち、第２プロセッサ１３０は、セキュリティ領域にアクセスができないため、セキュリティ領域にアクセスが可能な第３プロセッサ１４０を制御し、セキュリティ領域に保存された入力コンテンツのアドレス情報を第１プロセッサ１２０に提供してよい。

【0056】

ここで、第３プロセッサ１４０は、第２プロセッサ１３０とは違って、プロセッサチップ１００の動作のうちの一部のみを、必要に応じて制御するプロセッサとして、予め設定された動作のみを行うプロセッサであってよい。特に、第３プロセッサ１４０は、任意で動作が変更できないプロセッサであってよい。例えば、第３プロセッサ１４０は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのような信号処理専用プロセッサであってよく、必要に応じて、入力コンテンツに対する映像処理を行うプロセッサであってよい。

【0057】

そして、第２プロセッサ１３０は、第１プロセッサ１２０が、第３プロセッサ１４０から提供された入力コンテンツに対する情報及びメモリに保存された人工知能モデル情報に基づいて、入力コンテンツに対するニューラルネットワーク演算を行うように初期化信号を第１プロセッサ１２０に伝送することができる。例えば、第２プロセッサ１３０は、第１プロセッサ１２０が、第３プロセッサ１４０から提供された入力コンテンツのアドレス情報及び非セキュリティ領域に保存された人工知能モデル情報に基づいて、入力コンテンツに対するニューラルネットワーク演算を行うように初期化信号を第１プロセッサ１２０に伝送してよい。

【0058】

一方、第２プロセッサ１３０は、非セキュリティ領域に保存された複数の人工知能モデルのうちの一つに対するアドレス情報を第１プロセッサ１２０に提供し、第１プロセッサ１２０は、第２プロセッサ１３０から提供された人工知能モデルのアドレス情報に基づいて人工知能モデル情報を獲得することができる。

【0059】

例えば、第２プロセッサ１３０は、入力コンテンツに対する８Ｋアップスケーリングを行う場合、第３プロセッサ１４０がセキュリティ領域にアクセスし、入力コンテンツのアドレス情報を識別し、入力コンテンツのアドレス情報を第１プロセッサ１２０に提供するように制御することができる。そして、第２プロセッサ１３０は、非セキュリティ領域にアクセスして８Ｋアップスケーリングを行う人工知能モデルのアドレス情報を識別し、人工知能モデルのアドレス情報を第１プロッサ１２０に提供することができる。そして、第１プロセッサ１２０は、第３プロセッサ１４０から提供された入力コンテンツのアドレス情報及び人工知能モデルのアドレス情報に基づいて、入力コンテンツに対するニューラルネットワーク演算を行うように制御することができる。

【0060】

又は、第２プロセッサ１３０は、第3プロセッサ１４０が入力コンテンツに基づいて非セキュリティ領域に保存された複数の人工知能モデルのうちの一つに対するアドレス情報を第１プロセッサ１２０に提供するように開始信号を第３プロセッサ１４０に伝送し、第１プロセッサ１２０は第３プロセッサ１４０から提供された人工知能モデルのアドレス情報に基づいて、人工知能モデル情報を獲得することもできる。

【0061】

例えば、第３プロセッサ１４０は、入力コンテンツを分析して入力コンテンツに必要な映像処理タイプを識別することができる。仮に、第３プロセッサ１４０は、入力コンテンツの解像度がディスプレイの解像度より低い場合、アップスケーリングを行う人工知能モデルのアドレス情報を識別し、入力コンテンツの解像度がディスプレイの解像度と同様であっても品質が低いと、映像のノイズを除去する人工知能モデルのアドレス情報を識別することができる。

【0062】

即ち、人工知能モデルのアドレス情報は、第２プロセッサ１３０が提供することもでき、第３プロセッサ１４０が入力コンテンツを分析した後、提供することもできる。ここで、第２プロセッサ１３０は、セキュリティ領域に保存された入力コンテンツを分析することができないため、第２プロセッサ１３０が提供する人工知能モデルはユーザの選択に対応する人工知能モデルであってよい。仮に、第２プロセッサ１３０は、ユーザが映画モードで入力コンテンツの再生を希望する場合、映画モードに対応する人工知能モデルのアドレス情報を識別することができる。

【0063】

ただ、それに限られるものではないく、第２プロセッサ１３０は、センサを用いて周辺環境情報を識別し、周辺環境情報に対応する人工知能モデルのアドレス情報を識別することもできる。

【0064】

一方、プロセッサチップ１００は、通信インターフェース（図示せず）を更に含み、入力コンテンツに含まれた複数のフレームは、通信インターフェースを介して順次に受信されてメモリ１１０のセキュリティ領域に保存され、第２プロセッサ１３０は、第３プロセッサ１４０がメモリ１１０に順次に保存されるフレームのアドレス情報を予め設定された時間おきに第１プロセッサ１２０に提供するように開始信号を伝送することができる。

【0065】

ここで、通信インターフェースは、多様な通信方式で多様なタイプの外部装置と通信を行う構成である。通信インターフェースは、アンテナを介して受信されるＲＦ（Ｒａｄｉｏ Ｒｅｑｕｅｎｃｙ）放送信号のうち、ユーザによって選択されたチャネル又は予め保存された全てのチャネルをチューニングしてＲＦ放送信号を受信するチューナを含んでよい。この場合、プロセッサチップ１００は、チューナで変換されたデジタルＩＦ信号（ＤＩＦ）を受信して復調し、チャネル復号化などを行う復調部を更に含んでよい。なお、通信インターフェースは、Ｗｉ－Ｆｉチップ、ブルートゥース（登録商標）チップ、無線通信チップ、ＮＦＣチップなどのように、無線通信を行う構成を含んでよい。Ｗｉ－Ｆｉチップ、ブルートゥースチップは、それぞれＷｉ－Ｆｉ方式、ブルートゥース方式で通信を行う。Ｗｉ－Ｆｉチップやブルートゥースチップを用いる場合には、ＳＳＩＤ及びセッションキーなどのような各種接続情報を先に送受信し、それを用いて通信接続した後、各種情報を送受信することができる。無線通信チップは、ＩＥＥＥ、Ｚｉｇｂｅｅ、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）、３ＧＰＰ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｏｕｔｉｏｎ）などのような多様な通信規格によって通信を行うチップを意味する。ＮＦＣチップは、１３５ｋＨｚ、１３．５６ＭＨｚ、４３３ＭＨｚ、８６０～９６０ＭＨｚ、２．４５ＧＨｚなどのような様々なＲＦ－ＩＤ周波数帯域のうち、１３．５６ＭＨｚ帯域を使うＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）方式で動作するチップを意味する。なお、通信インターフェースは、ＨＤＭＩ（登録商標）、ＭＨＬ、ＵＳＢ、ＤＰ、サンダーボルト、ＲＧＢ、Ｄ－ＳＵＢ、ＤＶＩなどのように、有線通信を行う構成を含んでよい。即ち、プロセッサチップ１００は、通信インターフェースを介して外部装置からコンテンツ再生画面を受信したり、通信インターフェースを介してコンテンツ再生画面を外部装置に伝送することができる。

【0066】

一方、第２プロセッサ１３０は、第１アプリケーションが実行されると、第３プロセッサ１４０が入力コンテンツに対する情報を第１プロセッサ１２０に提供するように開始信号を第３プロセッサ１４０に伝送してよい。

【0067】

そして、第２プロセッサ１３０は、第１アプリケーションが終了すると、第３プロセッサ１４０が提供動作を中止するように第３プロセッサ１４０に終了信号を伝送し、第３プロセッサ１４０は第１プロセッサ１２０がニューラルネットワーク演算動作を中止するとうに制御し、ニューラルネットワーク演算動作が中止されていることを示す信号を第２プロセッサ１３０に提供することができる。

【0068】

一方、第２プロセッサ１３０は、第２アプリケーションが実行されると、非セキュリティ領域にアクセスして第２アプリケーションに対応するデータのアドレス情報を識別し、識別されたアドレス情報を第１プロセッサ１２０に提供し、第１プロセッサ１２０が第２プロセッサ１３０から提供されたデータのアドレス情報及び非セキュリティ領域に保存された人工知能モデル情報に基づいてデータに対するニューラルネットワーク演算を行うように制御してよい。

【0069】

ここで、第１アプリケーションは、コンテンツの映像処理に関連するアプリケーションであり、第２アプリケーションはコンテンツとは関係のないアプリケーションであってよい。

【0070】

例えば、第２プロセッサ１３０は、コンテンツの映像処理に関連する第１アプリケーションが実行されると、第３プロセッサ１４０がセキュリティ領域に保存されたコンテンツのアドレス情報を獲得するように制御し、コンテンツに関係のない第２アプリケーションが実行されると、直接非セキュリティ領域に保存されたデータのアドレス情報を獲得することができる。

【0071】

一方、プロセッサチップ１００は、ディスプレイ（図示せず）を更に含み、第２プロセッサ１３０は第３プロセッサ１４０が複数の入力コンテンツのうち、ディスプレイを介してディスプレイされる入力コンテンツのアドレス情報を識別し、識別されたアドレス情報を第１プロセッサ１２０に提供するように開始信号を第３プロセッサ１４０に伝送することができる。

【0072】

例えば、プロセッサチップ１００は、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）に接続された外部装置から第１入力コンテンツを受信し、チューナを介して放送局から第２入力コンテンツを受信し、第１入力コンテンツ及び第２入力コンテンツをセキュリティ領域に保存することができる。この場合、第２プロセッサ１３０は、第３プロセッサ１４０が第１入力コンテンツ及び第２入力コンテンツのうちディスプレイを介してディスプレイされる入力コンテンツのアドレス情報を識別し、識別されたアドレス情報を第１プロセッサ１２０に提供するように開始信号を第３プロセッサ１４０に伝送してよい。

【0073】

ここで、ディスプレイは、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅｓ）ディスプレイ、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）などのような多様な形態で実現されてよい。ディスプレイ内には、ａ－ｓｉ ＴＦＴ、ＬＴＰＳ（ｌｏｗ ｔｅｍｐｅｒａｔｕｒｅ ｐｏｌｙ ｓｉｌｉｃｏｎ）ＴＦＴ、ＯＴＦＴ（ｏｒｇａｎｉｃ ＴＦＴ）などのような形態で実現される駆動回路、バックライトユニットなども一緒に含まれてよい。一方、ディスプレイは、タッチ検知部と組み合わせてタッチスクリーンで実現されてよい。

【0074】

一方、第２プロセッサ１３０は、第１プロセッサ１２０を初期化（ｉｎｉｔｉａｌｉｚｉｎｇ）した後、第３プロセッサ１４０がセキュリティ領域にアクセスして入力コンテンツのアドレス情報を識別し、識別されたアドレス情報を第１プロセッサ１２０に提供するように開始信号を第３プロセッサ１４０に伝送することができる。

【0075】

一方、以上では、第２プロセッサ１３０又は第３プロセッサ１４０がアドレス情報を第１プロセッサ１２０に提供するものとして説明したが、それに限られるものではない。例えば、第２プロセッサ１３０又は第３プロセッサ１４０は、データ、入力コンテンツ又は人工知能モデルを獲得して直接第１プロセッサ１２０に提供することもできる。

【0076】

以上のように、第２プロセッサ１３０がセキュリティ領域にアクセスができない問題をセキュリティ領域にアクセスが可能な第３プロセッサ１４０を利用する方式で解決することができる。

【0077】

以下では、図を参照し、各プロセッサの動作をより具体的に説明する。

【0078】

図３は、本発明の一実施形態に係るメモリ１１０のセキュリティ領域及び非セキュリティ領域を説明するための図である。特に、図３を参照し、第２プロセッサ１３０がメモリ１１０のセキュリティ領域にアクセスができなくても、入力コンテンツの保存及びディスプレイができることを説明する。

【0079】

まず、プロセッサチップ１００は、入力コンテンツを受信することができる。図３では、入力コンテンツの受信をストリーミングで表示しており、それは、入力コンテンツがリアルタイムで受信されていることを意味する。なお、インターネットを通じて入力コンテンツがストリーミングされるだけでなく、外部装置から有線でコンテンツを受信することもストリーミングで表示している。

【0080】

プロセッサチップ１００は、外部からエンコードされた入力コンテンツを受信し、デコーダを介して入力コンテンツをデコードすることができる。そして、デコードされたコンテンツをメモリ１１０のセキュリティ領域に保存されてよい。

【0081】

ここで、デコードされたコンテンツは、提供ソースに応じてセキュリティ領域内で保存される領域が異なってよい。例えば、デコードされたコンテンツがチューナを介して受信された場合、デコードされたコンテンツはセキュリティ領域の第１領域に保存され、デコードされたコンテンツがＨＤＭＩで接続された外部装置から受信された場合、デコードされたコンテンツは、セキュリティ領域の第２領域に保存されてよい。即ち、セキュリティ領域は、コンテンツの提供ソース別に区分された複数の領域に区分されてよく、第３プロセッサ１４０はセキュリティ領域の区分された複数の領域に対する情報を識別することができる。

【0082】

その後、セキュリティ領域に保存されたコンテンツは、映像処理を経てディスプレイされてよい。ここで、映像処理は、ＲＴＬ（Ｒｅｇｉｓｔｅｒ－Ｔｒａｎｓｆｅｒ Ｌｅｖｅｌ）のようなデジタル回路、第１プロセッサ１２０又は第３プロセッサ１４０によって行われてよい。ここで、ＲＴＬのようなデジタル回路は変更可能性が低い場合に用いられ、第３プロセッサ１４０は変更可能性が高い場合に用いられてよい。例えば、複雑なアルゴリズム（ＦＲＣ）であるとしても、定められた数のモードのみが存在するとしたら（例えば、３０Ｈｚ、６０Ｈｚ、１２０Ｈｚ） ＲＴＬのようなデジタル回路で実現されてよく、この場合、第３プロセッサ１４０を用いる場合より電力及び原価の側面から有利である。又は、ユーザによる変化要素が多いか、使用タイプ（地域）によって変化要素が複数存在するアルゴリズムの場合（例えば、Ｇａｍｅモード、周辺の輝度による自動画面調整）には、ＲＴＬのようなデジタル回路で実現する際、固定的に使われない可能性が高く、チップの中で面積だけを占めるようになる問題が生じるおそれがある。この場合には、第３プロセッサ１４０を用いることが、ＲＬＴのようなデジタル回路を用いるより有利である。そして、第１プロセッサ１２０は人工知能モデルを用いた映像処理を行うことができる。

【0083】

一方、以上のストリーミング、デコード、保存などの動作は、デジタル回路を介して実現されてよい。第２プロセッサ１３０は、各デジタル回路を制御して入力コンテンツに対する処理を行うことができるが、入力コンテンツに対する直接的なアクセスは許容されない。即ち、第２プロセッサ１３０がメモリ１１０のセキュリティ領域にアクセスができないとしても、入力コンテンツをディスプレイする動作には全く問題が発生しなくなることがある。

【0084】

図４Ａ及び図４Ｂは、本発明の一実施形態に係るニューラルネットワーク演算を説明するための図である。

【0085】

図４Ａに示すように、第２プロセッサ（ＣＰＵ）１３０は、Ｏ／Ｓ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を用いてブートを行い、非セキュリティ領域（Ｓｔｏｒａｇｅ １）内に保存された各種プログラム、コンテンツ、データなどを用いて、ユーザの各種メニュー入力を介した制御、アプリケーションの実行のような多様な動作を行うことができる。

【0086】

第２プロセッサ１３０は、非セキュリティ領域にアクセスが可能であるが、セキュリティ領域（Ｓｔｏｒａｇｅ ２）にはアクセスが不可能である。プロセッサチップ１００の外部から受信された入力コンテンツなどのように、コンテンツ著作権（ＤＲＭ）や個人情報のように、セキュリティが必要なデータはセキュリティ領域に保存されてよく、第２プロセッサ１３０はセキュリティが必要なデータを読み出すことができない。

【0087】

第３プロセッサ１４０は、デジタル信号処理を独立的に行うプロセッサとして、Ｏ／Ｓを使用せずに、予め設定された動作を行うために、予め保存されたプログラムを使用する。それにより、第３プロセッサ１４０は、セキュリティが必要なデータの保存されたセキュリティ領域にアクセスが可能である。

【0088】

第１プロセッサ１２０は、ニューラルネットワーク演算専用のプロセッサとして、Ｏ／Ｓを使用しないため、セキュリティ領域にアクセスが可能である。

【0089】

第２プロセッサ１３０は、入力コンテンツのアドレス情報を識別することができないため、入力コンテンツに対するニューラルネットワーク演算を行うために第３プロセッサ１４０を制御することができる。

【0090】

まず、第２プロセッサ１３０は、第１プロセッサ１２０を初期化することができる。第２プロセッサ１３０が第１プロセッサ１２０を初期化する理由は、第２プロセッサ１３０でＯ／Ｓを通じてテレビシステムを制御するためである。Ｏ／Ｓは、各プロセッサに対して、ドライバを介してリソース（Ｒｅｓｏｕｒｃｅ）を管理しており、それは、メモリ１１０のようなリソース管理に効果的なシステムである。即ち、第２プロセッサ１３０は、ドライバを介して第１プロセッサ１２０を初期化してリソースを効率よく管理することができる。

【0091】

その後、第２プロセッサ１３０は、第３プロセッサ１４０がセキュリティ領域にアクセスし、入力コンテンツのアドレス情報を識別し、入力コンテンツのアドレス情報を第１プロセッサ１２０に提供するように制御することができる。第２プロセッサ１３０の第３プロセッサ１４０に対する制御動作は、１度の制御動作であってよい。

【0092】

第３プロセッサ１４０は、第１プロセッサ１２０が、第３プロセッサ１４０から提供された入力コンテンツのアドレス情報及び非セキュリティ領域に保存された人工知能モデル情報に基づいて、入力コンテンツに対するニューラルネットワーク演算を行うように制御することができる。第３プロセッサ１４０の第１プロセッサ１２０に対する制御動作は、予め設定された時間おきに繰り返される制御動作であってよい。仮に、第３プロセッサ１４０は、入力コンテンツが３０ｆｐｓの映像である場合、３３．３ｍｓおきに第１プロセッサ１２０に入力を提供し、ニューラルネットワーク演算を行うように制御することができる。

【0093】

即ち、第３プロセッサ１４０は、入力コンテンツの毎フレームどこに毎フレームのアドレス情報を第１プロセッサ１２０に提供し、ニューラルネットワーク演算を行うように制御（Ｔｒｉｇｇｅｒ）することができる。ただ、それに限られるものではなく、第３プロセッサ１４０は、入力コンテンツの毎フレームを獲得し、獲得されたフレームを第１プロセッサ１２０に提供し、ニューラルネットワーク演算を行うように制御することもできる。

【0094】

一方、第１プロセッサ１２０がニューラルネットワーク演算を行う場合に用いられる人工知能モデルは第２プロセッサ１３０が提供することができる。ここで、人工知能モデルは、非セキュリティ領域に保存されており、第２プロセッサ１３０は非セキュリティ領域にアクセスして人工知能モデルのアドレス情報を第１プロセッサ１２０に提供することができる。

【0095】

以上のような動作を通じて、第２プロセッサ１３０でない第３プロセッサ１４０が入力コンテンツに対するアドレス情報を識別し、第１プロセッサ１２０のニューラルネットワーク演算動作を制御するようになる。それにより、入力コンテンツに対するセキュリティを維持し、第２プロセッサ１３０の演算負担を軽減させた状態で、第１プロセッサ１２０を用いたリアルタイムのニューラルネットワーク演算を行うことができる。

【0096】

図４Ａでは、メモリ１１０がセキュリティ領域及び非セキュリティ領域を含むものとして説明したが、それに限られるものではない。例えば、図４Ｂに示すように、プロセッサチップ１００は、ハードウェア的に区分された第１メモリ１１１及び第２メモリ１１２を含んでよい。ここで、第１メモリ１１０は、非セキュリティデータが保存されるメモリとして、第２プロセッサ１３０のアクセスが可能なメモリであってよい。第２メモリ１１２は、セキュリティデータが保存されるメモリとして、第２プロセッサ１３０のアクセスができないメモリであってよい。第１プロセッサ１２０及び第３プロセッサ１４０は、第１メモリ１１１及び第２メモリ１１２に対するアクセスが可能である。図４Ｂの動作は、メモリがハードウェア的に区分されたことの他には、図４Ａの動作と同様であるため、重複する説明は省略する。

【0097】

図５及び図５Ｂは、本発明の別の実施形態に係るニューラルネットワーク演算を説明するための図である。

【0098】

図５Ａは、図４Ａの動作と略同一であるが、人工知能モデルのアドレス情報を識別し、アドレス情報を第１プロセッサ１２０に提供する主体が第３プロセッサ１４０である場合を説明するための図である。

【0099】

第２プロセッサ１３０とは違って、第３プロセッサ１４０はセキュリティ領域（Ｓｔｏｒａｇｅ ２）に保存された入力コンテンツに対するアクセスが可能であるため、入力コンテンツに対する分析が可能である。それにより、第３プロセッサ１４０は、入力コンテンツに最適化された人工知能モデルを識別することができる。仮に、第３プロセッサ１４０は、入力コンテンツのノイズが問題になると判断されると、非セキュリティ領域（Ｓｔｏｒａｇｅ １）からノイズを取り除くための人工知能モデルのアドレス情報を識別し、入力コンテンツの解像度が問題になると判断されると、非セキュリティ領域（Ｓｔｏｒａｇｅ １）で解像度を拡張するための人工知能モデルのアドレス情報を識別することができる。第３プロセッサ１４０は、人工知能モデルのアドレス情報を第１プロセッサ１２０に提供することができる。

【0100】

図５Ａでは、メモリ１１０がセキュリティ領域及び非セキュリティ領域を含むものとして説明したが、それに限られるものではない。例えば、図５Ｂに示すように、プロセッサチップ１００は、ハードウェア的に区分された第１メモリ１１１及び第２メモリ１１２を含んでよく、図４Ｂと重複するため、具体的な説明は省略する。

【0101】

図６Ａないし図６Ｃは、本発明の一実施形態に係るアプリケーションによる動作を説明するための図である。

【0102】

図６Ａに示すように、入力コンテンツに関係のないアプリケーションＡが実行された場合、第２プロセッサ１３０はメモリ１１０に保存されたデータに対する情報及び人工知能モデルに対する情報を第１プロセッサ１２０に提供することができる。第２プロセッサ１３０は、第１プロセッサ１２０の提供された情報に基づいて、データに対するニューラルネットワーク演算を行うように制御することができる。より具体的に、入力コンテンツに関係のないアプリケーションＡが実行された場合、第２プロセッサ１３０は、非セキュリティ領域に保存されたデータの第１アドレス情報及び人工知能モデルの第２アドレス情報を識別し、第１アドレス情報と第２アドレス情報とを第１プロセッサ１２０に提供することができる。第２プロセッサ１３０は、第１プロセッサ１２０が第１アドレス情報と第２アドレス情報とに基づいて、データに対するニューラルネットワーク演算を行うように制御することができる。

【0103】

例えば、アプリケーションＡは、センサを介して検知された周辺の照度値を入力され、最も適した輝度を演算するアプリケーションであってよい。ここで、周辺の照度値は、セキュリティが必要なデータではないため、非セキュリティ領域に保存されてよい。第２プロセッサ１３０は、周辺の照度値の第１アドレス情報及びアプリケーションＡに対応する人工知能モデルの第２アドレス情報を識別し、第１アドレス情報と第２アドレス情報とを第１プロセッサ１２０に提供することができる。第２プロセッサ１３０は、第１プロセッサ１２０が第１アドレス情報と第２アドレス情報とに基づいて、周辺の照度値に対応する最も合った輝度を演算するように制御することができる。

【0104】

即ち、この場合、第２プロセッサ１３０は、第３プロセッサ１４０を用いる必要がない。

【0105】

その後、図６Ｂのように、アプリケーションＡが終了し、入力コンテンツを映像処理するアプリケーションＢが実行されると、第２プロセッサ１３０は、第３プロセッサ１４０がメモリ１１０に保存された入力コンテンツに対する情報を第１プロセッサ１２０に提供するように制御することができる。

【0106】

例えば、アプリケーションＡが終了し、入力コンテンツを映像処理するアプリケーションＢが実行されると、第２プロセッサ１３０は第３プロセッサ１４０がセキュリティ領域（Ｓｔｏｒａｇｅ ２）にアクセスして入力コンテンツのアドレス情報を識別し、入力コンテンツのアドレス情報を第１プロセッサ１２０に提供するように制御することができる。

【0107】

第３プロセッサ１４０は、第１プロセッサ１２０が、第３プロセッサ１４０から提供された入力コンテンツに対する情報及び非セキュリティ領域（Ｓｔｏｒａｇｅ １）に保存された人工知能モデル情報に基づいて、入力コンテンツに対するニューラルネットワーク演算を行うように制御することができる。

【0108】

例えば、第３プロセッサ１４０は、第１プロセッサ１２０が、第３プロセッサ１４０から提供された入力コンテンツのアドレス情報及び非セキュリティ領域（Ｓｔｏｒａｇｅ １）に保存された人工知能モデル情報に基づいて、入力コンテンツに対するニューラルネットワーク演算を行うように制御することができる。具体的に、第３プロセッサ１４０は、予め設定された周期で受信される入力コンテンツをセキュリティ領域から読み出し、第１プロセッサ１２０を介して映像処理を行った後、再びセキュリティ領域に保存する動作を繰り返すことができる。

【0109】

即ち、この場合、第２プロセッサ１３０は、第１プロセッサ１２０を初期化した後、その後の動作は、第３プロセッサ１４０に委任することができる。

【0110】

特に、第２プロセッサ１３０は、プロセッサチップ１００の動作全般を制御するプロセッサであるが、第３プロセッサ１４０は必要な場合にのみ用いられるプロセッサとして、第３プロセッサ１４０がリアルタイムの映像処理による有利であってよい。

【0111】

図６Ｂでは、メモリ１１０がセキュリティ領域及び非セキュリティ領域を含むものとして説明したが、それに限られるものではない。例えば、図６Ｃに示すように、プロセッサチップ１００は、ハードウェア的に区分された第１メモリ１１１及び第２メモリ１１２を含むこともでき、図４Ｂと重複するため、具体的な説明は省略する。

【0112】

図７は、本発明の一実施形態に係るプロセッサチップの制御方法を説明するためのフローチャートである。

【0113】

メモリ、メモリに保存されたデータに対するニューラルネットワーク演算を行う第１プロセッサ、第２プロセッサ及び第３プロセッサを含むプロセッサチップの制御方法は、まず、第３プロセッサが動作を行うように、第２プロセッサが第３プロセッサに制御信号を伝送する（Ｓ７１０）。そして、第１プロセッサが動作を行うように、第２プロセッサが第１プロセッサに制御信号を伝送する（Ｓ７２０）。

【0114】

ここで、第３プロセッサに制御信号を伝送するステップ（Ｓ７１０）は、第３プロセッサがメモリに保存された入力コンテンツに対する情報を第１プロセッサに提供するように開始信号を第３プロセッサに伝送し、第１プロセッサに制御信号を伝送するステップ（Ｓ７２０）は、第１プロセッサが第３プロセッサから提供された入力コンテンツに対する情報及びメモリに保存された人工知能モデル情報に基づいて、入力コンテンツに対するニューラルネットワーク演算を行うように初期化信号を前記第１プロセッサに伝送することができる。

【0115】

そして、第３プロセッサに制御信号を伝送するステップ（Ｓ７１０）は、第３プロセッサがメモリのセキュリティ領域にアクセスして入力コンテンツのアドレス情報を識別し、入力コンテンツのアドレス情報を第１プロセッサに提供するように開始信号を第３プロセッサに伝送し、第１プロセッサに制御信号を伝送するステップ（Ｓ７２０）は、第１プロセッサが第３プロセッサから提供された入力コンテンツのアドレス情報及びメモリの非セキュリティ領域に保存された人工知能モデル情報に基づいて、入力コンテンツに対するニューラルネットワーク演算を行うように初期化信号を第１プロセッサに伝送することができる。

【0116】

ここで、第２プロセッサが非セキュリティ領域に保存された複数の人工知能モデルのうちの一つに対するアドレス情報を第１プロセッサに提供するステップと、第１プロセッサが第２プロセッサから提供された人工知能モデルのアドレス情報に基づいて、人工知能モデルを獲得するステップを更に含んでよい。

【0117】

又は、第３プロセッサに制御信号を伝送するステップ（Ｓ７１０）は、第３プロセッサが入力コンテンツに基づいて非セキュリティ領域に保存された複数の人工知能モデルのうちの一つに対するアドレス情報を第１プロセッサに提供するように開始信号を第３プロセッサに伝送し、制御方法は、第１プロセッサが第３プロセッサから提供された人工知能モデルのアドレス情報に基づいて人工知能モデル情報を獲得するステップを更に含んでよい。

【0118】

一方、入力コンテンツに含まれた複数のフレームが順次に受信されてメモリのセキュリティ領域に保存されるステップを更に含み、第３プロセッサに制御信号を伝送するステップ（Ｓ７１０）は、第３プロセッサがメモリに順次に保存されるフレームのアドレス情報を予め設定された時間おきに第１プロセッサに提供するように開始信号を第３プロセッサに伝送することができる。

【0119】

そして、第３プロセッサに制御信号を伝送するステップ（Ｓ７１０）は、第１アプリケーションが実行されると、第３プロセッサが入力コンテンツに対する情報を第１プロセッサに提供するように開始信号を第３プロセッサに伝送することができる。

【0120】

ここで、第１アプリケーションが終了すると、第３プロセッサが提供動作を中止するように第２プロセッサが第３プロセッサに終了信号を伝送するステップ、第３プロセッサの制御によって第１プロセッサがニューラルネットワーク演算動作を中止するステップと、第３プロセッサがニューラルネットワーク演算動作が中止されていることを示す信号を第２プロセッサに提供するステップとを更に含んでよい。

【0121】

以上のような本発明の多様な実施形態によると、プロセッサチップは、ＣＰＵでない、ＤＳＰを用いてコンテンツの原本に対するニューラルネットワーク演算を行うことでメモリの使用を減らし、コンテンツの出力品質を改善し、リアルタイムの処理を行うことができる。

【0122】

一方、以上では、説明の便宜のために、メモリ、第１プロセッサ、第２プロセッサ及び第３プロセッサが１つのプロセッサチップで実現されるものとして説明したが、それに限られるものではない。例えば、電子装置がメモリ、ＣＰＵ、ＤＳＰ及びＮＰＵを別個の構成で含むように実現されてよい。

【0123】

一方、本発明の一実施形態によると、以上で説明した多様な実施形態は、機器（ｍａｃｈｉｎｅ）（例：コンピュータ）で読み込める保存媒体（ｍａｃｈｉｎｅ－ｒｅａｄａｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉａ）に保存されたコマンドを含むソフトウェアで実現されてよい。機器は、保存媒体から保存されたコマンドを呼び出し、呼び出されたコマンドに従って動作が可能な装置として、開示された実施形態に係る映像処理装置（例：映像処理装置（Ａ））を含んでよい。コマンドがプロセッサによって実行される場合、プロセッサが直接又はプロセッサの制御下に他の構成要素を用いてコマンドに該当する機能を行うことができる。コマンドは、コンパイラ又はインタプリタによって生成又は実行されるコードを含むことができる。機器で読み取れる保存媒体は、非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）な保存媒体の形態で提供されてよい。ここで、「非一時的」とは、保存媒体が信号（ｓｉｇｎａｌ）を含まずに、実在（ｔａｎｇｉｂｌｅ）することを意味するだけで、データが保存媒体に半永久的又は一時的に保存されることを区分しない。

【0124】

なお、本発明の一実施形態によると、以上で説明された多様な実施形態に係る方法は、コンピュータプログラム製品（ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ ｐｒｏｄｕｃｔ）に含まれて提供されてよい。コンピュータプログラム製品は、製品として販売者及び購入者の間で取り引きされてよい。コンピュータプログラム製品は、機器として読み込める保存媒体（例：ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ（ＣＤ－ＲＯＭ））の形態で、又はアプリケーションストア（例：プレイストアＴＭ）を通じてオンラインで配布されてよい。オンライン配布の場合に、コンピュータプログラム製品の少なくとも一部は、製造元のサーバ、アプリケーションストアのサーバ、又は仲介サーバのメモリのような保存媒体に少なくとも一時保存されるか、一時的に生成されてよい。

【0125】

なお、本発明の一実施形態によると、以上で説明された多様な実施形態は、ソフトウェア（Ｓｏｆｔｗａｒｅ）又はハードウェア（Ｈａｒｄｗａｒｅ）又は、その組み合わせを用いてコンピュータ又はそれと類似する装置で読み込める記録媒体内で実現されてよい。一部の場合において、本明細書で説明される実施形態がプロセッサそのもので実現されてよい。ソフトウェア的な実現によると、本明細書で説明される手続き及び機能のような実施形態は、別途のソフトウェアモジュールで実現されてよい。ソフトウェアモジュールのそれぞれは、本明細書で説明される一つ以上の機能及び動作を行うことができる。

【0126】

一方、上述の多様な実施形態に係る機器のプロセッシング動作を行うためのコンピュータ命令語（ｃｏｍｐｕｔｅｒ ｉｎｓｔｒｕｃｔｉｏｎｓ）は、非一時的な読み取り可能な媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）が提供されてよい。このような非一時的な読み取り可能な媒体に保存されたコンピュータ命令語は、特定機器のプロセッサによって実行される際、上述の多様な実施形態による機器における処理動作を特定機器が行うようにする。非一時的な読み取り可能な媒体とは、レジスタやキャッシュ、メモリ等のような短い間データを保存する媒体ではなく、半永久的にデータを保存し、機器によって読み取り（Ｒｅａｄｉｎｇ）が可能な媒体を意味する。非一時的な読み取り可能な媒体の具体的な例としては、ＣＤやＤＶＤ、ハードディスク、ブルーレイディスク、ＵＳＢ、メモリカード、ＲＯＭ等であってよい。

【0127】

なお、上述の多様な実施形態による構成要素（例：モジュール又はプログラム）のそれぞれは、単数又は複数の個体で構成されてよく、上述の該当サブ構成要素のうち、一部のサブ構成要素が省略されるか、又は、別のサブ構成要素が多様な実施形態に更に含まれてよい。代替的にまたは追加的に、一部の構成要素（例：モジュール又はプログラム）は、１つの個体で統合され、統合される前のそれぞれの当該構成要素によって行われる機能を同一又は類似するように行ってよい。多様な実施形態に係るモジュール、プログラム又は他の構成要素によって行われる動作は、順次に、並行して、繰り返し、ヒューリスティックに実行されたり、少なくとも一部の動作が他の順番で実行されたり、省略又は他の動作が追加されてよい。

【0128】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図6A】

【図6B】

【図6C】

【図7】