特許 7392833 モバイル端末および分散深層学習システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-28

(45)【発行日】2023-12-06

(54)【発明の名称】モバイル端末および分散深層学習システム

(51)【国際特許分類】

   G06N 3/067 20060101AFI20231129BHJP

【ＦＩ】

G06N3/067

【請求項の数】 7

(21)【出願番号】P 2022516578

(86)(22)【出願日】2020-04-23

(86)【国際出願番号】 JP2020017485

(87)【国際公開番号】W WO2021214940

(87)【国際公開日】2021-10-28

【審査請求日】2022-08-02

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】100098394

【弁理士】

【氏名又は名称】山川 茂樹

(74)【代理人】

【識別番号】100153006

【弁理士】

【氏名又は名称】小池 勇三

(74)【代理人】

【識別番号】100064621

【弁理士】

【氏名又は名称】山川 政樹

(74)【代理人】

【識別番号】100121669

【弁理士】

【氏名又は名称】本山 泰

(72)【発明者】

【氏名】田仲 顕至

(72)【発明者】

【氏名】中島 光雅

(72)【発明者】

【氏名】橋本 俊和

(72)【発明者】

【氏名】坂本 健

【審査官】北川 純次

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０３５４８９４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／０３７０６５２（ＵＳ，Ａ１）

【文献】国際公開第２０１９／２４４５１３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０２－３／１０

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

周囲の環境から情報を取得して、この情報を伝送する電気信号を出力するように構成されたセンサと、
前記センサから出力された電気信号を光信号に変換するように構成された第１の発光素子と、
前記光信号によって伝送された前記情報の特徴量を抽出し、抽出結果の光信号を出力するように構成された第１の光プロセッサと、
前記第１の光プロセッサから出力された光信号を電気信号に変換するように構成された第１の受光素子と、
前記第１の受光素子から出力された信号を、ＤＮＮ推論のＦＣ層の処理を行う外部の処理装置に送信し、前記処理装置から送信された信号を受信するように構成された第１の通信回路とを備えることを特徴とするモバイル端末。

【請求項2】

請求項１記載のモバイル端末において、
制御信号に従って動作するように構成されたアクチュエータを更に備え、
前記第１の通信回路は、前記処理装置から送信された前記制御信号を受信することを特徴とするモバイル端末。

【請求項3】

請求項１または２記載のモバイル端末において、
モバイル端末内における電気信号の送受信の制御を行うように構成されたＣＰＵまたは非ノイマン型プロセッサをさらに備えることを特徴とするモバイル端末。

【請求項4】

請求項１乃至３のいずれか１項に記載のモバイル端末において、
前記第１の受光素子から出力された信号を圧縮して前記第１の通信回路に出力するように構成されたエンコーダと、
前記第１の通信回路が受信した圧縮された信号を伸長して圧縮前の状態に戻すように構成されたデコーダとをさらに備えることを特徴とするモバイル端末。

【請求項5】

請求項１乃至４のいずれか１項に記載のモバイル端末と、
前記モバイル端末から受信した信号に対してＤＮＮのＦＣ層の処理を行うように構成された処理装置とを備えることを特徴とする分散深層学習システム。

【請求項6】

請求項１乃至４のいずれか１項に記載のモバイル端末と、
前記モバイル端末から受信した信号に対してＤＮＮのＦＣ層の処理を行い、このＦＣ層の処理によって得られた推論結果のエントロピーを計算するように構成された第１の処理装置と、
前記エントロピーの結果が所定の閾値よりも大きい場合にＤＮＮ推論を終了し、前記エントロピーの結果が前記閾値以下の場合に、前記第１の処理装置から送信された推論結果に対して更にＦＣ層の処理を行うように構成された第２の処理装置とを備え、
前記第１の処理装置は、
前記モバイル端末から送信された信号を受信するように構成された第２の通信回路と、
前記第２の通信回路が受信した電気信号を光信号に変換するように構成された第２の発光素子と、
前記第２の発光素子から出力された光信号によって伝送された特徴量に対してＤＮＮのＦＣ層の処理を行い、このＦＣ層の処理によって得られた推論結果の光信号を出力するように構成された第２の光プロセッサと、
前記第２の光プロセッサから出力された光信号を電気信号に変換するように構成された第２の受光素子と、
前記第２の受光素子から出力された信号を前記第２の処理装置に送信し、前記第２の処理装置から送信された信号を受信するように構成された第３の通信回路とを備えることを特徴とする分散深層学習システム。

【請求項7】

請求項６記載の分散深層学習システムにおいて、
前記第１の処理装置は、第１の処理装置内における電気信号の送受信の制御を行い、前記エントロピーを計算するように構成されたＣＰＵまたは非ノイマン型プロセッサをさらに備えることを特徴とする分散深層学習システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、モバイル端末を用いた分散深層学習に関するものである。

【背景技術】

【0002】

深層学習は、その性能の高さ、適用範囲の広さから、様々なアプリケーションが提案され、従来の技術を上回る性能を示している。その反面、深層学習の推論において高い性能を出そうとすると、深層学習のニューラルネットワークモデルが大きくなり、データインプットからアウトプットまでに必要な演算量が増大してしまう。電子回路での演算はトランジスタによって行われるため、演算量が増えると、演算量が増えた分だけ消費電力が増大する。消費電力を抑える方法として、トランジスタに供給する電圧、電流を抑え、クロック周波数をあえて落とす方法などがある。しかしながら、このような方法では、演算の処理時間が増大してしまい、低遅延な応答が求められる適用領域に適さないという問題がある。

【0003】

深層学習に要する消費電力と応答時間の課題が顕著なのは、モバイル端末によってＤＮＮ（Deep Neural Network） 推論を行った場合である。モバイル機器でＤＮＮ推論を行う理由は、クラウドサーバにデータを送信して処理する場合に比べ、応答時間が短縮できるためである。応答時間が短縮できる理由は、センサから得られたデータのサイズが大きい場合、このデータをクラウドサーバに送信してサーバでＤＮＮ推論を実施しようとすると、通信の遅延が発生してしまうためである。

【0004】

低遅延なＤＮＮ推論の需要は高く、例えば自動運転や自然言語翻訳などの分野で注目されている。一方、モバイル端末への給電は全て電池から行われており、電池の容量増大の技術的進歩が遅いために、深層学習に要する消費電力全てを電池によって賄うのは困難であった。

【0005】

モバイル端末を用いた従来のＤＮＮの処理の概要を図８に示す。従来の技術では、ＤＮＮの処理中のデータサイズと各層の処理遅延に着目し、ニューラルネットワークモデル２００の入力層近辺の層２０１の演算をモバイル端末１００で行い、演算の結果をネットワーク１０２を介してクラウドサーバ１０１に送信し、出力層近辺の層２０２の演算をクラウドサーバ１０１で行う方法が提案されている（非特許文献１参照）。

【0006】

一般的なＤＮＮでは、入力層近辺では特徴抽出が行われ、出力層近辺はフルコネクション層（ＦＣ層）となっている。特徴抽出とは、サイズの大きな入力データから推論に必要な特徴を抽出する処理である。この特徴抽出によりデータサイズが圧縮される。データサイズが圧縮された場合、モバイル端末とクラウドサーバ間の通信時間が短縮され、クラウドサーバでＤＮＮを推論する際のボトルネックが解消される。

【0007】

また、出力層近辺のＦＣ層は非常にメモリアクセスが多い。クラウドサーバの高性能なＣＰＵ（Central Processing Unit）であれば、潤沢なキャッシュを活用したり、プリフェッチなどの機能を用いてたりして、メモリアクセスのコストを小さくすることができる。しかし、モバイル端末のＣＰＵでは、プリフェッチなどの機能がないために、ＦＣ層の処理中にＤＲＡＭ（Dynamic Random Access Memory）に頻繁にアクセスする必要が生じる。ＤＲＡＭへのアクセスは、キャッシュへのアクセスに比べてコストが大きいことが知られており、遅延時間の大幅な増大を引き起こし、消費電力の大幅な増大を引き起こす。よって、モバイル端末でＦＣ層の処理を行わずに、クラウドサーバで処理した方が遅延時間と消費電力の面で効率が良いことがある。このように、モバイル端末でＤＮＮ推論の特徴量抽出処理を行うようにすれば遅延時間と消費電力の面で効率が良いが、従来の技術では、モバイル端末での消費電力の低減を実現できていなかった。

【先行技術文献】

【非特許文献】

【0008】

【文献】Yiping Kang，Johann Hauswald，Cao Gao，Austin Rovinski，Trevor Mudge，Jason Mars，Lingjia Tang，“Neurosurgeon: Collaborative Intelligence Between the Cloud and Mobile Edge”，ACM SIGARCH Computer Architecture News，p.615-629，2017

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明は、上記課題を解決するためになされたもので、ＤＮＮ推論の特徴量抽出処理に要するモバイル端末の消費電力を低減することができるモバイル端末および分散深層学習システムを提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明のモバイル端末は、周囲の環境から情報を取得して、この情報を伝送する電気信号を出力するように構成されたセンサと、前記センサから出力された電気信号を光信号に変換するように構成された第１の発光素子と、前記光信号によって伝送された前記情報の特徴量を抽出し、抽出結果の光信号を出力するように構成された第１の光プロセッサと、前記第１の光プロセッサから出力された光信号を電気信号に変換するように構成された第１の受光素子と、前記第１の受光素子から出力された信号を、ＤＮＮ推論のＦＣ層の処理を行う外部の処理装置に送信し、前記処理装置から送信された信号を受信するように構成された第１の通信回路とを備えることを特徴とするものである。

【0011】

また、本発明の分散深層学習システムは、前記モバイル端末と、前記モバイル端末から受信した信号に対してＤＮＮのＦＣ層の処理を行うように構成された処理装置とを備えることを特徴とするものである。
また、本発明の分散深層学習システムは、前記モバイル端末と、前記モバイル端末から受信した信号に対してＤＮＮのＦＣ層の処理を行い、このＦＣ層の処理によって得られた推論結果のエントロピーを計算するように構成された第１の処理装置と、前記エントロピーの結果が所定の閾値よりも大きい場合にＤＮＮ推論を終了し、前記エントロピーの結果が前記閾値以下の場合に、前記第１の処理装置から送信された推論結果に対して更にＦＣ層の処理を行うように構成された第２の処理装置とを備え、前記第１の処理装置は、前記モバイル端末から送信された信号を受信するように構成された第２の通信回路と、前記第２の通信回路が受信した電気信号を光信号に変換するように構成された第２の発光素子と、前記第２の発光素子から出力された光信号によって伝送された特徴量に対してＤＮＮのＦＣ層の処理を行い、このＦＣ層の処理によって得られた推論結果の光信号を出力するように構成された第２の光プロセッサと、前記第２の光プロセッサから出力された光信号を電気信号に変換するように構成された第２の受光素子と、前記第２の受光素子から出力された信号を前記第２の処理装置に送信し、前記第２の処理装置から送信された信号を受信するように構成された第３の通信回路とを備えることを特徴とするものである。

【発明の効果】

【0012】

本発明によれば、モバイル端末における特徴量抽出処理を高速で低消費電力な光プロセッサで行うことで、特徴量抽出処理に要するモバイル端末の消費電力を低減することができる。

【図面の簡単な説明】

【0013】

【図1】図１は、本発明の第１の実施例に係る分散深層学習システムの構成を示すブロック図である。

【図2】図２は、本発明の第１の実施例に係る分散深層学習システムの推論動作を説明するフローチャートである。

【図3】図３は、本発明の第２の実施例に係る分散深層学習システムの構成を示すブロック図である。

【図4】図４は、本発明の第３の実施例に係る分散深層学習システムの構成を示すブロック図である。

【図5】図５は、本発明の第４の実施例に係る分散深層学習システムの構成を示すブロック図である。

【図6】図６は、本発明の第５の実施例に係る分散深層学習システムの構成を示すブロック図である。

【図7】図７は、本発明の第５の実施例に係る分散深層学習システムの推論動作を説明するフローチャートである。

【図8】図８は、モバイル端末を用いた従来のＤＮＮの処理の概要を示す図である。

【発明を実施するための形態】

【0014】

［第１の実施例］
以下、本発明の実施例について図面を参照して説明する。図１は本発明の第１の実施例に係る分散深層学習システムの構成を示すブロック図である。分散深層学習システムは、モバイル端末１と、モバイル端末１とネットワーク２を介して接続されたクラウドサーバ３（処理装置）とから構成される。

【0015】

モバイル端末１は、センサ１０と、バッファ１１と、デジタルアナログ変換器（ＤＡ）１２と、レーザーダイオード（ＬＤ）１３と、光プロセッサ１４と、フォトダイオード（ＰＤ）１５と、アナログデジタル変換器（ＡＤ）１６と、通信回路１７と、ＤＡ１８と、ＬＤ１９と、ＰＤ２０と、ＡＤ２１と、アクチュエータ２２とを備えている。

【0016】

センサ１０は、周囲の環境から情報を取得してデジタルデータを出力する。センサ１０の例としては、例えば画像センサがある。ただし、本発明は、画像センサに限定されるものではないことは言うまでもない。ＤＡ１２は、センサ１０から出力されたデジタルデータをアナログ電気信号に変換する。ＬＤ１３（第１の発光素子）は、ＤＡ１２から出力されたアナログ電気信号を光信号に変換する。

【0017】

光プロセッサ１４は、ＬＤ１３から出射した光信号を取り込み、光信号に対して内部の光導波路上での干渉を用いて四則演算を実施し、演算結果の光信号を出力するものである。光プロセッサ１４は、受動光学素子のみを用いたものでもよいし、ＬＣＯＳ（Liquid crystal on silicon）素子やマッハツェンダー型導波路のような能動光学素子を含むものでもよい。

【0018】

ＰＤ１５（第１の受光素子）は、光プロセッサ１４から出力された光信号をアナログ電気信号に変換する。ＡＤ１６は、ＰＤ１５から出力されたアナログ電気信号をデジタルデータに変換する。
通信回路１７は、ＡＤ１６から出力されたデジタルデータをパケット化して、生成したパケットをネットワーク２を介してクラウドサーバ３宛に送信する。周知のとおり、パケットは、ヘッダとペイロードとからなる。ＡＤ１６から出力されたデジタルデータは、ペイロードに格納される。ネットワーク２は、有線ネットワーク、無線ネットワークのどちらであってもよい。また、通信回路１７は、ネットワーク２を介してクラウドサーバ３から受信したパケットからペイロードのデータを抽出して、ＤＡ１８に出力する。

【0019】

ＤＡ１８は、通信回路１７から出力されたデジタルデータをアナログ電気信号に変換する。ＬＤ１９は、ＤＡ１８から出力されたアナログ電気信号を光信号に変換する。ＰＤ２０は、光プロセッサ１４から出力された光信号をアナログ電気信号に変換する。ＡＤ２１は、ＰＤ２０から出力されたアナログ電気信号をデジタルデータに変換する。
アクチュエータ２２は、ＡＤ２１から出力されバッファ１１に一旦格納されたデジタルデータに応じて動作する。

【0020】

クラウドサーバ３は、データセンタに設置されている。クラウドサーバ３は、モバイル端末１に比べて計算資源が豊富である、という特徴を有する。クラウドサーバ３は、通信回路３０と、ＣＰＵ３１と、メモリ３２とを備えている。

【0021】

通信回路３０は、ネットワーク２から受信したパケットからペイロードのデータを抽出して、ＣＰＵ３１に出力する。また、通信回路３０は、ＣＰＵ３１から出力されたデジタルデータをパケット化して、生成したパケットをネットワーク２を介してモバイル端末１宛に送信する。

【0022】

図２は本実施例の分散深層学習システムの推論動作を説明するフローチャートである。モバイル端末１のセンサ１０は、情報を取得してデジタルデータを出力する。このデジタルデータは、バッファ１１に一旦蓄積される（図２ステップＳ１００）。
モバイル端末１のＤＡ１２は、センサ１０から出力されバッファ１１に蓄積されたデジタルデータをアナログ電気信号に変換する（図２ステップＳ１０１）。

【0023】

モバイル端末１のＬＤ１３は、ＤＡ１２から出力されたアナログ電気信号を光信号に変換する（図２ステップＳ１０２）。
モバイル端末１の光プロセッサ１４は、ＬＤ１３から入力された光信号に対して四則演算を実施する。これにより、光プロセッサ１４は、光信号によって伝送された情報の特徴量を抽出し、特徴量の抽出結果の光信号を出力する（図２ステップＳ１０３）。

【0024】

モバイル端末１のＰＤ１５は、光プロセッサ１４から出力された光信号をアナログ電気信号に変換する（図２ステップＳ１０４）。モバイル端末１のＡＤ１６は、ＰＤ１５から出力されたアナログ電気信号をデジタルデータに変換する（図２ステップＳ１０５）。
モバイル端末１の通信回路１７は、ＡＤ１６から出力されたデジタルデータをパケット化してクラウドサーバ３宛に送信する（図２ステップＳ１０６）。

【0025】

クラウドサーバ３の通信回路３０は、ネットワーク２から受信したパケットからペイロードのデータを抽出する。クラウドサーバ３のＣＰＵ３１は、通信回路３０がモバイル端末１から受信したデータに対してＤＮＮのＦＣ層の処理を行う（図２ステップＳ１０７）。こうして、ＤＮＮ推論の結果を得ることができる。この推論結果は、クラウドサーバ３での次の処理に利用される。推論結果を利用する処理としては例えば画像認識などがあるが、本発明は画像認識に限定されるものではないことは言うまでもない。

【0026】

また、ＣＰＵ３１は、推論結果を利用した処理の結果として、モバイル端末１のアクチュエータ２２を動かすためのデジタルデータである制御データを生成する。
クラウドサーバ３の通信回路３０は、ＣＰＵ３１から出力された制御データをパケット化して、生成したパケットをネットワーク２を介してモバイル端末１宛に送信する。こうして、モバイル端末１に制御データを送信することにより、モバイル端末１のアクチュエータ２２を制御することができる。具体的には例えばロボットのアクチュエータを動かす例などが考えられるが、本発明はこのような例に限定されるものではないことは言うまでもない。

【0027】

基本的に、本実施例の光プロセッサ１４は、従来のモバイル端末１００の処理に相当する処理を行う。ただし、光プロセッサ１４はアナログ演算を行うのに対し、モバイル端末１００のプロセッサはデジタル演算を行う。このため、モバイル端末１００のプロセッサが行う演算と厳密に同じ結果が光プロセッサ１４で得られるとは限らない。また、外界の状況が変化してデータとラベルの関係が変化することがある。したがって、ニューラルネットワークの学習が再度必要になる場合がある。

【0028】

この場合には、モバイル端末１のセンサ１０に学習データを取得させて、図２で説明したＤＮＮ推論を実行させる。クラウドサーバ３のＣＰＵ３１は、推論結果が正解（教師データ）に近づくように、誤差逆伝搬法によってクラウドサーバ３のＦＣ層の再学習を行う。

【0029】

従来のモバイル端末での特徴抽出処理の１例を挙げると、畳み込み計算などがある。畳み込み計算は、メモリアクセスは無いものの、大量のトランジスタを駆動させて演算結果を得る必要がある。また、畳み込み計算の基盤であるデジタル回路は、クロック信号に同期して動作する。しかし、モバイル端末では、電池の消費を抑える必要があり、高速なクロック信号を使用することはできない。

【0030】

一方、本実施例の光プロセッサ１４は、トランジスタなどを用いないために消費電力が小さい。また、光プロセッサ１４が扱う光信号はアナログ信号なので、クロック信号によって光プロセッサ１４の動作速度が左右されることはない。また、既存のＣＭＯＳ（Complementary Metal Oxide Semiconductor）回路のアナログ信号帯域は３０ＧＨｚ程度である。これに対して、光信号はおよそ十倍程度の信号帯域を有する。したがって、本実施例では、電気回路では不可能な情報の多重化を適用でき、チャネルあたりの情報量を増やすことができる。

【0031】

なお、学習済みの光プロセッサ１４は、上記のとおり特徴抽出器として働く。特徴抽出とは、高次元の信号を低次元に変換し、線形分離可能にすることである。ＬＤ１９から光信号が入力された場合、光プロセッサ１４は、線形分離可能な信号を高次元の信号に変換してＰＤ２０に出力する。このとき、学習が既に行われていれば変換は適切に働き、高次元の信号は無秩序な信号ではなく、尤もらしい信号に変換される。このニューラルネットワークの作用は生成ネットワークと呼ばれる。つまり、ニューラルネットワークによって尤もらしい信号が生成され、この信号を基にアクチュエータ２２が動作する。

【0032】

［第２の実施例］
次に、本発明の第２の実施例について説明する。図３は本発明の第２の実施例に係る分散深層学習システムの構成を示すブロック図である。本実施例は、第１の実施例の具体例である。本実施例のモバイル端末１ａでは、センサ１０とＤＡ１２，１８とＬＤ１３，１９とＰＤ１５，２０とＡＤ１６，２１と通信回路１７とアクチュエータ２２との制御をＣＰＵ２３で行い、モバイル端末１ａ内における電気信号の送受信の制御をＣＰＵ２３で行う。ＣＰＵ２３は、ノイマン型を処理していく汎用プロセッサであり、メモリ２４に格納されたプログラムに従って処理を実行する。なお、図１のバッファ１１はＣＰＵ２３内に設けられる。

【0033】

例えばＣＰＵ２３は、センサ１０から出力されたデジタルデータをＤＡ１２に出力する。また、ＣＰＵ２３は、ＡＤ１６から出力されたデジタルデータを通信回路１７に出力する。デジタルデータのパケット化の処理をＣＰＵ２３で行うようにしてもよい。

【0034】

また、ＣＰＵ２３は、通信回路１７が受信したデータをＤＡ１８に出力する。このとき、通信回路１７が受信したパケットからペイロードのデータを抽出する処理をＣＰＵ２３で行うようにしてもよい。さらに、ＣＰＵ２３は、ＡＤ２１から出力されたデジタルデータをアクチュエータ２２に出力する。

【0035】

このように、本実施例では、センサ１０とＤＡ１２，１８とＬＤ１３，１９とＰＤ１５，２０とＡＤ１６，２１と通信回路１７とアクチュエータ２２との制御をＣＰＵ２３で行うことにより、モバイル端末１ａのユーザーによる手作業でのキャリブレーション、制御の必要性がなくなり、統一されたプログラミング言語によって制御を実現することができる。

【0036】

本実施例によれば、モバイル端末１ａのユーザーの手作業が減ることで生産性を向上させることができる。ユーザーがアクセスできない場所にモバイル端末１ａが設置されている場合でも、ユーザーは、モバイル端末１ａを遠隔で操作することで種々の制御が実行できる。したがって、モバイル端末１ａが例えば数万台存在していても、これらモバイル端末１ａの制御を自動化することができる。本実施例では、コンピュータで一般的なセキュリティ技術を利用できるため、悪意の第三者の攻撃に対する耐性を高めることができる。

【0037】

［第３の実施例］
次に、本発明の第３の実施例について説明する。図４は本発明の第３の実施例に係る分散深層学習システムの構成を示すブロック図である。本実施例は、第１の実施例の別の具体例である。本実施例のモバイル端末１ｂでは、センサ１０とＤＡ１２，１８とＬＤ１３，１９とＰＤ１５，２０とＡＤ１６，２１と通信回路１７とアクチュエータ２２との制御を非ノイマン型プロセッサ２５で行い、モバイル端末１ｂ内における電気信号の送受信の制御を非ノイマン型プロセッサ２５で行う。

【0038】

非ノイマン型プロセッサ２５とは、ノイマン型プロセッサとは異なり、専用の回路とレジスタからなるプロセッサである。
例えば非ノイマン型プロセッサ２５は、センサ１０から出力されたデジタルデータをＤＡ１２に出力する。また、非ノイマン型プロセッサ２５は、ＡＤ１６から出力されたデジタルデータを通信回路１７に出力する。ＣＰＵ２３の場合と同様に、デジタルデータのパケット化の処理を非ノイマン型プロセッサ２５で行うようにしてもよい。

【0039】

また、非ノイマン型プロセッサ２５は、通信回路１７が受信したデータをＤＡ１８に出力する。このとき、通信回路１７が受信したパケットからペイロードのデータを抽出する処理を非ノイマン型プロセッサ２５で行うようにしてもよい。さらに、非ノイマン型プロセッサ２５は、ＡＤ２１から出力されたデジタルデータをアクチュエータ２２に出力する。

【0040】

本実施例では、第２の実施例のＣＰＵ２３の動作を全て専用回路化したことにより、第２の実施例とは異なり、メモリを介した動作を減らすことができ、必要最低限の回路構成とすることで、省電力かつ低遅延に処理が実行できる。高性能なＤＡ１２，１８とＡＤ１６，２１とを使用すれば、従来のＣＰＵでは実現不可能なバスあたりのビットレートを実現することができる。

【0041】

［第４の実施例］
次に、本発明の第４の実施例について説明する。図５は本発明の第４の実施例に係る分散深層学習システムの構成を示すブロック図である。本実施例は、第１の実施例の別の具体例である。本実施例のモバイル端末１ｃでは、ＣＰＵ２３は、ＡＤ１６から出力されたデジタルデータをエンコーダ２６に出力する。エンコーダ２６は、ＣＰＵ２３から出力されたデジタルデータを圧縮し、圧縮後のデジタルデータを通信回路１７に出力する。
通信回路１７は、エンコーダ２６から出力されたデジタルデータをパケット化して、生成したパケットをネットワーク２を介してクラウドサーバ３ｃ宛に送信する。

【0042】

クラウドサーバ３ｃの通信回路３０は、ネットワーク２から受信したパケットからペイロードのデータを抽出して、デコーダ３３に出力する。
デコーダ３３は、通信回路３０から出力されたデジタルデータを伸長して、伸長後のデジタルデータをＣＰＵ３１に出力する。デコーダ３３は、圧縮されたデジタルデータを圧縮前の状態に戻す。

【0043】

クラウドサーバ３ｃのエンコーダ３４は、ＣＰＵ３１から出力されたデジタルデータを圧縮し、圧縮後のデジタルデータを通信回路３０に出力する。エンコーダ２６，３４による圧縮処理としては、一般的な可逆圧縮処理の他に、低ビット化（量子化）や圧縮センシング、ゼロスキッピングなどの非可逆圧縮処理を含む。

【0044】

モバイル端末１ｃの通信回路１７は、ネットワーク２を介してクラウドサーバ３ｃから受信したパケットからペイロードのデータを抽出して、デコーダ２７に出力する。
デコーダ２７は、通信回路１７から出力されたデジタルデータを伸長して、伸長後のデジタルデータをＣＰＵ２３に出力する。ＣＰＵ２３は、デコーダ２７から出力されたデジタルデータをＤＡ１８に出力する。

【0045】

第１～第３の実施例において、ＡＤ１６から出力された信号は、ＡＤ１６のデータの解像度にＡＤ１６のサンプリングレートを乗算したデータ量を有し、大きなデータ量になることがある。同様に、ＣＰＵ３１から出力されたデータは、大きなデータ量になることがある。このような大きな量のデータをネットワーク２で送受信した場合、通信の遅延が大きくなってしまう。

【0046】

本実施例では、データをエンコーダ２６，３４によって圧縮することにより、通信の遅延を最小化することができる。また、本実施例では、送受信データ量が少なくなるので、モバイル端末１ｃの消費電力を低減することができる。
なお、本実施例では、ＣＰＵ２３を設ける例で説明したが、第３の実施例で説明したようにＣＰＵ２３の代わりに、非ノイマン型プロセッサ２５を用いてもよい。

【0047】

［第５の実施例］
次に、本発明の第５の実施例について説明する。図６は本発明の第５の実施例に係る分散深層学習システムの構成を示すブロック図である。本実施例の分散深層学習システムは、モバイル端末１ｃと、モバイル端末１ｃとネットワーク２を介して接続されたデータ処理装置５（第１の処理装置）と、データ処理装置５とネットワーク４を介して接続されたクラウドサーバ３ｄ（第２の処理装置）とから構成される。第１～第４の実施例では、モバイル端末とクラウドサーバの２台で深層学習を分散処理させた。一方、本実施例は、分散処理の台数を更に増やすものである。

【0048】

モバイル端末１ｃについては第４の実施例で説明したとおりである。データ処理装置５は、ＤＡ５０，５５と、ＬＤ５１，５６と、光プロセッサ５２と、ＰＤ５３，５７と、ＡＤ５４，５８と、通信回路５９，６０と、ＣＰＵ６１と、メモリ６２と、デコーダ６３，６６と、エンコーダ６４，６５とを備えている。データ処理装置５は、基地局、エッジサーバ、フォグと呼ばれるものである。データ処理装置５は、モバイル端末１ｃよりも電力の制約が緩く、クラウドサーバ３ｄよりもデータの生成源に近い場所でコンピューティングを行う。

【0049】

データ処理装置５のＣＰＵ６１は、メモリ６２に格納されたプログラムに従って処理を実行する。
データ処理装置５の通信回路５９は、ネットワーク２を介してモバイル端末１ｃから受信したパケットからペイロードのデータを抽出して、デコーダ６３に出力する。
デコーダ６３は、通信回路５９から出力されたデジタルデータを伸長して、伸長後のデジタルデータをＣＰＵ６１に出力する。

【0050】

ＣＰＵ６１は、デコーダ６３から出力されたデータをＤＡ５０に出力する。ＤＡ５０は、ＣＰＵ６１から出力されたデジタルデータをアナログ電気信号に変換する。ＬＤ５１（第２の発光素子）は、ＤＡ５０から出力されたアナログ電気信号を光信号に変換する。

【0051】

光プロセッサ５２は、ＬＤ５１から出射した光信号を取り込み、光信号に対して内部の光導波路上での干渉を用いて四則演算を実施し、演算結果の光信号を出力する。
ＰＤ５３（第２の受光素子）は、光プロセッサ５２から出力された光信号をアナログ電気信号に変換する。ＡＤ５４は、ＰＤ５３から出力されたアナログ電気信号をデジタルデータに変換してＣＰＵ６１に出力する。

【0052】

ＣＰＵ６１は、ＡＤ５４から出力されたデジタルデータをエンコーダ６５に出力する。エンコーダ２６は、ＣＰＵ６１から出力されたデジタルデータを圧縮し、圧縮後のデジタルデータを通信回路６０に出力する。
通信回路６０は、エンコーダ６５から出力されたデジタルデータをパケット化して、生成したパケットをネットワーク４を介してクラウドサーバ３ｄ宛に送信する。また、通信回路６０は、ネットワーク４を介してクラウドサーバ３ｄから受信したパケットからペイロードのデータを抽出して、デコーダ６６に出力する。

【0053】

デコーダ６６は、通信回路６０から出力されたデジタルデータを伸長して、伸長後のデジタルデータをＣＰＵ６１に出力する。ＣＰＵ６１は、デコーダ６６から出力されたデジタルデータをＤＡ５５に出力する。

【0054】

ＤＡ５５は、ＣＰＵ６１から出力されたデジタルデータをアナログ電気信号に変換する。ＬＤ５６は、ＤＡ５５から出力されたアナログ電気信号を光信号に変換する。ＰＤ５７は、光プロセッサ５２から出力された光信号をアナログ電気信号に変換する。ＡＤ５８は、ＰＤ５７から出力されたアナログ電気信号をデジタルデータに変換してＣＰＵ６１に出力する。

【0055】

ＣＰＵ６１は、ＡＤ５８から出力されたデジタルデータをエンコーダ６４に出力する。エンコーダ６４は、ＣＰＵ６１から出力されたデジタルデータを圧縮し、圧縮後のデジタルデータを通信回路５９に出力する。
通信回路５９は、エンコーダ６４から出力されたデジタルデータをパケット化して、生成したパケットをネットワーク２を介してモバイル端末１ｃ宛に送信する。

【0056】

図７は本実施例の分散深層学習システムの推論動作を説明するフローチャートである。図７のステップＳ１００～Ｓ１０５の処理は第１～第４の実施例と同様なので、説明は省略する。
モバイル端末１ｃの通信回路１７は、デジタルデータをパケット化してデータ処理装置５宛に送信する（図７ステップＳ１０６ａ）。このとき、通信回路１７が送信するデータは、モバイル端末１ｃのエンコーダ２６によって圧縮されたデータである。

【0057】

データ処理装置５の通信回路５９は、ネットワーク２から受信したパケットからペイロードのデータを抽出して、デコーダ６３に出力する。デコーダ６３は、通信回路５９から出力されたデジタルデータを伸長して、伸長後のデジタルデータをＣＰＵ６１に出力する（図７ステップＳ１０８）。

【0058】

ＣＰＵ６１は、デコーダ６３から出力されたデジタルデータをＤＡ５０に出力する。ＤＡ５０は、ＣＰＵ６１から出力されたデジタルデータをアナログ電気信号に変換する（図７ステップＳ１０９）。

【0059】

データ処理装置５のＬＤ５１は、ＤＡ５０から出力されたアナログ電気信号を光信号に変換する（図７ステップＳ１１０）。
データ処理装置５の光プロセッサ５２は、ＬＤ５１から入力された光信号に対して演算を実施する。これにより、光プロセッサ５２は、光信号によって伝送されたデータに対してＦＣ層の処理を行う（図７ステップＳ１１１）。

【0060】

データ処理装置５のＰＤ５３は、光プロセッサ５２から出力された光信号をアナログ電気信号に変換する（図７ステップＳ１１２）。ＡＤ５４は、ＰＤ５３から出力されたアナログ電気信号をデジタルデータに変換してＣＰＵ６１に出力する（図７ステップＳ１１３）。

【0061】

データ処理装置５のＣＰＵ６１は、光プロセッサ５２によって得られた推論結果のエントロピーを計算する（図ステップＳ１１４）。
ＣＰＵ６１は、ＡＤ５４から出力されたデジタルデータと計算したエントロピーのデータとをエンコーダ６５に出力する。エンコーダ６５は、ＣＰＵ６１から出力されたデジタルデータを圧縮し、圧縮後のデジタルデータを通信回路６０に出力する。通信回路６０は、エンコーダ６５から出力されたデジタルデータをパケット化して、生成したパケットをネットワーク４を介してクラウドサーバ３ｄ宛に送信する（図７ステップＳ１１５）。

【0062】

クラウドサーバ３ｄの通信回路３０は、ネットワーク４から受信したパケットからペイロードのデータを抽出して、デコーダ３３に出力する。デコーダ３３は、通信回路３０から出力されたデジタルデータを伸長して、伸長後のデジタルデータをＣＰＵ３１に出力する（図７ステップＳ１１５）。

【0063】

クラウドサーバ３ｄのＣＰＵ３１は、デコーダ３３から出力されたデータに含まれるエントロピーの結果が予め定められた閾値よりも大きい場合（図７ステップＳ１１６においてＹＥＳ）、ＤＮＮ推論を終了する（図７ステップＳ１１７）。

【0064】

また、ＣＰＵ３１は、デコーダ３３から出力されたデータに含まれるエントロピーの結果が閾値以下の場合（ステップＳ１１６においてＮＯ）、デコーダ３３から出力されたデータに含まれる推論結果に対して更にＦＣ層の処理を行う（図７ステップＳ１１８）。このクラウドサーバ３ｄのＦＣ層は、データ処理装置５のＦＣ層よりも層数およびノード数が大きいＦＣ層である。

【0065】

以上のような複数の装置を用いたＤＮＮ推論については、例えば文献「Surat Teerapittayanon，Bradley McDanel，H.T.Kung，“BranchyNet: Fast Inference via Early Exiting fromDeep Neural Networks”，2016 23rd International Conference on Pattern Recognition (ICPR).IEEE，2016」に開示されている。

【0066】

本実施例では、ＦＣ層の処理にデータ処理装置５の光プロセッサ５２を使うことで、省電力かつ低遅延に処理が実行できる。

【0067】

なお、クラウドサーバ３ｄのＣＰＵ３１は、推論結果を利用した処理の結果として、モバイル端末１ｃのアクチュエータ２２を動かすためのデジタルデータである制御データを生成する。

【0068】

クラウドサーバ３ｄの通信回路３０は、ＣＰＵ３１から出力されエンコーダ３４によって圧縮された制御データをパケット化して、生成したパケットをネットワーク４を介してデータ処理装置５宛に送信する。

【0069】

データ処理装置５の通信回路６０は、ネットワーク４を介してクラウドサーバ３ｄから受信したパケットからペイロードのデータを抽出して、デコーダ６６に出力する。
デコーダ６６は、通信回路６０から出力されたデジタルデータを伸長して、伸長後のデジタルデータをＣＰＵ６１に出力する。

【0070】

ＣＰＵ６１は、デコーダ６６から出力されたデジタルデータをＤＡ５５に出力する。ＤＡ５５は、ＣＰＵ６１から出力されたデジタルデータをアナログ電気信号に変換する。ＬＤ５６は、ＤＡ５５から出力されたアナログ電気信号を光信号に変換する。ＰＤ５７は、光プロセッサ５２から出力された光信号をアナログ電気信号に変換する。ＡＤ５８は、ＰＤ５７から出力されたアナログ電気信号をデジタルデータに変換してＣＰＵ６１に出力する。

【0071】

ＣＰＵ６１は、ＡＤ５８から出力されたデジタルデータをエンコーダ６４に出力する。エンコーダ６４は、ＣＰＵ６１から出力されたデジタルデータを圧縮し、圧縮後のデジタルデータを通信回路５９に出力する。
通信回路５９は、エンコーダ６４から出力されたデジタルデータをパケット化して、生成したパケットをネットワーク２を介してモバイル端末１ｃ宛に送信する。モバイル端末１ｃ内の動作は第４の実施例で説明したとおりである。

【0072】

本実施例では、エンコーダ２６，３４，６４，６５とデコーダ２７，３３，６３，６６とを設けた例について説明しているが、本発明においてエンコーダとデコーダを設けることは必須の構成要件ではない。エンコーダとデコーダを用いない場合、モバイル端末１ｃの代わりに、モバイル端末１，１ａ，１ｂの構成を用いることになる。また、クラウドサーバ３ｄの代わりに、クラウドサーバ３の構成を用いることになる。
また、本実施例では、データ処理装置５にＣＰＵ６１を設ける例で説明したが、第３の実施例で説明したようにＣＰＵ６１の代わりに非ノイマン型プロセッサを用いてもよい。

【産業上の利用可能性】

【0073】

本発明は、モバイル端末を用いた分散深層学習に適用することができる。

【符号の説明】

【0074】

１，１ａ，１ｂ，１ｃ…モバイル端末、２，４…ネットワーク、３，３ｃ，３ｄ…クラウドサーバ、５…データ処理装置、１０…センサ、１１…バッファ、１２，１８，５０，５５…デジタルアナログ変換器、１３，１９，５１，５６…レーザーダイオード、１４，５２…光プロセッサ、１５，２０，５３，５７…フォトダイオード、１６，２１，５４，５８…アナログデジタル変換器、１７，３０，５９，６０…通信回路、２２…アクチュエータ、２３，３１，６１…ＣＰＵ、２４，３２，６２…メモリ、２５…非ノイマン型プロセッサ、２６，３４，６４，６５…エンコーダ、２７，３３，６３，６６…デコーダ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】