2022-520912 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

2022-520912データ処理方法、装置及びチップ、電子機器、記憶媒体

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9a
9b
10a
10b
11
12
13
14

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-04-04

(54)【発明の名称】データ処理方法、装置及びチップ、電子機器、記憶媒体

(51)【国際特許分類】

G06F 17/10 20060101AFI20220328BHJP

G06T 7/00 20170101ALI20220328BHJP

【ＦＩ】

G06F17/10 A

G06T7/00 350C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021518628

(86)(22)【出願日】2020-07-20

(85)【翻訳文提出日】2021-04-02

(86)【国際出願番号】 CN2020103075

(87)【国際公開番号】W WO2021147276

(87)【国際公開日】2021-07-29

(31)【優先権主張番号】202010074848.4

(32)【優先日】2020-01-22

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】520229965

【氏名又は名称】深▲チェン▼市商▲湯▼科技有限公司

【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮＳＥＮＳＥＴＩＭＥＴＥＣＨＮＯＬＯＧＹＣＯ．，ＬＴＤ．

(74)【代理人】

【識別番号】110000729

【氏名又は名称】特許業務法人ユニアス国際特許事務所

(72)【発明者】

【氏名】周波

(72)【発明者】

【氏名】李清正

【テーマコード（参考）】

5B056

5L096

【Ｆターム（参考）】

5B056BB26

5L096EA39

5L096GA51

5L096HA11

5L096LA01

(57)【要約】

【課題】
本発明は、データ処理方法、装置及びチップ、電子機器、記憶媒体を提供する。
【解決手段】
当該方法は、第１処理すべきデータと入力チャンネル数とを取得するステップと、前記入力チャンネル数に基づいて前記第１処理すべきデータを処理することにより、第２処理すべきデータを取得するステップと、処理パラメータを取得し、前記処理パラメータを用いて前記第２処理すべきデータを処理することにより、第１データを取得するステップとを含み、前記第１処理すべきデータのチャンネル数は、前記入力チャンネル数よりも大きく、前記第２処理すべきデータに対応するチャンネル数は、前記入力チャンネル数以下である。
【選択図】図１

【特許請求の範囲】

【請求項1】

データ処理方法であって、
第１処理すべきデータと入力チャンネル数とを取得するステップと、
前記入力チャンネル数に基づいて前記第１処理すべきデータを処理することにより、第２処理すべきデータを取得するステップと、
処理パラメータを取得し、前記処理パラメータを用いて前記第２処理すべきデータを処理することにより、第１データを取得するステップと、を含み、
前記第１処理すべきデータのチャンネル数は、前記入力チャンネル数よりも大きく、前記第２処理すべきデータに対応するチャンネル数は、前記入力チャンネル数以下であることを特徴とするデータ処理方法。

【請求項2】

前記処理パラメータは、畳み込みカーネルのパラメータを含み、前記データ処理方法は、チップに用いられ、前記入力チャンネル数は、前記チップの入力チャンネル数であることを特徴とする請求項１に記載のデータ処理方法。

【請求項3】

前記処理パラメータを用いて前記第２処理すべきデータを処理することにより、第１データを取得するステップは、
前記チップを介して前記畳み込みカーネルのパラメータを用いて前記第２処理すべきデータに対して畳み込み処理を行うことにより、前記第１データを取得することを含むことを特徴とする請求項２に記載のデータ処理方法。

【請求項4】

前記入力チャンネル数に基づいて前記第１処理すべきデータを処理することにより、第２処理すべきデータを取得するステップは、
前記入力チャンネル数に応じて、前記第１処理すべきデータを少なくとも２部のデータに分けることと、
前記少なくとも２部のデータを前記第２処理すべきデータとして特定することと、を含み、
各部のデータに対応するチャンネル数は、前記入力チャンネル数以下であり、且つ前記各部のデータのうちの単一チャンネルのデータ量は、データ処理量閾値以下であることを特徴とする請求項１から３の何れか一項に記載のデータ処理方法。

【請求項5】

前記第１処理すべきデータは、少なくとも２つのチャンネルのデータを含むことを特徴とする請求項１から３の何れか一項に記載のデータ処理方法。

【請求項6】

前記少なくとも２つのチャンネルのデータは、第１チャンネルのデータと第２チャンネルのデータとを含み、
前記入力チャンネル数に基づいて前記第１処理すべきデータを処理することにより、第２処理すべきデータを取得するステップは、
前記第１チャンネルのデータと前記第２チャンネルのデータとを繋ぎ合わせることにより、前記第２処理すべきデータを取得することを含み、
前記第２処理すべきデータに対応するチャンネル数は、前記入力チャンネル数以下であり、且つ前記第２処理すべきデータのうちの単一チャンネルのデータ量は、データ処理量閾値以下であることを特徴とする請求項５に記載のデータ処理方法。

【請求項7】

前記第１処理すべきデータは、第１処理すべきデータセットを含み、前記第２処理すべきデータは、第２処理すべきデータセットを含み、前記第２処理すべきデータセットには、前記第１処理すべきデータセットにおける各処理すべきデータに対応するデータが存在することを特徴とする請求項２から６の何れか一項に記載のデータ処理方法。

【請求項8】

前記チップを介して前記畳み込みカーネルのパラメータを用いて前記第２処理すべきデータに対して畳み込み処理を行うことにより、前記第１データを取得することは、
目標出力チャンネル数と、前記チップの出力チャンネル数と、処理バッチ数と、前記チップの参照値とを取得することと、
前記出力チャンネル数が前記目標出力チャンネル数よりも小さい場合に、前記第２処理すべきデータと、少なくとも１グループの重みを含む、前記畳み込みカーネルのパラメータとを取得することと、
前記処理バッチ数が前記参照値以下である場合に、前記チップを介して、前記少なくとも１グループの重みのうちの１グループの重みを用いて前記第２処理すべきデータに対して畳み込み処理を行って１グループの第２データを取得し、前記１グループの第２データを前記チップのキャッシュに記憶することと、
前記少なくとも１グループの重みのうちの各グループの重みをそれぞれ用いて前記第２処理すべきデータに対して畳み込み処理を行って少なくとも１グループの第２データを取得した場合に、前記キャッシュに記憶された前記少なくとも１グループの第２データを前記第１データとして前記チップのメモリに書き込むことと、を含むことを特徴とする請求項７に記載のデータ処理方法。

【請求項9】

前記データ処理方法は、
前記処理バッチ数が前記参照値よりも大きい場合に、前記少なくとも１グループの重みから少なくとも１グループの重みを時分割多重化重みセットとして選定するステップと、
前記時分割多重化重みセットにおける１グループの重みを用いて前記第２処理すべきデータセットに対して畳み込み処理を行い、１グループの第３データを取得し、前記１グループの第３データを前記チップのキャッシュに記憶するステップと、を更に含み、
前記時分割多重化重みセットにおける重みのグループ数は、前記参照値に等しいことを特徴とする請求項７又は８に記載のデータ処理方法。

【請求項10】

前記データ処理方法は、
前記時分割多重化重みセットにおける各グループの重みをそれぞれ用いて前記第２処理すべきデータセットに対して畳み込み処理を行い、少なくとも１グループの第３データを取得した場合に、前記キャッシュに記憶された前記少なくとも１グループの第３データを前記メモリに書き込むステップを更に含むことを特徴とする請求項９に記載のデータ処理方法。

【請求項11】

データ処理装置であって、
第１処理すべきデータと入力チャンネル数とを取得するための取得ユニットと、
前記入力チャンネル数に基づいて前記第１処理すべきデータを処理することにより、第２処理すべきデータを取得するための第１処理ユニットと、を備え、
前記第１処理すべきデータのチャンネル数は、前記入力チャンネル数よりも大きく、前記第２処理すべきデータに対応するチャンネル数は、前記入力チャンネル数以下であり、
前記取得ユニットは、更に、処理パラメータを取得し、
前記データ処理装置は、
前記処理パラメータを用いて前記第２処理すべきデータを処理することにより、第１データを取得するための第２処理ユニットを更に備えることを特徴とするデータ処理装置。

【請求項12】

前記処理パラメータは、畳み込みカーネルのパラメータを含み、前記データ処理装置は、チップを含み、前記入力チャンネル数は、前記チップの入力チャンネル数であることを特徴とする請求項１１に記載のデータ処理装置。

【請求項13】

前記第２処理ユニットは、
前記チップを介して前記畳み込みカーネルのパラメータを用いて前記第２処理すべきデータに対して畳み込み処理を行うことにより、前記第１データを取得することを特徴とする請求項１２に記載のデータ処理装置。

【請求項14】

前記第１処理ユニットは、
前記入力チャンネル数に応じて、前記第１処理すべきデータを少なくとも２部のデータに分け、
前記少なくとも２部のデータを前記第２処理すべきデータとして特定し、
各部のデータに対応するチャンネル数は、前記入力チャンネル数以下であり、且つ前記各部のデータのうちの単一チャンネルのデータ量は、データ処理量閾値以下であることを特徴とする請求項１１から１３の何れか一項に記載のデータ処理装置。

【請求項15】

前記第１処理すべきデータは、少なくとも２つのチャンネルのデータを含むことを特徴とする請求項１１から１３の何れか一項に記載のデータ処理装置。

【請求項16】

前記少なくとも２つのチャンネルのデータは、第１チャンネルのデータと第２チャンネルのデータとを含み、
前記第１処理ユニットは、前記第１チャンネルのデータと前記第２チャンネルのデータとを繋ぎ合わせることにより、前記第２処理すべきデータを取得し、
前記第２処理すべきデータに対応するチャンネル数は、前記入力チャンネル数以下であり、且つ前記第２処理すべきデータのうちの単一チャンネルのデータ量は、データ処理量閾値以下であることを特徴とする請求項１５に記載のデータ処理装置。

【請求項17】

前記第１処理すべきデータは、第１処理すべきデータセットを含み、前記第２処理すべきデータは、第２処理すべきデータセットを含み、前記第２処理すべきデータセットには、前記第１処理すべきデータセットにおける各処理すべきデータに対応するデータが存在することを特徴とする請求項１０から１６の何れか一項に記載のデータ処理装置。

【請求項18】

前記取得ユニットは、更に、目標出力チャンネル数と、前記チップの出力チャンネル数と、処理バッチ数と、前記チップの参照値とを取得し、
前記第２処理ユニットは、
前記出力チャンネル数が前記目標出力チャンネル数よりも小さい場合に、前記第２処理すべきデータと、少なくとも１グループの重みを含む、前記畳み込みカーネルのパラメータとを取得し、
前記処理バッチ数が前記参照値以下である場合に、前記チップを介して、前記少なくとも１グループの重みのうちの１グループの重みを用いて前記第２処理すべきデータに対して畳み込み処理を行って１グループの第２データを取得し、前記１グループの第２データを前記チップのキャッシュに記憶し、
前記少なくとも１グループの重みのうちの各グループの重みをそれぞれ用いて前記第２処理すべきデータに対して畳み込み処理を行って少なくとも１グループの第２データを取得した場合に、前記キャッシュに記憶された前記少なくとも１グループの第２データを前記第１データとして前記チップのメモリに書き込むことを特徴とする請求項１７に記載のデータ処理装置。

【請求項19】

前記第２処理ユニットは、更に、
前記処理バッチ数が前記参照値よりも大きい場合に、前記少なくとも１グループの重みから少なくとも１グループの重みを時分割多重化重みセットとして選定し、
前記時分割多重化重みセットにおける１グループの重みを用いて前記第２処理すべきデータセットに対して畳み込み処理を行い、１グループの第３データを取得し、前記１グループの第３データを前記チップのキャッシュに記憶し、
前記時分割多重化重みセットにおける重みのグループ数は、前記参照値に等しいことを特徴とする請求項１７又は１８に記載のデータ処理装置。

【請求項20】

前記第２処理ユニットは、更に、
前記時分割多重化重みセットにおける各グループの重みをそれぞれ用いて前記第２処理すべきデータセットに対して畳み込み処理を行い、少なくとも１グループの第３データを取得した場合に、前記キャッシュに記憶された前記少なくとも１グループの第３データを前記メモリに書き込むことを特徴とする請求項１９に記載のデータ処理装置。

【請求項21】

チップであって、
請求項１から１０の何れか一項に記載のデータ処理方法を実行することを特徴とするチップ。

【請求項22】

電子機器であって、
チップと、プロセッサと、メモリと、を備え、
前記メモリは、コンピュータプログラムコードを記憶し、前記コンピュータプログラムコードは、コンピュータ指令を含み、前記チップが前記コンピュータ指令を実行した場合に、前記電子機器は、請求項１から１０の何れか一項に記載のデータ処理方法を実施することを特徴とする電子機器。

【請求項23】

コンピュータ可読記憶媒体であって、
前記コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムは、プログラム指令を含み、前記プログラム指令が電子機器のプロセッサによって実行された場合に、前記プロセッサに請求項１から１０の何れか一項に記載のデータ処理方法を実施させることを特徴とするコンピュータ可読記憶媒体。

【請求項24】

コンピュータプログラム製品であって、
前記コンピュータプログラム製品は、コンピュータプログラム又は指令を含み、前記コンピュータプログラム又は指令がコンピュータで運転された場合に、前記コンピュータに請求項１から１０の何れか一項に記載のデータ処理方法を実施させることを特徴とするコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータ技術分野に関し、特にデータ処理方法、装置及びチップ、電子機器、記憶媒体に関する。
＜関連出願の相互引用＞
本発明は、２０２０年０１月２２日に中国専利局へ提出された、出願番号が２０２０１００７４８４８．４であり、発明名称が「データ処理方法、装置及びチップ、電子機器、記憶媒体」である中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が援用により本願に組み入れられる。

【背景技術】

【0002】

強い処理能力に恵まれ、深層畳み込みニューラルネットワークは、コンピュータビジョン分野及び音声処理分野に広く応用されている。深層畳み込みニューラルネットワークのデータに対する処理過程は、大量の畳み込み処理を含む。畳み込み処理のデータ処理量が大きく、且つハードウェア（例えば、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄｐｒｏｇｒａｍｍａｂｌｅｇａｔｅａｒｒａｙ、ＦＰＧＡ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎｓｐｅｃｉｆｉｃｉｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔ、ＡＳＩＣ）、画像プロセッサ（ｇｒａｐｈｉｃｓｐｒｏｃｅｓｓｉｎｇｕｎｉｔ、ＧＰＵ）の帯域幅及び消費電力によって制限されるため、ハードウェアで深層ニューラルネットワークのオンライン推定を実行する過程において、ハードウェアの処理効率が低い。ハードウェアの処理効率を向上させるために、多くの深層ニューラルネットワーク加速方法は、登場してきている。

【0003】

従来の深層ニューラルネットワーク加速方法では、深層ニューラルネットワークのうちの各層のネットワークの入力データから少なくとも１つのデータブロックを取得し、ハードウェアを介して順にデータブロックごとに畳み込み処理を行うことにより、ハードウェアの処理効率を向上させるが、当該方法の汎用性は、悪かった。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、データ処理方法、装置及びチップ、電子機器、記憶媒体を提供する。

【課題を解決するための手段】

【0005】

第１態様は、データ処理方法を提供する。前記データ処理方法は、第１処理すべきデータと入力チャンネル数とを取得するステップと、前記入力チャンネル数に基づいて前記第１処理すべきデータを処理することにより、第２処理すべきデータを取得するステップと、処理パラメータを取得し、前記処理パラメータを用いて前記第２処理すべきデータを処理することにより、第１データを取得するステップと、を含み、前記第１処理すべきデータのチャンネル数は、前記入力チャンネル数よりも大きく、前記第２処理すべきデータに対応するチャンネル数は、前記入力チャンネル数以下である。
当該態様では、入力チャンネル数に基づいて第１処理すべきデータを処理することにより、チャンネル数が入力チャンネル数以下の第２処理すべきデータを取得することができる。当該態様の方法をチップに応用すると、チップの入力データを処理可能である。こうして、チャンネル数がチップの入力チャンネル数よりも大きい第１処理すべきデータを処理した後、チャンネル数がチップの入力チャンネル数以下の第２処理すべきデータは得られる。これにより、入力データのチャンネル数をチップの入力チャンネル数以下にすることができ、チップが任意のチャンネル数の入力データを処理可能であり、チップの汎用性は、向上する。

【0006】

第２態様は、データ処理装置を提供する。前記データ処理装置は、第１処理すべきデータと入力チャンネル数とを取得するための取得ユニットと、前記入力チャンネル数に基づいて前記第１処理すべきデータを処理することにより、第２処理すべきデータを取得するための第１処理ユニットと、を備え、前記第１処理すべきデータのチャンネル数は、前記入力チャンネル数よりも大きく、前記第２処理すべきデータに対応するチャンネル数は、前記入力チャンネル数以下であり、前記取得ユニットは、更に、処理パラメータを取得し、前記データ処理装置は、前記処理パラメータを用いて前記第２処理すべきデータを処理することにより、第１データを取得するための第２処理ユニットを更に備える。

【0007】

第３態様は、チップを提供する。前記チップは、上記第１態様及びその何れか一種の実施可能な方式の方法を実行する。

【0008】

第４態様は、電子機器を提供する。前記電子機器は、チップと、プロセッサと、メモリと、を備え、前記メモリは、コンピュータプログラムコードを記憶し、前記コンピュータプログラムコードは、コンピュータ指令を含み、前記チップが前記コンピュータ指令を実行した場合に、前記電子機器は、上記第１態様及びその何れか一種の実施可能な方式の方法を実施する。

【0009】

第５態様は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムは、プログラム指令を含み、前記プログラム指令が電子機器のプロセッサによって実行された場合に、前記プロセッサに上記第１態様及びその何れか一種の実施可能な方式の方法を実施させる。

【0010】

第６態様は、指令を含むコンピュータプログラム製品を提供する。前記コンピュータプログラム製品がコンピュータで運転された場合に、前記コンピュータに上記第１態様及びその何れか一種の実施可能な方式の方法を実施させる。

【0011】

上述した一般的な記述と後文の詳細記述が単に例示的なものと解釈的なものであり、本発明を制限するためのものではないことは、理解されるべきである。

【図面の簡単な説明】

【0012】

本発明の実施例又は背景技術における技術案がより明瞭に説明されるように、以下では、本発明の実施例又は背景技術に必要な図面を説明する。
ここでの図面は、明細書に組み込まれて明細書の一部を構成する。これらの図面は、本発明に合致する実施例を示しつつ、明細書の記載とともに本発明の解決手段を説明するために用いられる。

【図1】本発明の実施例に係るデータ処理方法の模式的なフローチャートである。

【図2】本発明の実施例に係るチップの構造模式図である。

【図3】本発明の実施例に係る別のデータ処理方法の模式的なフローチャートである。

【図4】本発明の実施例に係る繋ぎ合わせの模式図である。

【図5】本発明の実施例に係る別の繋ぎ合わせの模式図である。

【図6】本発明の実施例に係る畳み込みニューラルネットワークの構造模式図である。

【図7】本発明の実施例に係る更に別のデータ処理方法の模式的なフローチャートである。

【図8】本発明の実施例に係るチップの時分割多重化周期の模式図である。

【図9a】本発明の実施例に係るチップで実行される畳み込み処理の模式図である。

【図9b】本発明の実施例に係る別のチップで実行される畳み込み処理の模式図である。

【図10a】本発明の実施例に係る更に別のチップで実行される畳み込み処理の模式図である。

【図10b】本発明の実施例に係る更に別のチップで実行される畳み込み処理の模式図である。

【図11】本発明の実施例に係る別のチップの構造模式図である。

【図12】本発明の実施例に係る更に別のチップの構造模式図である。

【図13】本発明の実施例に係るより更に別のチップの構造模式図である。

【図14】本発明の実施例に係るデータ処理装置の構造模式図である。

【発明を実施するための形態】

【0013】

本発明の技術案が当業者によってより良好に理解されるように、以下では、本発明の実施例における図面を組み合わせて本発明の実施例における技術案を明瞭で完全に記述する。明らかに、記述される実施例は、単に本発明の一部の実施例であり、全部の実施例ではない。本発明における実施例に基づいて当業者が進歩性に値する労働を掛けずに得た全ての他の実施例は、何れも本発明の保護範囲に含まれる。

【0014】

本発明の明細書、特許請求の範囲及び上記図面における用語「第１」、「第２」等は、異なる対象を区分するためのものであり、特定の順番を記述するためのものではない。また、用語「含む」及び「備える」及びそれらの変型は、非排他的な含有をカバーすることを意図する。例えば、一連のステップ若しくは手段を含む手順、方法、システム、製品又は機器は、挙げられたステップ又は手段に限定されず、挙げられていないステップ又は手段を更に含むことが好ましく、これらの手順、方法、製品又は機器に固有の他のステップ又は手段を更に含むことがより好ましい。

【0015】

本文における用語「及び／又は」は、単に関連対象の関連関係を記述するものであり、３種の関係が存在可能であることを示す。例えば、Ａ及び／又はＢは、Ａが単独に存在することと、Ａ及びＢが同時に存在することと、Ｂが単独に存在することという３種の場合を表せる。また、本文における用語「少なくとも１種」は、複数種のうちの何れか１種又は複数種のうちの少なくとも２種の任意の組み合わせを示す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１種を含むことは、Ａ、Ｂ及びＣによって構成された集合から、何れか１つ又は複数の要素を選択することを示してもよい。

【0016】

本文で言及された「実施例」は、実施例を組み合わせて記述された特定の特徴、構造又は特性が本発明の少なくとも１つの実施例に含まれ得ることを意味する。明細書における各位置に当該用語が現れるのは、必ずしも同じ実施例を指すとは限らず、他の実施例に対して排他的な独立又候補の実施例でもない。当業者が明示的に且つ暗示的に理解できるように、本文で記述される実施例は、他の実施例と組み合わせられ得る。

【0017】

本発明の実施例の実行主体は、データ処理装置である。データ処理装置は、チップ、携帯電話、コンピュータ、サーバ、タブレットＰＣのうちの何れか１種であってもよい。

【0018】

以下では、本発明の実施例における図面を参照しながら本発明の実施例を説明する。

【0019】

図１を参照すると、図１は、本発明の実施例に係るデータ処理方法の模式的なフローチャートである。

【0020】

１０１では、第１処理すべきデータと入力チャンネル数とを取得する。

【0021】

本発明の実施例において、第１処理すべきデータは、画像、音声データ又は語句であってもよい。第１処理すべきデータのチャンネル数は、１以上である。例えば、第１処理すべきデータが１枚の画像である場合に、第１処理すべきデータのチャンネル数は、３となってもよい。更に例えば、第１処理すべきデータが２つの音声データであり、且つ各音声データのチャンネル数が２である場合に、第１処理すべきデータのチャンネル数は、２となる。

【0022】

本発明の実施例において、入力チャンネル数は、チップの入力チャンネル数であってもよい。ただし、当該チップは、畳み込みニューラルネットワークを実現するために用いられてもよい。例えば、上記チップは、ＦＰＧＡであってもよい。更に例えば、上記チップは、ＡＳＩＣであってもよい。より更に例えば、上記チップは、ＧＰＵであってもよい。

【0023】

本発明の実施例において、第１処理すべきデータのチャンネル数は、入力チャンネル数よりも大きい。

【0024】

１０２では、上記入力チャンネル数に基づいて、上記第１処理すべきデータを処理することにより、第２処理すべきデータを取得する。

【0025】

チップの入力チャンネル数が固定であるが、畳み込みニューラルネットワークにおける異なる畳み込み層に入力されたデータのチャンネル数が異なる可能性がある。従来の方法では、異なるチップが異なる畳み込み層の処理を実施する必要がある。例えば、畳み込みニューラルネットワークＡは、畳み込み層ａと畳み込み層ｂを含む。畳み込み層ａに入力されたデータのチャンネル数は、３であり、畳み込み層ｂに入力されたデータのチャンネル数は、４である。チップＡの入力チャンネル数が３であると仮定すれば、畳み込み層ａに入力されたデータの処理をチップＡを介して完了可能であるが、畳み込み層ｂに入力されたデータのチャンネル数がチップＡの入力チャンネル数よりも大きいため、畳み込み層ｂに入力されたデータの処理をチップＡを介して完了できない。入力チャンネル数のより大きな１つのチップで、畳み込み層ｂに入力されたデータの処理を完了する必要がある。例えば、入力チャンネル数が４のチップＢで、畳み込み層ｂに入力されたデータの処理を完了することができる。

【0026】

本発明の実施例において、チップを介して各層ごとに順に畳み込みニューラルネットワークにおける畳み込み層の処理を実施する過程において、チップの入力チャンネル数と、畳み込み層に入力されたデータ（本実施例において、畳み込み層に入力されたデータが上記第１処理すべきデータそのものである）のチャンネル数とに基づいて、第１処理すべきデータを処理する必要があるか否かを判断してもよい。第１処理すべきデータを処理する必要があるときに、第１処理すべきデータを処理することにより、処理して得られたデータのチャンネル数をチップの入力チャンネル数以下にする。こうして、１つのチップを介して異なる畳み込み層の処理を完了することは、実現される。

【0027】

例えば、チップの入力チャンネル数は、２である。第１処理すべきデータは、１枚の画像を含み、画像のチャンネル数は、３である。第１処理すべきデータのチャンネル数がチップの入力チャンネル数よりも大きいため、チップの一度の処理バッチ内で第１処理すべきデータのうちの全てのデータをチップに入力することが不可能であり、更にチップを介して第１処理すべきデータに対する処理を完了することが不可能である。その際、第１処理すべきデータを処理して、処理で得られたデータのチャンネル数をチップの入力チャンネル数以下にする必要がある。こうして、少なくとも２つの処理バッチによって第１処理すべきデータのうちの全てのデータを処理完了する。

【0028】

ある実現可能な方式において、第１処理すべきデータからｎ（ｎは、チップの入力チャンネル数以下である）個のチャンネルのデータを分割することにより、チップの１つの処理バッチ内における入力データ（即ち、上記第２処理すべきデータ）を取得可能である。このような分割方式で第１処理すべきデータを処理し、少なくとも２つの処理バッチによって第１処理すべきデータのうちの全てのデータに対する処理を完了可能である。例えば、第１処理すべきデータは、２枚の画像を含み、各画像のチャンネル数は、何れも３である。チップの入力チャンネル数は、４である。第１処理すべきデータのチャンネル数（即ち、３＋３＝６）がチップの入力チャンネル数よりも大きいため、第１処理すべきデータを分割する必要がある。第１処理すべきデータは、チャンネル数が４である第２処理すべきデータａと、チャンネル数が２である第２処理すべきデータｂとに分割されてもよい。チップは、１つの処理バッチによって第２処理すべきデータａを処理し、もう１つの処理バッチによって第２処理すべきデータｂを処理することにより、第１処理すべきデータに対する処理を完了する。本発明では、第２処理すべきデータａに対する処理と第２処理すべきデータｂに対する処理との前後順について限定しない。

【0029】

別の実現可能な方式において、第１処理すべきデータのチャンネル数は、２以上である。第１処理すべきデータのうちの少なくとも２つのチャンネルのデータを繋ぎ合わせることにより、第１処理すべきデータのチャンネル数をチップの入力チャンネル数以下にして、繋ぎ合わせられた第１処理すべきデータを取得する。チップは、１つの処理バッチによって繋ぎ合わせ後の第１処理すべきデータに対する処理を完了可能であり、即ち、第１処理すべきデータに対する処理を完了する。例えば、第１処理すべきデータは、４つのチャンネルのデータを含み、４つのチャンネルのデータは、それぞれ第１チャンネルデータ、第２チャンネルデータ、第３チャンネルデータ、第４チャンネルデータである。チップの入力チャンネル数は、３である。第１チャンネルデータと第２チャンネルデータとを繋ぎ合わせることにより、第５チャンネルデータを取得する。第３チャンネルデータ、第４チャンネルデータ及び第５チャンネルデータを繋ぎ合わせ後の第１処理すべきデータとする。こうして、繋ぎ合わせ後の第１処理すべきデータのチャンネル数は、３となる。チップは、１つの処理バッチによって繋ぎ合わせ後の第１処理すべきデータに対する処理を完了可能であり、即ち、第１処理すべきデータに対する処理を完了する。

【0030】

本ステップでは、入力チャンネル数に基づいて第１処理すべきデータを処理することにより、第２処理すべきデータを取得するため、チップを介してチャンネル数が任意値である入力データの処理を完了可能であり、即ち、任意畳み込み層の入力データに対する畳み込み処理を実現可能であり、本発明に係る技術案の汎用性を向上させる。

【0031】

１０３では、処理パラメータを取得し、上記処理パラメータを用いて上記第２処理すべきデータを処理することにより、第１データを取得する。

【0032】

本発明の実施例において、処理パラメータは、畳み込みカーネルのパラメータを含み、畳み込みカーネルのパラメータは、畳み込みカーネルの重みと、畳み込みカーネルのオフセットとを含む。

【0033】

ある実現可能な方式において、チップは、図２に示す構造を有する。当該構造では、キャッシュが入力データ（即ち、チップの各処理バッチ内における処理必要なデータ）、チップの各処理バッチ内における使用必要な畳み込みカーネルのパラメータ及び出力データ（即ち、チップが各処理バッチ内に処理して得るデータ）を記憶する。当該構造における畳み込み処理ユニットは、畳み込みカーネルの重みに基づいて入力データに対して畳み込み及び積算を行い、畳み込み処理後のデータを取得する。畳み込みカーネルのオフセットと畳み込み処理後のデータとに基づくと、出力データは、取得可能である。

【0034】

好ましくは、図２に示す構造は、前処理ユニット及び／又は後処理ユニットを含んでもよい。上記前処理ユニットは、データに対して数学的変換を実施し、例えば、時間領域データを周波数領域データに変換してもよい。上記後処理ユニットは、データに対して前処理ユニットによって実行されたものと逆である数学的逆変換を実施し、例えば、周波数領域データを時間領域データに変換してもよい。後処理ユニットは、更に、プーリング処理、差分処理、ｓｏｆｔｍａｘ関数の実現、データトリミング、データの解像度の調整等の操作を実施してもよい。例えば、図２に示す構造における入力データが時間領域データであり、前処理ユニットによる入力データの処理により、入力データを周波数領域データに変換してもよい。更に例えば、畳み込み処理ユニットから出力されたデータが１００＊１００のサイズの画像である場合に、後処理ユニットを介して画像をトリミングして５０＊５０のサイズの画像を取得してもよい。より更に例えば、畳み込み処理ユニットから出力されたデータが画像であり、後処理ユニットを介して画像の解像度を高くしてもよい。

【0035】

チップは、畳み込みカーネルのパラメータを用いて第２処理すべきデータに対して畳み込み処理を行うと、第１データを取得可能である。

【0036】

チップの入力チャンネルに基づいて入力データを処理することにより、チップがチャンネル数の異なる入力データを処理可能である。本実施例に係る技術案をチップに用いると、チップは、非常に良い汎用性を有することができる。

【0037】

次の説明の前に、まず、「チップのデータ処理量閾値」という概念を定義する。本発明の実施例において、チップのデータ処理量閾値は、チップが１つの処理バッチ内で処理できる単一のチャンネルのデータ量の最大値を指す。例えば、チップのデータ処理量閾値は、８キロバイトであり、当該チップが１つの処理バッチ内で処理できる単一チャンネルのデータ量が最大で８キロバイトであることを示す。

【0038】

チップのハードウェアリソースに限度があるため、チップの１つの処理バッチ内における処理能力は、制限されている。第２処理すべきデータのデータ量が大きい。第２処理すべきデータのデータ量がチップのデータ処理量閾値よりも大きい場合に、チップは、１つの処理バッチ内で第２処理すべきデータを処理完了することができず、少なくとも２つの処理バッチでないと、第２処理すべきデータに対する処理を完了できない。第２処理すべきデータのデータ量が一般的に大きく、チップのキャッシュの記憶空間が一般的に小さいため、第２処理すべきデータは、外部ストレージ（例えば、チップのメモリ）に記憶される。チップは、第２処理すべきデータを処理する前に、外部ストレージから第２処理すべきデータを読み取り、第２処理すべきデータをキャッシュに記憶する必要がある。説明すべきことは、チップハードウェア特性の影響を受け、チップは、常に、キャッシュにおけるデータを全部処理完了してから、メモリにおけるデータを処理する。したがって、チップは、第２処理すべきデータを処理する過程において、第２処理すべきデータ以外のデータを外部ストレージから読み取らない。チップは、キャッシュに記憶された第２処理すべきデータを処理完了した後こそ、外部ストレージからデータを読み取る操作を初めて実行する。こうすると、チップの読み取り効率が大きく低減され、更にチップの処理効率が低下してしまう。

【0039】

例えば、第１処理すべきデータを処理することにより、第２処理すべきデータＡ及び第２処理すべきデータＢを取得する。チップは、第１処理すべきデータに対して畳み込み処理を行う過程において、まず、外部ストレージから第２処理すべきデータＡを読み取り、第２処理すべきデータＡをキャッシュに記憶する。次に、チップは、キャッシュに記憶された第２処理すべきデータＡから、データ量がチップのデータ処理閾値以下であるデータブロックを、第１個の処理バッチ内で処理されるデータとして選定する。第１個の処理バッチ内で処理されるデータに対して処理を行う過程において、チップのキャッシュは、外部ストレージから第２処理すべきデータＢを読み取らない。チップが第２処理すべきデータＡのうちの全てのデータを処理完了した後、チップのキャッシュは、外部ストレージから第２処理すべきデータＢを読み取る。明らかに、チップハードウェア特性の影響を受け、チップは、常に、キャッシュにおけるデータを全部で処理完了した後、メモリにおけるデータを処理する。チップが第２処理すべきデータＡを処理する過程において、チップのキャッシュの読み取りリソースがアイドル状態であるため、チップの読み取り効率は、大きく低減されてしまう。例えば、データ処理量閾値が１０であり、チップキャッシュに格納されたデータ量が１５であり、１つの処理バッチ内においてチップが１０単位のデータを並行処理可能であるが、キャッシュに５単位のデータがまだ処理されていないため、チップは、外部からデータを読み取らない。更に例えば、データの処理量閾値が１０であり、チップキャッシュに格納されたデータ量が１０であり、１つの処理バッチ内においてチップが１０単位のデータを並行処理可能であり、キャッシュにデータがないため、チップは、外部からデータを読み取ってデータ処理を行う。

【0040】

チップの読み取り効率が向上するように、本発明の実施例は、第１処理すべきデータを処理する別の技術案を更に提供する。図３を参照すると、図３は、本発明の実施例に係る別のデータ処理方法の模式的なフローチャートである。

【0041】

３０１では、上記入力チャンネル数に応じて、上記第１処理すべきデータを少なくとも２部のデータに分ける。

【0042】

上述した通り、入力チャンネル数が固定であるため、第１処理すべきデータを少なくとも２部のデータに分けてもよく、各部のデータに対応するチャンネル数が入力チャンネル数以下である。例えば（例１）、第１処理すべきデータのチャンネル数が６であり、入力チャンネル数が４である。第１処理すべきデータをデータＡとデータＢに分けてもよい。ただし、データＡのチャンネル数が４であり、データＢのチャンネル数が２である。更に、第１処理すべきデータをデータＣとデータＤに分けてもよい。ただし、データＣのチャンネル数とデータＤのチャンネル数とが何れも３である。好ましくは、第１処理すべきデータからチャンネル数が入力チャンネル数に等しいデータを優先的に分割する。こうして、チップの読み取りリソースが十分に利用され、チップの読み取り効率が向上する。例えば、例１では、第１処理すべきデータをデータＡとデータＢに分ける。

【0043】

第１処理すべきデータを分ける際に、本実施では、チップのデータ処理量閾値も考慮することにより、チップの処理リソースを十分に利用し、チップの読み取り効率を向上させる。

【0044】

チップの処理リソースが十分に利用されるように、各処理バッチ内の入力データのデータ量をできるだけチップのデータ処理量閾値に近接する必要がある。チップのデータ処理量閾値が既知であるため、チップのデータ処理量閾値に基づいて、第１処理すべきデータから分割された各部のデータのデータ量を特定してもよい。こうして、分割して得られた各部のデータのうちの単一チャンネルのデータ量は、データ処理量閾値以下である。

【0045】

ある実現可能な方式では、第１処理すべきデータのうちの各チャンネルのデータが何れも二次元マトリックスであり、且つ当該マトリックスにおける各データのデータ量が何れも等しい（例えば、画像における各画素のデータ量が何れも等しい）。データ処理量閾値に基づくと、第１処理すべきデータのうちの少なくとも１つのチャンネルのデータから、最適数の個数のデータを含むデータセット（以下では、最適データセットと呼称）を第３処理すべきデータとして選定してもよい。入力チャンネル数に応じて、第３処理すべきデータを少なくとも２部のデータに分ける。少なくとも２部のデータを第２処理すべきデータとして特定する。上記最適数は、下の例を参照可能である。最適数をｈとすると、ｈ個のデータのデータ量は、チップのデータ処理量閾値以下であり、且つｈ＋１個のデータのデータ量は、チップのデータ処理量閾値よりも大きくなる。上記ｈは、正整数である。

【0046】

例えば、第１処理すべきデータは、３つのチャンネルのデータ、即ち、第１チャンネルデータ、第２チャンネルデータ及び第３チャンネルデータを含む。入力チャンネル数は、２である。第１チャンネルデータから最適データセットを選定すると、第４チャンネルデータは得られる。第２チャンネルデータから最適データセットを選定すると、第５チャンネルデータは得られる。第３チャンネルデータから最適データセットを選定すると、第６チャンネルデータは得られる。第４チャンネルデータ、第５チャンネルデータ及び第６チャンネルデータを第３処理すべきデータとする。第３処理すべきデータをデータＡとデータＢに分ける。ただし、データＡは、第４チャンネルデータ及び第５チャンネルデータを含み、データＢは、第６チャンネルデータを含む。

【0047】

別の実現可能な方式では、第１処理すべきデータのうちの各チャンネルのデータが何れも二次元マトリックスであり、且つ当該マトリックスにおける各データのデータ量が何れも等しい（例えば、画像における各画素のデータ量が何れも等しい）。入力チャンネル数に基づいて、第１処理すべきデータを少なくとも２つの第４処理すべきデータに分ける。ただし、各第４処理すべきデータのチャンネル数は、入力チャンネル数以下である。データ処理量閾値に基づいて、少なくとも２つの第４処理すべきデータのうちの少なくとも１つのチャンネルのデータから、最適数の個数のデータを含むデータセット（以下では、最適データセットと呼称）を選定し、少なくとも２部のデータを取得する。少なくとも２部のデータを第２処理すべきデータとして特定する。

【0048】

例えば、第１処理すべきデータは、３つのチャンネルのデータ、即ち、第１チャンネルデータ、第２チャンネルデータ及び第３チャンネルデータを含む。入力チャンネル数は、２である。入力チャンネル数に基づいて、第１処理すべきデータを第４処理すべきデータＡ及び第４処理すべきデータＢに分ける。ただし、第４処理すべきデータＡは、第１チャンネルデータ及び第２チャンネルデータを含み、第４処理すべきデータＢは、第３チャンネルデータを含む。第１チャンネルデータから最適データセットを選定して第４チャンネルデータを取得する。第２チャンネルデータから最適データセットを選定して第５チャンネルデータを取得する。第３チャンネルデータから最適データセットを選定して第６チャンネルデータを取得する。第４チャンネルデータ及び第５チャンネルデータを１部のデータとし、第６チャンネルデータをもう１部のデータとする。

【0049】

第１処理すべきデータの単一チャンネルのデータから最適データセットを選定する１種の方式において、単一チャンネルのデータから選定された最適データセットがｋ列のデータを含むと特定し、更にチップのデータ処理量閾値及びｋ個のデータのデータ量に基づいて、最適データセットの高さを特定してもよい。ただし、ｋは、正整数である。例えば、ｋ＝６であり、チップのデータ処理量閾値が８キロバイトであり、第１処理すべきデータのうちの単一チャンネルのデータから選定された６＊４（即ち、６行４列）のサイズのデータセットのデータ量が７．４キロバイトであり、且つ第１処理すべきデータから選定された７＊４（即ち、７行４列）のサイズのデータセットのデータ量が８．２キロバイトである場合に、第１処理すべきデータのうちの単一チャンネルのデータから６＊４のサイズのデータセットを単一チャンネルのデータの最適データセットとして選定すると特定する。

【0050】

第１処理すべきデータの単一チャンネルのデータから最適データセットを選定する別の方式では、単一チャンネルのデータから選定された最適データセットがｔ行のデータを含むと特定可能であり、更にチップのデータ処理量閾値とｔ個のデータのデータ量とに基づいて、最適データセットの幅を特定してもよい。ただし、ｔは、正整数である。例えば、ｔ＝５であり、チップの処理能力が８キロバイトであり、第１処理すべきデータのうちの単一チャンネルのデータから選定された５＊４（即ち、５行４列）のサイズのデータセットのデータ量が７．４キロバイトであり、且つ第１処理すべきデータから選定された５＊５（即ち、５行５列）のサイズのデータセットのデータ量が８．２キロバイトである場合に、第１処理すべきデータのうちの単一チャンネルのデータから５＊４のサイズのデータセットを単一チャンネルのデータの最適データセットとして選定すると特定する。

【0051】

本実施例に係る技術案に基づいて第１処理すべきデータを分割して得られた第２処理すべきデータのうちの各チャンネルのデータ量が何れもデータ処理量閾値よりも小さいため、チップは、１つの処理バッチによって第２処理すべきデータを処理完了可能である。これにより、チップは、第２処理すべきデータを処理する過程において、依然として外部ストレージからデータを読み取ることができ、チップの読み取り効率を向上させる。

【0052】

例えば、第１処理すべきデータは、２つのチャンネルのデータを含み、本実施例に係る技術案に基づいて第１処理すべきデータのうちの第１個のチャンネルのデータを分割すると、第２処理すべきデータＡと第２処理すべきデータＢは、取得可能であり、本実施例に係る技術案に基づいて第１処理すべきデータのうちの第２個のチャンネルのデータを分割すると、第２処理すべきデータＣと第２処理すべきデータＤは、取得可能である。チップの入力チャンネル数が１であり、チップが処理リソースを呼び出して第２処理すべきデータＡを処理すると仮定すれば、チップは、第２処理すべきデータＡを処理すると同時に、チップのキャッシュは、外部ストレージ内から第２処理すべきデータＢを読み取る。チップは、第２処理すべきデータＡを処理完了した後、キャッシュに記憶された第２処理すべきデータＢを処理する。チップが第２処理すべきデータＢを処理すると同時に、チップのキャッシュは、外部ストレージ内から第２処理すべきデータＣを読み取る。同様な理由により、チップが第２処理すべきデータＣを処理すると同時に、チップのキャッシュは、外部ストレージ内から第２処理すべきデータＤを読み取る。

【0053】

３０２では、上記少なくとも２部のデータを上記第２処理すべきデータとして特定する。

【0054】

本実施では、チップのデータ処理量閾値と入力チャンネル数とに基づいて、第１処理すべきデータを分割して第２処理すべきデータを取得する。第２処理すべきデータのチャンネル数を入力チャンネル数以下にするとともに、第２処理すべきデータのデータ量をできるだけチップのデータ処理量閾値に近接することができ、更にチップの処理リソースを十分に利用し、チップの処理効率を向上させる。また、チップが第２処理すべきデータを処理するときにアイドル状態であるハードウェアリソースも減少可能であり、更にチップが第２処理すべきデータを処理する過程における読み取り効率は向上する。

【0055】

第１処理すべきデータのうちの各チャンネルのデータ量がチップのデータ処理量閾値よりも大きい場合に、上記実施例に係る技術案を用いて第１処理すべきデータのうちの各チャンネルのデータを分割して、チップの各チャンネルの入力データを取得すると、チップの処理効率及び読み取り効率は、向上可能である。しかし、畳み込みニューラルネットワークを用いて実際の応用を行う過程に、第１処理すべきデータのうちの各チャンネルのデータ量がチップのデータ処理量閾値よりも小さい可能性があり、その際、上記実施例に係る技術案によってチップの処理リソースを十分に利用可能である入力データを取得することができない。そこで、本発明の実施例は、１種の選択可能な実施形態として、第１処理すべきデータを処理する更に別の方法を提供する。ステップ１０２の具体的な実施形態は、下記のようになってもよい。
１１では、上記第１処理すべきデータのうち、第１チャンネルのデータと第２チャンネルのデータとを繋ぎ合わせることにより、上記第２処理すべきデータを取得する。

【0056】

本ステップでは、第１処理すべきデータは、少なくとも２つのチャンネルのデータを含む。

【0057】

第１処理すべきデータのうちの各チャンネルのデータ量がチップのデータ処理量閾値よりも小さいため、直接第１処理すべきデータのうちの１つのチャンネルデータをチップの単一チャンネルの入力データとすれば、チップの処理リソースは、十分に利用できなくなり、チップの処理効率は、低くなる。そこで、本実施例では、少なくとも２つのチャンネルのデータを繋ぎ合わせることにより、チップの処理リソースを十分に利用可能である入力データを取得する。

【0058】

第１処理すべきデータのうちの第１チャンネルデータと第２チャンネルデータとを繋ぎ合わせることを例とすると、第１チャンネルデータと第２チャンネルデータとに対して横方向繋ぎ合わせを行うことにより、第５処理すべきデータを取得する。ただし、第５処理すべきデータのデータ量は、チップのデータ処理量閾値以上である。第５処理すべきデータは、第２処理すべきデータのうちの１つのチャンネルのデータとされる。

【0059】

例えば、第１チャンネルデータのデータ量と第２チャンネルデータのデータ量とが何れも５キロバイトであり、チップのデータ処理量閾値が８キロバイトである。図４に示すように、第１チャンネルデータと第２チャンネルデータとに対して横方向繋ぎ合わせを行うことにより、データ量が１０キロバイトである繋ぎ合わせ後のデータを第２処理すべきデータのうちの１つのチャンネルのデータとして取得可能である。ただし、繋ぎ合わせ後のデータの幅（即ち、列数）は、第１チャンネルデータの幅（即ち、列数）と第２チャンネルデータの幅（即ち、列数）との和であり、繋ぎ合わせ後のデータの高さ（即ち、行数）は、第１チャンネルデータの高さ（即ち、行数）と第２チャンネルデータの高さ（即ち、行数）との和である。

【0060】

理解すべきことは、上記例示において、第１チャンネルデータと第２チャンネルデータとを繋ぎ合わせの対象として繋ぎ合わせて第２処理すべきデータのうちの１つのチャンネルのデータを取得する。実際の応用では、３つ又は３つ以上のチャンネルデータを繋ぎ合わせて第２処理すべきデータのうちの１つのチャンネルのデータを取得してもよい。本発明では、繋ぎ合わせ処理が行われるチャンネルデータの数について限定しない。

【0061】

好ましくは、上述した通り、データに対して畳み込み処理を行うときにデータに隣接するデータの情報を利用する必要がある。例えば、図４に示す第２処理すべきデータのうちの第１チャンネルにおけるデータｅに対して畳み込み処理を行うときに、データａの情報、データｂの情報、データｃの情報、データｄの情報、データｆの情報、データｇの情報、データｈの情報、データｉの情報を利用する必要がある。したがって、後の第２処理すべきデータに対する畳み込み処理が便利になるように、第１チャンネルデータと第２チャンネルデータとを繋ぎ合わせるときに、第１チャンネルデータと第２チャンネルデータとの間で補間を行うことで、第１チャンネルデータと第２チャンネルデータとを区別付けさせてもよい。図５に示すように、第１チャンネルデータと第２チャンネルデータの間に０で補間を行い、第２処理すべきデータのうちの１つのチャンネルのデータを取得する。

【0062】

理解すべきことは、図４と図５に示す第１チャンネルデータと第２チャンネルデータのサイズ（３＊３）が単に本発明の実施例に係る１つの例示であり、本発明に対する限定を構成しない。実際の応用では、任意サイズのデータに対して繋ぎ合わせを行ってもよい。

【0063】

上述したのは、何れも、第１処理すべきデータのうちの少なくとも２つのチャンネルのデータを繋ぎ合わせて第２処理すべきデータのうちの１つのチャンネルのデータを取得することである。実際の処理では、第１処理すべきデータのうちの少なくとも２つのチャンネルのデータに対して繋ぎ合わせを行うことにより、第２処理すべきデータのうちの少なくとも２つのチャンネルのデータを取得してもよい。例えば、第１処理すべきデータは、４つのチャンネルのデータ、即ち、第１チャンネルデータ、第２チャンネルデータ、第３チャンネルデータ、第４チャンネルデータを含む。入力チャンネル数は、２である。第１チャンネルデータと第２チャンネルデータとを繋ぎ合わせて第５チャンネルデータを取得する。第３チャンネルデータと第４チャンネルデータとを繋ぎ合わせて第６チャンネルデータを取得する。第５チャンネルデータを第２処理すべきデータのうちの１つのチャンネルデータのデータとし、第６チャンネルデータを第２処理すべきデータのうちのもう１つのチャンネルデータのデータとし、即ち、第２処理すべきデータは、２つのチャンネルのデータを含む。

【0064】

本実施例では、少なくとも２つのチャンネルのデータを繋ぎ合わせて第２処理すべきデータのうちの少なくとも１つのチャンネルのデータを取得することにより、チップの処理効率を向上させることができる。

【0065】

繋ぎ合わせて得られた第５処理すべきデータのデータ量がチップのデータ処理量閾値よりも大きい場合に、第５処理すべきデータを分けることにより、第５処理すべきデータから最適データセットを選択し、分けられたデータのデータ量をチップのデータ処理量閾値以下にしてもよい。これにより、チップの処理リソースが十分に利用可能であり、チップの処理効率が向上する。

【0066】

理解すべきことは、少なくとも２つのチャンネルのデータに対して繋ぎ合わせを行う方式は、第１処理すべきデータのうちの各チャンネルのデータ量がチップのデータ処理量閾値よりも小さい場合に適用可能であるだけでなく、第１処理すべきデータのうちの各チャンネルのデータ量がチップのデータ処理量閾値よりも大きい場合にも、少なくとも２つのチャンネルのデータを繋ぎ合わせることにより、第２処理すべきデータのうちの１つのチャンネルのデータを取得し、チップの処理効率を向上させる。

【0067】

例えば、チップのデータ処理量閾値が９キロバイトであり、第１処理すべきデータのうちの各チャンネルのデータのサイズが５＊４（即ち、４行４列）であり、第１処理すべきデータのうちの各チャンネルのデータ量が１０キロバイトであると仮定する。第１処理すべきデータのうちの各チャンネルのデータにおいて、４＊４（即ち、４行４列）のサイズのデータブロックのデータ量は、８キロバイトである。第１処理すべきデータのうちの各チャンネルのデータにおいて、３＊４（即ち、３行４列）のサイズのデータブロックのデータ量は、６キロバイトである。第１処理すべきデータのうちの少なくとも２つのチャンネルのデータに対して繋ぎ合わせを行わず、直接第１処理すべきデータのうちの各チャンネルのデータを分割すると、４＊４のサイズと１＊４のサイズとの２つの第２処理すべきデータは、得られる。ただし、１＊４のサイズの第２処理すべきデータのデータ量は、２キロバイトである。第１処理すべきデータのうちの２つのチャンネルのデータを繋ぎ合わせると、５＊８（即ち、５行８列）のサイズの第５処理すべきデータは、取得可能である。第５処理すべきデータから最適データセットを選定すると、サイズが何れも２＊８（即ち、２行８列）である２つの第２処理すべきデータと、サイズが１＊８（即ち、１行８列）である１つの第２処理すべきデータとは、取得可能である。ただし、サイズが２＊８である第２処理すべきデータのデータ量は、８キロバイトであり、サイズが１＊８である第２処理すべきデータのデータ量は、４キロバイトである。チップが４＊４のサイズの第２処理すべきデータを処理する時の処理効率と、チップが１＊８のサイズの第２処理すべきデータを処理する時の処理効率とは、同じである。しかし、チップが１＊８のサイズの第２処理すべきデータを処理する時の処理効率は、１＊４のサイズの第２処理すべきデータを処理する時の処理効率よりも高い。

【0068】

畳み込みニューラルネットワークにおける畳み込み層は、通常、直列接続の形態で接続される。図６に示す畳み込みニューラルネットワーク、第１層の畳み込み層から出力されたデータは、第２層の畳み込み層の入力データであり、第２層の畳み込み層から出力されたデータは、第３層の畳み込み層の入力データである。異なる畳み込み層の入力データのチャンネル数が異なる可能性があるため、畳み込み層の処理を経て畳み込み層に入力されたデータのチャンネル数も変更されることを意味する。例えば、図６に示す畳み込みニューラルネットワークにおいて、第１層の畳み込み層の入力データのチャンネル数が３であり、第２層の畳み込み層の入力データのチャンネル数が４であり、第３層の畳み込み層の入力データのチャンネル数が５であると仮定する。第１層の畳み込み層に入力されたデータのチャンネル数は、３から４に変更され、第２層の畳み込み層に入力されたデータのチャンネル数は、４から５に変更される。

【0069】

チップの入力チャンネル数と同様に、チップの出力チャンネル数も固定である。したがって、通常、１つの処理バッチ内で１つの畳み込み層の出力データのうちの全てのデータを外部ストレージに書き込むことができない。

【0070】

例えば（例２）、チップの出力チャンネル数が２であり、図６に示す畳み込みニューラルネットワークの第２層の畳み込み層の入力データのチャンネル数が４であると仮定する。チップは、第１層の畳み込み層の入力データに対して２回の畳み込み処理を行う必要がある。即ち、チップは、２つの処理バッチを実行してからこそ、第１層の畳み込み層の処理を完了可能である。

【0071】

チップが少なくとも２つの処理バッチを用いないと１層の畳み込み層の処理を完了できないときは、チップが１層の畳み込み層の処理を完了したときに、少なくとも２回のデータを読み取る操作と、少なくとも２回のデータを書き込む操作とを実行する必要があることを意味する。これは、チップへ大きな消費電力を招来し、チップの遅延を大きくし、チップの処理効率を低減する。次に、例２に引き続き、例（例３）を挙げると、第１層の畳み込み層の入力データがデータＡであると仮定する。第１層の畳み込み層の処理における第１個の処理バッチを実行するときに、チップは、外部ストレージに記憶されたデータＡと第１グループの重みをキャッシュに読み取り、第１グループの重みを用いてデータＡに対して畳み込み処理を行い、チャンネル数が２であるデータＢを取得し、データＢを外部ストレージに書き込む。第１層の畳み込み層の処理における第２個の処理バッチを実行するときに、チップは、外部ストレージに記憶されたデータＡと第２グループの重みをキャッシュに読み取り、第２グループの重みを用いてデータＡに対して畳み込み処理を行い、チャンネル数が２であるデータＣを取得し、データＣを外部ストレージに書き込む。チップがデータＡに対する畳み込み処理を完成する過程に、チップは、合計で、２回のデータを読み取る操作と２回のデータを書き込む操作を実行する。

【0072】

チップの消費電力及び遅延を低減し、且つチップの処理効率を向上させるために、本発明の実施例は、最適化方案を更に提供する。図７を参照すると、図７は、本発明の実施例に係る更に別のデータ処理方法の模式的なフローチャートである。

【0073】

７０１では、目標出力チャンネル数、上記チップの出力チャンネル数、処理バッチ数及び上記チップの参照値を取得する。

【0074】

本実施例において、チップは、メモリを含み、上記第２処理すべきデータ及び上記畳み込みカーネルのパラメータは、当該メモリに記憶される。

【0075】

上記目標出力チャンネル数は、現在畳み込み層（例えば、例３における第１層の畳み込み層）の次層の畳み込み層の入力データのチャンネル数である。

【0076】

本発明の実施例において、上記処理バッチ数とは、チップが現在畳み込み層の第２処理すべきデータに対する処理を完成するのに実行必要な処理バッチの回数を指す。例えば、チップが２つの処理バッチでこそ第２処理すべきデータに対する処理を完成できる場合に、処理バッチ数は、２となる。

【0077】

上記チップの参照値を解釈する前に、先にチップの時分割多重化周期を定義する。チップの時分割多重化周期は、少なくとも１つの処理バッチを含んでもよい。チップは、１つの処理バッチによって１つの処理結果を取得可能である。チップは、１つの時分割多重化周期内に少なくとも１つの処理結果を取得可能である。１つの時分割多重化周期内に、チップは、得られた処理結果をキャッシュに記憶し、当該時分割多重化周期内における全ての処理バッチが実行完了されるまで、当該時分割多重化周期内で得られた全ての処理結果をメモリに書き込む。例えば、チップの時分割多重化周期は、２つの処理バッチを含む。チップは、第１個の処理バッチによって処理結果Ａを取得した後、処理結果Ａをメモリに書き込む操作を実行せずに、処理結果Ａをキャッシュに記憶する。チップは、第２個の処理バッチによって処理結果Ｂを取得した後、処理結果Ａを処理結果Ｂとともにメモリに書き込む。

【0078】

本発明の実施例において、チップの参照値は、チップの１つの時分割多重化周期に含まれる処理バッチの数の最大値である。例えば、チップの入力チャンネル数は、２であり、チップの出力チャンネル数は、２である。チップの参照値が４であることは、チップの１つの時分割多重化周期が最大で４つの処理バッチを含むことを意味する。図８に示すように、チップの時分割多重化周期は、１つの処理バッチ（当該処理バッチにより、ｙ［０］とｙ［１］の２つのチャンネルの出力データは、取得可能である）を含んでもよく、更に、チップの時分割多重化周期は、２つの処理バッチ（この２つの処理バッチにより、ｙ［０］、ｙ［１］、ｙ［２］とｙ［３］の４つのチャンネルの出力データは、取得可能である）を含んでもよく、更に、チップの時分割多重化周期は、３つの処理バッチ（この３つの処理バッチにより、ｙ［０］、ｙ［１］、ｙ［２］、ｙ［３］、ｙ［４］とｙ［５］の６つのチャンネルの出力データは、取得可能である）を含んでもよく、更に、チップの時分割多重化周期は、４つの処理バッチ（この４つの処理バッチにより、ｙ［０］、ｙ［１］、ｙ［２］、ｙ［３］、ｙ［４］、ｙ［５］、ｙ［６］とｙ［７］の８つのチャンネルの出力データは、取得可能である）を含んでもよい。

【0079】

７０２では、上記出力チャンネル数が上記目標出力チャンネル数よりも小さい場合に、上記第２処理すべきデータ及び上記畳み込みカーネルのパラメータを取得する。

【0080】

本実施例では、チップの出力チャンネル数が目標出力チャンネルデータよりも小さい場合に、メモリに記憶された第２処理すべきデータ及び畳み込みカーネルのパラメータをキャッシュに読み取る。こうして、現在畳み込み層（例えば、例３における第１層の畳み込み層）の処理を完了する前に、メモリからデータを読み取る必要がなくなる。例えば、本実施例に係る技術案をチップに用いる場合に、第２処理すべきデータ及び畳み込みカーネルのパラメータは、チップのメモリに記憶されている。チップは、本ステップを実行する過程に、メモリに記憶された第２処理すべきデータ及び畳み込みカーネルのパラメータをチップのキャッシュに読み取る。こうして、現在畳み込み層の処理を完了する前に、チップがメモリからデータを読み取る必要はなくなる。

【0081】

上記畳み込みカーネルのパラメータは、現在畳み込み層が第２処理すべきデータに対して畳み込み処理を実行するのに必要な全ての重みを含む。具体的に、上記畳み込みカーネルパラメータは、少なくとも１グループの重み（以下では、ｚグループの重みと呼称）を含み、ｚは、上記処理バッチ数である。

【0082】

ある実現可能な方式において、目標出力チャンネル数とチップの出力チャンネル数との商に対して切り上げることにより、処理バッチ数を取得可能である。例えば、目標出力チャンネル数が９であり、チップの出力チャンネル数が４である場合に、目標出力チャンネル数とチップの出力チャンネル数との商は、９／４となり、９／４に対して切り上げて３を取得し、即ち、処理バッチ数は、３となる。

【0083】

７０３では、上記処理バッチ数が上記参照値以下である場合に、上記チップを介して、上記少なくとも１グループの重みのうちの１グループの重みを用いて上記第２処理すべきデータに対して畳み込み処理を行って１グループの第２データを取得し、上記１グループの第２データを上記チップのキャッシュに記憶する。

【0084】

処理バッチ数が参照値以下である場合は、チップが１つの時分割多重化周期によって現在畳み込み層の第２処理すべきデータに対する処理を完了可能であることを意味する。

【0085】

チップは、ｚグループの重みのうちの１グループの重みを用いて第２処理すべきデータに対して畳み込み処理を行うと、１つの処理バッチを完了可能であり、１グループの第２データを取得する。チップは、１グループの第２データを取得した後、当該グループの第２データをメモリに書き込む操作を実行せずに、当該グループの第２データをキャッシュに記憶する。

【0086】

７０４では、上記少なくとも１グループの重みのうちの各グループの重みをそれぞれ用いて上記第２処理すべきデータに対して畳み込み処理を行って少なくとも１グループの第２データを取得した場合に、上記キャッシュに記憶された上記少なくとも１グループの第２データを上記第１データとして上記チップのメモリに書き込む。

【0087】

ステップ７０２に示すように、ｚグループの重みのうちの１グループの重みを用いて第２処理すべきデータに対して畳み込み処理を行うと、１グループの第２データを取得可能である。ｚグループの重みのうちの各グループの重みをそれぞれ用いて第２処理すべきデータに対して畳み込み処理を行うことにより、現在畳み込み層の第２処理すべきデータに対する畳み込み処理を完了可能であり、ｚグループの第２データを取得する。

【0088】

例えば（例４）、畳み込みカーネルのパラメータは、２グループの重み、即ち、重みＡと重みＢを含む。重みＡを用いて第２処理すべきデータに対して畳み込み処理を行うと、第２データＡを取得可能であり、重みＢを用いて第２処理すべきデータに対して畳み込み処理を行うと、第２データＢを取得可能である。

【0089】

チップは、ｚグループの第２データを取得した後、キャッシュに記憶されたｚグループの第２データを第１データとしてメモリに書き込む。

【0090】

例４に引き続いて例を挙げると、チップは、重みＡを用いて第２処理すべきデータに対して畳み込み処理を行って第２データＡを取得した後、第２データＡをキャッシュに記憶する。チップは、次に重みＢを用いて第２処理すべきデータに対して畳み込み処理を行って第２データＢを取得し、第２データＢをキャッシュに記憶する。その際、第２データＡ及び第２データＢは、現在畳み込み層が第２処理すべきデータに対して畳み込み処理を行って得た第１データそのものである。チップは、第２データＢをキャッシュに記憶した後、キャッシュに記憶された第２データＡ及び第２データＢをメモリに書き込む。

【0091】

例４から分かるように、チップは、重みＡ及び重みＢを用いて第２処理すべきデータに対して畳み込み処理を行う過程に、１回のデータを読み取る操作及び１回のデータを書き込む操作のみを実行した。これにより、チップの消費電力が低減され、チップの処理効率が向上する。

【0092】

７０５では、上記処理バッチ数が上記参照値よりも大きい場合に、上記少なくとも１グループの重みから、少なくとも１グループの重みを時分割多重化重みセットとして選定する。

【0093】

処理バッチ数が参照値よりも大きい場合は、チップが少なくとも２つの時分割多重化周期によって現在畳み込み層の第２処理すべきデータに対する処理を完了する必要があることを意味する。チップのリソースが十分に利用されるように、ｚグループの重みから少なくとも１グループの（以下では、ｘグループと呼称）重みを時分割多重化重みセットとして選定する。こうして、後で時分割多重化重みセットを用いて第２処理すべきデータに対して畳み込み処理を行うことは、便利になる。ただし、ｘは、参照値に等しい。例えば、チップの参照値が４であり、ｚ＝９を満たすと、９グループの重みから４グループの重みを時分割多重化重みセットとして選定する。

【0094】

７０６では、上記時分割多重化重みセットにおける１グループの重みを用いて上記第２処理すべきデータに対して畳み込み処理を行い、１グループの第３データを取得し、上記１グループの第３データを上記チップのキャッシュに記憶する。

【0095】

データ処理装置は、時分割多重化重みセットにおける１グループの重みを用いて第２処理すべきデータに対して畳み込み処理を行い、１つの処理バッチを完了可能であり、１グループの第３データを取得する。データ処理装置は、１グループの第３データを取得した後、当該グループの第３データをメモリに書き込む操作を実行せずに、当該グループの第３データをチップのキャッシュに記憶する。好ましくは、本ステップにおけるデータ処理装置は、チップである。

【0096】

７０７では、上記時分割多重化重みセットにおける各グループの重みをそれぞれ用いて上記第２処理すべきデータに対して畳み込み処理を行い、少なくとも１グループの第３データを取得した場合に、上記キャッシュに記憶された上記少なくとも１グループの第３データを上記メモリに書き込む。

【0097】

ステップ７０６に示すように、時分割多重化重みセットにおける１グループの重みを用いて第２処理すべきデータに対して畳み込み処理を行うと、１グループの第３データを取得可能である。時分割多重化重みセットにおける各グループの重みをそれぞれ用いて第２処理すべきデータに対して畳み込み処理を行うことにより、ｘグループの第３データを取得可能である。チップは、ｘグループの第３データを取得した後、キャッシュに記憶されたｘグループの第３データをメモリに書き込む。

【0098】

チップは、１つの時分割多重化周期の処理によってｘグループの第３データ（即ち、ｘ個のチャンネルの出力データ）を取得した後、第２処理すべきデータに対して畳み込み処理を行うことで残りのｚ－ｘ個のチャンネルの出力データを取得する必要がある。

【0099】

ｚ－ｘがｘ以下である場合に、ステップ７０３からステップ７０４に供される技術案に基づいて、ｚ個のチャンネルの出力データが得られるまで、ｚグループの重みのうち、時分割多重化重みセット以外の重みを用いて第２処理すべきデータに対して畳み込み処理を行い、現在畳み込み層の第２処理すべきデータに対する畳み込み処理を完了する。ｚ－ｘがｘよりも大きい場合に、ステップ７０５からステップ７０７に供される技術案に基づいて、ｚ個のチャンネルの出力データが得られるまで、ｚグループの重みのうち、時分割多重化重みセット以外の重みを用いて第２処理すべきデータに対して畳み込み処理を行い、現在畳み込み層の第２処理すべきデータに対する畳み込み処理を完了する。

【0100】

例えば、目標出力チャンネル数は、１６であり、チップの出力チャンネル数は、２であり、チップの参照値は、４であり、ｚ＝８である。チップの第１個の時分割多重化周期の処理により、８グループの第３データ（第３データＡ、第３データＢ、第３データＣ、第３データＤ、第３データＥ、第３データＦ、第３データＧ及び第３データＨを含む）を目標出力データのうちの前８個のチャンネルのデータとして取得可能である。第２個の時分割多重化周期の処理により、更に、８グループの第３データ（第３データＩ、第３データＪ、第３データＫ、第３データＬ、第３データＭ、第３データＮ、第３データＯ、第３データＰを含む）を目標出力データのうちの後８個のチャンネルのデータとして取得可能である。第１個の時分割多重化周期内に、チップは、８グループの重みから４グループの重みを第１個の時分割多重化周期の時分割多重化重みセットとして選定する。第１個の時分割多重化周期の時分割多重化重みセットを用いて第４個の処理バッチを完了して第３データＡ、第３データＢ、第３データＣ、第３データＤ、第３データＥ、第３データＦ、第３データＧ及び第３データＨという８つのグループの第３データを取得した後、キャッシュに記憶された第３データＡ、第３データＢ、第３データＣ、第３データＤ、第３データＥ、第３データＦ、第３データＧ及び第３データＨを一度でメモリに書き込む。第２個の時分割多重化周期内に、チップは、８グループの重みのうち、第１個の時分割多重化重みセット以外の４グループの重みを、第２個の時分割多重化周期の時分割多重化重みセットとする。第２個の時分割多重化周期の時分割多重化重みセットを用いて第４個の処理バッチを完了して第３データＩ、第３データＪ、第３データＫ、第３データＬ、第３データＭ、第３データＮ、第３データＯ、第３データＰという８グループの第３データを取得した後、キャッシュに記憶された第３データＩ、第３データＪ、第３データＫ、第３データＬ、第３データＭ、第３データＮ、第３データＯ、第３データＰを一度でメモリに書き込む。これまでに、チップは、２つの時分割多重化周期の処理によって、１６個のチャンネル（即ち、第３データＡ、第３データＢ、第３データＣ、第３データＤ、第３データＥ、第３データＦ、第３データＧ、第３データＨ、第３データＩ、第３データＪ、第３データＫ、第３データＬ、第３データＭ、第３データＮ、第３データＯ及び第３データＰ）の目標出力データを取得した。

【0101】

上記例示において、本実施例に係る技術案で処理しないと、各処理バッチの後で２グループの第３データをメモリに書き込む操作を１回行う必要がある。例えば、第１個の時分割多重化周期内の第１個の処理バッチの処理を経て第３データＡ及び第３データＢを取得した後、第３データＡ及び第３データＢをメモリに書き込む。第１個の時分割多重化周期内の第２個の処理バッチの処理を経て第３データＣ及び第３データＤを取得した後、第３データＣ及び第３データＤをメモリに書き込む。こうして、チップは、メモリへデータを書き込む操作を８回実行する必要がある。上記例示では、本実施例に係る技術案で処理した後、チップは、メモリへデータを書き込む操作を２回のみ実行すればよい。明らかに、本実施例に係る技術案によると、チップがメモリへデータを書き込む操作の回数は、減少可能であり、チップの消費電力は、低減され、チップの処理効率は、向上する。

【0102】

好ましくは、本実施例において、第１処理すべきデータは、第１処理すべきデータセットを含み、第２処理すべきデータは、第２処理すべきデータセットを含み、第２処理すべきデータセットには、第１処理すべきデータセットにおける各処理すべきデータに対応するデータが存在する。例えば、第１処理すべきデータセットは、第１処理すべきデータＡ及び第１処理すべきデータＢを含む。入力チャンネル数に基づいて第１処理すべきデータＡを処理し、第２処理すべきデータａ及び第２処理すべきデータｂを取得する。入力チャンネル数に基づいて第１処理すべきデータＢを処理し、第２処理すべきデータｃ及び第２処理すべきデータｄを取得する。第２処理すべきデータａ、第２処理すべきデータｂ、第２処理すべきデータｃ及び第２処理すべきデータｄを第２処理すべきデータセットとする。第２処理すべきデータセットにおける第２処理すべきデータａ及び第２処理すべきデータｂは、第１処理すべきデータＡに対応するデータであり、第２処理すべきデータセットにおける第２処理すべきデータｃ及び第２処理すべきデータｄは、第１処理すべきデータＢに対応するデータである。

【0103】

第１処理すべきデータセットが少なくとも２つのデータを含む場合に、少なくとも２つのデータを処理することにより、第２処理すべきデータセットを取得可能である。第２処理すべきデータセットにおける全てのデータが処理完了されるまで、第２処理すべきデータセットにおける各データに対して畳み込み処理をそれぞれ行い、第１処理すべきデータセットの処理結果を取得可能である。例えば、第１処理すべきデータセットは、画像Ａ及び画像Ｂを含む。画像Ａと画像Ｂとのチャンネル数は、何れも３である、ただし、画像Ａは、第１チャンネルデータ、第２チャンネルデータ、第３チャンネルデータを含み、画像Ｂは、第４チャンネルデータ、第５チャンネルデータ、第６チャンネルデータを含む。入力チャンネル数は、２である。第１チャンネルデータから最適データセットを選定して第７チャンネルデータを取得する。第２チャンネルデータから最適データセットを選定して第８チャンネルデータを取得する。第３チャンネルデータから最適データセットを選定して第９チャンネルデータを取得する。第４チャンネルデータから最適データセットを選定して第１０チャンネルデータを選定する。第５チャンネルデータから最適データセットを選定して第１１チャンネルデータを取得する。第６チャンネルデータから最適データセットを選定して第１２チャンネルデータを取得する。第７チャンネルデータ及び第８チャンネルデータを第２処理すべきデータａとする。第９チャンネルデータ及び第１０チャンネルデータを第２処理すべきデータｂとする。第１１チャンネルデータ及び第１２チャンネルデータを第２処理すべきデータｃとする。チップは、第１個の処理バッチにおいて第２処理すべきデータａを処理して処理結果１を取得可能である。チップは、第２個の処理バッチにおいて第２処理すべきデータｂを処理して処理結果２を取得可能である。チップは、第３つの処理バッチにおいて第２処理すべきデータｃを処理して処理結果３を取得可能である。処理結果１、処理結果２及び処理結果３は、第１処理すべきデータセットにおける各チャンネルの最適データセットに対して畳み込み処理を行って得られた結果である。同様な理由にて、チップは、第１処理すべきデータセットにおける、最適データセット以外のデータを処理して処理結果４を取得可能である。処理結果１、処理結果２、処理結果３及び処理結果４は、第１処理すべきデータセットを処理して得られた処理結果である。

【0104】

チップの出力チャンネル数が目標出力チャンネル数よりも小さい場合に、本実施例では、１つの時分割多重化周期の処理が完了されるまで、各処理バッチで得られた結果をキャッシュに記憶し、キャッシュに記憶されたデータを一括してメモリに書き込むため、チップが第２処理すべきデータに対して畳み込み処理を完了するのに実行必要なデータ書き込みの回数は、減少可能であり、チップの消費電力は、低減され、チップの処理効率は、向上する。

【0105】

チップは、第２処理すべきデータを取得した後、処理リソース（例えば、畳み込み処理ユニットの計算リソース）を呼び出して第２処理すべきデータに対して畳み込み処理を行う。当該処理手順は、以下の２種の方式のうちの何れか１種で実施され得る。

【0106】

１．上記畳み込みカーネルのパラメータを用いて上記第２処理すべきデータに対して畳み込み処理を行うことにより、上記第２処理すべきデータのうちの全てのデータを上記チップの出力チャンネルのうちの１つのチャンネルにマッピングし、第１データのうちの１つのチャンネルのデータ（以下では、第４データと呼称）を取得する。チップは、第２処理すべきデータのうちの全てのデータをチップの各出力チャンネルにそれぞれマッピングするまで処理し続ける。

【0107】

例えば（例５）、チップは、２つの入力チャンネルを含む。第２処理すべきデータが２つのチャンネルのデータをそれぞれチップの２つの入力チャンネルの入力データとして含むと仮定する。図９ａに示すように、第１個の処理バッチ内に、チップは、畳み込みカーネルのパラメータにおける重みを用いて入力チャンネル１の入力データと入力チャンネル２の入力データとに対して畳み込み処理を行うことにより、入力チャンネル１の入力データと入力チャンネル２の入力データとを何れも出力チャンネル１にマッピングし、出力チャンネル１の出力データを取得してもよい。図９ｂに示すように、第２個の処理バッチ内に、チップは、畳み込みカーネルのパラメータにおける重みを用いて入力チャンネル１の入力データと入力チャンネル２の入力データとに対して畳み込み処理を行うことにより、入力チャンネル１の入力データと入力チャンネル２の入力データとを何れも出力チャンネル２にマッピングし、出力チャンネル２の出力データを取得してもよい。出力チャンネル１の出力データ及び出力チャンネル２の出力データは、第１データそのものである。つまり、第１データは、２つのチャンネルのデータを含む。ただし、一方のチャンネルのデータは、出力チャンネル１の出力データであり、他方のチャンネルのデータは、出力チャンネル２の出力データである。

【0108】

２．上記畳み込みカーネルのパラメータを用いて上記第２処理すべきデータに対して畳み込み処理を行うことにより、上記第２処理すべきデータのうちの１つのチャンネルのデータを上記チップの各出力チャンネルにそれぞれマッピングし、第５データを取得し、第５データが第１データに属する。第２処理すべきデータのうちの各チャンネルのデータをチップの各チャンネルにそれぞれマッピングして少なくとも１つの第６データを取得するまで、処理し続ける。第５データと少なくとも１つの第６データとを加算すると、第１データは、取得可能である。

【0109】

例えば（例６）、チップは、２つの入力チャンネルを含む。第２処理すべきデータが２つのチャンネルのデータをそれぞれチップの２つの入力チャンネルの入力データとして含むと仮定する。図１０ａに示すように、第１個の処理バッチ内に、チップは、畳み込みカーネルのパラメータにおける重みを用いて入力チャンネル１の入力データに対して畳み込み処理を行うことにより、入力チャンネル１の入力データを出力チャンネル１及び出力チャンネル２にそれぞれマッピングし、第５データを取得してもよい。ただし、第５データは、出力チャンネル１の出力データに属する第７データと、出力チャンネル２の出力データに属する第８データとを含む。図１０ｂに示すように、第２個の処理バッチ内に、チップは、畳み込みカーネルのパラメータにおける重みを用いて入力チャンネル２の入力データと入力チャンネル２の入力データとに対して畳み込み処理を行うことにより、入力チャンネル１の入力データ及び入力チャンネル２の入力データをそれぞれ出力チャンネル１及び出力チャンネル２にマッピングし、第６データを取得してもよい。ただし、第６データは、出力チャンネル１の出力データに属する第９データと、出力チャンネル２の出力データに属する第１０データとを含む。第５データにおける第７データと、第６データにおける第９データとを加算すると、出力チャンネル１の出力データは、取得可能である。第５データにおける第８データと第６データにおける第１０データとを加算すると、出力チャンネル２の出力データは、取得可能である。出力チャンネル１の出力データ及び出力チャンネル２の出力データは、第１データそのものである。つまり、第１データは、２つのチャンネルのデータを含む。ただし、一方のチャンネルのデータは、出力チャンネル１の出力データであり、他方のチャンネルのデータは、出力チャンネル２の出力データである。

【0110】

上記第１種の実現方式において、チップは、第２処理すべきデータに対して１回の読み取り操作を行い、畳み込みカーネルのパラメータにおける重みに対して少なくとも１回の読み取り操作を行う必要がある。例えば、例５において、第１個の処理バッチで使用された重みは、入力チャンネルのデータを出力チャンネル１にマッピングした重みであり、第２個の処理バッチで使用された重みは、入力チャンネルのデータを出力チャンネル２にマッピングした重みである。即ち、２つの処理バッチで使用された重みは、異なる。一方で、２つの処理バッチにおける入力データは、何れも第２処理すべきデータである。

【0111】

上記第２種の実現方式において、チップは、第２処理すべきデータに対して少なくとも１回の読み取り操作を行い、畳み込みカーネルのパラメータにおける重みに対して１回の読み取り操作を行う必要がある。例えば、例６において、２つの処理バッチで使用された重みは、何れも、入力チャンネルのデータを出力チャンネル１にマッピングした重みと、入力チャンネルのデータを出力チャンネル２にマッピングした重みとを含む。一方で、第１個の処理バッチにおける入力データは、入力チャンネル１の入力データ（即ち、第２処理すべきデータのうちの１つのチャンネルのデータ）であり、第２個の処理バッチにおける入力データは、入力チャンネル２の入力データ（即ち、第２処理すべきデータにおけるもう１つのチャンネルのデータ）である。

【0112】

第２処理すべきデータのうちの１つのチャンネルのデータ量が畳み込みカーネルのパラメータにおける重みのデータ量よりも大きいため、第１種の実現方式におけるチップの読み取り効率は、第２種の実現方式の読み取り効率よりも高くなる。しかし、第１種の実現方式におけるチップのキャッシュの記憶空間は、第２種の実現方式におけるチップのキャッシュの記憶空間よりも大きい。即ち、第１種の実現方式におけるチップのコストは、第２種の実現方式におけるチップよりも高い。

【0113】

第１処理すべきデータのデータ量が大きいが、チップのキャッシュの記憶空間が小さいため、チップは、通常、外付けメモリを必要とする。当該メモリは、第１処理すべきデータ及び畳み込みカーネルのパラメータを記憶する。

【0114】

ある実現可能な方式において、図１１に示すように、メモリは、グローバルメモリを含み、当該グローバルメモリは、チップによってアクセスされ得るとともに、チップ以外のハードウェアによってアクセスされ得る。例えば、チップは、端末（例えば、コンピュータ、サーバ）に属し、当該グローバルメモリは、チップによってアクセスされ得るとともに、端末のＣＰＵによってアクセスされ得る。その際、第１処理すべきデータと畳み込みカーネルのパラメータは、グローバルメモリに記憶される。

【0115】

別の実現可能な方式において、図１２に示すように、メモリは、ローカルメモリを含み、当該ローカルメモリは、チップでしかアクセスされ得ない。例えば、チップは、端末（例えば、コンピュータ、サーバ）に属し、当該ローカルメモリは、チップのみによってアクセスされ得、チップ以外のハードウェア（例えば、端末のＣＰＵ）は、当該ローカルメモリへアクセスできない。その際、第１処理すべきデータと畳み込みカーネルのパラメータは、グローバルメモリに記憶される。

【0116】

更に別の実現可能な方式において、図１３に示すように、メモリは、グローバルメモリとローカルメモリを含み、当該グローバルメモリは、チップによってアクセスされ得るとともに、チップ以外のハードウェアによってアクセスされ得、当該ローカルメモリは、チップによってアクセスされ得るが、チップ以外のハードウェアによってアクセスされ得ない。

【0117】

その際、以下の４種の記憶方式のうちの何れか１種により、第１処理すべきデータと畳み込みカーネルのパラメータを記憶してもよい。
１．第２処理すべきデータと畳み込みカーネルのパラメータは、何れもグローバルメモリに記憶可能である。
２．第２処理すべきデータと畳み込みカーネルのパラメータは、同様に何れもローカルメモリに記憶可能である。
３．第２処理すべきデータがグローバルメモリに記憶されるが、畳み込みカーネルのパラメータは、ローカルメモリに記憶される。
４．第２処理すべきデータがローカルメモリに記憶されるが、畳み込みカーネルのパラメータは、グローバルメモリに記憶される。

【0118】

上記３種の実現可能な方式において、グローバルメモリがチップによってアクセスされ得るだけでなく、加速用以外のハードウェアによってアクセスされ得るが、ローカルメモリがチップのみによってアクセスされ得るため、チップがローカルメモリへアクセスする速度は、グローバルメモリへアクセスする速度よりも速い。しかし、ローカルメモリを追加すると、チップを含める端末（例えば、コンピュータ、サーバ）のコストは、増加してしまう。実際の使用において、ユーザは、コスト及び自身の需要（例えば、チップの処理速度）に応じて適切な記憶方式を選定可能であり、本発明ではこれについて限定しない。

【0119】

好ましくは、本発明の実施例に係る技術案を実施する前に、ＣＰＵが畳み込みニューラルネットワークに対してコンパイルを行うことにより、プリ―セットデータを取得してもよい。プリ―セットデータには、畳み込みニューラルネットワークにおける各層の畳み込み層の入力データのチャンネル数（即ち、第１処理すべきデータの入力チャンネル数）と、畳み込みニューラルネットワークにおける各層の畳み込み層の入力データのうちの各データのデータ量と、チップのデータ処理量閾値と、チップの入力チャンネル数と、チップの出力チャンネル数と、チップの参照値と、目標出力チャンネルデータと、処理バッチ数とのうちの少なくとも１種の情報が付加されている。また、第１処理すべきデータを処理して第２処理すべきデータ（例えば、ステップ１０２の実現方式、ステップ３０１～ステップ３０２の実現方式）を取得することは、チップが第２処理すべきデータを処理する前に完了させ得る。プリ―セットデータには、第２処理すべきデータの記憶アドレス情報が更に付加されてもよい。こうして、チップは、第２処理すべきデータを処理するときに、第２処理すべきデータの記憶アドレス情報に基づいて第２処理すべきデータを特定してもよい。プリ―セットデータには、処理パラメータの記憶アドレス情報が更に付加されてもよい。好ましくは、第２処理すべきデータの記憶アドレス情報、及び処理パラメータの記憶アドレス情報は、何れも線形表の形式でグローバルメモリ又はローカルメモリに記憶されてもよい。ただし、線形表は、チェーン表を含む。第２処理すべきデータの記憶アドレス情報と処理パラメータの記憶アドレス情報とが何れもチェーン表の形式でグローバルメモリ又はローカルメモリに記憶された場合に、チェーン表のノードのアドレスに基づいてグローバルメモリ又はローカルメモリから第２処理すべきデータを読み取ってもよいし、チェーン表のノードのアドレスに基づいてグローバルメモリ又はローカルメモリ）から畳み込みカーネルのパラメータを読み取ってもよい。これにより、グローバルメモリの割当は、より良くて柔軟になり、ローカルメモリの割当もより良くて柔軟になる。

【0120】

本発明の実施例に係る技術案に基づき、本発明の実施例は、幾つかの可能な応用場面を更に提供する。

【0121】

場面１では、ディープラーニング技術の発展につれ、深層畳み込みニューラルネットワークの機能がますます強くなり、その応用分野も多くなっており、その中、自動運転が含まれている。

【0122】

自動運転分野において、車両に配備された人工知能（ａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）チップは、車両のカメラヘッドで収集された道路状況画像を処理することにより、車両の速度、操舵角等の制御情報を取得してもよい。更に、車両の速度、操舵角に基づいて車両の運動を制御可能であり、自動運転を図る。

【0123】

例えば、車両ａの車載ＡＩチップは、深層畳み込みニューラルネットワークを用いて道路状況画像に対して畳み込み処理を行うことにより、道路状況画像の意味情報を抽出してもよい。更に、道路状況画像の意味情報及び制御マッピング関係（当該制御マッピング関係は、道路状況画像の意味情報と車両の速度及び／又は操舵角との間のマッピング関係である。当該制御マッピング関係は、深層畳み込みニューラルネットワークがトレーニング過程に学習したマッピング関係である）に基づいて、車両ａの速度及び／又は操舵角（理解すべきことは、制御マッピング関係が道路状況画像の意味情報と車両の速度との間のマッピング関係を含む場合に、車両ａの速度を取得可能であり、制御マッピング関係が道路状況画像の意味情報と車両の操舵角との間のマッピング関係を含む場合に、車両ａの操舵角を取得可能である）を取得してもよい。

【0124】

異なる車両に配備されたＡＩチップが異なる可能性があるが、本発明の実施例に係る技術案が非常に高い汎用性を有するため、本発明の実施例に係る技術案を用いると、任意の車載ＡＩチップが深層畳み込みニューラルネットワークを用いて道路状況画像を処理する処理速度は、向上可能である。例えば、車載ＡＩチップが道路状況画像を読み取る過程において、車載ＡＩチップの入力チャンネル数と車載ＡＩチップのデータ処理量閾値とに基づいて道路状況画像を分割し、深層畳み込みニューラルネットワークを用いて、分割された画像に対して畳み込み処理を行ってもよい。

【0125】

場面２では、政府、企業、個人の安全管理意識の強化及びスマートハードウェア機器の普及とともに、人顔認識機能を有するますます多くの入退室機器は、実際の応用に投入されてきている。入退室機器は、カメラヘッドを介して来訪者の人顔画像を認識すべき画像として収集する。入退室機器のＡＩチップは、深層畳み込みニューラルネットワークを用いて認識すべき画像に対して人顔特徴抽出処理を行い、認識すべき画像の人顔特徴データを取得し、更に人顔特徴データに基づいて来訪者の身分を特定してもよい。

【0126】

ＡＩチップが深層畳み込みニューラルネットワークを用いて認識すべき画像に対して人顔特徴抽出処理を行う速度が更に高められるように、ＡＩチップは、本発明の実施例に係る技術案に基づいて深層畳み込みニューラルネットワークを用いて認識すべき画像に対して人顔特徴抽出処理を行ってもよい。

【0127】

例えば、入退室機器が収集された認識すべき画像を外部ストレージに記憶すると仮定する。ＡＩチップは、外部ストレージから認識すべき画像を読み取る過程に、ＡＩチップの入力チャンネル数とＡＩチップのデータ処理量閾値とに基づいて認識すべき画像を分割し、深層畳み込みニューラルネットワークを用いて、分割された画像に対して畳み込み処理を行い、認識すべき画像の人顔特徴データを取得してもよい。更に、ＡＩチップは、本発明の実施例に係る技術案に基づいて認識すべき画像の人顔特徴データを外部ストレージに記憶してもよい。当業者であれば理解できるように、具体的な実施形態の上記方法において、各ステップの記載順は、厳格的な実行順を意味しておらず、実施過程について如何なる限定も構成しておらず、各ステップの具体的な実行順は、その機能及び可能な内在論理に基づいて特定されるべきである。

【0128】

本発明の実施例の方法が上記のように詳細に説明されたが、以下では、本発明の実施例の装置を提供する。

【0129】

図１４を参照すると、図１４は、本発明の実施例に係るデータ処理装置１の構造模式図である。当該装置１は、チップ１１を含む。当該チップ１１は、取得ユニット１１１、第１処理ユニット１１２、第２処理ユニット１１３、メモリ１１４、読み取りユニット１１５及び書き込みユニット１１６を備える。
取得ユニット１１１は、第１処理すべきデータと入力チャンネル数とを取得する。前記第１処理すべきデータのチャンネル数は、前記入力チャンネル数よりも大きい。
第１処理ユニット１１２は、前記入力チャンネル数に基づいて前記第１処理すべきデータを処理することにより、第２処理すべきデータを取得する。ただし、前記第２処理すべきデータに対応するチャンネル数は、前記入力チャンネル数以下である。
前記取得ユニット１１１は、更に、処理パラメータを取得する。
第２処理ユニット１１３は、前記処理パラメータを用いて前記第２処理すべきデータを処理することにより、第１データを取得する。

【0130】

ある実現可能な方式において、前記処理パラメータは、畳み込みカーネルのパラメータを含み、前記装置は、チップを含み、前記入力チャンネル数は、前記チップの入力チャンネル数である。

【0131】

ある実現可能な方式において、前記第２処理ユニット１１３は、
前記チップ１１を介して、前記畳み込みカーネルのパラメータを用いて前記第２処理すべきデータに対して畳み込み処理を行うことにより、前記第１データを取得する。

【0132】

ある実現可能な方式において、前記第１処理ユニット１１２は、
前記入力チャンネル数に応じて、前記第１処理すべきデータを少なくとも２部のデータに分け、前記少なくとも２部のデータを前記第２処理すべきデータとして特定する。各部のデータに対応するチャンネル数は、前記入力チャンネル数以下であり、且つ前記各部のデータのうちの単一チャンネルのデータ量は、データ処理量閾値以下である。
ある実現可能な方式において、前記第１処理すべきデータは、少なくとも２つのチャンネルのデータを含む。

【0133】

ある実現可能な方式において、前記少なくとも２つのチャンネルのデータは、第１チャンネルのデータと第２チャンネルのデータとを含み、第１処理ユニット１１２は、
前記第１処理すべきデータのうち、第１チャンネルのデータと第２チャンネルのデータとを繋ぎ合わせることにより、前記第２処理すべきデータを取得する。前記第２処理すべきデータに対応するチャンネル数は、前記入力チャンネル数以下であり、且つ前記第２処理すべきデータのうちの単一チャンネルのデータ量は、データ処理量閾値以下である。

【0134】

ある実現可能な方式において、前記第１処理すべきデータは、第１処理すべきデータセットを含み、前記第２処理すべきデータは、第２処理すべきデータセットを含み、前記第２処理すべきデータセットには、前記第１処理すべきデータセットにおける各処理すべきデータに対応するデータが存在する。

【0135】

ある実現可能な方式において、前記取得ユニット１１１は、目標出力チャンネル数と、前記チップの出力チャンネル数と、処理バッチ数と、前記チップの参照値とを取得する。
前記第２処理ユニット１１３は、
前記出力チャンネル数が前記目標出力チャンネル数よりも小さい場合に、前記第２処理すべきデータと前記畳み込みカーネルのパラメータ（前記畳み込みカーネルのパラメータは、少なくとも１グループの重みを含む）とを取得し、
前記処理バッチ数が前記参照値以下である場合に、前記チップを介して、前記少なくとも１グループの重みのうちの１グループの重みを用いて前記第２処理すべきデータに対して畳み込み処理を行って１グループの第２データを取得し、前記１グループの第２データを前記チップのキャッシュに記憶し、
前記少なくとも１グループの重みのうちの各グループの重みをそれぞれ用いて前記第２処理すべきデータに対して畳み込み処理を行って少なくとも１グループの第２データを取得した場合に、前記キャッシュに記憶された前記少なくとも１グループの第２データを前記第１データとして前記チップのメモリに書き込む。

【0136】

ある実現可能な方式において、前記第２処理ユニット１１３は、更に、
前記処理バッチ数が前記参照値よりも大きい場合に、前記少なくとも１グループの重みから少なくとも１グループの重みを時分割多重化重みセットとして選定し、
前記時分割多重化重みセットにおける１グループの重みを用いて前記第２処理すべきデータセットに対して畳み込み処理を行い、１グループの第３データを取得し、前記１グループの第３データを前記チップのキャッシュに記憶する。前記時分割多重化重みセットにおける重みのグループ数は、前記参照値に等しい。

【0137】

ある実現可能な方式において、前記第２処理ユニット１１３は、更に、

【0138】

前記時分割多重化重みセットにおける各グループの重みをそれぞれ用いて前記第２処理すべきデータセットに対して畳み込み処理を行い、少なくとも１グループの第３データを取得した場合に、前記キャッシュに記憶された前記少なくとも１グループの第３データを前記メモリに書き込む。

【0139】

別の実現可能な方式において、前記メモリ１１４は、グローバルメモリ１１４１を含み、前記グローバルメモリ１１４１が前記チップ１１によってアクセスされ得るとともに、前記グローバルメモリ１１４１が前記チップ１１以外のハードウェアによってアクセスされ得る。
前記第２処理すべきデータと前記畳み込みカーネルのパラメータとを前記メモリ１１４に記憶することは、
前記第２処理すべきデータと前記畳み込みカーネルのパラメータとを前記グローバルメモリ１１４１に記憶することを含む。

【0140】

更に別の実現可能な方式において、前記メモリ１１４は、ローカルメモリ１１４２を含み、前記ローカルメモリ１１４２が前記チップ１１によってアクセスされ得るが、前記チップ１１以外のハードウェアによってアクセスされ得ない。
前記第２処理すべきデータと前記畳み込みカーネルのパラメータとを前記メモリ１１４に記憶することは、
前記第２処理すべきデータと前記畳み込みカーネルのパラメータとを前記ローカルメモリ１１４２に記憶することを含む。

【0141】

より更に別の実現可能な方式において、前記メモリ１１４は、グローバルメモリ１１４１及びローカルメモリ１１４２を含み、前記グローバルメモリ１１４１は、前記チップ１１４によってアクセスされ得るとともに、前記チップ１１４以外のハードウェアによってアクセスされ得、前記ローカルメモリ１１４２は、前記チップ１１４によってアクセスされ得るが、前記チップ１１４以外のハードウェアによってアクセスされ得ない。
前記第２処理すべきデータと前記畳み込みカーネルのパラメータとを前記メモリ１１４に記憶することは、
前記第２処理すべきデータと前記畳み込みカーネルのパラメータとを前記グローバルメモリ１１４１に記憶すること、又は、
前記第２処理すべきデータと前記畳み込みカーネルのパラメータとを前記ローカルメモリ１１４１に記憶すること、又は、
前記第２処理すべきデータを前記グローバルメモリ１１４１に記憶し、前記畳み込みカーネルのパラメータを前記ローカルメモリ１１４２に記憶すること、又は、
前記第２処理すべきデータをローカルメモリ１１４２に記憶し、前記畳み込みカーネルのパラメータを前記グローバルメモリ１１４１に記憶することを含む。

【0142】

もう１つの実現可能な方式において、前記第２処理ユニット１１３は、
前記畳み込みカーネルのパラメータを用いて前記第２処理すべきデータに対して畳み込み処理を行って、前記第２処理すべきデータのうちの全てのデータを前記チップの出力チャンネルのうちの１つのチャンネルにマッピングし、第４データ（前記第４データは、前記第１データのうちの１つのチャンネルのデータである）を取得し、又は、
前記畳み込みカーネルのパラメータを用いて前記第２処理すべきデータに対して畳み込み処理を行って、前記第２処理すべきデータのうちの１つのチャンネルのデータを前記チップにおける各出力チャンネルにそれぞれマッピングし、第５データ（前記第５データは、前記第１データに属する）を取得する。

【0143】

データ処理装置の入力チャンネルに基づいて入力データを処理することにより、データ処理装置がチャンネル数の異なる入力データを処理可能であるため、本実施例に係るデータ処理装置は、非常に良い汎用性を有する。

【0144】

幾つかの実施例において、本発明の実施例に係る装置が有する機能又は含むモジュールは、上記方法実施例に記述された方法を実行するためのものであってもよく、その具体的な実施が上記方法実施例の記述を参照すればよく、簡潔のために、ここで繰り返し説明しない。

【0145】

当業者であれば意識できるように、本文に開示された実施例を組み合わせて記述された各例示のユニット及びアルゴリズムステップが、電子ハードウェア、又は、コンピュータソフトウェアと電子ハードウェアとの組み合わせで実現されてもよい。これらの機能がハードウェア方式それともソフトウェア方式で実行されるかは、技術案の特定の応用及び設計制限条件に依存する。専門技術者が各特定の応用ごとに異なる方法を用いて記述された機能を実施可能であるが、このような実施が本発明の範囲を超えたとは思われるべきではない。

【0146】

当業者であれば良く分かるように、記述の利便性及び簡潔性のために、上述したシステム、装置及びユニットの具体的な稼働過程は、上記方法実施例における対応過程を参照すればよく、ここで繰り返し説明しない。当業者であれば更に良く分かるように、本発明の各実施例の記述に偏りがあり、記述の利便性及び簡潔性のために、同じ又は類似する部分が異なる実施例において繰り返し説明されていない。したがって、ある実施例に記述されていない又は詳細に記述されていない部分は、他の実施例の記載を参照すればよい。

【0147】

本発明に係る幾つかの実施例において、開示されたシステム、装置及び方法が他の方式にて実現され得ることは、理解されるべきである。例えば、上述した装置実施例が単に模式的なものであり、例えば、前記ユニットの区分が、単に１種の論理機能区分であり、実際に実施するときに別の区分方式もあり得る。例えば、複数のユニット或いはユニットは、組み合わせられてもよく、または、別のシステムに統合されてもよく、または、幾つかの特徴が略され、若しくは実行しないようにしてもよい。また、示され或いは議論された各構成部分同士間は、結合が直接結合であってもよく、通信接続が幾つかのインターフェース、装置或いはユニットを介する間接結合若しくは通信接続であってもよく、電気的なもの、機械的なもの或いは他の形態であってもよい。

【0148】

上記分離部品として説明されるユニットが物理的に分離されるものであってもよくでなくてもよい。また、ユニットとして表示される部品は、物理ユニットであってもでなくてもよい。更に、それらのユニットは、１箇所に位置してもよく、複数のネットワークセルに分散してもよい。実際の需要に応じてその中の一部または全部のモジュールを選択して本実施例の目的を果たすことが可能である。

【0149】

また、本発明の各実施例における各機能ユニットは、全部で１つの処理ユニットに集積されてもよく、各ユニットがそれぞれ単独で物理的に存在してもよく、２つ或いは２つ以上のユニットが１つのユニットに集積されてもよい。

【0150】

上記実施例において、全部又は部分的にソフトウェア、ハードウェア、ファームウェア又はそれらの任意の組み合わせで実施されてもよい。ソフトウェアで実施されるときに、全部又は部分的にコンピュータプログラム製品の形式で実施されてもよい。前記コンピュータプログラム製品は、１つ又は複数のコンピュータ指令を含む。コンピュータに前記コンピュータプログラム指令をロードして実行するときに、全部又は部分的に本発明の実施例に記載のフロー又は機能を生成する。前記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラマブル装置であってもよい。前記コンピュータ指令は、コンピュータ可読記憶媒体に記憶されてもよく、又は前記コンピュータ可読記憶媒体を介して伝送されてもよい。前記コンピュータ指令は、１つのウェブサイト、コンピュータ、サーバ又はデータセンターから、有線（例えば、同軸ケーブル、光ファイバー、デジタル加入者線（ｄｉｇｉｔａｌｓｕｂｓｃｒｉｂｅｒｌｉｎｅ、ＤＳＬ））又は無線（例えば赤外、無線、マイクロ波等）方式によって別のウェブサイト、コンピュータ、サーバ又はデータセンターへ伝送されてもよい。前記コンピュータ可読記憶媒体は、コンピュータがアクセスできる如何なる利用可能媒体、又は、１つ又は複数の利用可能媒体を含んで統合されたサーバ、データセンター等のデータ記憶機器であってもよい。前記利用可能媒体は、磁気媒体、（例えば、フロッピーディスク、ハードディスク、磁気テープ）、光媒体（例えば、デジタルバーサタイルディスク（ｄｉｇｉｔａｌｖｅｒｓａｔｉｌｅｄｉｓｃ、ＤＶＤ））、又は半導体媒体（例えば、ソリッドステートディスク（ｓｏｌｉｄｓｔａｔｅｄｉｓｋ、ＳＳＤ））等であってもよい。

【0151】

当業者であれば、上記実施例の方法における全部又は一部のフローを理解して実施可能であり、当該フローは、コンピュータプログラムが関連するハードウェアを指示して実施され得、当該プログラムは、コンピュータ読み取り可能な記憶媒体に記憶可能であり、当該プログラムが実行されたときに、上記各方法実施例のフローも含めて実施され得る。上記記憶媒体は、読み出し専用メモリ（ｒｅａｄ－ｏｎｌｙｍｅｍｏｒｙ、ＲＯＭ）やランダムアクセスメモリ（ｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスク等の、プログラムコードを記憶可能な各種の媒体を含む。

【図1】