特表-19187542IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
再表2019-187542情報処理方法、情報処理装置、およびプログラム
<>
  • 再表WO2019187542-情報処理方法、情報処理装置、およびプログラム 図000003
  • 再表WO2019187542-情報処理方法、情報処理装置、およびプログラム 図000004
  • 再表WO2019187542-情報処理方法、情報処理装置、およびプログラム 図000005
  • 再表WO2019187542-情報処理方法、情報処理装置、およびプログラム 図000006
  • 再表WO2019187542-情報処理方法、情報処理装置、およびプログラム 図000007
  • 再表WO2019187542-情報処理方法、情報処理装置、およびプログラム 図000008
  • 再表WO2019187542-情報処理方法、情報処理装置、およびプログラム 図000009
  • 再表WO2019187542-情報処理方法、情報処理装置、およびプログラム 図000010
  • 再表WO2019187542-情報処理方法、情報処理装置、およびプログラム 図000011
  • 再表WO2019187542-情報処理方法、情報処理装置、およびプログラム 図000012
  • 再表WO2019187542-情報処理方法、情報処理装置、およびプログラム 図000013
  • 再表WO2019187542-情報処理方法、情報処理装置、およびプログラム 図000014
  • 再表WO2019187542-情報処理方法、情報処理装置、およびプログラム 図000015
  • 再表WO2019187542-情報処理方法、情報処理装置、およびプログラム 図000016
  • 再表WO2019187542-情報処理方法、情報処理装置、およびプログラム 図000017
  • 再表WO2019187542-情報処理方法、情報処理装置、およびプログラム 図000018
  • 再表WO2019187542-情報処理方法、情報処理装置、およびプログラム 図000019
  • 再表WO2019187542-情報処理方法、情報処理装置、およびプログラム 図000020
  • 再表WO2019187542-情報処理方法、情報処理装置、およびプログラム 図000021
  • 再表WO2019187542-情報処理方法、情報処理装置、およびプログラム 図000022
< >
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2019年10月3日
【発行日】2021年4月15日
(54)【発明の名称】情報処理方法、情報処理装置、およびプログラム
(51)【国際特許分類】
   G06N 3/02 20060101AFI20210319BHJP
   G06F 8/34 20180101ALI20210319BHJP
【FI】
   G06N3/02
   G06F8/34
【審査請求】未請求
【予備審査請求】未請求
【全頁数】33
【出願番号】特願2020-509713(P2020-509713)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2019年1月22日
(31)【優先権主張番号】特願2018-61790(P2018-61790)
(32)【優先日】2018年3月28日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】小林 由幸
【テーマコード(参考)】
5B376
【Fターム(参考)】
5B376BC42
5B376BC49
(57)【要約】
【課題】ニューラルネットワークの開発効率をより向上させることが可能となる。
【解決手段】プロセッサが、レイヤーに対応するコンポーネントの配置と、前記コンポーネントに設定されるプロパティと、に基づいて、ニューラルネットワークを構築するプログラムを作成するためのフォームを提供することと、前記ニューラルネットワークに係る統計情報を提示することと、を含み、前記フォームを提供することは、前記フォームにおいて、複数の前記コンポーネントから構成されるユニットを定義する機能を提供することと、定義された前記ユニットを、前記コンポーネントと同様に配置可能に提供することと、をさらに含む、情報処理方法が提供される。
【選択図】図5
【特許請求の範囲】
【請求項1】
プロセッサが、レイヤーに対応するコンポーネントの配置と、前記コンポーネントに設定されるプロパティと、に基づいて、ニューラルネットワークを構築するプログラムを作成するためのフォームを提供することと、
前記ニューラルネットワークに係る統計情報を提示することと、
を含み、
前記フォームを提供することは、前記フォームにおいて、複数の前記コンポーネントから構成されるユニットを定義する機能を提供することと、
定義された前記ユニットを、前記コンポーネントと同様に配置可能に提供することと、
をさらに含む、
情報処理方法。
【請求項2】
前記フォームを提供することは、前記ユニットを複数利用および再利用可能に提供すること、
をさらに含む、
請求項1に記載の情報処理方法。
【請求項3】
前記フォームを提供することは、前記ユニットを構成する複数の前記コンポーネントに共通して利用可能な引数を定義する機能を提供することと、
定義された前記引数を前記ユニットのプロパティの一部として設定可能なように制御することと、
をさらに含む、
請求項1に記載の情報処理方法。
【請求項4】
前記引数を定義する機能を提供することは、前記フォーム上に配置される、前記引数に対応する引数コンポーネントと、前記引数コンポーネントに設定されるプロパティとに基づいて、前記引数を制御すること、
をさらに含む、
請求項3に記載の情報処理方法。
【請求項5】
前記フォームを提供することは、前記フォームにおいて、前記ユニットを、前記ユニットを構成する前記コンポーネントの種別および数に依らない所定の視覚表現を用いて表示すること、
をさらに含む、
請求項1に記載の情報処理方法。
【請求項6】
前記フォームを提供することは、前記ユニットを構成する複数の前記コンポーネントの処理により変更されるパラメータを、前記ユニットに対応する前記視覚表現と関連付けて表示すること、
をさらに含む、
請求項5に記載の情報処理方法。
【請求項7】
前記統計情報を提示することは、前記ユニットを構成する前記コンポーネントを含む前記ニューラルネットワーク全体の前記統計情報を提示すること、
をさらに含み、
前記統計情報は、出力ニューロンサイズ、使用メモリ量、または演算量のうち、少なくとも1つを含む、
請求項1に記載の情報処理方法。
【請求項8】
前記統計情報を提示することは、前記ユニットごとに前記統計情報を提示すること、
をさらに含む、
請求項7に記載の情報処理方法。
【請求項9】
前記統計情報を提示することは、前記ニューラルネットワーク全体の前記統計情報と前記ユニットの前記統計情報とを比較して提示すること、
をさらに含む、
請求項7に記載の情報処理方法。
【請求項10】
前記統計情報に含まれる要素を選択するユーザの操作を受け付け、選択された前記要素の値を、前記コンポーネントおよび前記ユニットごとに比較して提示すること、
をさらに含む、
請求項1に記載の情報処理方法。
【請求項11】
前記コンポーネントまたは前記ユニットごとの前記要素の値と、当該要素の値の大きさを示すインジケータと、を前記フォーム上に配置された前記コンポーネントまたは前記ユニットに関連付けて提示する、
請求項10に記載の情報処理方法。
【請求項12】
前記フォームを提供することは、前記ユニットの定義に関し、前記ユニットが1つ以上の前記ユニットを含んで構成されることを許容すること、
をさらに含む、
請求項1に記載の情報処理方法。
【請求項13】
前記コンポーネントと前記ユニットの配置および設定されるプロパティとに基づいて、前記ニューラルネットワークに係るソースコードを出力すること、
をさらに含む、
請求項1に記載の情報処理方法。
【請求項14】
前記ソースコードを出力することは、前記ユニットの構成を維持した前記ソースコードを生成すること、
をさらに含む、
請求項13に記載の情報処理方法。
【請求項15】
評価済のニューラルネットワークから、ネットワーク構造の異なる別のニューラルネットワークを生成することと、
生成されたニューラルネットワークの評価結果を取得することと、
生成されたニューラルネットワークの評価結果に基づいて、評価済のニューラルネットワークに係るパレート最適解を更新することと、
をさらに含み、
前記生成することは、前記パレート最適解に係るニューラルネットワークから、ネットワーク構造の異なる前記別のニューラルネットワークを生成することと、
をさらに含む、
請求項1に記載の情報処理方法。
【請求項16】
前記生成することは、前記ユニットに設定される構造探索可否に基づいて、前記ユニットのネットワーク構造を変化させるか否かを決定すること、
をさらに含む、
請求項15に記載の情報処理方法。
【請求項17】
前記生成することは、前記ユニットに用いられる引数に設定される構造探索可否に基づいて、前記引数の値を変化させるか否かを決定すること、
をさらに含む、
請求項15に記載の情報処理方法。
【請求項18】
レイヤーに対応するコンポーネントの配置と、前記コンポーネントに設定されるプロパティと、に基づいて、ニューラルネットワークを構築するプログラムを作成するためのフォームを提供し、前記フォームにおいて、前記ニューラルネットワークに係る統計情報を提示するフォーム制御部、
を備え、
前記フォーム制御部は、前記フォームにおいて、複数の前記コンポーネントから構成されるユニットを定義する機能を提供し、定義された前記ユニットを、前記コンポーネントと同様に配置可能に提供する、
情報処理装置。
【請求項19】
コンピュータを、
レイヤーに対応するコンポーネントの配置と、前記コンポーネントに設定されるプロパティと、に基づいて、ニューラルネットワークを構築するプログラムを作成するためのフォームを提供し、前記フォームにおいて、前記ニューラルネットワークに係る統計情報を提示するフォーム制御部、
を備え、
前記フォーム制御部は、前記フォームにおいて、複数の前記コンポーネントから構成されるユニットを定義する機能を提供し、定義された前記ユニットを、前記コンポーネントと同様に配置可能に提供する、
情報処理装置、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理方法、情報処理装置、およびプログラムに関する。
【背景技術】
【0002】
近年、ニューラルネットワークを利用した種々の機能が開発されている。また、ニューラルネットワークの開発効率を向上させるための種々の手法が提案されている。例えば、特許文献1には、レイヤーに対応するコンポーネントの配置などに基づいてニューラルネットワークを生成するビジュアルプログラミングに係る技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第2017/138220号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特許文献1に記載の技術では、フォーム上に配置可能なコンポーネントが単一のレイヤーと一意的に対応している。このため、特許文献1に記載の技術では、複数のレイヤーから成る所定のレイヤー構成が複数回繰り返される場合であっても、当該レイヤー構成を、各レイヤーに対応するコンポーネントを用いて都度構成することが求められる。
【0005】
そこで、本開示では、ニューラルネットワークの開発効率をより向上させることが可能な、新規かつ改良された情報処理方法、情報処理装置、およびプログラムを提案する。
【課題を解決するための手段】
【0006】
本開示によれば、プロセッサが、レイヤーに対応するコンポーネントの配置と、前記コンポーネントに設定されるプロパティと、に基づいて、ニューラルネットワークを構築するプログラムを作成するためのフォームを提供することと、前記ニューラルネットワークに係る統計情報を提示することと、を含み、前記フォームを提供することは、前記フォームにおいて、複数の前記コンポーネントから構成されるユニットを定義する機能を提供することと、定義された前記ユニットを、前記コンポーネントと同様に配置可能に提供することと、をさらに含む、情報処理方法が提供される。
【0007】
また、本開示によれば、レイヤーに対応するコンポーネントの配置と、前記コンポーネントに設定されるプロパティと、に基づいて、ニューラルネットワークを構築するプログラムを作成するためのフォームを提供し、前記フォームにおいて、前記ニューラルネットワークに係る統計情報を提示するフォーム制御部、を備え、前記フォーム制御部は、前記フォームにおいて、複数の前記コンポーネントから構成されるユニットを定義する機能を提供し、定義された前記ユニットを、前記コンポーネントと同様に配置可能に提供する、情報処理装置が提供される。
【0008】
また、本開示によれば、コンピュータを、レイヤーに対応するコンポーネントの配置と、前記コンポーネントに設定されるプロパティと、に基づいて、ニューラルネットワークを構築するプログラムを作成するためのフォームを提供し、前記フォームにおいて、前記ニューラルネットワークに係る統計情報を提示するフォーム制御部、を備え、前記フォーム制御部は、前記フォームにおいて、複数の前記コンポーネントから構成されるユニットを定義する機能を提供し、定義された前記ユニットを、前記コンポーネントと同様に配置可能に提供する、情報処理装置、として機能させるためのプログラムが提供される。
【発明の効果】
【0009】
以上説明したように本開示によれば、ニューラルネットワークの開発効率をより向上させることが可能となる。
【0010】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【0011】
図1】本開示の一実施形態に係る情報処理システムの構成例を示すブロック図である。
図2】同実施形態に係る情報処理端末の機能構成例を示すブロック図である。
図3】同実施形態に係る情報処理サーバの機能構成例を示すブロック図である。
図4】同実施形態に係るフォームの表示例を示す図である。
図5】同実施形態に係るユニットの定義について説明するための図である。
図6】同実施形態に係るユニットの引数設定について説明するための図である。
図7】同実施形態に係るユニットの配置と引数の設定について説明するための図である。
図8】同実施形態に係る1つ以上のユニットを含むユニット定義について説明するための図である。
図9】同実施形態に係るユニットを利用した学習用ネットワークおよび評価用ネットワークについて説明するための図である。
図10】同実施形態に係るユニット内で変更されるパラメータの反映の流れを示すフローチャートである。
図11】同実施形態に係るニューラルネットワーク全体に係る統計情報の表示例を示す図である。
図12】同実施形態に係るユニットごとの統計情報の表示例を示す図である。
図13】同実施形態に係る統計情報算出の流れを示すフローチャートである。
図14】同実施形態に係る生成部が出力するソースコードの一例である。
図15】同実施形態に係る生成部によるソースコード出力の流れを示すフローチャートである。
図16】同実施形態に係る生成部による自動構造探索について説明するための図である。
図17】同実施形態に係る引数コンポーネントの構造探索可否設定について説明するための図である。
図18】同実施形態に係るユニットの構造探索可否設定について説明するための図である。
図19】同実施形態に係る生成部による自動構造探索の流れを示すフローチャートである。
図20】本開示の一実施形態に係る情報処理サーバのハードウェア構成例を示す図である。
【発明を実施するための形態】
【0012】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0013】
なお、説明は以下の順序で行うものとする。
1.実施形態
1.1.概要
1.2.システム構成例
1.3.情報処理端末10の機能構成
1.4.情報処理サーバ20の機能構成
1.5.フォーム制御の詳細
1.6.ソースコードの出力
1.7.ネットワーク構造の自動探索
2.ハードウェア構成例
3.まとめ
【0014】
<1.実施形態>
<<1.1.概要>>
まず、本開示の一実施形態の概要について説明する。上述したように、近年では、ニューラルネットワークの開発効率を向上させるための種々の手法が提案されている。上記のような手法には、例えば、特許文献1に開示されるようなビジュアルプログラミング手法が含まれる。
【0015】
ここで、ビジュアルプログラミングとは、ソフトウェア開発において、プログラムコードをテキストで記述することなく、視覚的なオブジェクトを用いて作成する手法を指す。ビジュアルプログラミングでは、例えば、GUI(Graphical User Interface)上で、オブジェクトを操作することで、プログラムを作成することができる。
【0016】
例えば、特許文献1に記載の技術の場合、ユーザは、ニューラルネットワークを構成するレイヤーに対応するコンポーネントをフォーム上に配置し、各レイヤー間の接続や各種のプロパティを設定することで、プログラムコードを記載することなく、ニューラルネットワークを開発することができる。
【0017】
特許文献1に記載の技術によれば、プログラミングスキルが十分ではないユーザであっても、容易にニューラルネットワークを作成することなどができ、ニューラルネットワークの開発効率を大幅に向上させることが可能である。
【0018】
しかし、上述したように、特許文献1に記載の技術では、フォーム上に配置可能なコンポーネントが単一のレイヤーと一意的に対応しているため、所定のレイヤー構成が複数回繰り返される場合、当該レイヤー構成を都度配置することが求められる。
【0019】
例えば、「Convolution」、「MaxPooling」、「Tanh」の順に接続されるレイヤー構成がネットワーク中に複数回存在する場合、特許文献1に記載の技術では、上記の各レイヤーに対応するコンポーネントを都度配置し、プロパティなどを設定する必要がある。
【0020】
しかし、一般に、ニューラルネットワークにおいては、上記のような所定のレイヤー構成を繰り返し用いることが多く、また、繰り返し使用されるレイヤー構成には、数十以上のレイヤーを含むものも少なくない。このため、繰り返し使用されるレイヤー構成を、都度、単一レイヤーに対応するコンポーネントを用いて記述することは、ニューラルネットワークの開発効率を低下させる原因とも成りかねない。
【0021】
本開示の一実施形態に係る技術思想は上記の点に着目して発想されたものであり、ニューラルネットワークのビジュアルプログラミングにおいて開発効率をより向上させることを可能とする。このために、本開示の一実施形態に係る情報処理方法は、プロセッサが、レイヤーに対応するコンポーネントの配置と、コンポーネントに設定されるプロパティと、に基づいて、ニューラルネットワークを構築するプログラムを作成するためのフォームを提供することと、ニューラルネットワークに係る統計情報を提示することと、を含むこと、を特徴の一つとする。また、上記フォームを提供することは、フォームにおいて、複数のコンポーネントから構成されるユニットを定義する機能を提供することと、定義されたユニットを、コンポーネントと同様に配置可能に提供することと、をさらに含むこと、を特徴の一つとする。
【0022】
すなわち、本開示の一実施形態に係る情報処理方法によれば、ニューラルネットワークのビジュアルプログラミングにおいて、複数のレイヤーから構成される所定のレイヤー構成を、対応する複数のコンポーネントから構成されるユニットとして定義することが可能となる。また、本開示の一実施形態に係る情報処理方法によれば、上記のユニットをコンポーネントと同様に配置可能にすることで、ユーザが所定のレイヤー構成を都度コンポーネントを用いて構成することなく、容易に利用することが可能となる。
【0023】
以上、本開示の一実施形態の概要について説明した。上述したように、本開示の一実施形態に係る情報処理方法によれば、複数のレイヤーに相当するユニットを定義し、当該ユニットを用いたビジュアルプログラミングを実現することで、ニューラルネットワークの開発効率を大幅に向上させることが可能となる。
【0024】
<<1.2.システム構成例>>
次に、本開示の一実施形態に係る情報処理システムの構成例について説明する。図1は、本実施形態に係る情報処理システムの構成例を示すブロック図である。図1を参照すると、本実施形態に係る情報処理システムは、情報処理端末10および情報処理サーバ20を備える。また、情報処理端末10と情報処理サーバ20は、互いに通信が行えるように、ネットワーク30を介して接続される。
【0025】
(情報処理端末10)
本実施形態に係る情報処理端末10は、ニューラルネットワークのビジュアルプログラミングを行うためのクライアント端末である。本実施形態に係る情報処理端末10は、情報処理サーバ20による制御に基づいて、ビジュアルプログラミングを行うためのフォームを表示し、当該フォームに対するユーザの入力操作に係る情報を情報処理サーバ20へ送信する。本実施形態に係る情報処理端末10は、例えば、PC(Personal Computer)などであってよい。なお、後述するように、本実施形態に係る情報処理端末10は、情報処理サーバ20と同等の機能を有する情報処理装置として機能してもよい。
【0026】
(情報処理サーバ20)
本実施形態に係る情報処理サーバ20は、本実施形態に係る情報処理方法を実現する情報処理装置である。本実施形態に係る情報処理サーバ20は、ニューラルネットワークのビジュアルプログラミングに係るフォームを制御し、当該フォームにけるコンポーネントやユニットの配置などに基づいて、ニューラルネットワークを生成する機能を有する。
【0027】
(ネットワーク30)
ネットワーク30は、情報処理端末10と情報処理サーバ20とを接続する機能を有する。ネットワーク30は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク30は、IP−VPN(Internet Protocol−Virtual Private Network)などの専用回線網を含んでもよい。また、ネットワーク30は、Wi−Fi(登録商標)、Bluetooth(登録商標)など無線通信網を含んでもよい。
【0028】
以上、本開示の一実施形態に係る情報処理システムの構成例について説明した。なお、図1を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。本実施形態に係る情報処理システムの構成は、仕様や運用に応じて柔軟に変形可能である。
【0029】
<<1.3.情報処理端末10の機能構成>>
次に、本開示の一実施形態に係る情報処理端末10の機能構成例について説明する。図2は、本実施形態に係る情報処理端末10の機能構成例を示すブロック図である。図2を参照すると、本実施形態に係る情報処理端末10は、表示部110、入力部120、制御部130、およびサーバ通信部140を備える。
【0030】
(表示部110)
本実施形態に係る表示部110は、画像やテキストなどの視覚情報を出力する機能を有する。本実施形態に係る表示部110は、例えば、情報処理サーバ20による制御に基づいて、ニューラルネットワークのビジュアルプログラミングに係るフォームを表示する。
【0031】
このために、本実施形態に係る表示部110は、視覚情報を提示する表示デバイスなどを備える。上記の表示デバイスには、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、OLED(Organic Light Emitting Diode)装置、タッチパネルなどが挙げられる。また、本実施形態に係る表示部110は、プロジェクション機能により視覚情報を出力してもよい。
【0032】
(入力部120)
本実施形態に係る入力部120は、ユーザによる入力操作を検出する機能を有する。本実施形態に係る入力部120は、例えば、フォーム上におけるコンポーネントやユニットの配置操作を検出する。このために、本実施形態に係る入力部120は、キーボード、タッチパネル、マウス、各種のボタンなどを備える。
【0033】
(制御部130)
本実施形態に係る制御部130は、情報処理端末10が備える各構成を制御する機能を有する。制御部130は、例えば、各構成の起動や停止を制御する。また、制御部130は、情報処理サーバ20により生成される制御信号を表示部110に入力する。また、本実施形態に係る制御部130は、後述する情報処理サーバ20のフォーム制御部210と同等の機能を有してもよい。
【0034】
(サーバ通信部140)
本実施形態に係るサーバ通信部140は、ネットワーク30を介して情報処理サーバ20との情報通信を行う機能を有する。具体的には、サーバ通信部140は、情報処理サーバ20からフォーム制御に係る制御信号を受信する。また、サーバ通信部140は、入力部120が検出したユーザの入力操作に係る情報を、情報処理サーバ20に送信する。
【0035】
以上、本開示の一実施形態に係る情報処理端末10の機能構成例について説明した。なお、図2を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理端末10の機能構成は係る例に限定されない。例えば、上述したように、本実施形態に係る制御部130は、情報処理サーバ20のフォーム制御部210と同等の機能を有してもよい。本実施形態に係る情報処理端末10の機能構成は、仕様や運用に応じて柔軟に変形可能である。
【0036】
<<1.4.情報処理サーバ20の機能構成>>
次に、本開示の一実施形態に係る情報処理サーバ20の機能構成について説明する。図3は、本実施形態に係る情報処理サーバ20の機能構成例を示すブロック図である。図3を参照すると、本実施形態に係る情報処理サーバ20は、フォーム制御部210、生成部220、および端末通信部230を備える。
【0037】
(フォーム制御部210)
本実施形態に係るフォーム制御部210は、ニューラルネットワークのビジュアルプログラミングを実現するフォームの制御を行う。より具体的には、本実施形態に係るフォーム制御部210は、レイヤーに対応するコンポーネントの配置と、当該コンポーネントに設定されるプロパティと、に基づいて、ニューラルネットワークを構築するプログラムを作成するためのフォームを提供し、当該フォームにおいて、ニューラルネットワークに係る統計情報を提示する機能を有する。
【0038】
また、本実施形態に係るフォーム制御部210は、上記のフォームにおいて、複数のコンポーネントから構成されるユニットを定義する機能を提供し、定義されたユニットを、コンポーネントと同様に配置可能に提供すること、を特徴の一つとする。
【0039】
また、本実施形態に係るフォーム制御部210は、上記のユニットを複数利用および再利用可能に提供してよい。すなわち、本実施形態に係るフォーム制御部210は、ユーザにより定義されたユニットをコンポーネントの一種として、ユーザが自由に利用できるよう制御を行うことができる。
【0040】
本実施形態に係るフォーム制御部210が有する上記の機能によれば、複数のレイヤーに相応するユニットをコンポーネントと同様に配置可能にすることで、ユーザが所定のレイヤー構成を都度コンポーネントを用いて構成することなく、容易に利用することが可能となる。なお、本実施形態に係るフォーム制御部210が有する機能の詳細については、別途後述する。
【0041】
(生成部220)
本実施形態に係る生成部220は、フォーム制御部210が制御するフォームにおけるコンポーネントとユニットの配置、および設定されるプロパティとに基づいて、ニューラルネットワークを構築するソースコードを生成する機能を有する。本実施形態に係る生成部220が有する機能の詳細については、別途後述する。
【0042】
(端末通信部230)
本実施形態に係る端末通信部230は、ネットワーク30を介して、情報処理端末10との情報通信を行う。具体的には、端末通信部230は、フォーム制御部210が生成する制御信号を情報処理端末10に送信する。また、端末通信部230は、情報処理端末10から、フォーム上におけるユーザの入力操作に係る情報を受信する。
【0043】
以上、本開示の一実施形態に係る情報処理サーバ20の機能構成例について説明した。なお、図3を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理サーバ20の機能構成は係る例に限定されない。例えば、上記に示した構成は、複数の装置により分散されて実現されてもよい。また、上述したように、フォーム制御部210が有する機能は、情報処理端末10の制御部130の機能として実現されてもよい。本実施形態に係る情報処理サーバ20の機能構成は、仕様や運用に応じて柔軟に変形可能である。
【0044】
<<1.5.フォーム制御の詳細>>
次に、本実施形態に係るフォーム制御部210によるフォーム制御について詳細に説明する。図4は、本実施形態に係るフォームの表示例を示す図である。図4に示すように、本実施形態に係るフォームF1は、例えば、パレットP1〜P3を含む。
【0045】
パレットP1は、レイヤーに対応するコンポーネントのリストを表示するための領域であってよい。パレットP1には、図4に示すように、コンポーネントが分類ごとに表示されてもよい。また、分類名をクリックすることで、分類ごとのレイヤーの一覧が展開されるよう制御されてもよい。また、パレットP1には、ニューラルネットワークや各コンポーネントのプロパティ情報LPが表示される。
【0046】
パレットP2は、コンポーネントを配置し、ニューラルネットワークを構築するための領域である。ユーザは、各コンポーネントを移動、追加または削除することで、ニューラルネットワークを視覚的に構築することができる。図4に示す一例の場合、パレットP2には、コンポーネントC1〜C13から構成されるネットワーク構造が視覚的に示されている。ユーザは、例えば、パレットP1に表示されるコンポーネントをドラッグ&ドロップすることで、任意のコンポーネントをパレットP2に追加することができる。
【0047】
パレットP3は、構築中のニューラルネットワークに関する各種の情報を表示する領域である。パレットP3には、例えば、ネットワーク構造の全体像を示すオーバービューOVや、ニューラルネットワークに係る統計情報STなどが表示されてよい。
【0048】
なお、本実施形態に係る統計情報STには、例えば、出力ニューロンサイズ、パラメータの使用メモリ量、および各種の演算量などの情報が含まれる。また、本実施形態に係るフォーム制御部210は、統計情報STが含む上記のような要素のうち、ユーザが選択した要素の値を、コンポーネントやユニットごとに比較して提示する機能を有してよい。この際、本実施形態に係るフォーム制御部210は、例えば、コンポーネントやユニットごとの要素の値と当該要素の値の大きさを示すインジケータと、をパレットP2に配置されたコンポーネントやユニットに対応する視覚表現と関連付けて提示してもよい。
【0049】
図4に示す一例の場合、フォーム制御部210は、ユーザが出力ニューロンサイズを選択したことに基づいて、コンポーネントごとに出力ニューロンサイズの値と当該値に対応するインジケータを表示させている。本実施形態に係るフォーム制御部210が有する上記の機能によれば、ユーザが、各コンポーネントの出力ニューロンサイズや演算量を直観的に知覚することができ、ネットワーク構造を変更する際などの参考にすることができる。
【0050】
以上、本実施形態に係るフォームの表示例について説明した。続いて、本実施形態に係るユニットの定義について説明する。上述したように、本実施形態に係るフォーム制御部210は、複数のコンポーネントから構成されるユニットを定義する機能を提供することを特徴の一つとする。
【0051】
例えば、図4に示した一例では、ネットワーク構造において、「Convolution」「MaxPooling」、「Tanh」の順から成る構成が3回繰り返されている(コンポーネントC2〜4、C5〜7、C8〜10に該当)。
【0052】
この際、本実施形態に係る情報処理方法では、上記の構成をユニットとして定義することで、構築時におけるユーザの入力負担や編集時におけるユーザの作業負担を大幅に低減することが可能である。
【0053】
図5は、本実施形態に係るユニットの定義について説明するための図である。図5の左側には、ユーザが定義するユニットの一例が示されている。図5に示す一例では、ユーザは、「Input」、「Convolution」「MaxPooling」、「Tanh」の4つのコンポーネントC1〜C4から構成されるユニット「ConvUnit」を定義している。ユーザは、上記のようなユニットの定義を、例えば、パレットP2において実行できてよい。
【0054】
また、ユーザは、上記のように定義したユニットを、他のコンポーネントと同様にパレットP2に配置することで、ネットワーク構造に含ませることができる。図5の右側に示す一例の場合、ユーザは、図4に示したネットワーク構造に含まれる「Convolution」「MaxPooling」、「Tanh」を、上記で定義した「ConvUnit」に対応するユニットU1〜U3に置換している。
【0055】
このように、本実施形態に係るユニットの定義機能によれば、繰り返し出現するレイヤー構成を、対応するユニット1つで表現することができ、都度複数のコンポーネントを配置する負担を排除することが可能である。
【0056】
また、本実施形態に係るフォーム制御部210は、パレットP2において、定義されたユニットを、当該ユニットを構成するコンポーネントの種別および数に依らない所定の視覚表現を用いて表示させてよい。すなわち、フォーム制御部210は、定義されたユニットを、単一のレイヤーに対応する他のコンポーネントと同様または類似する大きさや形式で表示させてよい。係る表示制御によれば、パレットP2におけるスペースを不必要に圧迫することなく、かつ、簡素化した表示を実現することで、ユーザがネットワーク全体の構成を把握し易くなる効果が期待される。
【0057】
次に、本実施形態に係るユニットが用いる引数の設定について説明する。上記では、所定のレイヤー構成をユニットとして定義し当該ユニットを用いることで、繰り返し利用するレイヤー構成の記述を容易とすることについて述べた。
【0058】
一方、レイヤー構成が同一である場合であっても、各ユニットで異なる処理を実行させたい場合も想定される。このため、本実施形態に係るフォーム制御部210は、ユニットを構成する複数のコンポーネントに共通して利用可能な引数を定義する機能を提供し、定義された引数をユニットのプロパティの一部として設定可能なように制御してよい。
【0059】
図6は、本実施形態に係るユニットの引数設定について説明するための図である。図6には、フォーム上においてユーザがユニット定義を行う際の表示例が示されている。図6に示す一例の場合、ユーザは、パレットP2において、「SepConvInput」、「ReLU」、「DWConv」に対応するコンポーネントC1〜C3から構成されるユニットを定義している。
【0060】
この際、本実施形態に係るフォーム制御部210は、例えば、引数を設定するための引数コンポーネントをパレットP2に配置し、パレットP1において各種の情報を入力することで引数設定が可能となるよう制御してもよい。
【0061】
例えば、図6に示す一例の場合、ユーザは、「ConvKarnel」、「ConvMaps」、「ConvStride」に対応する引数コンポーネントAC1〜AC3を配置している。ここで、「ConvKarnel」に対応する引数コンポーネントAC1は、「DWConv」に対応するコンポーネントC3のカーネルシェイプを設定するための引数コンポーネントであってよい。
【0062】
この際、ユーザは、パレットP1に表示される、引数コンポーネントAC1のプロパティ情報LP1において、引数コンポーネントAC1の名称やデフォルト値などを設定することができる。
【0063】
また、ユーザは、「DWConv」に対応するコンポーネントC3を選択し、コンポーネントC3のプロパティ情報LP2において、「KarnelShape」に、上記のように設定した引数コンポーネントAC1の名称「ConvKarnel」を入力することで、コンポーネントC3が、カーネルシェイプの設定に関し、上記で設定された引数を参照するよう設定することができる。
【0064】
また、「ConvMaps」、「ConvStride」に対応する引数コンポーネントAC1およびAC3についても同様の入力を行うことで、コンポーネントC3が対応する引数を参照するよう設定することが可能である。なお、引数コンポーネントAC1およびAC3は、それぞれ、コンポーネントC3の出力ニューロンサイズおよびストライド値を設定するための引数コンポーネントであってよい。
【0065】
また、図7は、本実施形態に係るユニットの配置と引数の設定について説明するための図である。図7に示すように、本実施形態に係るフォーム制御部210は、パレットP1において、ユーザが定義したユニットをコンポーネントと同様に選択可能なように表示させてよい。この際、ユーザは、パレットP1に表示されるユニットを、パレットP2にドラッグ&ドロップし、ユニットのプロパティ情報LP3に項目として表示される「Network」に、定義したユニット名称を指定することで、任意のユニットを配置することができる。なお、プロパティ情報LP3における「Name」は、ユニットの表示名や識別子として用いられる項目であってよい。
【0066】
また、本実施形態に係るフォーム制御部210は、「Network」に入力されたユニット名称に基づいて、該当するユニットに設定された引数をプロパティ情報の一部として編集可能に表示させる。図7に示す一例では、フォーム制御部210が、ユーザが入力した「SepConv」に基づいて、図6に示した引数「ConvKarnel」、「ConvMaps」、「ConvStride」をプロパティ情報LP3の項目として追加している。ユーザは、上記のような引数に任意の値を入力することで、配置したユニットに所望の処理を実行させることが可能である。
【0067】
以上、本実施形態に係るユニットの定義や引数の設定について説明した。本実施形態に係る情報処理方法によれば、頻繁に利用するレイヤー構造をユニットとして定義して用いることで、ネットワーク構成の作成や編集を容易とし、また、ユーザがネットワーク構造全体を直観的に把握できるよう表示することが可能となる。
【0068】
なお、本実施形態に係るユニットは、入れ子状に定義可能であってよい。すなわち、本実施形態に係るフォーム制御部210は、ユニットが1つ以上のユニットを含んで構成されることを許容してよい。
【0069】
図8は、本実施形態に係る1つ以上のユニットを含むユニット定義について説明するための図である。例えば、ユーザは、図8の左側に示すように、まずユニットを含まない複数のコンポーネントから構成されるユニットU1を定義する。
【0070】
次に、ユーザは、図8の中央に示すように、定義したユニットU1と他の複数のコンポーネントを含むユニットU2やユニットU3を定義することができる。
【0071】
さらには、ユーザは、図8の右側に示すように、定義したユニットU1〜U3など、複数のユニットを含んで構成されるユニットU4を定義することも可能である。
【0072】
このように、本実施形態に係るユニット定義によれば、入れ子状のユニットを作成することも可能である。上記のようなユニット構造によれば、巨大かつ複雑なネットワーク構造を簡素化して表示すると共に、作成、編集作業を大幅に効率化することが可能となる。
【0073】
また、例えば、本実施形態に係るユニット定義によれば、ニューラルネットワークの学習や評価作業を効率化することも可能である。従来、学習時と評価時とにおいて別のネットワーク構造を用いる場合、両者がほぼ同一の構造であっても、それぞれ別途に作成する必要があった。
【0074】
一方、本実施形態に係るユニット定義によれば、学習時と評価時とに利用されるネットワークにおいて共通する構造を予めユニットとして定義することで、学習用ネットワークと評価用ネットワークの作成効率を大幅に効率化することが可能である。
【0075】
図9は、本実施形態に係るユニットを利用した学習用ネットワークおよび評価用ネットワークについて説明するための図である。図9に示す一例の場合、学習用ネットワークおよび評価用ネットワークは、共通する処理である「CNNUnit」に対応するユニットU1を含んで構成されており、ユニットU1の前後におけるコンポーネントの配置のみが異なっている。
【0076】
具体的には、学習用ネットワークでは、ユニットU1の上流に「ImageAugmentation」に対応するコンポーネントC4が配置されている。また、学習用ネットワークでは、出力に「CategoricalCrossEntropy」に対応するコンポーネントC5が用いられているのに対し、評価用ネットワークでは、出力に「TopNError」に対応するコンポーネントC5が用いられている。
【0077】
このように、本実施形態による情報処理方法によれば、学習用ネットワークと評価用ネットワークとで共通するレイヤー構造をユニットとして定義することで、ニューラルネットワークの学習や評価作業を効率化することが可能である。
【0078】
次に、再び図5を参照して、本実施形態に係るユニット内で変更されるパラメータの反映について説明する。本実施形態に係るフォーム制御部210は、ユニットを構成する複数のコンポーネントの処理により変更されるパラメータを、当該ユニットに対応する視覚表現と関連付けて表示することが可能である。例えば、図5に示す一例の場合、フォーム制御部210は、「ConvUnit」内における処理により変化する出力ニューロンサイズを、「ConvUnit」の呼び出し元である視覚表現、すなわち図5の右側におけるユニットU1に関連付けて表示させている。
【0079】
本実施形態に係るフォーム制御部210が有する上記の機能によれば、ユニット内における処理により各種のパラメータがどのように変化するのかを、ユニットの呼び出し元であるネットワーク構成上で明確かつ直観的に把握することが可能となる。上記のような表示は、通常のプログラミングとは異なり、出力ニューロンサイズ、メモリ量、および演算量などを強く意識する必要があるニューラルネットワークの設計において非常に有効な情報提示であるといえる。
【0080】
続いて、本実施形態に係るユニット内で変更されるパラメータの反映の流れについて詳細に説明する。図10は、本実施形態に係るユニット内で変更されるパラメータの反映の流れを示すフローチャートである。なお、図10では、出力ニューロンサイズが変更される場合の流れを例として示している。
【0081】
図10を参照すると、フォーム制御部210は、まずネットワークの実行順に従い、コンポーネントまたはユニットを選択する(S1101)。
【0082】
次に、フォーム制御部210は、選択した要素がユニットであるか否かを判定する(S1102)。
【0083】
ここで、選択した要素がコンポーネントである場合(S1102:No)、フォーム制御部210は、入力されるニューロンサイズと選択されたコンポーネントの処理とに基づいて、出力ニューロンサイズを算出する(S1103)。
【0084】
一方、選択した要素がユニットである場合(S1102:Yes)、フォーム制御部210は、入力されるニューロンサイズと選択されたユニットの処理とに基づいて、出力ニューロンサイズを算出する(S1104)。この際、フォーム制御部210は、図10に示す出力ニューロンサイズ算出処理を再帰的に実行する。
【0085】
本実施形態に係るフォーム制御部210は、ステップS1103またはS1104における算出処理が完了した場合、すべてのコンポーネントおよびユニットが処理済であるか否かを判定する(S1105)。
【0086】
ここで、すべてのコンポーネントおよびユニットが処理済ではない場合(S1105:No)、フォーム制御部210は、ステップS1101に復帰し、以降の処理を繰り返し実行する。
【0087】
一方、すべてのコンポーネントおよびユニットが処理済である場合(S1105:Yes)、フォーム制御部210は、出力ニューロンサイズに係る算出処理を終了する。
【0088】
続いて、本実施形態に係る統計情報の提示について詳細に説明する。上述したように、本実施形態に係るフォーム制御部210は、フォーム上において構成されるニューラルネットワークに係る統計情報を動的に提示する機能を有する。
【0089】
この際、本実施形態に係るフォーム制御部210は、ユニットを構成するコンポーネントを含むニューラルネットワーク全体の統計情報を動的にフォーム上に表示させてよい。本実施形態に係る統計情報には、例えば、出力ニューロンサイズや、使用するメモリ量、および各種の演算量などが含まれる。
【0090】
図11は、本実施形態に係るニューラルネットワーク全体に係る統計情報の表示例を示す図である。図11には、ニューラルネットワークが、コンポーネントC1、C11〜C13、およびユニットU1〜U3を含んで構成される場合における、統計情報ST1の表示例が示されている。
【0091】
ここで、統計情報STは、上述したパレットP3に表示されてよい。また、統計情報ST1における「Output」は、出力ニューロンサイズを示し、「CostParameter」は、使用するメモリ量(パラメータ数)を示す。
【0092】
また、統計情報ST1には、「CostAdd」、「CostMultiply」、「CostMultiplyAdd」、「CostDivision」、「CostExp」、および「CostIf」がさらに含まれている。
【0093】
上記の各項目はニューラルネットワークにより処理される演算種類ごとの演算量の総和を示している。上記の各項目は、それぞれ、加算回数、乗算回数、乗加算回数、除算回数、指数計算回数、または条件分岐判断の回数を示す値であってよい。
【0094】
このように、本実施形態に係るフォーム制御部210によれば、ユニットを利用した場合であっても、ユニット内部の処理に係るメモリ量や演算量を、ニューラルネットワーク全体の統計情報に正しく反映することが可能である。上記のような表示は、通常のプログラミングとは異なり、出力ニューロンサイズ、メモリ量、および演算量などを強く意識する必要があるニューラルネットワークの設計において非常に有効な情報提示であるといえる。
【0095】
また、本実施形態に係るフォーム制御部210は、ニューラルネットワーク全体に係る統計情報のほか、ユニットごとに統計情報を算出し、当該ユニットごとの統計情報を表示させてもよい。
【0096】
図12は、本実施形態に係るユニットごとの統計情報の表示例を示す図である。図12に示す一例の場合、フォーム制御部210は、コンポーネントC1〜C4から構成される「ConvUnit」に係る統計情報ST2を算出している。
【0097】
この際、本実施形態に係るフォーム制御部210は、「ConvUnit」に係る統計情報とニューラルネットワーク全体に係る統計情報とを比較して表示させてよい。例えば、図12に示す一例の場合、フォーム制御部210は、ニューラルネットワーク全体の出力ニューロンサイズ、メモリ量、各種の演算量に対し、「ConvUnit」が占める各要素の割合を提示している。
【0098】
このように、本実施形態に係るフォーム制御部210によれば、各ユニットにおける処理がニューラルネットワーク全体に与えるインパクトを明示的にユーザに示すことが可能となり、また、統計情報を確認したユーザが、必要に応じてユニット内の処理を変更することなどが可能となる。なお、フォーム制御部210は、上記の割合をパーセンテージにより表示させたり、インジケータなどを用いて表示させてもよい。
【0099】
次に、本実施形態に係る統計情報の算出の流れについて詳細に説明する。図13は、本実施形態に係る統計情報算出の流れを示すフローチャートである。
【0100】
図13を参照すると、フォーム制御部210は、まずネットワークの実行順に従い、コンポーネントまたはユニットを選択する(S1201)。
【0101】
次に、フォーム制御部210は、選択した要素がユニットであるか否かを判定する(S1202)。
【0102】
ここで、選択した要素がコンポーネントである場合(S1202:No)、フォーム制御部210は、コンポーネントの統計値をニューラルネットワーク全体の統計情報に反映する(S1203)。
【0103】
一方、選択した要素がユニットである場合(S1202:Yes)、フォーム制御部210は、ユニット内部の統計値を算出する(S1204)。この際、フォーム制御部210は、図13に示す統計情報の算出処理を再帰的に実行する。
【0104】
続いて、フォーム制御部210は、ステップS1204において算出したユニット内部の統計値をニューラルネットワーク全体の統計情報に反映する(S1205)。
【0105】
本実施形態に係るフォーム制御部210は、ステップS1203またはS1205における処理が完了した場合、すべてのコンポーネントおよびユニットが処理済であるか否かを判定する(S1206)。
【0106】
ここで、すべてのコンポーネントおよびユニットが処理済ではない場合(S1206:No)、フォーム制御部210は、ステップS1201に復帰し、以降の処理を繰り返し実行する。
【0107】
一方、すべてのコンポーネントおよびユニットが処理済である場合(S1206:Yes)、フォーム制御部210は、統計情報に係る算出処理を終了する。
【0108】
<<1.6.ソースコードの出力>>
次に、本実施形態に係る生成部220によるソースコードの出力について詳細に説明する。本実施形態に係る生成部220は、フォーム制御部210が提供するフォームにおけるコンポーネントとユニットの配置、および設定されるプロパティとに基づいて、ニューラルネットワークに係るソースコードを出力する機能を有する。
【0109】
本実施形態に係る生成部220が有する上記の機能によれば、例えば、ビジュアルプログラミングにより大枠を形成したのちに、Pythonを用いて細部を編集したい、などの上級のユーザの要望にも広く応えることが可能である。
【0110】
このために、本実施形態に係る生成部220は、フォームにおいて定義されたユニットの構造を維持したソースコードを生成し、当該ソースコードを出力してよい。図14は、本実施形態に係る生成部220が出力するソースコードの一例である。
【0111】
図14には、本実施形態に係る生成部220が出力するソースコードの一例として、2つのソースコードS1およびS2が示されている。ここで、ソースコードS1は、定義されたユニットの呼び出し元に対応するソースコードの一例である。ソースコードS1を参照すると、ソースコードS1には、ユニット「SepConv」を呼び出すメソッドと共に、ユニット「SepConv」に与える引数が設定されていることがわかる。
【0112】
また、ソースコードS2は、ユニット「SepConv」のソースコードの一例である。ソースコードS2を参照すると、ソースコードS2には、「SepConv」を構成する複数のコンポーネントに係る記述が含まれており、また、「ConvKarnel」、「ConvMaps」、「ConvStride」などの設定引数に係る記載が含まれていることがわかる。
【0113】
このように、本実施形態に係る生成部220によれば、ユニットの構成や当該ユニットに設定された引数を正しく反映した階層的なソースコードを生成することができ、可読性が高く、かつ編集が容易なコードをユーザに提供することが可能となる。
【0114】
続いて、本実施形態に係る生成部220によるソースコードの出力の流れについて詳細に説明する。図15は、本実施形態に係る生成部220によるソースコード出力の流れを示すフローチャートである。
【0115】
図15を参照すると、生成部220は、まず、まだソースコードが出力されていないネットワークを1つ選択する(S1301)。
【0116】
次に、生成部220は、ステップS1301において選択したネットワークの関数定義に係るコードを出力する(S1302)。この際、選択したネットワークが上述の引数コンポーネントを含む場合、生成部220は、引数コンポーネントに対応する引数を追加する。
【0117】
次に、生成部220は、まずネットワークの実行順に従い、コンポーネントまたはユニットを選択する(S1303)。
【0118】
次に、生成部220は、選択した要素がユニットであるか否かを判定する(S1304)。
【0119】
ここで、選択した要素がコンポーネントである場合(S1304:No)、生成部220は、選択したコンポーネントのコードを出力する(S1305)。
【0120】
一方、選択した要素がユニットである場合(S1304:Yes)、生成部220は、選択したユニットに対応するネットワークの関数を呼び出すコードを出力する(S1306)。この際、生成部220は、ユニットのプロパティを、当該ユニットに対応するネットワークの関数の引数として引き渡す。
【0121】
本実施形態に係る生成部220は、ステップS1305またはS1306における処理が完了した場合、すべてのコンポーネントおよびユニットが処理済であるか否かを判定する(S1307)。
【0122】
ここで、すべてのコンポーネントおよびユニットが処理済ではない場合(S1307:No)、生成部220は、ステップS1303に復帰し、以降の処理を繰り返し実行する。
【0123】
一方、すべてのコンポーネントおよびユニットが処理済である場合(S1307:Yes)、生成部220は、続いて、すべてのネットワークが処理済であるか否かを判定する(S1308)。
【0124】
ここで、すべてのネットワークが処理済ではない場合(S1308:No)、生成部220は、ステップS1301に復帰し、以降の処理を繰り返し実行する。
【0125】
一方、すべてのネットワークが処理済である場合(S1308:Yes)、生成部220は、ソースコードの出力に係る処理を終了する。
【0126】
<<1.7.ネットワーク構造の自動探索>>
次に、本実施形態に係るネットワーク構造の自動探索機能について説明する。上述したように、本実施形態に係る生成部220は、フォーム上にユーザが配置したコンポーネントやユニット、また設定されるプロパティに基づいて、ニューラルネットワークを生成する機能を有する。
【0127】
また、本実施形態に係る生成部220は、生成したニューラルネットワークを評価し、当該評価済のネットワークのネットワーク構造を変化させ、異なるネットワーク構造を有する別のニューラルネットワークを生成する機能を有する。さらには、本実施形態に係る生成部220は、生成した上記別のニューラルネットワークの評価を行いパレート最適解を更新し、当該パレート最適解に係るニューラルネットワークのネットワーク構造を変化させ、さらなる別のニューラルネットワークを生成する。すなわち、本実施形態に係る生成部220は、ネットワークの生成とパレート最適解の更新を繰り返すことで、効率の良いネットワーク構造を自動で探索し、ユーザに提示することができる。
【0128】
生成部220によるニューラルネットワークの生成は、例えば、突然変異や交叉(または、交差、とも呼ぶ)などを含む遺伝的操作により実現されてもよい。ここで、上記の突然変異とは、生物に見られる遺伝子の突然変異をモデル化したものであってよい。すなわち、生成部220は、ネットワークを構成する各レイヤー(すなわち、コンポーネント)を遺伝子と見立て、レイヤーを突然変異させることで、ネットワーク構造の異なる別のニューラルネットワークを生成することができる。
【0129】
なお、上記の交叉とは、生物の交配における染色体の部分的交換をモデル化したものであってよい。すなわち、本開示に係る情報処理方法では、2つのネットワークのレイヤー構成を部分的に交換することで、上記の別のニューラルネットワークを生成することができる。
【0130】
図16は、本実施形態に係る生成部220による自動構造探索について説明するための図である。図16の左側には、生成部220による自動構造探索前のネットワーク構図が、図16の右側には、生成部220による自動構造探索後のネットワーク構造が、それぞれ示されている。
【0131】
ここで、両者を比較すると、自動構造探索前において、「Tanh」に対応するコンポーネントC4が、自動探索後においては、「ReLU」に変化していることがわかる。また、図16に示す一例では、自動構造探索前において、「MaxPooling」に対応するコンポーネントC6のカーネルシェイプが「2,2」であったのが、自動構造探索後には、「3,3」に変化している。
【0132】
このように、本実施形態に係る生成部220は、突然変異や交叉によりネットワークの構造を変化させパレート最適解の更新を繰り返すことで、より効率的なネットワーク構造を自動で探索することが可能である。なお、本実施形態に係る突然変異や交叉、またパレート最適解更新の詳細については、本開示の出願人により出願され、開示された国際公開第2017/154284号を参照されたい。
【0133】
また、本実施形態に係る生成部220は、上記のような自動構造探索を行う際、ユニットや引数コンポーネントに設定される構造探索可否に基づいて、当該ユニットや引数コンポーネントを自動構造探索の対象とするか否かを決定することを特徴の一つとする。
【0134】
図17は、本実施形態に係る引数コンポーネントの構造探索可否設定について説明するための図である。図17には、本実施形態に係る引数コンポーネントのプロパティ情報LP4の一例が示されている。
【0135】
プロパティ情報LP4には、項目の1つとして、「Search」が含まれている。ここで、「Search」は、生成部220による自動構造探索を許容するか否か、すなわち構造探索可否を設定するための項目であってよい。本実施形態に係る生成部220は、上記の構造探索可否に基づいて、引数の値を変化させるか否かを決定することができる。
【0136】
図17に示す一例の場合、項目「Search」には、「False」が設定されていることから、生成部220は、引数「Convkernel」を自動構造探索の対象外として当該引数の値を変化させずに維持させる。
【0137】
また、図18は、本実施形態に係るユニットの構造探索可否設定について説明するための図である。図18には、コンポーネントC1〜C3から構成されるユニットと、当該ユニットに設定される構造探索可否設定コンポーネントSCの一例が示されている。
【0138】
本実施形態に係るユニットに対する構造探索可否は、例えば、図18に示すような構造探索可否設定コンポーネントSCにより設定され得る。この際、ユーザは、パレットP1に一覧表示される構造探索可否設定コンポーネントSCをパレットP2にドラッグ&ドロップし、プロパティ情報LP5において、項目「Search」の値を選択することで、ユニットに対する構造探索可否を設定することが可能である。
【0139】
本実施形態に係る生成部220は、上記の構造探索可否に基づいて、ユニットのネットワーク構造を変化させるか否かを決定することができる。図18に示す一例の場合、項目「Search」には、「False」が設定されていることから、生成部220は、当該ユニットを自動構造探索の対象外としてネットワーク構造を変化させずに構造を維持させる。
【0140】
このように、本実施形態に係る情報処理方法によれば、ユーザが、ネットワークにおいて、任意のユニットや引数のみが自動構造探索の対象となるよう設定することができ、ユーザの意図を反映した最適後のネットワークを得ることが可能となる。なお、本実施形態に係る探索構造可否設定は、デフォルトでは、「True」の状態であってもよい。この場合、ユーザは、自動構造探索の対象外としたいユニットや引数に上述のような設定を行うことで、当該ユニットや引数を元の設定のまま維持することが可能である。
【0141】
続いて、本実施形態に係る生成部220による自動構造探索の流れについて詳細に説明する。図19は、本実施形態に係る生成部220による自動構造探索の流れを示すフローチャートである。
【0142】
図19を参照すると、生成部220は、まず、上述した自動構造探索設定に基づいて、自動構造探索を行うネットワークを選択する(S1401)。この際、生成部220は、呼び出し元のネットワークやユニットの中から、自動構造探索設定が有効となっているネットワークをランダムに選択してもよい。
【0143】
次に、生成部220は、自動構造探索の手法をランダムに決定する(S1402)。生成部220は、例えば、S1401において選択したネットワークを突然変異させることで、自動構造探索を行ってもよい(S1403)。
【0144】
また、生成部220は、例えば、S1401において選択したネットワークを交叉させることで、自動構造探索を行ってもよい(S1404)。
【0145】
続いて、生成部220は、ステップS1403またはステップS1404で自動構造探索を行ったニューラルネットワークの整合性を判定する(S1405)。
【0146】
ここで、生成したニューラルネットワークの整合性がないと判定した場合(S1405:No)、生成部220は、生成したニューラルネットワークを破棄し、ステップS1401に復帰する。
【0147】
一方、生成したニューラルネットワークに整合性が認められる場合(S1405:Yes)、生成部220は、続いて、生成したニューラルネットワークと、元となるニューラルネットワークと、の入出力が同一であるか否かを判定する(S1406)。
【0148】
ここで、両者の入出力が異なる場合(S1406:No)、想定する認識問題を処理することが困難となるため、生成部220は、生成したニューラルネットワークを破棄し、ステップS1401へと復帰する。
【0149】
一方、生成したニューラルネットワークと、元となるニューラルネットワークとの入出力が同一である場合(S1406:Yes)、生成部220は、自動構造探索に係る処理を正常に終了する。
【0150】
<2.ハードウェア構成例>
次に、本開示の一実施形態に係る情報処理サーバ20のハードウェア構成例について説明する。図20は、本開示の一実施形態に係る情報処理サーバ20のハードウェア構成例を示すブロック図である。図20を参照すると、情報処理サーバ20は、例えば、プロセッサ871と、ROM872と、RAM873と、ホストバス874と、ブリッジ875と、外部バス876と、インターフェース877と、入力装置878と、出力装置879と、ストレージ880と、ドライブ881と、接続ポート882と、通信装置883と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
【0151】
(プロセッサ871)
プロセッサ871は、例えば、演算処理装置又は制御装置として機能し、ROM872、RAM873、ストレージ880、又はリムーバブル記録媒体901に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
【0152】
(ROM872、RAM873)
ROM872は、プロセッサ871に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM873には、例えば、プロセッサ871に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
【0153】
(ホストバス874、ブリッジ875、外部バス876、インターフェース877)
プロセッサ871、ROM872、RAM873は、例えば、高速なデータ伝送が可能なホストバス874を介して相互に接続される。一方、ホストバス874は、例えば、ブリッジ875を介して比較的データ伝送速度が低速な外部バス876に接続される。また、外部バス876は、インターフェース877を介して種々の構成要素と接続される。
【0154】
(入力装置878)
入力装置878には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置878としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。また、入力装置878には、マイクロフォンなどの音声入力装置が含まれる。
【0155】
(出力装置879)
出力装置879は、例えば、CRT(Cathode Ray Tube)、LCD、又は有機EL等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置879は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
【0156】
(ストレージ880)
ストレージ880は、各種のデータを格納するための装置である。ストレージ880としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
【0157】
(ドライブ881)
ドライブ881は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体901に記録された情報を読み出し、又はリムーバブル記録媒体901に情報を書き込む装置である。
【0158】
(リムーバブル記録媒体901)
リムーバブル記録媒体901は、例えば、DVDメディア、Blu−ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体901は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。
【0159】
(接続ポート882)
接続ポート882は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS−232Cポート、又は光オーディオ端子等のような外部接続機器902を接続するためのポートである。
【0160】
(外部接続機器902)
外部接続機器902は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
【0161】
(通信装置883)
通信装置883は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。
【0162】
<3.まとめ>
以上説明したように、本開示の一実施形態に係る情報処理方法は、プロセッサが、レイヤーに対応するコンポーネントの配置と、コンポーネントに設定されるプロパティと、に基づいて、ニューラルネットワークを構築するプログラムを作成するためのフォームを提供することと、ニューラルネットワークに係る統計情報を提示することと、を含むこと、を特徴の一つとする。また、上記フォームを提供することは、フォームにおいて、複数のコンポーネントから構成されるユニットを定義する機能を提供することと、定義されたユニットを、コンポーネントと同様に配置可能に提供することと、をさらに含むこと、を特徴の一つとする。係る構成によれば、ニューラルネットワークの開発効率をより向上させることが可能となる。
【0163】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0164】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0165】
また、コンピュータに内蔵されるCPU、ROMおよびRAMなどのハードウェアに、情報処理サーバ20が有する構成と同等の機能を発揮させるためのプログラムも作成可能であり、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
【0166】
また、本明細書の情報処理サーバ20の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、情報処理サーバ20の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
【0167】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
プロセッサが、レイヤーに対応するコンポーネントの配置と、前記コンポーネントに設定されるプロパティと、に基づいて、ニューラルネットワークを構築するプログラムを作成するためのフォームを提供することと、
前記ニューラルネットワークに係る統計情報を提示することと、
を含み、
前記フォームを提供することは、前記フォームにおいて、複数の前記コンポーネントから構成されるユニットを定義する機能を提供することと、
定義された前記ユニットを、前記コンポーネントと同様に配置可能に提供することと、
をさらに含む、
情報処理方法。
(2)
前記フォームを提供することは、前記ユニットを複数利用および再利用可能に提供すること、
をさらに含む、
前記(1)に記載の情報処理方法。
(3)
前記フォームを提供することは、前記ユニットを構成する複数の前記コンポーネントに共通して利用可能な引数を定義する機能を提供することと、
定義された前記引数を前記ユニットのプロパティの一部として設定可能なように制御することと、
をさらに含む、
前記(1)または(2)に記載の情報処理方法。
(4)
前記引数を定義する機能を提供することは、前記フォーム上に配置される、前記引数に対応する引数コンポーネントと、前記引数コンポーネントに設定されるプロパティとに基づいて、前記引数を制御すること、
をさらに含む、
前記(3)に記載の情報処理方法。
(5)
前記フォームを提供することは、前記フォームにおいて、前記ユニットを、前記ユニットを構成する前記コンポーネントの種別および数に依らない所定の視覚表現を用いて表示すること、
をさらに含む、
前記(1)〜(4)のいずれかに記載の情報処理方法。
(6)
前記フォームを提供することは、前記ユニットを構成する複数の前記コンポーネントの処理により変更されるパラメータを、前記ユニットに対応する前記視覚表現と関連付けて表示すること、
をさらに含む、
前記(5)に記載の情報処理方法。
(7)
前記統計情報を提示することは、前記ユニットを構成する前記コンポーネントを含む前記ニューラルネットワーク全体の前記統計情報を提示すること、
をさらに含み、
前記統計情報は、出力ニューロンサイズ、使用メモリ量、または演算量のうち、少なくとも1つを含む、
前記(1)〜(6)のいずれかに記載の情報処理方法。
(8)
前記統計情報を提示することは、前記ユニットごとに前記統計情報を提示すること、
をさらに含む、
前記(7)に記載の情報処理方法。
(9)
前記統計情報を提示することは、前記ニューラルネットワーク全体の前記統計情報と前記ユニットの前記統計情報とを比較して提示すること、
をさらに含む、
前記(7)または(8)に記載の情報処理方法。
(10)
前記統計情報に含まれる要素を選択するユーザの操作を受け付け、選択された前記要素の値を、前記コンポーネントおよび前記ユニットごとに比較して提示すること、
をさらに含む、
前記(1)〜(9)のいずれかに記載の情報処理方法。
(11)
前記コンポーネントまたは前記ユニットごとの前記要素の値と、当該要素の値の大きさを示すインジケータと、を前記フォーム上に配置された前記コンポーネントまたは前記ユニットに関連付けて提示する、
前記(10)に記載の情報処理方法。
(12)
前記フォームを提供することは、前記ユニットの定義に関し、前記ユニットが1つ以上の前記ユニットを含んで構成されることを許容すること、
をさらに含む、
前記(1)〜(11)のいずれかに記載の情報処理方法。
(13)
前記コンポーネントと前記ユニットの配置および設定されるプロパティとに基づいて、前記ニューラルネットワークに係るソースコードを出力すること、
をさらに含む、
前記(1)〜(12)のいずれかに記載の情報処理方法。
(14)
前記ソースコードを出力することは、前記ユニットの構成を維持した前記ソースコードを生成すること、
をさらに含む、
前記(13)に記載の情報処理方法。
(15)
評価済のニューラルネットワークから、ネットワーク構造の異なる別のニューラルネットワークを生成することと、
生成されたニューラルネットワークの評価結果を取得することと、
生成されたニューラルネットワークの評価結果に基づいて、評価済のニューラルネットワークに係るパレート最適解を更新することと、
をさらに含み、
前記生成することは、前記パレート最適解に係るニューラルネットワークから、ネットワーク構造の異なる前記別のニューラルネットワークを生成することと、
をさらに含む、
前記(1)〜(14)のいずれかに記載の情報処理方法。
(16)
前記生成することは、前記ユニットに設定される構造探索可否に基づいて、前記ユニットのネットワーク構造を変化させるか否かを決定すること、
をさらに含む、
前記(15)に記載の情報処理方法。
(17)
前記生成することは、前記ユニットに用いられる引数に設定される構造探索可否に基づいて、前記引数の値を変化させるか否かを決定すること、
をさらに含む、
前記(15)または(16)に記載の情報処理方法。
(18)
レイヤーに対応するコンポーネントの配置と、前記コンポーネントに設定されるプロパティと、に基づいて、ニューラルネットワークを構築するプログラムを作成するためのフォームを提供し、前記フォームにおいて、前記ニューラルネットワークに係る統計情報を提示するフォーム制御部、
を備え、
前記フォーム制御部は、前記フォームにおいて、複数の前記コンポーネントから構成されるユニットを定義する機能を提供し、定義された前記ユニットを、前記コンポーネントと同様に配置可能に提供する、
情報処理装置。
(19)
コンピュータを、
レイヤーに対応するコンポーネントの配置と、前記コンポーネントに設定されるプロパティと、に基づいて、ニューラルネットワークを構築するプログラムを作成するためのフォームを提供し、前記フォームにおいて、前記ニューラルネットワークに係る統計情報を提示するフォーム制御部、
を備え、
前記フォーム制御部は、前記フォームにおいて、複数の前記コンポーネントから構成されるユニットを定義する機能を提供し、定義された前記ユニットを、前記コンポーネントと同様に配置可能に提供する、
情報処理装置、
として機能させるためのプログラム。
【符号の説明】
【0168】
10 情報処理端末
110 表示部
120 入力部
130 制御部
140 サーバ通信部
20 情報処理サーバ
210 フォーム制御部
220 生成部
230 端末通信部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
【国際調査報告】