(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-20
(45)【発行日】2022-12-28
(54)【発明の名称】マニピュレータ制御装置、及びマニピュレータ制御システム
(51)【国際特許分類】
B25J 13/00 20060101AFI20221221BHJP
G06N 3/04 20060101ALI20221221BHJP
【ＦＩ】
B25J13/00 Z
G06N3/04 154
【請求項の数】
7
(21)【出願番号】P 2020181382
(22)【出願日】2020-10-29
(62)【分割の表示】P 2019527098の分割
【原出願日】2018-06-25
(65)【公開番号】P2021014010
(43)【公開日】2021-02-12
【審査請求日】2020-11-25
(31)【優先権主張番号】P 2017125681
(32)【優先日】2017-06-27
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2018044420
(32)【優先日】2018-03-12
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】517227622
【氏名又は名称】石井 正好
(72)【発明者】
【氏名】石井 正好
【審査官】杉田 隼一
(56)【参考文献】
【文献】特開２００９－２４１２４７（ＪＰ，Ａ）
【文献】特開平１０－０９１２０７（ＪＰ，Ａ）
【文献】特開２００７－２４５３２６（ＪＰ，Ａ）
【文献】特開平０７－２５９９７４（ＪＰ，Ａ）
【文献】特開平０８－２７７７４２（ＪＰ，Ａ）
【文献】特開平４－７６６０（ＪＰ，Ａ）
【文献】特開平５－１８１８２５（ＪＰ，Ａ）
【文献】特開２００２－２６９５３０（ＪＰ，Ａ）
【文献】長田 茂美 Shigemi Nagata，センサフュージョン Sensor Fusion，日本ロボット学会誌 第１２巻 第５号 Journal of the Robotics Society of Japan，日本，社団法人日本ロボット学会 Robotics Society of Japan，1994年07月15日，第12巻
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ２５Ｊ １３／００
Ｇ０６Ｎ ３／０４
(57)【特許請求の範囲】
【請求項1】
ノイマン型コンピュータを利用したソフトウェア上での実装、または、ニューロモーフィック型集積回路を利用したハードウェア上での実装により、
特定の処理機能を有するニューラルネットワークで構成された処理モジュールを、入力側から出力側へ向かう情報伝達方向に対して並列な関係で複数まとめて１つの階層の処理モジュール群とし、相対的に具現的な内容の処理を行う処理モジュールを有する階層を下位とし、相対的に抽象的な内容の処理を行う処理モジュールを有する階層を上位として、階層間で相対的な上位下位関係を有する多階層構造で構築し、
同じ階層の処理モジュールどうしは同じ制御機能レベルにあり、上位にある階層の処理モジュールがそれより下位にある階層の少なくとも１つの処理モジュールの処理の作動を制御するよう処理し、
最下位階層の処理モジュールは、
当該処理モジュールの処理内容に応じて、入力情報と、マニピュレータのアクチュエータへ出力する制御情報との間の相関関係を学習しており、
前記最下位階層より上位にある所定階層の処理モジュールは、
当該処理モジュールの処理内容に応じて、当該所定階層より下位にある階層のどの処理モジュールを作動させるかを学習している、
ことを特徴とするマニピュレータ制御装置。
【請求項2】
請求項１記載のマニピュレータ制御装置と、前記マニピュレータ制御装置により動作が制御されるマニピュレータと、
を備えることを特徴とするマニピュレータ制御システム。
【請求項3】
前記マニピュレータの作業状態を撮像して画像情報を取得可能なカメラをさらに備え、前記マニピュレータ制御装置は、
前記画像情報に基づいて前記マニピュレータの動作を制御することを特徴とする請求項２記載のマニピュレータ制御システム。
【請求項4】
前記カメラの姿勢情報を検出可能な姿勢センサをさらに備え、前記マニピュレータ制御装置は、
前記画像情報と前記姿勢情報に基づいて前記マニピュレータの動作を制御することを特徴とする請求項３記載のマニピュレータ制御システム。
【請求項5】
前記マニピュレータ制御装置は、前記画像情報に基づいて抽出した位置情報を一時的に記憶するバッファを備えていることを特徴とする請求項３又は４に記載のマニピュレータ制御システム。
【請求項6】
前記マニピュレータは、関節軸における軸位置情報を検出可能なエンコーダを備え、
前記マニピュレータ制御装置は、
帰還情報として入力された前記軸位置情報に基づいて前記マニピュレータの動作を制御することを特徴とする請求項２乃至５のいずれか１項に記載のマニピュレータ制御システム。
【請求項7】
前記マニピュレータの動作を制御する空間位置情報として、当該マニピュレータが備える前記関節軸の軸数と同じ次元数の空間位置情報を利用することを特徴とする請求項６記載のマニピュレータ制御システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ニューラルネットワークを用いたマニピュレータの制御処理を実行するマニピュレータ制御装置、及びマニピュレータ制御システムに関する。
【背景技術】
【0002】
例えば特許文献１には、ニューラルネットワークを用いた深層強化学習に基づいてバラ積みされたワークをロボットハンドで取り出す制御技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１７－６４９１０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら上記従来技術では、ニューラルネットワークはワークを把持させるロボットハンドそのものの位置や姿勢の演算のみに利用するだけであり、その他の各ワークの位置や姿勢などの状態観測や、当該ロボットの駆動源であるモータなどのアクチュエータの動作制御などに関しては、直交座標空間中の座標位置に基づく数値演算やシーケンスをいわゆるノイマン型コンピュータ上のソフトウェア処理によって行っていた。このためニューラルネットワークを用いたニューロ型コンピュータの優位性であるロバスト性（頑健性）を限定的にしか発揮できなかった。
【0005】
本発明はこのような問題点に鑑みてなされたものであり、ニューラルネットワークで構成して汎用性の高いマニピュレータの制御処理の実行が可能なマニピュレータ制御装置、及びマニピュレータ制御システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、請求項１記載の発明は、マニピュレータ制御装置であって、特定の処理機能を有するニューラルネットワークで構成された処理モジュールを、入力側から出力側へ向かう情報伝達方向に対して並列な関係で複数まとめて１つの階層の処理モジュール群とし、相対的に具現的な内容の処理を行う処理モジュールを有する階層を下位とし、相対的に抽象的な内容の処理を行う処理モジュールを有する階層を上位として、階層間で相対的な上位下位関係を有する多階層構造で構築し、同じ階層の処理モジュールどうしは同じ制御機能レベルにあり、上位にある階層の処理モジュールがそれより下位にある階層の少なくとも１つの処理モジュールの処理の作動を制御するよう処理し、前記処理モジュールは、入力情報に基づく所定の処理によりマニピュレータのアクチュエータへ出力する制御情報を生成するよう処理するものが含まれ、当該処理モジュールの処理内容に応じた前記入力情報と前記制御情報の間の相関関係を学習していることを特徴とする。
【0007】
また、上記課題を解決するために、請求項２記載の発明は、マニピュレータ制御システムであって、請求項１記載のマニピュレータ制御装置と、前記マニピュレータ制御装置により動作が制御されるマニピュレータと、を備えることを特徴とする。
【発明の効果】
【0008】
本発明によれば、ニューラルネットワークで構成して汎用性の高いマニピュレータの制御処理を実行できる。
【図面の簡単な説明】
【0009】
【図1】情報処理装置の一実施形態に係るニューロ型コンピュータの利用形態の一例を概略的に表すシステム構成図である。
【図2】ニューロ型コンピュータの構成モデルとなる生体脳モデルを表す図である。
【図3】ニューロ型コンピュータのニューラルネットワークモジュールの階層構造例を表す図である。
【図4】ニューラルネットワークモジュールの概略モデル構成の一例を表す図である。
【図5】ニューラルネットワークモジュールの作動制御に用いるスイッチャーの具体的構成例を表す図である。
【図6】ニューロ型コンピュータを用いたマニピュレータ制御システムのシステム構成例を表す図である。
【図7】第１タスク作業前の初期状態にある作業台上の状態をカメラで撮像した撮像画像を表す図である。
【図8】第１タスク作業におけるグリッパの動作工程とマニピュレータ全体で行うべき制御内容を表す図である。
【図9】第１タスクを実行させるためのニューロ型コントローラのモジュール接続構成例を表す図である。
【図10】グリッパ－ボール位置合わせ知覚ＮＮモジュールの概略モデル構成を表す図である。
【図11】グリッパ－ボール位置合わせ制御ＮＮモジュールの概略モデル構成を表す図である。
【図12】第１タスク作業のシーケンス内容を表すラダー部である。
【図13】第２タスク作業前の初期状態にある作業台上の状態をカメラで撮像した撮像画像を表す図である。
【図14】第２タスクを実行させるためのニューロ型コントローラのモジュール接続構成例を表す図である。
【図15】第２タスクを実行させるためのニューロ型コントローラのモジュール接続構成例を表す図である。
【図16】選択対象物認識ＮＮモジュールの概略モデル構成図である。
【図17】グリッパ－ボール位置合わせ制御ＮＮモジュールの概略モデル構成図である。
【図18】複合動作制御階層と基本動作知覚制御階層を備えて第２タスク作業を実行可能なモジュール接続構成例を表す図である。
【図19】複合動作制御階層と基本動作知覚制御階層を備えて第２タスク作業を実行可能なモジュール接続構成例を表す図である。
【図20】把持動作制御ＮＮモジュールの概略モデル構成図である。
【図21】グリッパ－ボール位置合わせ知覚制御ＮＮモジュールの概略モデル構成図である。
【図22】作動進捗度パラメータを入力し、作動速度パラメータを出力する場合の把持動作制御ＮＮモジュールの概略モデル構成図である。
【図23】作動速度パラメータを入力し、作動進捗度パラメータを出力する場合のグリッパ－ボール位置合わせ知覚制御ＮＮモジュールの概略モデル構成図である。
【図24】複眼カメラの構成を表す図である。
【図25】複数画像信号を入力して３次元空間信号を出力する知覚ＮＮモジュールの概略モデル構成図である。
【図26】複数画像信号を入力して６次元位置情報を出力する知覚ＮＮモジュールの概略モデル構成図である。
【図27】空間野バッファとエンコーダを備えたニューロ型コントローラのモジュール接続構成例を表す図である。
【図28】空間野バッファとエンコーダから情報を入力する場合のグリッパ－ボール位置合わせ知覚制御ＮＮモジュールの概略モデル構成図である。
【図29】多階層化したニューロ型コンピュータ全体の概略接続構成を表す図である。
【図30】自然言語処理システムのニューロ型コンピュータにおけるＮＮモジュールコネクトーム構成の一例を表す図である。
【図31】こまを対象物とした場合の３つの状態例とそれぞれに対応して出力すべき発話内容を示す図である。
【図33】音素発音制御ＮＮモジュールで口唇、顎、舌、及び声帯に相当する各出力機器を制御する場合の発音制御を説明する図である。
【図34】入力認知側の接続構成や機能配置を模倣して構築した認知列セクションのＮＮモジュール階層構造の一例を表す図である。
【図35】認知列セクションのＮＮモジュール階層構造を２次ニューラルネットワーク構造として展開した一例を表す図である。
【図36】一般的な成人の人間が有する認知機能まで拡張したと仮定した認知列セクションの概略モデルの一例を表す図である。
【図37】認知列セクションと思考列セクションと制御列セクションとを統合して備えた場合のニューロ型コンピュータの概略モデルの一例を表す図である。
【図38】適用アプリケーション選択ＮＮモジュールで適用する思考・予測ＮＮモジュールを選択する場合のニューロ型コンピュータの概略モデルの一例を表す図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施の形態について図面を参照しつつ説明する。
【0011】
＜１：ニューロ型コンピュータの構成＞
＜１－１：ニューロ型コンピュータの利用形態例＞
まず、本発明の情報処理装置の概略構成について説明する。
＜１－１：ニューロ型コンピュータの利用形態例＞
まず、本発明の情報処理装置の概略構成について説明する。
【0012】
図１は、本発明の情報処理装置の一実施形態であるニューロ型コンピュータの利用形態の一例を概略的に表すシステム構成を示している。なお、図示するシステム構成は、各部の接続関係や各種情報の入出力関係を限定するものではない。
【0013】
この図１において、本実施形態のニューロ型コンピュータ１は、基本的にニューラルネットワークだけを用いて構成されるものであり、例えばカメラ、マイク、及び各種センサ等の入力機器群２から入力された入力信号に基づいて所定のタスクに応じた出力信号をニューラルネットワークだけで生成し、この出力信号を例えばモータなどのアクチュエータ、表示部、スピーカ等の出力機器群３へ出力するよう機能するといったいわゆる“Ｅｎｄ－ｔｏ－Ｅｎｄ”型の構成となっている。また、上記タスクの実行だけであればニューロ型コンピュータ１だけで実現可能であるが、当該ニューロ型コンピュータ１の設定や運用などの便宜上、図示するようにノイマン型コンピュータ４を接続して状態観測、上位制御、状態制御、学習内容管理等を適宜行ってもよい。また、ノイマン型コンピュータ４が、ニューロ型コンピュータ１に対して上記入力信号を出力する入力機器群として機能したり、上記出力信号を入力する出力機器群として機能してもよい。
【0014】
＜１－２：ニューロ型コンピュータの仮想モデル＞
ここで、本実施形態のニューロ型コンピュータ１の内部アーキテクチャに関する基本概念について説明する。そもそもニューラルネットワークは、人間の脳に存在する神経細胞の結合構成を模倣した生物模倣工学に基づく情報処理モデルである。このニューラルネットワークは、その設計の自由度とタスクに対する適応性能が非常に高く、これまでに利用されているいわゆるノイマン型コンピュータに匹敵する情報処理性能を有していると考えられる。これに対し現在では、実際の生体脳の構成や機能を生理学的に解析し、それを模倣するよう数理情報処理的な手法によって汎用人工知能を構築する理学的なアプローチも進められているが、実際の生体脳の構造は非常に複雑であるため現状ではその構成や各部の機能を明確に解明することが困難となっている。
ここで、本実施形態のニューロ型コンピュータ１の内部アーキテクチャに関する基本概念について説明する。そもそもニューラルネットワークは、人間の脳に存在する神経細胞の結合構成を模倣した生物模倣工学に基づく情報処理モデルである。このニューラルネットワークは、その設計の自由度とタスクに対する適応性能が非常に高く、これまでに利用されているいわゆるノイマン型コンピュータに匹敵する情報処理性能を有していると考えられる。これに対し現在では、実際の生体脳の構成や機能を生理学的に解析し、それを模倣するよう数理情報処理的な手法によって汎用人工知能を構築する理学的なアプローチも進められているが、実際の生体脳の構造は非常に複雑であるため現状ではその構成や各部の機能を明確に解明することが困難となっている。
【0015】
そこで本検討では、図２に示すような生体脳モデルを仮定し、そこから産業応用分野等での情報処理に転用可能な機能の実装を提案する。なお、この図２に示す生体脳モデルは、現実に人や動物が備えている生体脳について近年の脳生理学や神経科学等で知見されているような実際の神経構造とは大きく相違するものであるが、ここではあくまで汎用的な情報処理装置をほぼニューラルネットワークだけで実装する上で合理的かつ有効と思われるコネクトーム接続構成の一形態を提案するための仮想モデルである。
【0016】
この図２において、全体が略半球体形状にある大脳１１の底部に集中して、目１２や耳１３などの知覚器官と手足１４や声帯１５などの出力器官がそれぞれ神経系を介して接続されており、脳内ではそれら知覚器官と出力器官の間を直接つなぐニューラルネットワークが先天的に形成されている。その一方で、大脳１１の底部中心に大脳基底核１６が配置されており、そこから新しく分裂生成された脳神経細胞１７が大脳１１内を放射状に移動して必要な箇所にシナプスを結合させて定着する。
【0017】
これにより、知覚器官と出力器官の間をつなぐニューラルネットワークは、その成長とともに底部の大脳基底核１６から大脳１１の外周表面の大脳新皮質１８に向けて積層増大化した層構造を形成する。この層構造では、大脳基底核１６に近いほど過去の経験的な学習や訓練により構築された古いネットワーク層であり、大脳新皮質１８に近いほど新たな思考により構築された新しいネットワーク層となる。そして大脳基底核１６側の古いネットワーク層は無意識的、本能的、及び具現的な処理機能を司り、大脳新皮質１８側の新しいネットワーク層は意識的、理性的、観念的、及び抽象的な処理機能を司ると想定できる。
【0018】
＜１－３：ニューロ型コンピュータの基本内部構成＞
本実施形態のニューロ型コンピュータ１を工学的に実装すべく、上記のように仮定した生体脳の層構造モデルの接続構成や機能配置を模倣して構築したニューラルネットワークモジュールの多階層構造の一例を、図３に示す。ただし図示する例は、後述のマニピュレータ制御に適用した場合のものを概略的に示しており、その詳細を限定するものではない。また、図示する例の構成は、上記図２に示した生体脳モデルのうちの特に出力機器群３を制御する側（出力側）を模倣した多階層構造となる。なお、入力機器群２からの入力信号に基づいて各種の認知を行う側（入力側）を模倣した多階層構造については後述する。
本実施形態のニューロ型コンピュータ１を工学的に実装すべく、上記のように仮定した生体脳の層構造モデルの接続構成や機能配置を模倣して構築したニューラルネットワークモジュールの多階層構造の一例を、図３に示す。ただし図示する例は、後述のマニピュレータ制御に適用した場合のものを概略的に示しており、その詳細を限定するものではない。また、図示する例の構成は、上記図２に示した生体脳モデルのうちの特に出力機器群３を制御する側（出力側）を模倣した多階層構造となる。なお、入力機器群２からの入力信号に基づいて各種の認知を行う側（入力側）を模倣した多階層構造については後述する。
【0019】
この図３において、それぞれニューラルネットワークで構成されて同じ制御機能レベルにある複数のニューラルネットワークモジュール２１（処理モジュールに相当；以下、適宜ＮＮモジュールと略記する）をまとめたＮＮモジュール群を一つの階層（図中の例では、複合動作制御階層２２、基本動作知覚階層２３、及び基本動作制御階層２４の３つの階層を図示）とし、それらの多階層構造で接続した構成によりニューロ型コンピュータ１の全体を構築している。そして、相対的に上位階層にあるＮＮモジュール２１がそれより下位階層にある少なくともいずれか１つのＮＮモジュール２１の処理の作動を制御（例えば起動、活性化、調整）するよう接続されている。なおこの制御関係は、積層方向で隣接する階層間に限られず、１階層以上離間した配置関係の階層間で行ってもよい（図３中では特に図示せず）。なお図中における記号Ｘは、その入力側の複数の配線と出力側の複数の配線との間を全結合していることを示している。また、１つのＮＮモジュール２１だけで１つの階層としてもよい。
【0020】
そして図示する例では、少なくとも最下位階層２４の各ＮＮモジュール２１は、入力機器群２からの入力情報に基づいて出力機器群３への出力情報（制御情報）を出力するものであり、当該ＮＮモジュール２１の処理内容に応じた入力情報と出力情報の間の相関関係を学習している。なお、それより上位階層２２，２３のＮＮモジュール２１においても、必要に応じて入力機器群２からの入力情報を入力してもよい。
【0021】
また、最下位階層２４より上位にある所定階層のＮＮモジュール２１には、その処理内容に応じて当該所定階層より下位にある階層のどのＮＮモジュール２１を作動させるかを学習しているものが含まれている（図中の複合動作制御階層ＮＮモジュール２５参照）。
【0022】
また、所定階層のＮＮモジュール２１は、それ自体によって作動させた他の下位階層のＮＮモジュール２１から帰還入力された状態情報（帰還情報）に基づいて当該所定階層のＮＮモジュール２１の処理に反映させてもよい（図３中では特に図示せず；後に詳述する）。
【0023】
また、ＮＮモジュール２１の作動と非作動を切り替える制御は、当該ＮＮモジュール２１に対する入力情報の入力と非入力を後述するスイッチャー２６を介して切り換えることにより行う。なお、このＮＮモジュール２１の作動制御については、上述した単純な入力と非入力の切り換え以外にも、作動制御情報の連続的な入力量を制御することにより行ってもよい（後に詳述する）。
【0024】
以上のように構成することで、例えば下位の階層ほど入力機器群２からの入力信号と出力機器群３への出力信号との間の直接的な相関関係を学習して、外部機器との間のいわゆるインターフェース的な機能を持たせることができる。また一方、上位の階層ほど下位の階層のいずれのＮＮモジュール２１を制御することで目的とするタスク処理にどれだけ寄与できるかなどの処理概念を学習することができ、より上位概念的な情報処理機能を持たせることができる。そしてさらに上位の階層を追加、調整（つまり上位概念の獲得、拡充）することや既存の各階層でのＮＮモジュール２１の追加、調整（つまり下位概念の獲得、拡充）することで、ニューロ型コンピュータ１全体における統合的な情報処理の汎化性能を向上させることができる。このような上位と下位の階層の関係において、下位の階層では大量のデータ（いわゆるビッグデータ）を用いた学習が必要であるが、上位の階層ではそれと比較してより少ない数のデータや試行での学習で機能できる。
【0025】
ここで、ノイマン型コンピュータ４におけるソフトウェア処理の本質は、人為的に設計した数理モデルに基づく評価関数値と評価閾値それぞれの算出と比較を所定の手順で行うことであり、そのためその数理モデルから外れた事象への対応能力が低く、すなわちいわゆるロバスト性が低いと言える。これに対しニューラルネットワークにおける情報処理は、現実の事象から得たデータ、経験、又は試行に基づいて回帰分析的に構築した処理モデルを利用するものであるため、ロバスト性が高いと言える。
【0026】
そこで上述したように情報処理装置の全体に渡ってほぼＮＮモジュール２１だけで構成した“Ｅｎｄ－ｔｏ－Ｅｎｄ”構成のニューロ型コンピュータ１を実現することにより、部分的にニューラルネットワークを組み込んで他の大部分の処理をノイマン型コンピュータ４で実行するこれまでの構成と比較して、タスク処理に対するロバスト性を最大限に発揮できる。しかし、精度の高い数値計算や正確な情報記録に関してはビットデータ（バイナリデータ、離散データ）を用いてデジタル処理するノイマン型コンピュータ４の方に優位性があるため、ロバスト性を犠牲にして部分的にノイマン型コンピュータ４（もしくはデジタルハードウェア）を組み込む構成も有効である。
【0027】
＜１－４：ニューラルネットワークモジュールの基本構成＞
図４は、本実施形態のニューロ型コンピュータ１に用いられるＮＮモジュール２１（ニューラルネットワークモジュール）の概略モデル構成の一例を示している。この図４において、図示する例のＮＮモジュール２１は、多層パーセプトロンで構成されるいわゆるフィードフォワード型ニューラルネットワークのものを例示している。このＮＮモジュール２１は、入力層に入力される多数の入力データ（ベクトルデータ）と、出力層から出力する多数の出力データ（ベクトルデータ）との間の相関（対応関係）を表す特徴量を、あらかじめ学習フェーズにおける深層学習プロセスで学習している。またＮＮモジュール２１のハイパーパラメータ（層数、ノード数、活性化関数、学習率、等）についても、その処理内容に応じて適宜設計、調整されている。
図４は、本実施形態のニューロ型コンピュータ１に用いられるＮＮモジュール２１（ニューラルネットワークモジュール）の概略モデル構成の一例を示している。この図４において、図示する例のＮＮモジュール２１は、多層パーセプトロンで構成されるいわゆるフィードフォワード型ニューラルネットワークのものを例示している。このＮＮモジュール２１は、入力層に入力される多数の入力データ（ベクトルデータ）と、出力層から出力する多数の出力データ（ベクトルデータ）との間の相関（対応関係）を表す特徴量を、あらかじめ学習フェーズにおける深層学習プロセスで学習している。またＮＮモジュール２１のハイパーパラメータ（層数、ノード数、活性化関数、学習率、等）についても、その処理内容に応じて適宜設計、調整されている。
【0028】
なお、ＮＮモジュール２１は、図示するフィードフォワード型ニューラルネットワークだけで構成することに限られず、その処理内容に応じていわゆる畳み込み型ニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、又はボルツマンマシン等の多様なネットワーク構成を適宜含んでいてもよい。また、入力データ及び出力データは、離散２値データ、離散多値データ、連続値データ、又は確率分布データ等の多様なデータ形態（出力の場合のいわゆる２値分類、回帰、多クラス分類）を適用してもよく、内部信号も含めた各データの値はデジタルとアナログのいずれの表現を適用してもよい。また、画像信号の場合、１画像分のモノクロデータとして扱ってもよいし、ＲＧＢや輝度などの多画像分のカラーデータとして扱ってもよいし、時系列な関係を有する複数の画像からなる動画データで扱ってもよいし、また動画データ中で連続する画像間の差分画像を扱ってもよい。また、図示を省略しているが、各パーセプトロン層にバイアスを適宜付加してもよい。また、各種データや内部信号を時系列パルス情報で扱う、いわゆるスパイキングニューラルネットワークで構成してもよい。
【0029】
そして本実施形態においては、以上のような設計の個々のＮＮモジュール２１を回帰分析器としてみなし、その入力と出力の間の相関関係を深層学習（ディープラーニング）などの手法による回帰分析によって学習した処理モジュールとして割り切って利用する。そして、これら多数のＮＮモジュール２１どうしの間の接続構成（いわゆるコネクトームアーキテクチャ）の設計により、基本的に“Ｅｎｄ－ｔｏ－Ｅｎｄ”構成にあるニューロ型コンピュータ１を構築する。これにより、目的のタスクに対応したニューロ型コンピュータ１のアーキテクチャ設計が容易となり、学習も効率化できる。また、このようなコネクトーム接続設計で構築したニューロ型コンピュータ１においては、処理要素であるＮＮモジュール２１自体の内部における処理内容が不明確であるとしても、それらＮＮモジュール２１単位での接続関係は人為的に設計したものであるため、不具合が生じた場合の原因特定や改修が容易となる。
【0030】
このＮＮモジュール２１の深層学習プロセスについては、データセットを用いたいわゆる教師あり学習により学習させてもよいし、いわゆる深層強化学習により学習させてもよい。教師あり学習の場合は、例えば入力データと出力データの間の関係性、つまり入力層と出力層の間の関係性が成立するよう各ノードどうしをつなぐ各エッジの重み係数を逆方向で調整するいわゆるバックプロパゲーション処理（誤差逆伝搬処理）等により学習を行う。なお、このようなバックプロパゲーションの他にも、いわゆる確率的勾配降下法、積層オートエンコーダ、制限付きボルツマンマシン、ドロップアウト、ノイズ付加、スパース正則化、及び部分的な教師なし学習などの公知の多様な学習手法を併用して処理精度を向上させてもよい。このような学習により、ＮＮモジュール２１においては、入力ベクトルデータ（入力情報）を説明変数とし出力ベクトルデータ（出力情報）を目的変数とした多数のデータセットによる回帰分析が行われる。
【0031】
以上のようにして、各ＮＮモジュール２１を予めそれぞれ必要とされる機能を発揮できるよう個別に学習させておき、それら学習済みの状態にある複数のＮＮモジュール２１を所定のコネクトーム設計に基づいて接続することでニューロ型コンピュータ１を構築する。また、その後にニューロ型コンピュータ１全体でファインチューニングするよう適宜学習させてもよい。もしくは、ニューロ型コンピュータ１を構築した後に適宜限定したＮＮモジュール２１だけ必要に応じて再学習させて全体の処理精度を向上させてもよい。なお、以上説明した数理情報処理的な学習手法以外にも、各エッジの重み係数を例えば人為的な設計手法、又はハードウェア的（機械的、物理的）な作用による手法などの他の手法によって調整してもよい。
【0032】
なお、各ＮＮモジュールの具体的な実装形態は、いわゆるニューロモーフィック型の集積回路上でハードウェア的に実装してもよいし、ノイマン型コンピュータ４上でソフトウェア的に実装してもよいし、その他にもＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を含むＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）や、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などで構成するアクセラレータ上で実装してもよい。また本実施形態においては、上記図３で示したＮＮモジュール群の間の「階層」は、ＮＮモジュール２１内における入力層、中間層、出力層などのパーセプトロン間の「層」と異なるものとして区別する。
【0033】
＜１－５：スイッチャーの具体的構成例＞
ＮＮモジュール２１の作動制御に用いる上記スイッチャー２６について、いくつかの具体的構成例を図５に示す。スイッチャー２６は、上記図３中（又は図５中の左側）では単なるスイッチの要素記号で表記しているが、要はＮＮモジュール２１に対する入力信号（入力データ）の入力と非入力を任意に切り換えできればよい。なおここでは、基本的にスイッチャー２６は、何ら制御信号が入力されていない通常時にはオフ状態となり、正論理（“１”、Ｈｉｇｈで入力）の制御信号が入力されることによってオン状態に切り換えるノーマリオフの仕様とする。
ＮＮモジュール２１の作動制御に用いる上記スイッチャー２６について、いくつかの具体的構成例を図５に示す。スイッチャー２６は、上記図３中（又は図５中の左側）では単なるスイッチの要素記号で表記しているが、要はＮＮモジュール２１に対する入力信号（入力データ）の入力と非入力を任意に切り換えできればよい。なおここでは、基本的にスイッチャー２６は、何ら制御信号が入力されていない通常時にはオフ状態となり、正論理（“１”、Ｈｉｇｈで入力）の制御信号が入力されることによってオン状態に切り換えるノーマリオフの仕様とする。
【0034】
例えば図５中の右側の最上段に示すように、ＮＮモジュール２１の入力層に対して大きな負バイアスの付加を切り換える構成が考えられる。つまり入力層の各ノードにおいて、活性化関数の活性化閾値を超える分の入力値変動幅よりも絶対値の大きい負バイアス（Ｗｂ＜＜０）を各ノードに一律に入力することで、入力層のいずれのノードも活性化を阻止することができ、すなわち入力信号の入力を無効化（非入力）することができる。この場合、制御信号の論理（“１”、“０”）を反転して入力することで、ノーマリオフで作動させることができる。
【0035】
また他にも入力データが２値データである場合には、図５中の右側の中段に示すようなトライステートバッファや、図５中の右側の最下段に示すようなゲートロジック（図示する例ではＡＮＤゲート）でスイッチャーを構成してもよい。これらのトライステートバッファやゲートロジックは、ニューラルネットワークで実装してもよいし、ハードウェアで実装してもよいし、ノイマン型コンピュータ上のソフトウェアで実装してもよい。また他にも、入力層の全てのノードの作動と非作動（活性化の許容と非許容）をハードウェア的もしくはソフトウェア的に切り換えることでスイッチャーとして機能させてもよい。またノイマン型コンピュータのソフトウェア上で実装する場合には、どのＮＮモジュール２１を適用して機能させるかをソフトウェア処理によって選択し、切り替えるよう実装してもよい。
【0036】
＜１－６：本実施形態の効果＞
これまでのニューラルネットワークの利用形態としては、目的とするタスク処理のうち判別、分類、推定などの限定された一部の情報処理のみを分担するコアエンジン（いわゆる特化型ＡＩ）として利用され、その他処理全体の手順や工程に関するシーケンス制御などの大部分はノイマン型コンピュータ４を用いて処理せざるを得なかった。
これまでのニューラルネットワークの利用形態としては、目的とするタスク処理のうち判別、分類、推定などの限定された一部の情報処理のみを分担するコアエンジン（いわゆる特化型ＡＩ）として利用され、その他処理全体の手順や工程に関するシーケンス制御などの大部分はノイマン型コンピュータ４を用いて処理せざるを得なかった。
【0037】
これに対して、本実施形態のニューロ型コンピュータ１によれば、特定の処理機能を有するニューラルネットワークで構成されたＮＮモジュール２１を１つ又は複数まとめて１つの階層のＮＮモジュール群とし、複数の階層間におけるＮＮモジュールどうしの情報信号の送受により情報処理を行わせる。これにより、個々のＮＮモジュール２１が有する処理機能を組み合わせて多様な情報処理を実行可能な汎用性の高いニューロ型コンピュータを構築できる。
【0038】
また、本実施形態では特に、相対的に具現的な内容の処理を行うＮＮモジュール２１を有する階層を下位とし、相対的に抽象的な内容の処理を行うＮＮモジュール２１を有する階層を上位として、階層間で相対的な上位下位関係を有する多階層構造で構築されている。
【0039】
以上のように構成することで、例えば相対的に下位の階層ほど外部機器との間のいわゆるインターフェース的（具現的）な情報処理機能を持たせることができ、相対的に上位の階層ほど上位概念的（観念的、抽象的）な情報処理機能を持たせることができる。そして上位の階層を追加、調整することで、ニューロ型コンピュータ１全体における統合的な情報処理の汎化性能を向上させることができる。この結果、本実施形態のニューロ型コンピュータ１は、ニューラルネットワークで構成して汎用性の高い情報処理を実行できる。
【0040】
以上のように情報処理装置の全体に渡ってほぼＮＮモジュール２１だけで構成した“Ｅｎｄ－ｔｏ－Ｅｎｄ”構成のニューロ型コンピュータ１を実現することにより、部分的にニューラルネットワークを組み込んで他の大部分の処理をノイマン型コンピュータ４で実行する構成と比較してタスク処理に対するロバスト性を最大限に発揮できる。なお、高精度数値演算や大量のデータの記憶と検索を、高精度で高速に繰り返し行う必要がある機械制御や通信制御などの処理については、優位性のあるノイマン型コンピュータ４で分担させる形態としてもよい。
【0041】
また、本実施形態では特に、同じ階層のＮＮモジュール２１どうしは同じ制御機能レベルにあり、上位にある階層のＮＮモジュール２１がそれより下位にある階層の少なくとも１つのＮＮモジュール２１の処理の作動を制御するよう処理する。これにより、上位階層での観念的、抽象的な処理を具体的に実現するよう、下位階層の具現的な処理を制御するといった上位から下位への処理の流れを形成できる。なお、上記の多階層構造における各階層の上位と下位の比較基準となる「機能レベル」については、情報処理機能上での上位概念（この例では抽象的な処理内容）と下位概念（この例では具現的な処理内容）を比較するための相対的な尺度でしかなく、本実施形態の場合では人為的に設計されるものであるがその尺度は厳密に定義されるものではない。したがって、情報処理機能上で上位と下位の関係が保たれていれば、各ＮＮモジュール２１の絶対的な階層位置に自由度を持たせてもよい。
【0042】
また、本実施形態では特に、ＮＮモジュール２１は、入力情報に基づく所定の処理により出力機器群３の外部機器へ出力する制御情報を生成するよう処理するものが含まれ、当該ＮＮモジュール２１の処理内容に応じた入力情報と制御情報の間の相関関係を学習している。これにより、例えば上記図３に示した最下位階層２４のように、ＮＮモジュール２１に出力機器群３の外部機器に対応した基本的な制御処理機能を持たせることができる。
【0043】
また、本実施形態では特に、ＮＮモジュール２１は、入力機器群２の外部機器から入力された入力情報に基づいて処理を行うものが含まれている。これにより、例えば上記図３に示した最下位階層２４のように、ＮＮモジュール２１に入力機器群２の外部機器から直接入力された入力情報に対応した基本的な情報処理機能を持たせることができる。
【0044】
また、本実施形態では特に、最下位階層２４より上位にある所定階層のＮＮモジュール２１は、当該ＮＮモジュール２１の処理内容に応じて当該所定階層より下位にある階層のどのＮＮモジュール２１を作動させるかを学習しているものが含まれている。これにより、当該所定階層のＮＮモジュール２１が、それより下位の階層の各ＮＮモジュール２１の使い分けを通じて、目的のタスク処理にいかに寄与できるかという処理概念を学習することができ、より上位概念的な情報処理機能を持たせることができる。
【0045】
また、本実施形態では特に、上記の所定階層のＮＮモジュール２１は、当該ＮＮモジュール２１によって作動させた他のＮＮモジュール２１から入力される帰還情報を当該ＮＮモジュール２１の処理に反映させるものが含まれている。これにより、ＮＮモジュール２１で構成するニューロ型コンピュータ１にシーケンス制御や自動調整の機能を持たせることができる。
【0046】
また、本実施形態では特に、ＮＮモジュール２１は、入力情報の入力と非入力の切り替えにより、当該ＮＮモジュール２１の処理の作動と非作動を切り替えるものが含まれている。これにより、ＮＮモジュール２１単位での作動を想定したニューロ型コンピュータ１の設計が機能的かつ容易に行える。なお、後述するように量的多値情報（量的多値信号）である制御量（作動制御情報）の入力によってＮＮモジュール２１の作動量、作動速度などの作動状態（作動、非作動の切り替えを含む）を制御してもよい。
【0047】
以上のようにニューロ型コンピュータ１を構成することで、入力機器群２からの入力情報に基づいて出力機器群３へ出力する出力情報の生成処理を汎用的に統制管理できることから、いわゆるソフトウェアＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を備えたノイマン型コンピュータ４と同等に機能できる。なお、本実施形態のニューロ型コンピュータ１は、人間が実際に備えている生体脳の構成と機能を完全に模倣するものではない。しかしながら、例えば空を飛ぶのに鳥などの羽ばたきを完全に模倣せずとも飛行機のように機能的、合理的に飛行してもよいように、本実施形態のニューロ型コンピュータ１は、ノイマン型コンピュータ４では実現が困難なレベルでロバスト性の高い処理を汎用的に実行可能となる。
【0048】
＜２：ニューロ型コンピュータの適用例＞
＜２－１：マニピュレータ制御への適用システム構成例＞
以下においては、上記実施形態のニューロ型コンピュータ１の適用形態の第１の例として、マニピュレータ制御に適用する場合について説明する。図６は、ニューロ型コンピュータを用いたマニピュレータ制御システム１００のシステム構成の一例を示している。なお、図示するシステム構成は、各部の接続関係や各種情報の入出力関係を限定するものではない。
＜２－１：マニピュレータ制御への適用システム構成例＞
以下においては、上記実施形態のニューロ型コンピュータ１の適用形態の第１の例として、マニピュレータ制御に適用する場合について説明する。図６は、ニューロ型コンピュータを用いたマニピュレータ制御システム１００のシステム構成の一例を示している。なお、図示するシステム構成は、各部の接続関係や各種情報の入出力関係を限定するものではない。
【0049】
この図６において、本実施形態のマニピュレータ制御システム１００は、作業台２００の上に載置された各種の物体に対して所定のタスク内容の作業を行うものである。このマニピュレータ制御システム１００は、ノイマン型コンピュータ１０１と、ニューロ型コントローラ１０２と、マニピュレータ１０３と、カメラ１０４と、３次元加速度センサ１０５を有している。
【0050】
ノイマン型コンピュータ１０１は、ニューロ型コントローラ１０２に対してその状態観測、上位制御、状態制御、学習内容管理等を行う上位制御装置である。
【0051】
ニューロ型コントローラ１０２は、上記ニューロ型コンピュータ１で構成したものであり、上記ノイマン型コンピュータ１０１による上位制御及び状態管理の下、マニピュレータ１０３を直接的に制御するマニピュレータ制御装置である。
【0052】
マニピュレータ１０３は、図示する例ではその本体が６軸の垂直多関節アームロボット１１０であり、そのアーム先端部にはエンドエフェクタの一例としてのグリッパ１２０を備えている。グリッパ１２０は、この例では１軸制御で２つの把持爪１２１を互いに離接動作させることにより、それら把持爪１２１の間における対象物の把持と解放を行わせるロボットハンドである。各把持爪１２１は、互いの対向面に圧接センサ１２２が設けられており、各圧接センサ１２２が出力する圧力信号がニューロ型コントローラ１０２に入力されている。
【0053】
カメラ１０４は、この例では光学的に２次元ピクセル列の画像情報を取得する撮像機器である。このカメラ１０４は、作業台２００の上方位置から所定の姿勢角度で当該作業台２００の上面における各種物体２０１，２０２の状態を撮像し、その画像信号がニューロ型コントローラ１０２に入力されている。またこの例では、カメラ１０４が特に図示しない可動スタンド等を介してマニピュレータ１０３の基台と連結して設置されていることで、当該カメラ１０４の位置や姿勢が可変となっている。ただし、その位置と姿勢の可変量は所定範囲に限定されるものであり、マニピュレータ１０３とカメラ１０４との間のおおよその相対的な配置関係（位置関係、姿勢関係）は維持されるものとする（つまり人間の身体における頭と腕のように少しだけ変化できる配置関係）。なお、カメラ１０４に代えて、物体表面上の各点との間の離間距離を計測するレーザスキャナ等といった他の光学センサ（特に図示せず）を用いることもできる。
【0054】
３次元加速度センサ１０５（姿勢センサ）は、上記カメラ１０４の筐体に固定されてその姿勢を検出し、その検出信号である姿勢信号（姿勢情報）がニューロ型コントローラ１０２に入力されている。この姿勢信号は、当該３次元加速度センサ１０５の３次元空間中における姿勢を表す信号であればよく、例えばカメラ１０４の筐体を基準に別途設定した直交３軸センサ座標系における重力方向単位ベクトルの各軸座標成分値で出力してもよい（図示省略）。なお、特に図示しないが、マニピュレータ１０３（またはその基台）に対するカメラ１０４の相対位置を検出する位置センサを別途設けてもよい。
【0055】
以上の構成において、ニューロ型コントローラ１０２は、入力機器群であるカメラ１０４、３次元加速度センサ１０５、及び圧接センサ１２２からの入力信号に基づいて、上記所定のタスク作業を行わせるよう出力機器であるマニピュレータ１０３に６軸トルク制御信号及びグリッパトルク制御信号を出力して直接的に制御を行う。
【0056】
＜２－２：第１タスク例＞
ここで上記マニピュレータ制御システム１００のマニピュレータ１０３に実行させるタスク作業の第１例を説明する。図７は、本タスク作業前の初期状態にある作業台２００上の状態をカメラ１０４で撮像した撮像画像を示している。なおこの図７は、上記図６に示すようにカメラ１０４がマニピュレータ１０３側の斜め上方位置から作業台２００上面に向けて傾斜する姿勢で撮像した場合の撮像画像を示している。
ここで上記マニピュレータ制御システム１００のマニピュレータ１０３に実行させるタスク作業の第１例を説明する。図７は、本タスク作業前の初期状態にある作業台２００上の状態をカメラ１０４で撮像した撮像画像を示している。なおこの図７は、上記図６に示すようにカメラ１０４がマニピュレータ１０３側の斜め上方位置から作業台２００上面に向けて傾斜する姿勢で撮像した場合の撮像画像を示している。
【0057】
本第１タスク例の初期状態として、図示する例では、撮像画像中の右下をホームポジションとして作業台２００上面より手前側（つまり上方側）にグリッパ１２０が位置し、２つの把持爪１２１が十分に開いた状態となっている。また作業台２００上面では、画像中奥側の中央位置にボール２０１が載置されるとともに、画像中左手前側の位置に上端が開口して内部にボール２０１を収容可能な略円筒形状の容器２０２が載置されている。そして本タスクの作業内容は、上記初期状態からグリッパ１２０でボール２０１を把持し、その後に当該ボール２０１を容器２０２の内部に入れる作業となる。
【0058】
この第１タスク作業におけるグリッパ１２０の動作工程として詳しくは、図８に示すように、まず最初にマニピュレータ１０３の駆動によりグリッパ１２０をボール２０１まで移動させる。このとき、グリッパ１２０とボール２０１との高低差を加味して、グリッパ１２０を下方に下げつつボール２０１の位置まで移動させる（図７中の工程Ｉ参照）。次にグリッパ１２０でボール２０１を把持させる（図７中の工程ＩＩ参照）。そして次にグリッパ１２０を容器２０２まで移動させる。このとき、その時点のボール２０１と容器２０２の上端開口部との高低差を加味して、グリッパ１２０を上方に持ち上げつつ容器２０２の開口部まで移動させる（図７中の工程ＩＩＩ参照）。最後にグリッパ１２０を解放してボール２０１を容器２０２の内部に落とし込む（図７中の工程ＩＶ参照）。
【0059】
以上のグリッパ１２０の動作工程を実行するためにマニピュレータ１０３全体で行うべき制御内容として詳しくは、まず工程Ｉと工程ＩＩの実行中においてグリッパ１２０の２つの把持爪１２１の間の把持点Ｐｍ（図７参照）をボール２０１の被把持点Ｐｗ（図７参照）に位置合わせするようマニピュレータ１０３を駆動制御する。なおこの例における被把持対象のボール２０１が球体であるため、上記被把持点Ｐｗはボール２０１の中心位置となる。また、上述したようにカメラ１０４が傾斜した姿勢となっているため、その撮像画像では上記の把持点Ｐｍと被把持点Ｐｗの間における高低差も含めた位置偏差が検出可能となっている。
【0060】
また工程ＩＩの実行中においては、グリッパ１２０がボール２０１を把持可能にその姿勢を合わせるようマニピュレータ１０３を駆動制御するとともに、２つの把持爪１２１を接近させるようグリッパ１２０を制御してボール２０１を把持させる。なおこの工程ＩＩの実行中においても、上述したようにグリッパ１２０の把持点とボール２０１の被把持点Ｐｗの位置合わせ制御が並行して行われるため、グリッパ１２０の姿勢合わせ制御による把持点Ｐｍと被把持点Ｐｗの位置ずれが補正されてグリッパ１２０が確実にボール２０１を把持できる。
【0061】
そして工程ＩＩＩと工程ＩＶの実行中においては、グリッパ１２０の２つの把持爪１２１の間の把持点Ｐｍ（ボール２０１の被把持点Ｐｗと略一致）を容器２０２の開口部中心の解放点Ｐｃ（図７参照）に位置合わせするようマニピュレータ１０３を駆動制御する。なお、工程ＩＩＩの実行中においても、グリッパ１２０におけるボール２０１の把持制御が並行して行われるため、容器２０２への移動中においてもグリッパ１２０がボール２０１を確実に把持できる。
【0062】
また工程ＩＶの実行中においては、２つの把持爪１２１を離間させるようグリッパ１２０を制御してボール２０１を把持させる。なおこの工程ＩＶの実行中においても、上述したようにグリッパ１２０の把持点Ｐｍと容器２０２の解放点Ｐｃの位置合わせ制御が並行して行われるため、グリッパ１２０は確実にボール２０１を容器２０２の解放点Ｐｃで解放できる。
【0063】
＜２－２－１：第１タスクを実行可能なモジュール接続構成＞
上記第１タスクを実行させるためのニューロ型コントローラ１０２のＮＮモジュール接続構成（コネクトーム構成）の一例を図９に示す。この図９に示す例において、ニューロ型コントローラ１０２は上位にある基本動作知覚階層２３と、下位にある基本動作制御階層２４の２つのＮＮモジュール階層を有している。
上記第１タスクを実行させるためのニューロ型コントローラ１０２のＮＮモジュール接続構成（コネクトーム構成）の一例を図９に示す。この図９に示す例において、ニューロ型コントローラ１０２は上位にある基本動作知覚階層２３と、下位にある基本動作制御階層２４の２つのＮＮモジュール階層を有している。
【0064】
＜２－２－２：各ＮＮモジュールの構成と機能＞
基本動作知覚階層２３には、グリッパ－ボール位置合わせ知覚ＮＮモジュール、グリッパ－ボール姿勢合わせ知覚ＮＮモジュール、グリッパ－ボール把持知覚ＮＮモジュール、グリッパ－容器位置合わせ知覚ＮＮモジュール、及びグリッパ－ボール解放知覚ＮＮモジュールの各知覚ＮＮモジュールが設けられている。各知覚ＮＮモジュールは、カメラ１０４、３次元加速度センサ１０５、圧接センサ１２２のいずれかから入力された入力信号に基づいて、上記タスク作業における各グリッパ動作工程の状態を知覚し判定する処理を行う。
基本動作知覚階層２３には、グリッパ－ボール位置合わせ知覚ＮＮモジュール、グリッパ－ボール姿勢合わせ知覚ＮＮモジュール、グリッパ－ボール把持知覚ＮＮモジュール、グリッパ－容器位置合わせ知覚ＮＮモジュール、及びグリッパ－ボール解放知覚ＮＮモジュールの各知覚ＮＮモジュールが設けられている。各知覚ＮＮモジュールは、カメラ１０４、３次元加速度センサ１０５、圧接センサ１２２のいずれかから入力された入力信号に基づいて、上記タスク作業における各グリッパ動作工程の状態を知覚し判定する処理を行う。
【0065】
例えばグリッパ－ボール位置合わせ知覚ＮＮモジュールの場合、図１０に示す概略モデル構成図のように、３次元加速度センサ１０５からの３軸それぞれの姿勢信号と、カメラ１０４からの２次元ピクセル列の画像信号がニューラルネットワークの入力層に入力される。そして当該グリッパ－ボール位置合わせ知覚ＮＮモジュールは、これらの入力に対して、ボール２０１の被把持点Ｐｗを特徴点として抽出し、画像中におけるボール２０１の特徴点Ｐｗとグリッパ１２０の把持点Ｐｍとの位置合わせの状態を判別して不一致と一致を個別に２値出力（正論理）で択一的に出力するよう設計されている。
【0066】
この知覚処理は、当該グリッパ－ボール位置合わせ知覚ＮＮモジュールの学習フェーズにおける機械学習プロセスでの学習内容に基づくものであり、すなわちこのグリッパ－ボール位置合わせ知覚ＮＮモジュールのニューラルネットワークは、画像信号中に含まれるボール２０１及びグリッパ１２０それぞれの外観形状パターンと、ボール２０１の特徴点（被把持点Ｐｗ）とグリッパ１２０との間の配置関係が一致しているか否かの相関を表す特徴量を学習している。またこの特徴量には、姿勢信号に基づくその時点のカメラ１０４の姿勢（当該画像信号の撮像方向の傾き）の影響も反映されており、当該画像中において３次元的にグリッパ１２０がボール２０１を適切に把持可能な配置にあるかの判別を行うことができる。
【0067】
また特に図示しないが、グリッパ－ボール姿勢合わせ知覚ＮＮモジュール、グリッパ－容器位置合わせ知覚ＮＮモジュールにおいても同様に、姿勢信号と画像信号が入力され、画像信号に含まれるボール２０１及びグリッパ１２０（又は容器２０２）それぞれの外観形状パターンと、ボール２０１の特徴点（被把持点Ｐｗ）とグリッパ１２０（又は容器２０２）との間の配置関係（姿勢関係）が一致（適合）しているか否かの相関を表す特徴量を学習している。
【0068】
また特に図示しないが、グリッパ－ボール把持知覚ＮＮモジュール、グリッパ－ボール解放知覚ＮＮモジュールはそれぞれ、圧接センサ１２２からの圧力信号が入力され、グリッパ１２０がボール２０１を適切な把持圧力で把持（又は解放圧力で解放）しているか否かの相関を表す特徴量を学習している。
【0069】
また一方、基本動作制御階層２４には、グリッパ－ボール位置合わせ制御ＮＮモジュール、グリッパ－容器位置合わせ制御ＮＮモジュール、グリッパ－ボール姿勢合わせ制御ＮＮモジュール、グリッパ把持制御ＮＮモジュール、及びグリッパ解放制御ＮＮモジュールの各制御ＮＮモジュールが設けられている。各制御ＮＮモジュールは、カメラ１０４、３次元加速度センサ１０５、圧接センサ１２２のいずれかから入力された入力信号に基づいて、上記タスク作業における各グリッパ動作工程のそれぞれに必要なマニピュレータ１０３の駆動制御処理を行う。
【0070】
例えばグリッパ－ボール位置合わせ制御ＮＮモジュールの場合、図１１に示す概略モデル構成図のように、３次元加速度センサ１０５からの３軸それぞれの姿勢信号と、カメラ１０４からの２次元ピクセル列の画像信号がニューラルネットワークの入力層に入力される。そして当該グリッパ－ボール位置合わせ制御ＮＮモジュールは、これらの入力に対して、ボール２０１の被把持点Ｐｗを特徴点として抽出し、画像中においてグリッパ１２０がボール２０１の特徴点と位置合わせ可能に（移動可能に）マニピュレータ１０３の各関節軸モータ（この例では計６つ）にトルク制御信号を出力するよう設計されている。
【0071】
この制御処理は、当該グリッパ－ボール位置合わせ制御ＮＮモジュールの学習フェーズにおける機械学習プロセスでの学習内容に基づくものであり、すなわちこのグリッパ－ボール位置合わせ制御ＮＮモジュールのニューラルネットワークは、画像信号に含まれるボール２０１及びグリッパ１２０それぞれの外観形状パターンと、ボール２０１の特徴点（被把持点Ｐｗ）にグリッパ１２０を一致させるために必要な各関節軸モータのトルク制御信号との間の相関を表す特徴量を学習している。またこの特徴量には、姿勢信号に基づくその時点のカメラ１０４の姿勢（当該画像信号の撮像方向の傾き）の影響も反映されており、当該画像中において３次元的にグリッパ１２０がボール２０１を適切に把持可能な配置に位置合わせするのに必要な各関節軸モータのトルク制御信号の出力を行うことができる。
【0072】
また特に図示しないが、グリッパ－ボール姿勢合わせ制御ＮＮモジュール、グリッパ－容器位置合わせ制御ＮＮモジュールにおいても同様に、姿勢信号と画像信号が入力され、画像信号に含まれるボール２０１及びグリッパ１２０（又は容器２０２）それぞれの外観形状パターンと、ボール２０１の特徴点（被把持点Ｐｗ）とグリッパ１２０（又は容器２０２）との間の配置関係（姿勢関係）が一致（適合）するのに必要な各関節軸モータのトルク制御信号との間の相関を表す特徴量を学習している。
【0073】
また特に図示しないが、グリッパ把持制御ＮＮモジュール、グリッパ解放制御ＮＮモジュールはそれぞれ、圧接センサ１２２からの圧力信号が入力され、グリッパ１２０がボール２０１を適切な把持圧力で把持（又は解放圧力で解放）するのに必要なグリッパモータのトルク制御信号との間の相関を表す特徴量を学習している。
【0074】
なお、以上のような各ＮＮモジュールそれぞれにおける特徴点の抽出、及びモータへのトルク制御信号の生成に関するＮＮモジュールの仕様、設計、学習等の手法については、例えば「Ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ １７（２０１６） １－４０ Ｓｕｂｍｉｔｔｅｄ １０／１５； Ｐｕｂｌｉｓｈｅｄ ４／１６ “Ｅｎｄ－ｔｏ－Ｅｎｄ Ｔｒａｉｎｉｎｇ ｏｆ Ｄｅｅｐ Ｖｉｓｕｏｍｏｔｏｒ Ｐｏｌｉｃｉｅｓ”」等に記載されている公知の手法を用いればよく、ここではその詳細を省略する。
【0075】
＜２－２－３：ＮＮモジュール間における接続構成と制御内容＞
次に上記のＮＮモジュール間の接続構成について説明する。まず、基本動作知覚階層２３と基本動作制御階層２４のそれぞれにおけるグリッパ－ボール位置合わせ知覚ＮＮモジュール、グリッパ－ボール姿勢合わせ知覚ＮＮモジュール、グリッパ－容器位置合わせ知覚ＮＮモジュール、グリッパ－ボール位置合わせ制御ＮＮモジュール、グリッパ－容器位置合わせ制御ＮＮモジュール、及びグリッパ－ボール姿勢合わせ制御ＮＮモジュールは、それぞれの入力層がスイッチャーを介してカメラ１０４と３次元加速度センサ１０５に接続されており、それらからの画像信号と姿勢信号の入力と非入力の切り換えが可能となっている。また、グリッパ－ボール把持知覚ＮＮモジュール、グリッパ－ボール解放知覚ＮＮモジュール、グリッパ把持制御ＮＮモジュール、及びグリッパ解放制御ＮＮモジュールは、それぞれの入力相がスイッチャーを介して圧接センサ１２２に接続されており、当該圧接センサ１２２からの圧力信号の入力と非入力の切り換えが可能となっている。
次に上記のＮＮモジュール間の接続構成について説明する。まず、基本動作知覚階層２３と基本動作制御階層２４のそれぞれにおけるグリッパ－ボール位置合わせ知覚ＮＮモジュール、グリッパ－ボール姿勢合わせ知覚ＮＮモジュール、グリッパ－容器位置合わせ知覚ＮＮモジュール、グリッパ－ボール位置合わせ制御ＮＮモジュール、グリッパ－容器位置合わせ制御ＮＮモジュール、及びグリッパ－ボール姿勢合わせ制御ＮＮモジュールは、それぞれの入力層がスイッチャーを介してカメラ１０４と３次元加速度センサ１０５に接続されており、それらからの画像信号と姿勢信号の入力と非入力の切り換えが可能となっている。また、グリッパ－ボール把持知覚ＮＮモジュール、グリッパ－ボール解放知覚ＮＮモジュール、グリッパ把持制御ＮＮモジュール、及びグリッパ解放制御ＮＮモジュールは、それぞれの入力相がスイッチャーを介して圧接センサ１２２に接続されており、当該圧接センサ１２２からの圧力信号の入力と非入力の切り換えが可能となっている。
【0076】
そして、基本動作制御階層２４におけるグリッパ－ボール位置合わせ制御ＮＮモジュール、グリッパ－容器位置合わせ制御ＮＮモジュール、及びグリッパ－ボール姿勢合わせ制御ＮＮモジュールは、それぞれの出力層が特に図示しないサーボアンプ等を介してマニピュレータ１０３の各関節軸モータ（この例の６軸）に接続されており、６軸トルク制御信号を出力可能となっている。これらの制御ＮＮモジュールは複数同時にトルク制御信号を生成、出力する場合があるが、このときはそれらが合成されて各軸モータに出力される。また、グリッパ把持制御ＮＮモジュール及びグリッパ解放制御ＮＮモジュールは、それぞれの出力層が特に図示しないサーボアンプなどを介してグリッパ１２０のモータに接続されており、トルク制御信号を出力可能となっている。これらの制御ＮＮモジュールは同時に機能することはなく、いずれか一方のみからグリッパ１２０のモータにトルク制御信号が出力される。
【0077】
そして、グリッパ－ボール位置合わせ知覚ＮＮモジュールのスイッチャーは、上述したようにいわゆるノーマリオフタイプのものであり（以下、同様）、この図９中では図示しない上位制御装置のノイマン型コンピュータ１０１からタスク作業を開始する制御信号（図中の「ＳＴＡＲＴ」）が継続的に入力されることによりオン状態に切り換えられる。またこのスイッチャーは、後述のグリッパ－ボール把持知覚ＮＮモジュールがグリッパ１２０の把持状態を判別した際には、優先的にオフ状態に切り換えられる。なお、この優先的なオフ状態への切り換えは、例えば上述したバイアススイッチの場合、負バイアス（Ｗｂ＜＜０）を相殺する逆負バイアス（－Ｗｂ＞＞０）を適宜付加する手法などで実装すればよい。
【0078】
以上によりグリッパ－ボール位置合わせ知覚ＮＮモジュールは、スイッチャーがオン状態となって画像信号と姿勢信号が入力されている間だけ画像解析によるグリッパ１２０とボール２０１の位置合わせ状態の一致と不一致を判別し、それぞれの判別結果を個別に出力する。また、そのうちの不一致に対応する判別出力が制御信号となって、グリッパ－ボール位置合わせ制御ＮＮモジュールのスイッチャーを切り換え制御する。すなわち、不一致状態と判別されている間だけ、グリッパ－ボール位置合わせ制御ＮＮモジュールに画像信号と姿勢信号が入力され、当該グリッパ－ボール位置合わせ制御ＮＮモジュールはグリッパ１２０がボール２０１に対して位置合わせするのに必要な６軸トルク制御信号を生成、出力するよう機能する。
【0079】
またグリッパ－ボール姿勢合わせ知覚ＮＮモジュールのスイッチャーは、上記グリッパ－ボール位置合わせ知覚ＮＮモジュールの一致に対応する判別出力を制御信号としてオン状態に切り換えられる。すなわちグリッパ－ボール姿勢合わせ知覚ＮＮモジュールは、グリッパ１２０とボール２０１の位置合わせが一致状態と判別されている間に画像信号と姿勢信号が入力され、画像解析によりグリッパ１２０の姿勢がボール２０１を把持するのに適合しているか不適合であるかを判別し、それぞれの判別結果を個別に出力する。また、そのうちの不適合に対応する判別出力が制御信号となって、グリッパ－ボール姿勢合わせ制御ＮＮモジュールのスイッチャーを切り換え制御する。すなわち、不適合状態と判別されている間だけ、グリッパ－ボール姿勢合わせ制御ＮＮモジュールに画像信号と姿勢信号が入力され、当該グリッパ－ボール姿勢合わせ制御ＮＮモジュールはグリッパ１２０がボール２０１に対して姿勢合わせするのに必要な６軸トルク制御信号を生成、出力するよう機能する。またグリッパ－ボール姿勢合わせ知覚ＮＮモジュールのスイッチャーは、後述のグリッパ－ボール把持知覚ＮＮモジュールがグリッパ１２０の把持状態を判別した際には、優先的にオフ状態に切り換えられる。
【0080】
グリッパ－ボール把持知覚ＮＮモジュールのスイッチャーは、上記グリッパ－ボール姿勢合わせ知覚ＮＮモジュールの適合に対応する判別出力を制御信号としてオン状態に切り換えられる。すなわちグリッパ－ボール把持知覚ＮＮモジュールは、グリッパ１２０とボール２０１の位置合わせが一致し、かつ姿勢合わせが適合した状態と判別されている間に圧力信号が入力され、この圧力信号に基づいてグリッパ１２０がボール２０１を適切に把持している状態か非把持の状態かを判別し、それぞれの判別結果を個別に出力する。また、そのうちの非把持に対応する判別出力が制御信号となって、グリッパ把持制御ＮＮモジュールのスイッチャーを切り換え制御する。すなわち、非把持状態と判別されている間だけ、グリッパ把持制御ＮＮモジュールに圧力信号が入力され、当該グリッパ把持制御ＮＮモジュールはグリッパ１２０がボール２０１を適切に把持するのに必要なグリッパトルク制御信号を生成、出力するよう機能する。またグリッパ－ボール把持知覚ＮＮモジュールのスイッチャーは、後述のグリッパ－容器位置合わせ知覚ＮＮモジュールがグリッパ１２０と容器２０２の位置合わせの一致状態を判別した際には、優先的にオフ状態に切り換えられる。
【0081】
グリッパ－容器位置合わせ知覚ＮＮモジュールのスイッチャーは、上記グリッパ把持知覚ＮＮモジュールの把持に対応する判別出力を制御信号としてオン状態に切り換えられる。すなわちグリッパ－容器位置合わせ知覚ＮＮモジュールは、グリッパ１２０がボール２０１を把持した状態と判別されている間に画像信号と姿勢信号が入力され、画像解析によりグリッパ１２０と容器２０２の位置合わせ状態の一致と不一致を判別し、それぞれの判別結果を個別に出力する。また、そのうちの不一致に対応する判別出力が制御信号となって、グリッパ－容器位置合わせ制御ＮＮモジュールのスイッチャーを切り換え制御する。すなわち、グリッパ１２０と容器２０２の位置合わせが不一致状態であると判別されている間だけ、グリッパ－容器位置合わせ制御ＮＮモジュールに画像信号と姿勢信号が入力され、当該グリッパ－容器位置合わせ制御ＮＮモジュールはグリッパ１２０が容器２０２に対して位置合わせするのに必要な６軸トルク制御信号を生成、出力するよう機能する。
【0082】
グリッパ－ボール解放知覚ＮＮモジュールのスイッチャーは、上記グリッパ－容器位置合わせ知覚ＮＮモジュールの不一致に対応する判別出力を制御信号としてオン状態に切り換えられる。すなわちグリッパ－ボール解放知覚ＮＮモジュールは、グリッパ１２０が容器２０２の位置合わせが一致した状態と判別されている間に圧力信号が入力され、この圧力信号に基づいてグリッパ１２０がボール２０１を適切に解放できている状態か非解放の状態かを判別し、それぞれの判別結果を個別に出力する。また、そのうちの非解放に対応する判別出力が制御信号となって、グリッパ解放制御ＮＮモジュールのスイッチャーを切り換え制御する。すなわち、非解放状態と判別されている間だけ、グリッパ解放制御ＮＮモジュールに圧力信号が入力され、当該グリッパ解放制御ＮＮモジュールはグリッパ１２０がボール２０１を適切に解放するのに必要なグリッパトルク制御信号を生成、出力するよう機能する。なお、グリッパ－ボール解放知覚ＮＮモジュールが解放を判別出力した際には、当該一連の第１タスク作業が完了したこととなり、解放判別出力をこの図９中では図示しない上位制御装置のノイマン型コンピュータ１０１に送信してタスク作業終了を報知する。
【0083】
以上のような接続構成にあるニューロ型コントローラ１０２は、上記図８に示した第１タスク作業の全てのシーケンス制御処理をニューラルネットワークモジュールだけで実装でき、ボール２０１と容器２０２がどのような配置にあっても適切に把持、収納できるロバスト性の高いマニピュレータ制御が可能となる。このニューロ型コントローラ１０２では、上位の基本動作知覚階層２３の知覚ＮＮモジュールが下位の基本動作制御階層２４の少なくともいずれか１つの制御ＮＮモジュールの作動を制御する。つまり、下位の階層では外部機器との間のいわゆるインターフェース的（具現的）な情報処理機能を持たせ、上位の階層では上位概念的（観念的）な情報処理機能を持たせている。なお、本接続構成例におけるタスク作業のシーケンス制御は、各知覚ＮＮモジュール間の結線論理、いわゆるワイヤードロジックで実装しているが、このシーケンス内容は図１２に示すようないわゆるラダー図のように表記できる。
【0084】
また、各ＮＮモジュールの学習は、事前に各ＮＮモジュールを個別に教師あり学習、教師なし学習、強化学習などで学習したものを接続して利用してもよいし、またある程度事前学習したものを接続してから全体的に強化学習などで学習して処理精度を向上させてもよい。
【0085】
＜２－３：第２タスク例＞
次に上記マニピュレータ制御システム１００のマニピュレータ１０３に実行させるタスク作業の第２例を説明する。図１３は、上記図７に対応する第２タスク作業前の初期状態のカメラ撮像画像を示している。本第２タスク例では、上記第１タスク例の初期状態からさらにグリッパ１２０のホームポジションと容器２０２の間に立方体２０３が載置されており、マニピュレータ制御システム１００はそのカメラ撮像画像を画像解析してボール２０１のみを把持対象物として選別、把持し、容器２０２の内部に入れる作業となる。この第２タスク作業におけるマニピュレータ１０３の動作工程と制御内容としては、上記第１タスク例とほぼ同じであるが、さらに画像解析による把持対象物の選別が必要となる。
次に上記マニピュレータ制御システム１００のマニピュレータ１０３に実行させるタスク作業の第２例を説明する。図１３は、上記図７に対応する第２タスク作業前の初期状態のカメラ撮像画像を示している。本第２タスク例では、上記第１タスク例の初期状態からさらにグリッパ１２０のホームポジションと容器２０２の間に立方体２０３が載置されており、マニピュレータ制御システム１００はそのカメラ撮像画像を画像解析してボール２０１のみを把持対象物として選別、把持し、容器２０２の内部に入れる作業となる。この第２タスク作業におけるマニピュレータ１０３の動作工程と制御内容としては、上記第１タスク例とほぼ同じであるが、さらに画像解析による把持対象物の選別が必要となる。
【0086】
＜２－３－１：第２タスクを実行可能なモジュール接続構成（その１）＞
上記第２タスクを実行させるためのニューロ型コントローラ１０２のモジュール接続構成例を図１４、図１５に示す。これら図１４、図１５に示す例において、ニューロ型コントローラ１０２が上位の基本動作知覚階層２３と下位の基本動作制御階層２４の２つのＮＮモジュール階層を有している点では上記図９の場合と共通している。
上記第２タスクを実行させるためのニューロ型コントローラ１０２のモジュール接続構成例を図１４、図１５に示す。これら図１４、図１５に示す例において、ニューロ型コントローラ１０２が上位の基本動作知覚階層２３と下位の基本動作制御階層２４の２つのＮＮモジュール階層を有している点では上記図９の場合と共通している。
【0087】
しかし本接続構成例では、さらにカメラ１０４及び３次元加速度センサ１０５の画像信号及び姿勢信号から所望の対象物を選択してその特徴点（被把持点Ｐｗ、解放点Ｐｃ）を抽出する選択対象物認識ＮＮモジュールを設けている。そしてそのような特徴点が抽出された画像信号に基づく知覚処理を行うグリッパ－ボール位置合わせ知覚ＮＮモジュール、グリッパ－ボール姿勢合わせ知覚ＮＮモジュール、及びグリッパ－容器位置合わせ知覚ＮＮモジュールの各知覚ＮＮモジュールは、それらの不一致出力又は不適合出力でそれぞれ対応する制御ＮＮモジュールのスイッチャーを切り換え制御するとともに、それらの不一致出力又は不適合出力をそれぞれ対応する対象物の選択信号として選択対象物認識ＮＮモジュールに対しても入力する。この対象物選択信号の内容として、グリッパ－ボール位置合わせ知覚ＮＮモジュールとグリッパ－ボール姿勢合わせ知覚ＮＮモジュールではボール２０１を入力し、グリッパ－容器位置合わせ知覚ＮＮモジュールでは容器２０２を入力する。その他の接続構成については、上記図９に示したものと同等であるため、説明を省略する。以上の本接続構成例では、画像信号中に立方体２０３などの非対象物が写っている場合でも、指定された選択対象物に対してのみ知覚し作業できる。
【0088】
選択対象物認識ＮＮモジュールは、図１６に示す概略モデル構成図のように、この例の各対象物（ボール２０１、容器２０２、立方体２０３）に対応する対象物選択信号と、カメラ１０４からの２次元ピクセル列の画像信号がニューラルネットワークの入力層に入力される。なお、選択対象物認識ＮＮモジュールには３次元加速度センサ１０５からの３軸それぞれの姿勢信号も入力されるが、図示の煩雑を避けるために省略している。そして当該選択対象物認識ＮＮモジュールは、入力された対象物選択信号に対応する対象物（図示する例ではボール２０１）の外観パターンを画像信号中から画像解析によって認識し、その被把持点Ｐｗを特徴点として抽出した画像信号を出力するよう設計されている。このような選択対象物認識ＮＮモジュールは、そのニューラルネットワーク構成のほとんどが画像解析用のいわゆるＣＮＮ（畳み込みニューラルネットワーク）で構成される。その画像解析処理は、当該選択対象物認識ＮＮモジュールの学習フェーズにおける機械学習プロセスでの学習内容に基づくものであり、すなわちこの選択対象物認識ＮＮモジュールのニューラルネットワークは、対象物選択信号と、画像信号中に含まれる選択対象物の外観形状パターン及びその特徴点との間の相関を表す特徴量を学習している。
【0089】
ここで、上記図９の接続構成例における画像処理系の各ＮＮモジュール（すなわちグリッパ－ボール位置合わせ知覚ＮＮモジュール、グリッパ－ボール姿勢合わせ知覚ＮＮモジュール、及びグリッパ－容器位置合わせ知覚ＮＮモジュール、グリッパ－ボール位置合わせ制御ＮＮモジュール、グリッパ－容器位置合わせ制御ＮＮモジュール、及びグリッパ－ボール姿勢合わせ制御ＮＮモジュール）は、いずれも膨大な層数、ノード数、エッジ数を要するＣＮＮをそれぞれ備える必要があった。これに対し本接続構成例では、それらのＣＮＮを一つの選択対象物認識ＮＮモジュールとして共通化して共用できるため、ニューロ型コントローラ１０２全体における大幅なリソースの削減と学習の効率化が可能となる。
【0090】
例えば、本接続構成例で用いるグリッパ－ボール位置合わせ制御ＮＮモジュールは、図１７に示す概略モデル構成図のように、ボール２０１の特徴点が抽出されている入力画像信号から直接各関節軸トルク制御信号（６軸トルク制御信号）を生成して出力できる。これは、対応する上記図１１の概略モデル構成図と比較して、ボール２０１の特徴点抽出のための前段のＣＮＮを省略して大幅に簡略化したＮＮモジュール構成となっている。なお、特に図示しないが、グリッパ－ボール位置合わせ制御ＮＮモジュールに３次元加速度センサ１０５の姿勢信号も直接入力させてもよく、この場合には重量方向を考慮した制御精度の高い各関節軸トルク制御信号を生成して出力できる（特に図示しないが、グリッパ－ボール姿勢合わせ知覚制御ＮＮモジュールに対しても同様）。
【0091】
＜２－３－２：第２タスクを実行可能なモジュール接続構成（その２）＞
以上に説明した２つの接続構成例では、いずれもタスク作業のシーケンス制御を各知覚ＮＮジュール間の結線論理、いわゆるワイヤードロジックで実装していたが、これをさらに上位のＮＮモジュールの学習で実装してもよい。図１８、図１９はそのような上位の複合動作制御階層２２を備えて上記第２タスク作業を実行可能なモジュール接続構成例を示している。また本接続構成例では、さらに対応する知覚ＮＮモジュールと制御Ｎモジュールを同一化し、つまり上記の基本動作知覚階層２３と基本動作制御階層２４の２つのＮＮモジュール階層を１つの基本動作知覚制御階層２７として同一化して階層規模の縮小化を図っている。この図１８、図１９に示す例において、ニューロ型コントローラ１０２は上位にある複合動作制御階層２２と下位にある基本動作知覚制御階層２７の２つのＮＮモジュール階層を有している。
以上に説明した２つの接続構成例では、いずれもタスク作業のシーケンス制御を各知覚ＮＮジュール間の結線論理、いわゆるワイヤードロジックで実装していたが、これをさらに上位のＮＮモジュールの学習で実装してもよい。図１８、図１９はそのような上位の複合動作制御階層２２を備えて上記第２タスク作業を実行可能なモジュール接続構成例を示している。また本接続構成例では、さらに対応する知覚ＮＮモジュールと制御Ｎモジュールを同一化し、つまり上記の基本動作知覚階層２３と基本動作制御階層２４の２つのＮＮモジュール階層を１つの基本動作知覚制御階層２７として同一化して階層規模の縮小化を図っている。この図１８、図１９に示す例において、ニューロ型コントローラ１０２は上位にある複合動作制御階層２２と下位にある基本動作知覚制御階層２７の２つのＮＮモジュール階層を有している。
【0092】
ここで、これまでのタスク作業におけるグリッパ１２０と対象物の位置合わせや姿勢合わせ、グリッパ１２０による対象物の把持や解放などの各動作は、いずれも最小単位で行われる基本動作といえる。そして、これら基本動作を複数組み合わせて行われる動作は複合動作といえる。上記第２タスク作業の例では、グリッパ１２０とボール位置合わせの動作と、グリッパ１２０とボール２０１の姿勢合わせの動作と、グリッパ１２０によるボール２０１の把持動作とを組み合わせた複合動作をボール把持動作とし、グリッパ１２０と容器２０２の位置合わせ動作と、グリッパ１２０によるボール２０１の解放動作とを組み合わせた複合動作をボール収納動作として、複合動作制御階層２２にはそれぞれの複合動作に対応する把持動作制御ＮＮモジュールと収納動作制御ＮＮモジュールの各複合動作制御ＮＮモジュールが設けられている。
【0093】
例えば把持動作制御ＮＮモジュールの場合、図２０に示す概略モデル構成図のように、当該把持動作制御ＮＮモジュールの処理開始を図るための開始入力信号と、グリッパ－ボール位置合わせ知覚制御ＮＮモジュールから出力される不一致出力と、グリッパ－ボール姿勢合わせ知覚制御ＮＮモジュールから出力される不適合出力と、グリッパ－ボール把持知覚制御ＮＮモジュールから出力される非把持出力と、グリッパ－容器位置合わせ知覚制御ＮＮモジュールから出力される不一致出力と、グリッパ－ボール解放知覚制御ＮＮモジュールから出力される非解放出力とがニューラルネットワークの入力層に入力される。またニューラルネットワークの出力層からは、グリッパ－ボール位置合わせ知覚制御ＮＮモジュールのスイッチャーへの制御出力と、グリッパ－ボール姿勢合わせ知覚制御ＮＮモジュールのスイッチャーへの制御出力と、グリッパ－ボール把持知覚制御ＮＮモジュールのスイッチャーへの制御出力と、グリッパ－容器位置合わせ知覚制御ＮＮモジュールのスイッチャーへの制御出力と、グリッパ－ボール解放知覚制御ＮＮモジュールのスイッチャーへの制御出力とを複数同時に出力可能に設計されている。
【0094】
この制御処理は、当該把持動作制御ＮＮモジュールの学習フェーズにおける機械学習プロセスでの学習内容に基づくものであり、すなわちこの把持動作制御ＮＮモジュールのニューラルネットワークは、各知覚制御ＮＮモジュールからの動作状態フィードバック信号に基づいて把持動作制御を適切に実行するための各知覚制御ＮＮモジュールの動作シーケンスを表す特徴量を学習する。この場合の学習は特にいわゆる強化学習により行われるものであり、把持動作がさらに適切となるように（高い報酬が支払われる方向に）シーケンスが探索、学習される。最初に把持動作制御ＮＮモジュールには全ての知覚制御モジュールと相互に接続されてその内部は全層全結合となっているが、把持動作のシーケンスについての強化学習を進めることでこの場合には、把持動作と関係が薄いノードとエッジ、つまりグリッパ－容器位置合わせ動作とグリッパ－ボール解放動作に強く関係するノードとエッジは学習が進むに連れて無効化（不活性化、重み係数→０；図中の点線部参照）され、把持動作だけに必要とされる部分だけ残ることになる。これはつまり、当該把持動作制御ＮＮモジュールが、「把持動作」という語句のシニフィエに対応する把持動作シーケンスのシニフィア（つまり動作概念）を学習することになる。
【0095】
また、基本動作知覚制御階層２７の知覚制御ＮＮモジュールの一例として、グリッパ－ボール位置合わせ知覚制御ＮＮモジュールは、図２１に示す概略モデル構成図のように、不一致出力と併せて各関節軸トルク制御信号を出力するよう設計されることで、知覚ＮＮモジュールと制御ＮＮモジュールの両方の処理機能を同一化した構成となる。
【0096】
なお、複合動作制御階層２２における把持動作制御ＮＮモジュールと収納動作制御ＮＮモジュールは、図１８における点線枠部Ｙに示すようなワイヤードロジックで結線されることで、２つの複合動作間のシーケンス制御、及びそれぞれに対応する対象物信号の出力が可能となる。このワイヤードロジックはまたさらに上位の制御階層のＮＮモジュールで実装することも可能である。このように制御階層の多階層化によって、上位の制御階層ではより上位概念での制御が可能となる（特に図示せず）。また下位の基本動作についても上記のような移動、把持、解放だけではなく、例えば 押す、引く、姿勢回転、位置回転、上げる、下げる、擦る、等の多様で細かい基本動作を多数用意し、それらの基本動作を適宜のシーケンスで組み合わせて実行することで複雑で多様な動作も円滑に制御できるようになる。
【0097】
また、階層間におけるＮＮモジュール２１の作動制御については、入力情報の単純な入力と非入力の切り換え以外にも、作動制御情報を量的に制御することにより行ってもよい。例えば上記図２０に示した把持動作制御ＮＮモジュールの概略モデル構成図の場合、図２２に示すように多値情報である作動速度パラメータを作動制御情報として出力するようにしてもよい。そして、この把持動作制御ＮＮモジュールが制御するグリッパ－ボール位置合わせ知覚制御ＮＮモジュールにおいては、図２３に示すように把持動作制御ＮＮモジュールから入力された作動速度パラメータに応じて各関節軸トルク制御信号を増減するとともに、その作業動作の進捗度に応じた作動進捗度パラメータを出力する。そして把持動作制御ＮＮモジュールにおいて、この作動進捗度パラメータがフィードバック入力されることで、それに応じて作動速度パラメータを出力する。このような相互循環での信号入力により、作業進捗に対応した作動制御の最適化が可能となる。例えば、作動制御の開始直後でグリッパ１２０がまだ対象物と十分離れている際には速く移動させ、グリッパ１２０が対象物に近づいた際には移動速度を減速させて対象物の把持や解放の確実性を高めるといった移動速度シーケンスを実現でき、作動制御の確実さを確保しつつ全体のタクトタイムを向上させることができる。なお、グリッパ－ボール位置合わせ知覚制御ＮＮモジュールがその画像認識によって作動進捗度も検知可能であれば、作動進捗度パラメータの送受は省略してもよい。
【0098】
以上のように、量的多値情報で入力される作動制御情報に応じて処理するＮＮモジュール２１が含まれていることにより、当該ＮＮモジュール２１の処理を単純な作動と非作動の切り替えではなく、量的に制御することができる。
【0099】
＜２－４：複眼カメラでの知覚構成及びエンコーダでの各軸位置情報の利用＞
上記の各接続構成例では、１台のカメラ１０４で撮像した１つの画像信号での画像解析に基づいて知覚を行ったが、これに限られない。例えば図２４に示すように、並列に配置してそれぞれの撮像方向を重複させた２つのカメラ１０４ａ，１０４ｂでそれぞれ同一範囲を撮像し、それら２つの画像信号を図２５に示すような選択対象物認識ＮＮモジュール（対象物選択信号の入力については図示省略）で画像解析することで、２つの画像信号の間の視差を反映した認識精度の高い知覚処理が可能となる。また図示する例では、知覚ＮＮモジュールの出力を３次元ピクセル空間での特徴点抽出で出力している。このような３次元ピクセル空間データを介して知覚制御ＮＮモジュールが処理することで、３次元空間野での知覚処理が可能となる。または、上記図２５に対応する図２６に示すように、知覚ＮＮモジュールが出力する特徴点を、６次元位置情報（第１～６知覚位置情報）で抽出出力してもよい。この６次元位置情報は、この例の６軸駆動の垂直多関節アームロボット１１０の各関節軸それぞれにおける回動角度位置に対応する位置情報である。なお、特に図示しないが、撮像方向を重複させた３つ以上のカメラで３つ以上の画像信号を取得することでさらに空間把握精度を向上させてもよい。
上記の各接続構成例では、１台のカメラ１０４で撮像した１つの画像信号での画像解析に基づいて知覚を行ったが、これに限られない。例えば図２４に示すように、並列に配置してそれぞれの撮像方向を重複させた２つのカメラ１０４ａ，１０４ｂでそれぞれ同一範囲を撮像し、それら２つの画像信号を図２５に示すような選択対象物認識ＮＮモジュール（対象物選択信号の入力については図示省略）で画像解析することで、２つの画像信号の間の視差を反映した認識精度の高い知覚処理が可能となる。また図示する例では、知覚ＮＮモジュールの出力を３次元ピクセル空間での特徴点抽出で出力している。このような３次元ピクセル空間データを介して知覚制御ＮＮモジュールが処理することで、３次元空間野での知覚処理が可能となる。または、上記図２５に対応する図２６に示すように、知覚ＮＮモジュールが出力する特徴点を、６次元位置情報（第１～６知覚位置情報）で抽出出力してもよい。この６次元位置情報は、この例の６軸駆動の垂直多関節アームロボット１１０の各関節軸それぞれにおける回動角度位置に対応する位置情報である。なお、特に図示しないが、撮像方向を重複させた３つ以上のカメラで３つ以上の画像信号を取得することでさらに空間把握精度を向上させてもよい。
【0100】
そして上記図１９に対応する図２７に示すように、選択対象物認識ＮＮモジュールが出力した３次元ピクセル空間データ又は６次元位置情報を空間野バッファ１０７、１０７′で一時的に記憶（ラッチ）させておき、これをグリッパ－ボール位置合わせ知覚制御ＮＮモジュールやグリッパ－ボール姿勢合わせ知覚制御ＮＮモジュールに参照させる。このようにすることで、例えば作業動作中にカメラ１０４と対象物の間で何らかの遮蔽物が一時的に通過した場合でも、その間に作業動作を中断させることなく円滑に遂行させることができる。なお、空間野バッファ１０７、１０７′は、別途のＮＮモジュール２１の組合せで構成してもよいし、ノイマン型コンピュータ１０１のメモリ領域で構成してもよい。
【0101】
また図２７においては、垂直多関節アームロボット１１０の各関節軸にそれぞれ回動角度位置を検出可能なエンコーダ１０６を設けておき、それら各エンコーダ１０６が検出した各軸位置情報もグリッパ－ボール位置合わせ知覚制御ＮＮモジュールやグリッパ－ボール姿勢合わせ知覚制御ＮＮモジュール等に入力している（グリッパ－ボール位置合わせ知覚制御ＮＮモジュールの場合の図２８参照）。これにより、空間野バッファ１０７、１０７′中の特徴点（被把持点Ｐｗ）の位置（図２８に示す例では６次元位置情報で表現された位置）と各軸位置情報で導き出されるグリッパ１２０の把持点Ｐｍとの間の離間距離を反映して各関節軸トルク制御信号を増減させることができる。これによっても、上述した作動制御の進捗状況に応じたグリッパ１２０の移動速度シーケンスを実現でき、作動制御の確実さを確保しつつタスク処理全体のタクトタイムを向上させることができる。
【0102】
また、グリッパ－ボール位置合わせ知覚制御ＮＮモジュール等におけるボール２０１の被把持点Ｐｗとグリッパ１２０の把持点Ｐｍとの位置合わせの状態（一致、不一致）の判別についても、上記実施形態のように被把持点Ｐｗと把持点Ｐｍをいずれも画像信号の画像認識により認識して比較する手法に限られない。この他にも、グリッパ１２０の把持点Ｐｍに関しては、上述したようにグリッパ－ボール位置合わせ知覚制御ＮＮモジュール自体で各エンコーダ１０６から入力された各軸位置情報に基づいてグリッパ１２０の把持点Ｐｍを導きだし、画像信号で画像認識した被把持点Ｐｗと比較して一致と不一致を判断してもよい。これは、各軸位置情報を帰還情報として、画像中で画像認識した被把持点Ｐｗと、各軸位置情報に基づいて導いた把持点Ｐｍとの位置合わせを行うフィードバック制御に相当する（特に図示せず）。
【0103】
また、上位概念処理のための多階層化は選択対象物認識の列においても構築可能であり、例えば図２９に示すように入力信号と出力信号を挟んだ２列のそれぞれで上位概念化することが可能となる。
【0104】
図示する例では、選択対象物認識の列において、選択対象物認識階層ＮＮモジュールを最下位階層とし、それから昇順に対象物物性認識階層ＮＮモジュール群、対象物間関係認識階層ＮＮモジュール群が接続されている。対象物物性認識階層ＮＮモジュール群は、選択対象物認識階層ＮＮモジュールが選択した対象物に対してその画像信号（及び姿勢信号）に基づき当該対象物の多様な物性（形状、大きさ、色、重さ、硬さ、粘性、等）を認識して出力する。動作知覚制御の列における複合動作制御階層ＮＮモジュール群は、上記の物性認識情報も入力して対象物の物性に適した複合動作制御を行う。
【0105】
また、対象物間関係認識階層ＮＮモジュール群は、選択対象物認識階層ＮＮモジュールが選択した対象物に対して、対象物物性認識階層ＮＮモジュール群が認識した当該対象物の物性情報と画像信号（及び姿勢信号）に基づき当該対象物とその周囲に存在する他の対象物との間の配置関係や物理的・化学的な関係（例えば上下の重なり合い、係合、嵌合、溶着、貼付など）を認識して出力する。動作知覚制御の列における作業工程制御階層ＮＮモジュール群は、上記の配置関係や物理的・化学的な関係の情報も入力して対象物の物性に適した作業工程制御を行う。
【0106】
図２９に示すＮＮモジュールコネクトーム構成はあくまでマニピュレータ制御に適用する場合の一例であるが、このように各列で上位階層を増やして上位概念化を進めることで、ニューロ型コントローラ１０２は全体の汎化性能を向上させることができる。なお、図示する階層構造はあくまで一例であり、各階層の機能や解釈次第では階層数を適宜増減してもよいし、階層間における上位と下位の関係を適宜変更してもよい。
【0107】
＜２－５：自然言語処理への適用システム構成例＞
以下においては、ニューロ型コンピュータ１の適用形態の第２の例として、自然言語処理に適用する場合について説明する。図３０は、ニューロ型コンピュータを用いた自然言語処理システムのＮＮモジュールコネクトーム構成の一例を示している。なお、図示するコネクトーム構成は、各部の接続関係や各種情報の入出力関係を限定するものではない。
以下においては、ニューロ型コンピュータ１の適用形態の第２の例として、自然言語処理に適用する場合について説明する。図３０は、ニューロ型コンピュータを用いた自然言語処理システムのＮＮモジュールコネクトーム構成の一例を示している。なお、図示するコネクトーム構成は、各部の接続関係や各種情報の入出力関係を限定するものではない。
【0108】
図３０に示す自然言語処理システム３００は、カメラ３０４で撮像された対象物の状態を自然言語（この例では日本語）で表現して発話出力する機能を有するものである。この自然言語処理システム３００は、ニューロ型コントローラ３０２と、カメラ３０４と、３次元加速度センサ３０５と、スピーカ３０８を有している。
【0109】
図示する例のニューロ型コントローラ３０２におけるＮＮモジュールコネクトーム構成としては、上述した対象物の状態内容を発話する機能部分として、音素発音制御階層ＮＮモジュール群を最下位階層とし、そこから昇順に単語・助詞制御階層ＮＮモジュール群、対象物・状態認識階層ＮＮモジュール群、及び発話工程制御階層ＮＮモジュール群の４つの階層とそれより上位の図示しない階層を有している。カメラ３０４の画像信号と、３次元加速度センサ３０５の姿勢信号は、対象物・状態認識階層ＮＮモジュール群より上の各階層に入力されている。スピーカ３０８（発話装置）は、最下位階層の音素発音制御階層ＮＮモジュール群の各出力を音声変換可能に接続されている。
【0110】
＜２－６：自然言語処理システムのタスク例＞
ここで上記自然言語処理システム３００に実行させるタスク作業の一例を説明する。この例の自然言語処理システム３００は、上述したようにカメラ３０４が撮像した対象物の状態を日本語で表現してスピーカ３０８で発話出力する。図３１は、その対象物が玩具のこま（独楽）である場合の３つの状態例とそれぞれに対応して出力すべき発話内容を示している。
ここで上記自然言語処理システム３００に実行させるタスク作業の一例を説明する。この例の自然言語処理システム３００は、上述したようにカメラ３０４が撮像した対象物の状態を日本語で表現してスピーカ３０８で発話出力する。図３１は、その対象物が玩具のこま（独楽）である場合の３つの状態例とそれぞれに対応して出力すべき発話内容を示している。
【0111】
最も左方に示す状態例では対象物のこまが回転せずに傾倒しており、ニューロ型コントローラ３０２はこの状態に対してスピーカ３０８に「こま」「が」「ころんで」「いる」と順に発話出力させる。この発話内容において、「こま」が主語であり、「が」は主語にかかる助詞であり、「ころんで」が状態内容を示す形容詞であり、「いる」が動詞となる。
【0112】
また、中央に示す状態例では対象物のこまが回転して直立しており、ニューロ型コントローラ３０２はこの状態に対してスピーカ３０８に「こま」「が」「まわって」「いる」と順に発話出力させる。この発話内容において、「まわって」が状態内容を示す形容詞となる。
【0113】
また右方に示す状態例では対象物のこまが回転せずにその軸芯を台座に突き刺して直立しており、ニューロ型コントローラ３０２はこの状態に対してスピーカ３０８に「こま」「が」「たって」「いる」と順に発話出力させる。この発話内容において、「たって」が状態内容を示す形容詞となる。
【0114】
＜２－７：自然言語処理システムの制御内容＞
次に上記図３０に示したＮＮモジュールコネクトーム構成での上記のタスク例に対応した機能と制御内容を図３２で詳細に説明する。まず、音素発音制御階層ＮＮモジュール群における各音素発音制御ＮＮモジュールは、この例の日本語で発音させる最小単位の音素、つまり「あ」～「ん」までのいわゆる５０音の音素をそれぞれスピーカ３０８に発音出力させるための制御ＮＮモジュールとなる。例えば「あ」の音素の発音制御ＮＮモジュールは、開始信号が入力されてから「あ」の音素に対応する時系列波形の電気信号をスピーカ３０８に出力し、その終了時に完了信号を出力する。この場合、発音制御ＮＮモジュールはニューラルネットワークで構成する以外にも、時系列波形の電気信号を生成するノイマン型コンピュータ（シーケンサ）で構成してもよい。
次に上記図３０に示したＮＮモジュールコネクトーム構成での上記のタスク例に対応した機能と制御内容を図３２で詳細に説明する。まず、音素発音制御階層ＮＮモジュール群における各音素発音制御ＮＮモジュールは、この例の日本語で発音させる最小単位の音素、つまり「あ」～「ん」までのいわゆる５０音の音素をそれぞれスピーカ３０８に発音出力させるための制御ＮＮモジュールとなる。例えば「あ」の音素の発音制御ＮＮモジュールは、開始信号が入力されてから「あ」の音素に対応する時系列波形の電気信号をスピーカ３０８に出力し、その終了時に完了信号を出力する。この場合、発音制御ＮＮモジュールはニューラルネットワークで構成する以外にも、時系列波形の電気信号を生成するノイマン型コンピュータ（シーケンサ）で構成してもよい。
【0115】
また、例えば出力機器がスピーカ３０８ではなく、人間の身体の場合の口唇、顎、舌、及び声帯と同等に機能する構成を備えた出力機器（特に図示せず）を組み合わせて用いる場合には、図３３に示すようにそれら口唇、顎、舌、及び声帯のそれぞれに相当する各出力機器を時系列的に協調制御して「あ」の音素を発音出力させてもよい。この場合には、声帯が発音の有無と声量の時系列的な変化を制御し、口唇、顎、及び舌が発音の周波数、アクセントなどの時系列的な変化を制御する。このような複数の出力機器の時系列的な協調制御を行う機能部分は、上記図２９に示した複合動作制御階層ＮＮモジュール群や基本動作知覚制御階層ＮＮモジュール群で実装してもよい。また、発話出力の出力形態以外にも、マニピュレータを利用した筆記、タイピングや、プリンタ等を利用した印字などの出力形態としてもよい。
【0116】
次に図３２に戻り、単語・助詞制御階層ＮＮモジュール群における各単語・助詞制御ＮＮモジュールは、この例の日本語で用いられる多数の単語（名詞、動詞、形容詞、副詞など）と助詞（他にも助動詞、前置詞、冠詞など）をそれぞれいずれの音素の時系列的な組合せで発音させるかを制御するための制御ＮＮモジュールとなる。例えば「こま」の単語に対応する単語・助詞制御ＮＮモジュール（名詞制御ＮＮモジュール）は、上位階層から開始信号が入力されてから最初に「こ」の音素に対応する下位階層の音素発音制御ＮＮモジュールに開始信号を出力する。そして、当該「こ」の音素に対応する音素発音制御ＮＮモジュールから完了信号が入力された際に、次いで「ま」の音素に対応する音素発音制御ＮＮモジュールに開始信号を出力する。そして、当該「こ」の音素に対応する音素発音制御ＮＮモジュールから完了信号が入力された際に、上位階層に完了信号を出力する。
【0117】
対象物・状態認識階層ＮＮモジュール群における各対象物・状態認識ＮＮモジュールは、カメラ３０４が撮像した画像信号を画像認識し、その画像信号に映し出されている対象物の名称がこの例の日本語で用いられるいずれの名詞（単語）に相当するか、もしくは当該対象物の状態がいずれの形容詞（単語）に相当するかを選択するためのＮＮモジュールとなる。例えば主語や目的語として名詞を認識選択する名詞認識選択ＮＮモジュールは、上位階層から開始信号が入力された際に入力された画像信号に映し出されている対象物を画像認識して、当該対象物の名詞（この例の「こま」）に対応する下位階層の名詞制御ＮＮモジュールに開始信号を出力する。そして、当該対象物の名称に対応する名詞制御ＮＮモジュールから完了信号が入力された際に、上位階層に完了信号を出力する。また、例えば述語として動詞や状態を認識選択する動詞・状態認識選択ＮＮモジュールは、上位階層から開始信号が入力された際に入力された画像信号に映し出されている対象物の動作や状態を画像認識して、当該対象物の動作や状態（この例の「まわって」、「ころんで」、「たって」）に対応する下位階層の形容詞制御ＮＮモジュールや動詞制御ＮＮモジュール（特に図示せず）に開始信号を出力する。そして、それら形容詞制御ＮＮモジュールや動詞制御ＮＮモジュールから完了信号が入力された際に、上位階層に完了信号を出力する。
【0118】
発話工程制御階層ＮＮモジュール群における各発話工程制御ＮＮモジュールは、カメラ３０４が撮像した画像信号を画像認識し、その画像信号に映し出されている対象物の状態を表現するためにこの例の日本語の文法に従っていずれの品詞をどのような語順で組み合わせて表現するかを制御するためのＮＮモジュールとなる。なお、この例では対象物の状態を発話出力する機能に限定しているため、発話工程制御ＮＮモジュールの一例として対象物状態発話制御ＮＮモジュールのみを図示しているが、他にも当該対象物自体の特徴を説明するための特徴説明制御ＮＮモジュールや他の対象物との関係を説明する関係説明制御ＮＮモジュールなど多様な発話工程制御ＮＮモジュールを実装してもよい（いずれも図示省略）。この例では、対象物状態発話制御ＮＮモジュールは、上位階層から開始信号が入力された際に入力された画像信号に映し出されている対象物を画像認識し、最初に主語として当該対象物の名詞を認識選択して発話させる名詞認識選択ＮＮモジュールに開始信号を出力する。そして、名詞認識選択ＮＮモジュールから完了信号が入力された後、続いて主語に続く助詞としての「が」に対応する助詞制御ＮＮモジュールに開始信号を出力する。そして、「が」に対応する助詞制御ＮＮモジュールから完了信号が入力された後、続いて当該対象物の状態を認識選択して発話させる動詞・状態認識選択ＮＮモジュールに開始信号を出力する。そして、動詞・状態認識選択ＮＮモジュールから完了信号が入力された後、続いて動詞としての「いる」に対応する動詞制御ＮＮモジュールに開始信号を出力する。そして、「いる」に対応する動詞制御ＮＮモジュールから完了信号が入力された際に、上位階層に完了信号を出力する。このような発話工程制御ＮＮモジュールは、教師有り学習や深層強化学習によって自然な文法（語順など）を学習する。
【0119】
以上の制御工程によって、カメラ３０４が撮像した対象物の状態を日本語で表現してスピーカ３０８で発話出力することができる。なお、上記のＮＮモジュールコネクトーム構成例では日本語表現での発話出力を行う場合のものを示したが、他の言語への適用も可能である。この場合、例えば音素発音制御階層ＮＮモジュール群における各音素発音制御ＮＮモジュールを対象言語の各音素に対応させ、単語・助詞制御階層ＮＮモジュール群における各単語・助詞制御ＮＮモジュールを対象言語の各単語や各助詞などに対応させ、発話工程制御階層ＮＮモジュール群における各発話制御モジュールを対象言語の文法（語順など）に対応させればよい。
【0120】
＜３：認知側のＮＮモジュール階層構造について＞
以上においては、図２に示した生体脳モデルのうちの特に出力機器群３を制御する側（出力側）を模倣した多階層構造（以下、制御列セクション８という）とその適用例について説明した。これに対して以下においては、他方の入力機器群２からの入力信号に基づいて各種の認知処理を行う側（入力側）を模倣した多階層構造（以下、認知列セクション６という）について説明する。
以上においては、図２に示した生体脳モデルのうちの特に出力機器群３を制御する側（出力側）を模倣した多階層構造（以下、制御列セクション８という）とその適用例について説明した。これに対して以下においては、他方の入力機器群２からの入力信号に基づいて各種の認知処理を行う側（入力側）を模倣した多階層構造（以下、認知列セクション６という）について説明する。
【0121】
図３４は、上記図２に仮定した生体脳の層構造モデルにおける入力認知側の接続構成や機能配置を模倣して構築した認知列セクション６のＮＮモジュール階層構造の一例を上記図３に対応して示している。ただし図示する例は、上記図２９に示したマニピュレータ制御用の選択対象物認識の列をより一般化し、実体的な物体や環境（状況）の認知に適用する場合のものを概略的に示しているが、その詳細を限定するものではない。また、階層間の全結合を示す記号Ｘについては形式的に図示しているだけであり、各階層の機能や解釈に応じて適宜に部分結合であったり省略してもよい。
【0122】
この図３４において、それぞれ同じ認知機能レベルにある複数のＮＮモジュール２１をまとめたＮＮモジュール群を一つの階層とし（図示する例では、分類認知階層４０１、性質・状態認知階層４０２、及び物理・化学量認知階層４０３の３つの階層）、それらの多階層構造で接続した構成により認知列セクション６の全体を構築している。そして、相対的に下位階層にあるＮＮモジュール２１が出力した認知情報をそれより上位階層にある少なくともいずれか１つのＮＮモジュール２１に入力するよう接続している。これにより、下位階層で認知された具現的な認知情報に基づいて、それらから認知し得るさらに抽象的な認知情報を上位階層が出力するといった下位から上位への処理の流れを形成できる。なおこの認知情報の入出力関係は、積層方向で隣接する階層間に限られず、１階層以上離間した配置関係の階層間で行ってもよい（図３４中では特に図示せず）。
【0123】
そして、少なくとも最下位階層である物理・化学量認知階層４０３の各ＮＮモジュール２１は、入力機器群２からの入力情報に基づいて所定の認知情報を出力するものであり、当該ＮＮモジュール２１の処理内容に応じて入力情報と認知情報の間の相関関係を学習している。これにより、入力機器群２の外部機器から直接入力された入力情報に対応した基本的な認知処理機能を持たせることができる。なお、それより上の階層である４０１，４０２のＮＮモジュール２１においても、必要に応じて入力機器群２からの入力情報を直接入力してもよい（図３４中では特に図示せず）。
【0124】
また、所定階層のＮＮモジュール２１には、その認知処理内容に応じて当該所定階層より上の階層のどのＮＮモジュール２１に認知情報を入力させるかを学習しているものが含まれている。
【0125】
また、所定階層のＮＮモジュール２１は、それ自体から認知情報を入力した他の上階層のＮＮモジュール２１から入力された帰還情報を当該所定階層のＮＮモジュール２１の処理に反映させてもよい（図３４中では特に図示せず）。
【0126】
ここで、図示する例の認知列セクション６における各階層の各ＮＮモジュール２１が出力する認知情報の内容を例示する。例えば物理・化学量認知階層ＮＮモジュール群４０３では、対象物に対して入力機器群２から取得した画像信号や触覚信号などのマルチモーダル入力に基づき、各ＮＮモジュール２１がそれぞれ当該対象物についての多様な物理的・化学的な物性（形状、大きさ、色、重さ、硬さ、温度、粘性、匂い、動き、等）を量的に認識し認知情報として出力する。
【0127】
そして、１つ上位にある性質・状態認知階層ＮＮモジュール群４０２では、下位の物理・化学量認知階層４０３から入力された認知情報に基づき、各ＮＮモジュール２１がそれぞれ対象物の性質や状態（固体・液体・気体・ゾル・ゲルの区別、有機物・無機物の区別、単体・構造物の区別、等）を認識し認知情報として出力する。
【0128】
そして、さらに１つ上位にある分類認知階層ＮＮモジュール群４０１では、下位の性質・状態認知階層４０２から入力された認知情報に基づき、各ＮＮモジュール２１がそれぞれ対象物の分類（生物・非生物の区別、食物・非食物の区別、自然物・人工物の区別、材料・道具の区別、実体・図柄の区別、等）を認識し認知情報として出力する。
【0129】
つまり下位の階層ほど具現的（下位概念的）な要素情報を認知情報として出力し、上位の階層ほど抽象的（上位概念的）な総合情報を認知情報として出力する。各階層の各ＮＮモジュール２１が出力する認知情報はそれより上位の階層に入力するだけでなく、いずれも外部へ出力可能となっている。これにより、当該認知列セクション６の全体では、同一の対象物（対象事象）について具現的な認知情報から抽象的な認知情報まで多元的に出力できる。
【0130】
以上のように構成した認知列セクション６の全体は、図３５に示すように、１つの階層における１つのＮＮモジュール２１を１つの疑似ノードとみなした場合の複数の疑似ノード列（つまり１階層におけるＮＮモジュール列）を多層で結合した２次的なニューラルネットワーク（つまりＮＮモジュール２１のニューラルネットワーク）に概略的に近い構成とみなせる。この場合、各階層間における全結合部分（記号Ｘの結合部分）の各結合を疑似エッジとみなしてそれぞれ個別に疑似重み係数を乗算し、上記の２次ニューラルネットワーク全体で疑似重み係数を調整する学習を行ってもよい。また、疑似エッジに接続される各ＮＮモジュール２１の入力層の各ノードにおいても、入力された複数の入力情報の和を線形的に出力してもよいし、またはその和に対して所定の活性化関数を用いた発火処理（所定の閾値との比較処理により出力と非出力の切り替え処理）を行わせてもよい。なお、このような２次ニューラルネットワークの構成とその学習については、上記図３や図２９に示した制御列セクション（ＮＮモジュール群多階層構造）に相当する箇所においても同様に適用可能である。
【0131】
以上のように構成することで、例えば下位の階層ほど入力機器群２からの入力信号と出力すべき認知情報との間の直接的な相関関係を学習して、入力機器群２との間のいわゆるインターフェース的な機能を持たせることができる。また一方、上位の階層ほど下位の階層のいずれのＮＮモジュール２１から認知情報を入力することで最終的な認知処理にどれだけ寄与できるかなどの処理概念を学習することができ、より上位概念的な情報処理機能を持たせることができる。そしてさらに上位の階層を追加（つまり上位概念獲得）、調整することや既存の各階層でのＮＮモジュール２１の追加、調整（つまり下位概念の拡充）することで、ニューロ型コンピュータ１全体における統合的な認知処理の汎化性能を向上させることができる。このような上位と下位の階層の関係において、下位の階層では大量のデータ（いわゆるビッグデータ）を用いた学習が必要であるが、上位の階層ではそれと比較してより少ない数のデータや試行での学習で機能できる。
【0132】
以上のような構成の認知列セクション６の適用例として、例えば一般的な成人の人間が有する認知機能まで拡張したと仮定した概略モデルの一例を図３６に示す。なお図示する例のモデルは、視覚情報に相当するカメラ１０４からの画像情報だけに基づいて認知を行ういわゆる視覚野に限定した認知列セクション６を示しているが、その詳細を限定するものではない。この図３６に示す例において認知列セクション６は、物理・化学量認知階層５０１を最下位階層とし、そこから昇順に性質・状態・分類認知階層５０２、関係認知階層５０３、言語認知階層５０４及び図形認知階層５０５、意味認知階層５０６を有している。（ただし、図中では どの対象物に着目するかを選択する選択対象物認識ＮＮモジュールを省略している）。
【0133】
例えば、机の上にリンゴが置かれている状況をカメラ１０４で撮像してその画像情報（及び姿勢信号）を最下位階層の物理・化学量認知階層５０１の各ＮＮモジュール２１に入力することで、机とリンゴそれぞれに関する物性認知情報が出力される。この物性認知情報として図示する例では、例えば机に関する「硬そう」、「水平面」と、リンゴに関する「握り拳ほどの大きさ」、「赤い」、「略球体」、「上方に突起」などの認知情報が出力される。
【0134】
そしてこれらの物性認知情報を性質・状態・分類認知階層５０２の各ＮＮモジュール２１に入力することで、机とリンゴそれぞれに関する性質・状態・分類の認知情報が出力される。これらの認知情報として図示する例では、例えば机に関しては「板状物」、「人工物」、「固定物」、などの認知情報とともにその対象物が「机」であることが認知され、リンゴに関しては「有機物」、「食物」、「単体」などの認知情報とともにその対象物が「リンゴ」であることが認知される。なお、図の紙面上の都合から認知階層を単純化して説明しているが、実際にはもっと細分化された認知が行われてもよい。
【0135】
そしてこれらの性質・状態・分類の認知情報を関係認知階層５０３の各ＮＮモジュール２１に入力することで、「机」と「リンゴ」の間の関係性の認知情報が出力される。この認知情報として図示する例では、例えば単体のリンゴが空中に浮いていたり潰れていたりするのではなく、また絵や写真に映し出されているものでもなく、実体物としてリンゴが重力方向で机の平面上に載置されているという関係性が認知される。
【0136】
そしてこのような関係性の認知情報を言語認知階層５０４と図形認知階層５０５の各ＮＮモジュール２１に入力することで、それぞれのＮＮモジュール２１は机とリンゴの関係性（机の上にリンゴが載置）が抽象的に認知される。この認知情報として図示する例では、例えば言語認知階層５０４からは「リンゴが机の上に乗っている」などの状況を示す概念が言語表現的に認知される。また図形認知階層５０５からは、リンゴが机の上に乗っているという状況を示す概念が幾何記号的に認知される。なお言語認知階層５０４と図形認知階層５０５は機能的に同位の階層であって、例えば人間の生体脳における左脳（言語的）と右脳（感覚的）の認知機能の分担に相当するようＮＮモジュール２１が区分けされている。
【0137】
そしてこれらの言語表現的な認知情報と幾何記号的な認知情報を意味認知階層５０６の各ＮＮモジュール２１に入力することで、リンゴが机の上に乗っている状況についての意味情報が出力される。この認知情報として図示する例では、例えば他の図示しない認知情報も参照して「リンゴを食べるために誰かが机の上に置いた」などのように背景的な意味合いも含めた総合的な意味を認知、推定する。なお、以上における図示と説明は、下位の具現的な認知要素に基づいて上位の抽象的な認知を行う流れについての理解を目的とした概念を示しただけであり、実際的な意味理解や制御を行うためにはより詳細な認知処理が必要である。
【0138】
以上のような認知列セクション６の構成とそれに含まれる各階層の機能と解釈は、当該認知列セクション６を備えるニューロ型コンピュータ１の用途や目的に応じて任意に設計でき、必要な階層やＮＮモジュール２１を選択的に限定又は追加して備えればよい。例えば、機械制御に特化したニューロ型コンピュータ１であれば言語認知階層５０４は不要であり、意味認知階層５０６では対象物等に対する物理的な運動法則等（例えば、机に置かれたリンゴを押せば転がる、等）を認知すればよい。また、状況説明に特化したニューロ型コンピュータ１であれば図形認知階層５０５は不要であり、意味認知階層５０６では対象物等の状況等（誰が何のために机にリンゴを置いたか、等）を認知すればよい。
【0139】
＜４：ニューロ型コンピュータ全体のセクション構成＞
図３７は、上述した出力機器群３を制御するための制御列セクション８と、入力機器群２からの入力信号に基づいて認知を行うための認知列セクション６を統合して備えた場合のニューロ型コンピュータ１の概略モデルの一例を示している。この図３７において、ニューロ型コンピュータ１は、認知列セクション６と、思考列セクション７と、制御列セクション８とを有している。
図３７は、上述した出力機器群３を制御するための制御列セクション８と、入力機器群２からの入力信号に基づいて認知を行うための認知列セクション６を統合して備えた場合のニューロ型コンピュータ１の概略モデルの一例を示している。この図３７において、ニューロ型コンピュータ１は、認知列セクション６と、思考列セクション７と、制御列セクション８とを有している。
【0140】
認知列セクション６は、上述したように、入力機器群２から入力される入力信号に基づいて所定の認知処理により下位から上位の各階層から各種の認知情報を出力する。思考列セクション７は、認知列セクション６から入力された各種の認知情報に基づいて所定の情報処理により下位から上位の各種の制御情報を出力する。制御列セクション８は、思考列セクション７から入力された各種の制御情報に基づいて出力機器群３への出力信号を出力する。この場合の制御列セクション８は、入力される制御情報の信号で各ＮＮモジュール２１のスイッチャー２６を作動させてもよいし、入力される制御情報の信号を量的多値情報の制御量（作動制御情報）として各ＮＮモジュール２１に入力させてもよい。
【0141】
思考列セクション７については、特に詳細に図示しないが、目的としたタスクに特化した情報処理を行うニューラルネットワークであり、あらかじめ多数用意している思考・予測ＮＮモジュールのうちからタスクに対応したものを選択的に適用可能となっている。つまり、認知列セクション６と制御列セクション８が当該ニューロ型コンピュータ１における基本ＯＳに相当し、思考列セクション７が当該ニューロ型コンピュータ１におけるアプリケーションに相当する。思考列セクション７に備えられる具体的な思考・予測ＮＮモジュールの内容としては、例えばマニピュレータ制御用のアプリケーションとして知恵の輪の結合と解除の操作を行うためのものであったり、また自然言語処理用のアプリケーションの一例としてしりとりを行うためのものなどが考えられる。
【0142】
思考・予測ＮＮモジュールについては、特に図示しないが、単一のＮＮモジュール２１で構成したものでもよいし、または他のセクションと同様にＮＮモジュール群を多階層で接続したコネクトーム構成のものでもよいし、他にも部分的にノイマン型コンピュータ（もしくはデジタルハードウェア）を組み込む構成でもよく、他の認知列セクション６及び制御列セクション８に対して互換性を有していればどのような構成であっても適用できる。また、思考列セクション７の各ＮＮモジュール２１を予めそれぞれ必要とされる機能を発揮できるよう個別に学習させてもよいし、もしくは思考列セクション７を組み込んだニューロ型コンピュータ１全体で適宜ファインチューニングするよう学習させてもよい。
【0143】
以上のように入力機器群２からの入力信号を認知列セクション６、思考列セクション７、及び制御列セクション８の順で伝達処理して出力機器群３に出力し、また各セクション６，７，８で下位概念から上位概念までに対応した多階層構造としていることで、上記図２に示した生体脳モデルに近い構成となる。なお、特に図示しないが、必要に応じて認知列セクション６と制御列セクション８の間で上記思考列セクション７を介さずに情報信号を直接送受させる経路を設けてもよいし、もしくは上記図２９に示した空間野バッファ１０７、１０７′のような適宜の機能部を介して情報信号を送受させてもよい。また、特に図示しないが、人間の場合の右脳と左脳のように、各セクション６，７，８を用途別や機能別で区別しつつ併用してもよく、この場合にはさらなる汎用性の向上が可能となる。
【0144】
また、図３８に示すように、予めニューロ型コンピュータ１の思考列セクション７に多数の思考・予測ＮＮモジュール（もしくはそれらの多階層構造）をアプリケーションとして備えておき、認知列セクション６が出力した多数の認知情報の内容に応じて別途の適用アプリケーション選択ＮＮモジュール９（選択モジュール）が適切な思考・予測ＮＮモジュールを実行アプリケーションとして選択して適用するようにしてもよい。これにより、当該ニューロ型コンピュータ１自体が自律的に外界の環境や状況に応じて適切な思考処理（又はタスク）を切り替えて実行することができる。
【0145】
＜５：適用技術分野＞
以上においては、ニューロ型コンピュータ１をマニピュレータ制御と自然言語処理にそれぞれ適用した例を説明したが、これらに限られない。他にも自動車の自動運転制御、生産機械やプラント等の産業設備の自動制御、等の他の多様な情報処理分野で、本発明のロバスト性、汎用性の高いニューロ型コンピュータ１の適用が可能である。
以上においては、ニューロ型コンピュータ１をマニピュレータ制御と自然言語処理にそれぞれ適用した例を説明したが、これらに限られない。他にも自動車の自動運転制御、生産機械やプラント等の産業設備の自動制御、等の他の多様な情報処理分野で、本発明のロバスト性、汎用性の高いニューロ型コンピュータ１の適用が可能である。
【0146】
また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。
【0147】
その他、一々例示はしないが、上記実施形態や各変形例は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。
【符号の説明】
【0148】
１ ニューロ型コンピュータ（情報処理装置）
２ 入力機器群
３ 出力機器群
４ ノイマン型コンピュータ
６ 認知列セクション
７ 思考列セクション
８ 制御列セクション
９ 適用アプリケーション選択ＮＮモジュール
１１ 大脳
１６ 大脳基底核
１７ 脳神経細胞
１８ 大脳新皮質
２１ ニューラルネットワークモジュール（処理モジュール）
２２ 複合動作制御階層
２３ 基本動作知覚階層
２４ 基本動作制御階層
２５ 複合動作制御階層ニューラルネットワークモジュール
２６ スイッチャー
２７ 基本動作知覚制御階層
１００ マニピュレータ制御システム
１０１ ノイマン型コンピュータ
１０２ ニューロ型コントローラ（情報処理装置）
１０３ マニピュレータ
１０４ カメラ
１０５ ３次元加速度センサ（姿勢センサ）
１０６ エンコーダ
１０７ 空間野バッファ
１０７′ 空間野バッファ
１１０ 垂直多関節アームロボット
１２０ グリッパ
１２１ 把持爪
１２２ 圧接センサ
２０１ ボール
２０２ 容器
２０３ 立方体
３００ 自然言語処理システム
３０２ ニューロ型コントローラ
３０４ カメラ
３０５ ３次元加速度センサ
３０８ スピーカ
４０１ 分類認知階層
４０２ 性質・状態認知階層
４０３ 物理・化学量認知階層
５０１ 物理化学量認知階層
５０２ 性質・状態・分類認知階層
５０３ 関係認知階層
５０４ 言語認知階層
５０５ 図形認知階層
５０６ 意味認知階層
２ 入力機器群
３ 出力機器群
４ ノイマン型コンピュータ
６ 認知列セクション
７ 思考列セクション
８ 制御列セクション
９ 適用アプリケーション選択ＮＮモジュール
１１ 大脳
１６ 大脳基底核
１７ 脳神経細胞
１８ 大脳新皮質
２１ ニューラルネットワークモジュール（処理モジュール）
２２ 複合動作制御階層
２３ 基本動作知覚階層
２４ 基本動作制御階層
２５ 複合動作制御階層ニューラルネットワークモジュール
２６ スイッチャー
２７ 基本動作知覚制御階層
１００ マニピュレータ制御システム
１０１ ノイマン型コンピュータ
１０２ ニューロ型コントローラ（情報処理装置）
１０３ マニピュレータ
１０４ カメラ
１０５ ３次元加速度センサ（姿勢センサ）
１０６ エンコーダ
１０７ 空間野バッファ
１０７′ 空間野バッファ
１１０ 垂直多関節アームロボット
１２０ グリッパ
１２１ 把持爪
１２２ 圧接センサ
２０１ ボール
２０２ 容器
２０３ 立方体
３００ 自然言語処理システム
３０２ ニューロ型コントローラ
３０４ カメラ
３０５ ３次元加速度センサ
３０８ スピーカ
４０１ 分類認知階層
４０２ 性質・状態認知階層
４０３ 物理・化学量認知階層
５０１ 物理化学量認知階層
５０２ 性質・状態・分類認知階層
５０３ 関係認知階層
５０４ 言語認知階層
５０５ 図形認知階層
５０６ 意味認知階層
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】