特許 7421719 制御装置、制御システム、および制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-17

(45)【発行日】2024-01-25

(54)【発明の名称】制御装置、制御システム、および制御プログラム

(51)【国際特許分類】

   G05B 13/02 20060101AFI20240118BHJP

   B25J 13/00 20060101ALI20240118BHJP

【ＦＩ】

G05B13/02 A

B25J13/00 Z

【請求項の数】 6

(21)【出願番号】P 2019014886

(22)【出願日】2019-01-30

(65)【公開番号】P2020121376

(43)【公開日】2020-08-13

【審査請求日】2022-01-18

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成３０年度 国立研究開発法人新エネルギー・産業技術総合開発機構、次世代人工知能・ロボット中核技術開発事業、産業技術力強化法第１９条の適用を受けるもの

(73)【特許権者】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】110002789

【氏名又は名称】弁理士法人ＩＰＸ

(74)【代理人】

【識別番号】100200872

【弁理士】

【氏名又は名称】押谷 昌宗

(74)【代理人】

【識別番号】100210103

【弁理士】

【氏名又は名称】奥村 光平

(73)【特許権者】

【識別番号】301021533

【氏名又は名称】国立研究開発法人産業技術総合研究所

(74)【代理人】

【識別番号】110002789

【氏名又は名称】弁理士法人ＩＰＸ

(72)【発明者】

【氏名】米倉 将吾

(72)【発明者】

【氏名】國吉 康夫

【審査官】松浦 陽

(56)【参考文献】

【文献】米国特許出願公開第２０１４／００８１８９５（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１３／０３２５７６８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００７／０１２９６４８（ＵＳ，Ａ１）

【文献】米国特許第０５４７１３８１（ＵＳ，Ａ）

【文献】特開２０１８－１３６９１８（ＪＰ，Ａ）

【文献】特表２００６－５１４７５９（ＪＰ，Ａ）

【文献】平田 弘志 他，適応制御器を用いた回転型二重倒立振子の二段階による制御系 Control System with Two Stages Using Adaptive Controller for a Serial Rotary-Type Double Inverted Pendulum，電気学会論文誌Ｃ 電子・情報・システム部門誌，日本，（社）電気学会 The Institute of Electrical Engineers of Japan，2010年11月01日，第１３０巻 第１１号，pp.1968-1978

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ － ２１／０２

Ｇ０５Ｂ １３／００ － １３／０４

(57)【特許請求の範囲】

【請求項1】

制御装置であって、
基本制御信号生成部と、スパイク信号列生成部と、駆動信号生成部とを備え、
前記基本制御信号生成部は、制御対象の状態情報に基づいて、前記制御対象を制御するための非スパイク状の基本制御信号を生成可能に構成され、
前記状態情報とは、前記制御対象における注目する箇所において、前記制御対象の挙動および環境変動により変化する内部状態を示す情報で、
前記スパイク信号列生成部は、ニューロンネットワークを構成する複数のニューロンを有し、複数の前記ニューロンのそれぞれから生成されるスパイク信号に基づいてスパイク信号列を生成可能に構成され、
前記ニューロンのそれぞれは、前記基本制御信号を入力することにより、擾乱と当該ニューロンの発火閾値とに基づいて、前記スパイク信号を生成するように構成され、
前記駆動信号生成部は、前記スパイク信号列に基づいて時系列に連続変化する駆動信号を生成可能に構成され、ここで、前記駆動信号は、前記ニューロンネットワークにおけるシナプス後電位相当であり、前記制御対象に供給されることで前記制御対象を制御可能に構成され、
少なくとも前記基本制御信号生成部に内包されるパラメータは、当該パラメータを更新することと、当該パラメータに基づいて前記制御対象に対して予め設定された基本タスクを実行させることと、前記基本タスクの実行結果に基づき評価値を計算することと、を含んだ繰り返し可能な最適化により、更新される、
制御装置。

【請求項2】

請求項１記載の制御装置において、
通信部をさらに備え、
前記通信部は、前記状態情報を受信可能に構成される、
制御装置。

【請求項3】

請求項１または請求項２に記載の制御装置において、
前記ニューロンは、生体における確率的なインパルス状の活動電位の生成をモデルとして、前記スパイク信号を生成可能に構成される、
制御装置。

【請求項4】

制御システムであって、
制御対象と、前記制御対象を制御する制御装置とを備え、
前記制御対象は、ロボット、移動体、ペースメーカー、電気回路系、化学反応系、通信ネットワーク、社会経済管理システム、金融システム、生体ネットワークおよび動植物の少なくとも１つであり、
前記制御装置は、請求項１～請求項３の何れか１つに記載の制御装置である、
制御システム。

【請求項5】

請求項４記載の制御システムにおいて、
前記制御対象は筋骨格ロボットであり、ロボット駆動部とロボット状態検知部とを備え、
前記ロボット駆動部は、複数の骨と、複数の関節と、近接する前記骨どうしの間に引っ張り力を与える筋および／または前記複数の骨にまたがり引っ張り力を与える多関節筋を備え、
前記ロボット状態検知部は、筋発生力、筋長、関節角、上体姿勢、重心位置、足裏反力、３軸姿勢、３軸加速度、３軸角速度の少なくとも１つの状態を検知可能に構成される、
制御システム。

【請求項6】

制御プログラムであって、
コンピュータを、請求項１～請求項３の何れか１つに記載の制御装置の各部として機能させる、
制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、産業用と医療用および家庭用などのロボットや移動システムの運動・制御、製造プラントなど、複雑で動的な状態変化を伴うシステムにおける制御装置、制御システム、および制御プログラムに関する。

【背景技術】

【0002】

工業、商業、農業などの産業界、手術や看護・介護などの医療界、さらには清掃など家庭におけるロボットや産業機械の複雑化・高機能化が急激に進んでいる。これら、ロボットや産業機械などの装置の構成要素は一様で無く、また作業対象や動作環境は必ずしも一定では無い。

【0003】

その様な中でニューロンネットワーク（ニューラルネットワーク）を適用した装置に繰り返し学習を行なうことで、個体毎の運動パターンを生成する二足歩行ロボットとして、特許文献１が提案されている。特許文献１では請求項１に記載の通り、ニューロンネットワークを備えており、図３や［０００４］に記載の通り、繰り返し学習により設計精度の向上や設計時間の短縮を図っている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００６－８８３３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１で利用されているニューロンネットワークは図１１や段落［０００７］～［０００８］に記載されている通り、複数の入力に対して一意の重み付け係数Ｗ＿ｋ＿＊をかけて出力信号を生成している。この重み付け係数Ｗ＿ｋ＿＊を繰り返し学習によって最適化しているものである。そのため、装置個体の構成が固定され、さらに環境が一定の条件下では最適化が可能であるが、外乱などによる予期しない環境の変化には追随出来ない。

【0006】

本発明は、かかる事情を鑑みてなされたものであり、予期しない外的環境の変化が発生しても、自律的に反応し、制御対象が所望の動作を安定的に行なうことを可能とする制御装置、制御システム、および制御プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明によれば、制御装置であって、駆動信号を制御対象に供給することで前記制御対象を制御可能に構成されるもので、スパイク信号列生成部と駆動信号生成部とを備え、前記スパイク信号列生成部は、前記制御対象を制御するための基本制御信号と擾乱を含む内部状態、および内部状態に関するダイナミクスによって規定されるタイミングで、スパイク信号列を生成可能に構成され、前記駆動信号生成部は、前記スパイク信号列に基づいて時系列に連続変化する前記駆動信号を生成可能に構成される、制御装置が提供される。

【0008】

本発明に係る制御装置では、基本制御信号を、前記スパイク信号列生成部により一旦スパイク信号列に変換したのちに、前記駆動信号生成部にて生成した駆動信号を用いて制御対象に対する制御を行なう。このとき、予期しない外的環境の変化が発生しても、制御装置側が自律的に反応し、制御システム全体が所望の動作を行なうことが可能となるという有利な効果を奏する。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態に係る制御装置および制御対象からなる制御システムの機能ブロック図。

【図2】制御装置における最適化制御フロー図。

【図3】スパイク信号列を用いた制御例として水平軸上の粒子位置を制御する構成図。

【図4】水平軸上を移動する粒子に関する３重／２重／１重井戸ポテンシャルを示す状態図。

【図5】秩序創発機能のうち、エントロピー減少・パターン形成機能に関するシミュレーション結果図。

【図6】秩序創発機能のうち、目標状態への引き込み領域拡大機能に関するシミュレーション結果図。

【図7】秩序創発機能のうち、自然周波数へのバインディング機能に関するシミュレーション結果図。

【図8】制御システムの一例である筋骨格ロボット制御システムの構成図。

【図9】筋骨格ロボット制御システムの低摩擦環境における移動速度シミュレーション結果図。

【図10】筋骨格ロボット制御システムの低摩擦環境における協調運動能力シミュレーション結果図。

【図11】スパイク信号列生成部と駆動信号生成部を外付け制御装置とした制御システムの機能ブロック図。

【発明を実施するための形態】

【0010】

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。特に、本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、０または１で構成される２進数のビット集合体として信号値の高低によって表されるデジタル信号情報と、電圧・電流が連続的に変化するアナログ信号情報、および時間軸上で瞬間的に電圧・電流が発生するスパイク信号情報で、広義の回路上で通信・演算が実行されうる。

【0011】

また、広義の回路とは、デジタル回路（Ｄｉｇｉｔａｌ Ｃｉｒｃｕｉｔ）、アナログ回路（Ａｎａｌｏｇ Ｃｉｒｃｕｉｔ）、光回路（Ｏｐｔｉｃａｌ Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、およびメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、デジタル回路としては、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、およびフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。アナログ回路としては、抵抗、コンデンサ（Ｃａｐａｓｉｔｏｒ）、インダクタ（Ｉｎｄｕｃｔｏｒ）などの受動素子（Ｐａｓｓｉｖｅ Ｃｏｍｐｏｎｅｎｔ）、ダイオード（Ｄｉｏｄｅ）、トランジスタ（Ｔｒａｎｓｉｓｔｏｒ）、サイリスタ（Ｔｈｙｒｉｓｔｏｒ）などのディスクリート半導体（Ｄｉｓｃｒｅｔｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、およびコンパレータ（Ｃｏｍｐａｒａｔｏｒ）などのアナログ集積回路（Ａｎａｌｏｇ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等を含むものである。また、デジタル回路とアナログ回路の境界部に、Ｄ／Ａコンバータ（Ｄｉｇｉｔａｌ－ｔｏ－Ａｎａｌｏｇ Ｃｏｎｖｅｒｔｅｒ）もしくはＡ／Ｄコンバータ（Ａｎａｌｏｇ－ｔｏ－Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）を使用する回路構成も可能である。さらに光回路としては、発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、半導体レーザー（Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｌａｓｅｒ）などの発光素子（Ｌｉｇｈｔ Ｅｍｉｔｔｅｒ）、フォトダイオード（Ｐｈｏｔｏｄｉｏｄｅ）などの受光素子（Ｐｈｏｔｏｄｅｔｅｃｔｏｒ）、光ファイバー（Ｏｐｔｉｏｃａｌ Ｆｉｂｅｒ）などの光導波路（Ｏｐｔｉｃａｌ Ｗａｖｅｇｕｉｄｅ）さらには光集積回路（Ｏｐｔｉｃａｌ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等を含むものである。

【0012】

１．全体構成
第１節では、本発明に係る制御装置を含む制御システム１の全体構成について図面を用いて説明する。図１は、本実施形態に係る制御システム１の構成概要を示す図である。制御システム１は、制御装置２および制御対象３とを備え、これらが電気的に接続されたシステムである。制御対象３は二脚歩行などのロボット（後述）、移動体、ペースメーカー、電気回路系、化学反応系、通信ネットワーク、社会経済管理システム、金融システム、生体ネットワークおよび動植物など、運動・状態に関して周辺環境変化により、電気的、力学的もしくは化学的内部状態などが変動する特性を持ち、所望である動作を行なうために制御を必要とするものである。前記内部状態は、前記制御システム１の機能や動作に関わり、かつ検知可能なものであれば項目は限定されない。

【0013】

１．１ 制御装置２
図１に示す通り、制御装置２は通信部２１と、記憶部２２と、制御部２３とを有し、これらの構成要素が制御装置２内部において通信バス２０を電気的に接続されている。以下、各構成要素についてさらに説明する。

【0014】

＜通信部２１＞
通信部２１は、制御対象３との間で情報の授受を行なうものである。ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、５Ｇ／ＬＴＥ／３Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。これらは一例であり、専用の通信規格を採用してもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。

【0015】

図１においては、通信部２１から制御対象３内の状態検知部３１および駆動部３０それぞれ別に接続している様子を示しているが、物理的な接続はまとめて１つとし、制御対象３内部で論理的に分配する構成としても良い。

【0016】

＜記憶部２２＞
記憶部２２は、様々な情報を記憶する揮発性または不揮発性の記憶媒体である。これは、例えばソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。

【0017】

特に、記憶部２２は、制御実行内容に関する各種パラメータ、制御対象３に関する形状、寸法、材質、重量などの個別特徴情報、最適化途中を含む連続制御時における過去の設定情報を記憶している。

【0018】

また、記憶部２２は、制御部２３によって実行される制御装置２に係る種々のプログラム等を記憶している。具体的には例えば、二脚歩行ロボットの様に複数の筋・腱および関節など複数の駆動要素を有する制御対象３に関する動作手順や、制御部２３を構成する基本制御信号生成部２３１、スパイク信号列生成部２３２、駆動信号生成部２３３で用いるパラメータ群の初期値や更新手順である。

【0019】

＜制御部２３＞
制御部２３は、制御装置２に関連する全体動作の処理・制御を行なう。制御部２３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。制御部２３は、記憶部２２に記憶された所定のプログラムを読み出すことによって、制御装置２に係る種々の機能を実現する。具体的には制御対象３毎に予め与えられた情報、制御対象３内状態検知部３１から通信部２１を介して受信した状態情報を元に、基本制御信号生成部２３１とスパイク信号列生成部２３２と駆動信号生成部２３３を通じて制御対象３への駆動信号ＡＳを生成し制御を実施する機能が該当する。

【0020】

すなわち、ソフトウェア（記憶部２２に記憶されている）による情報処理がハードウェア（制御部２３）によって具体的に実現されることで、基本制御信号生成部２３１、スパイク信号列生成部２３２、および駆動信号生成部２３３として実行されうる。なお、図１においては、単一の制御部２３として表記されているが、実際の構成はこれに限るものではなく、機能毎に複数の制御部２３を有するように実施してもよい。また、それらの組合せであっても良い。以下、基本制御信号生成部２３１、スパイク信号列生成部２３２、駆動信号生成部２３３についてさらに詳述する。

【0021】

［基本制御信号生成部２３１］
基本制御信号生成部２３１はソフトウェア（記憶部２２に記憶されている）による情報処理がハードウェア（制御部２３）によって具体的に実現されているものである。基本制御信号生成部２３１は、通信部２１を介して制御対象３の状態検知部３１から得た状態情報、および制御対象３毎に予め与えられたパラメータを元に、非スパイク信号状である基本制御信号ＣＳを生成するものである。制御アルゴリズムは限定されるものではなく、フィードバック制御、フィードフォワード制御、モデル予測制御、深層学習を用いた制御など各種アルゴリズムが利用可能である。

【0022】

なお、後述する秩序創発機能を最大限利用するには、基本制御信号生成部２３１単体の周波数特性として、強い自然周波数／固有周波数ピークを持たない制御アルゴリズムとパラメータ設定が望ましい。

【0023】

［スパイク信号列生成部２３２］
スパイク信号列生成部２３２は、ソフトウェア（記憶部２２に記憶されている）による情報処理がハードウェア（制御部２３）によって具体的に実現されているもので、ハードウェアは前述したデジタル回路およびアナログ回路の組合せで構成される。

【0024】

スパイク信号列生成部２３２は、基本制御信号生成部２３１で生成された基本制御信号ＣＳを入力とし、スパイク信号列ＳＴを生成する要素であるニューロン（図１中不図示）を内包するものである。このスパイク信号列生成部２３２は、生体において確率的にインパルス状の活動電位を発生するニューロンネットワークすなわち確率的スパイキングニューロンネットワーク（Ｓｔｏｃｈｓａｓｔｉｃａｌｌｙ Ｓｐｉｋｉｎｇ Ｎｅｕｒｏｎ Ｎｅｔｗｏｒｋ：ｓＳＮＮ）と同等の動作をするものである。スパイク信号列生成部２３２内ニューロンとしては、ＬＩＦ（ｌｅａｋｙ ｉｎｔｅｇｒａｔｅ－ａｎｄ－ｆｉｒｅ）ニューロンを始め、ポアソン（Ｐｏｉｓｓｏｎ）スパイクモデルやホジキン－ハクスレイ（Ｈｏｄｇｋｉｎ－Ｈｕｘｌｅｙ）モデル、バースト発火可能なモデルなど、入力となる基本制御信号と擾乱を含む内部状態、および内部状態に関するダイナミクスによって規定されるタイミングでスパイク信号列を生成するモデルが適用可能である。

【0025】

スパイク信号列生成部２３２（ｓＳＮＮ）内に複数のニューロンが存在する場合は、それらニューロン同士の間に任意のシナプス結合を有することも可能である。その際、全てのニューロンは同期発火しない様に設計される。具体的には、例えばニューロン毎に独立のノイズを受ける、あるいはニューロン毎に異なる発火閾値（後述）やリセット電位（後述）を設定する、などである。

【0026】

ここでは、ＬＩＦニューロンの場合に関して数式を用いてより詳しく説明する。ｉ番目のスパイク信号列生成部２３２（ｓＳＮＮ）におけるｊ番目のＬＩＦニューロンは、下に記述する［数１］［数２］［数３］として表すことができる。

【数1】

【数2】

【数3】

ここに、ｖ＿ｉｊは電位、変数上のドットは時間微分、γは減衰係数、ｂ＿ｉｊはバイアス入力（電流）、Ｉは入力信号、Ｄ＿ｉはｉ番目のスパイク信号列生成部２３２におけるノイズ強度、ξ＿ｉｊは単位強度のガウシアン（正規分布）ノイズ、ｖ＾θは発火閾値、ｖ＿ｉｊ＾Ｒはリセット電位、τ＿ｒｅｆは不能期間、ｋはスパイク信号発生順番号である。

【0027】

対象であるＬＩＦニューロンの内部電位ｖ＿ｉｊがｖ＾θに到達すると発火し、数学的にはディラック（Ｄｉｒａｃ）のデルタ関数δで記述されるスパイク信号を生成すると共に、内部電位はｖ＿ｉｊ＾Ｒにリセットされ、τ＿ｒｅｆの不能期に入る。［数１］で示したＬＩＦニューロンではガウシアンノイズという形で擾乱を加える事により多数のＬＩＦが同期発火することを防いでいる。［数１］から明らかな通り、ノイズ成分印加以外に発火閾値ｖ＾θやリセット電位ｖ＿ｉｊ＾Ｒを個別に設定することでも同期発火を防ぐことが可能である。個々のＬＩＦニューロンにおけるスパイク信号列σ＿ｉｊは形式的に［数４］で記述することが出来る。

【数4】

この際、ｉ番目のスパイク信号列生成部２３２に複数のＬＩＦニューロンが存在する場合は、各ＬＩＦニューロンから出力される全てのスパイク信号列を活用する。その際にはスパイク信号列の平均を用いる、あるいはＬＩＦニューロン毎に線形の重み付けを行なう方式が適用できる。そうして得られた新たなスパイク信号列をスパイク信号列生成部２３２の出力であるスパイク信号列ＳＴとする。

【0028】

すなわち、スパイク信号列生成部２３２は、ニューロンネットワークを構成する複数のニューロンを有し、複数のニューロンそれぞれによって出力される信号に基づいて、スパイク信号列ＳＴを生成可能に構成される。

【0029】

［駆動信号生成部２３３］
駆動信号生成部２３３は、ソフトウェア（記憶部２２に記憶されている）による情報処理がハードウェア（制御部２３）によって具体的に実現されているもので、ハードウェアは前述したデジタル回路およびアナログ回路の組合せで構成される。

【0030】

駆動信号生成部２３３は前記スパイク信号列生成部２３２で生成されたスパイク信号列ＳＴを制御対象３の駆動部３０に供給する駆動信号に変換する機能を有する。この駆動信号は生体ニューロンネットワークにおけるシナプス後電位（ｐｏｓｔｓｙｎａｐｔｉｃ ｐｏｔｅｎｔｉａｌ：ＰＳＰ）に基づいて生成されるものである。

【0031】

スパイク信号列ＳＴからシナプス後電位相当である駆動信号ＡＳを生成するにはシナプス類似の方式を用いることが出来る。具体的にはローパスフィルタ、古典的α関数状シナプスモデル、方形波シナプスモデル、ダイナミックシナプスモデルなどである。

【0032】

駆動信号生成部２３３における信号処理方式をローパスフィルタとした場合、出力の基となるシナプス後電位（ｐｏｓｔｓｙｎａｐｔｉｃ ｐｏｔｅｎｔｉａｌ：ＰＳＰ）ｙ＿ｉ、制御対象３駆動部３０の活性度Ａ＿ｉは、それぞれ［数５］［数６］で記述することが可能である。

【数5】

【数6】

ここに、τ＿ｓはシナプス時定数、Ｎは対象とするｉ番目のスパイク信号列生成部２３２内のＬＩＦニューロン数、ｇ＿ｉ＾Ａは増幅ゲインで、Ａ＿ｉ＾０はオフセットである。

【0033】

なお、図１では駆動信号ＡＳを駆動信号生成部２３３から駆動部３０間の直結線で伝えているが、Ａ／Ｄ（Ａｎａｌｏｇ－ｔｏ－Ｄｉｇｉｔａｌ）変換を行った後、デジタル信号として通信部２１を介して駆動部３０に伝達する構成も可能である。

【0034】

１．２ 制御対象３
制御対象３は具体的には例えば、機械的なタスクを実行するロボットや移動システムなどである。なお本発明の制御装置２はタスクの技術分野を限定するものでは無く、動的に作用するもので、かつ環境変動に伴う動作状態変化を検出可能なものであれば、電気回路システムや化学反応システムも制御対象３とすることが可能である。

【0035】

［駆動部３０］
駆動部３０は、タスクを実行する際に、外部からの制御信号に基づき制御対象３を動作させるものである。具体的には例えば、制御対象３がロボットの場合におけるモーター、空圧・油圧などのアクチュエータなどであるが、これらに限定されるものでは無い。

【0036】

［状態検知部３１］
状態検知部３１は、制御対象３が動作時に外乱などによる環境変動があった場合を含めて制御対象３の内部状態を検知するものである。内部状態としては、制御対象３における注目する箇所の位置、速度、加速度、回転、角速度、角加速度、力およびモーメントなどの機械的力学的情報、電圧、電流および抵抗などの電気的情報、音や光の物理的情報、温度、圧力、流速などの流体力学情報、濃度、ｐＨ、分子量などの化学的情報等であるが、これらに限定されるものでは無い。検知した内部状態は状態情報として通信部２１に対して送信できる構成となっている。すなわち換言すると、状態情報とは、前記制御対象における注目する箇所において、制御対象の挙動および環境変動により変化する内部状態を示す情報である。

【0037】

２．制御システム１の最適化方法
第２節では、制御システム１において、制御装置２のパラメータ最適化方法について説明する。ここでは、例えば制御対象３が二脚歩行ロボットの場合であれば、指定した地点へ移動するという作業を実行するなどであるが、本発明の最適化方法は制御対象３やその作業の種類により限定されるものでは無い。

【0038】

外乱が少ない環境において、複数回の基本タスクを繰り返し実行することで、前記制御装置２のパラメータを最適化する際の最適化フローを図２に示す。

【0039】

［最適化開始］
（ステップＳ１）
基本制御信号生成部２３１、スパイク信号列生成部２３２、駆動信号生成部２３３内の各パラメータ群を初期化する。初期化に用いるパラメータ値は記憶部２２に記憶されている情報を用いることができる。記憶部２２に記憶されている情報とは不揮発的に継続して記憶されている情報だけでなく、ユーザーが作業開始時に制御対象３の個々の特徴および外部環境状況を鑑みて外部から入力した情報も含む。

【0040】

基本制御信号生成部２３１では採用したアルゴリズムにて使用されるパラメータを初期設定する。具体的には、例えばフィードバック制御の一種であるＰＩＤ（Ｐｒｏｐｏｒｔｉｏｎａｌ－Ｉｎｔｅｇｒａｌ－Ｄｉｆｆｅｒｅｎｔｉａｌ）制御では、比例ゲインＫ＿Ｐ、積分ゲインＫ＿Ｉ、微分ゲインＫ＿Ｄなどである。

【0041】

スパイク信号列生成部２３２では確率的スパイキングニューロンネットワーク（ｓＳＮＮ）としてのあらゆるパラメータを初期設定する。例えばスパイク信号列生成部２３２をＬＩＦニューロンで構成した場合、ニューロン数Ｎや前記［数１］［数２］に含まれる変数、具体的には減衰係数γ、バイアス入力ｂ＿ｉｊ、ノイズ強度Ｄ＿ｉ、発火閾値ｖ＾θ、リセット電位ｖ＿ｉｊ＾Ｒ、不能期間τ＿ｒｅｆなどである。

【0042】

駆動信号生成部２３３では、スパイク信号列ＳＴから駆動信号ＡＳを生成するのに採用した方式に関するパラメータを初期設定する。例えばローパスフィルタ方式を採用した場合、時定数τや通過域利得などをフィルタ特性値として設定を行なう。駆動信号生成部２３３の全てもしくは一部を電気的なアナログ回路として構成する場合は、抵抗の抵抗値、コンデンサの容量値などで固定、もしくは半固定的に予め設定しておくことも可能である。

【0043】

（ステップＳ２）
基本制御信号生成部２３１、スパイク信号列生成部２３２、駆動信号生成部２３３内の各パラメータの更新を行なう。全てのパラメータは更新対象となりうるが、制御部２３全体としての概略の方向性は基本制御信号ＣＳに大きく依存するため、基本制御信号生成部２３１部の最適化を主たる対象とするのが望ましい。スパイク信号列生成部２３２および駆動信号生成部２３３に関しては、例えばニューロン数Ｎ、シナプス時定数τ＿ｓ、ノイズ強度Ｄを更新対象とし、その他シナプス結合強度に関するパラメータなどは更新しないという制御方法を取ることが可能である。後述のステップＳ４により収束していないと判定される毎に、前記各パラメータが更新される。

【0044】

（ステップＳ３）
制御対象３が制御装置２からの制御に従い基本タスクを実行する。状態検知部３１にて制御対象３における前述した各種内部状態を検知し、状態情報を制御装置２内通信部２１に送信する。基本制御信号生成部２３１にて制御対象３全体としての評価値を計算する。後述のステップＳ４により収束していないと判定される毎に、基本タスクの実行も１回目、２回目、３回目と回数が増えていく。

【0045】

（ステップＳ４）
基本制御信号生成部２３１において、システム全体が収束しているかどうかを判定する。収束していない（ＮＯ）と判定された場合は、ステップＳ２に戻ってパラメータ更新作業から継続する。パラメータ更新時における学習アルゴリズムとしては、遺伝アルゴリズムなどの進化戦略を適用することが可能であるが、それに限定するものでは無い。収束している（ＹＥＳ）と判定された場合は作業を終了する。
［最適化終了］

【0046】

３．秩序創発機能
第３節では、本発明の構成における制御装置２が有する秩序創発機能について詳述する。これは、基本制御信号生成部２３１にて生成した基本制御信号ＣＳから、一旦スパイク信号列生成部２３２（ｓＳＮＮ）を用いてスパイク信号列ＳＴを生成し、さらにその後駆動信号生成部２３３にて駆動信号ＡＳを生成する構成を有する、本発明における制御装置２固有の機能であり従来知られたものでは無い。

【0047】

本節では、秩序創発機能を示す例として、２つの確率的スパイキングニューロンネットワーク（ｓＳＮＮ）を有する場合を図３に示す。ここでは図３の水平軸上に存在する粒子の位置を制御するものとする。図３中Ｓ＿０、Ｓ＿１がｓＳＮＮで、本発明におけるスパイク信号列生成部２３２と駆動信号生成部２３３を内包するものとする。２つのｓＳＮＮはそれぞれ入力信号としてＩ＿０（ｔ）、Ｉ＿１（ｔ）を受け取る。ここでは入力信号Ｉ＿＊（ｔ）は、粒子の現在位置ｘ（ｔ）と目標位置ｘ＿０＾ｇ、ｘ＿１＾ｇの差分量として定義している。スパイク信号列生成部２３２としてはＬＩＦニューロン（第１節参照）、駆動信号生成部２３３としてはローパスフィルタ（第１節参照）を使用することとする。

【0048】

３．１ エントロピー減少・パターン形成機能
図４Ａに、３重井戸ポテンシャル関数における質量を持った粒子の位置をｓＳＮＮによって制御する場合を示す。ここでは中心（ｘ＝０）はポテンシャルの極小値ではあるが最小値ではなく、中心の両側にポテンシャルが最小となる場所が存在する点に留意されたい。

【0049】

図４Ａ環境下での粒子位置移動状態のシミュレーション結果を図５Ａ、図５Ｂに示す。横軸は時間ｔ、縦軸は粒子位置ｘを示す。また図５Ａはニューロン数Ｎ＝２、図５Ｂはニューロン数Ｎ＝１５０の場合である。ＡｐＥｎは移動状態から算出したエントロピー（Ａｐｐｒｏｘｉｍａｔｅ Ｅｎｔｒｏｐｙ）である。ニューロン数が少ない図５Ａは図５Ｂに比して粒子の移動量の絶対値は大きいが、これは２箇所存在するポテンシャル最小位置を周期的に移動していることが理由であり、その規則的な周期性のためエントロピーＡｐＥｎとしては小さい値となっている。この様に確率的スパイキングニューロンネットワーク（ｓＳＮＮ）においてはスパイク性が高いほど、エントロピー減少機能、パターン形成機能が発現する。

【0050】

３．２ 目標状態の引き込み領域拡大機能
図４Ｂに、２重井戸ポテンシャル関数における質量を持った粒子の位置をｓＳＮＮによって制御する場合を示す。ここでは中心（ｘ＝０）はポテンシャルの極大値となっており、車の山登り問題（ｍｏｕｎｔａｉｎ ｃａｒ ｔａｓｋ）と同様に、谷底からポテンシャルの極大値ｘ＝０に直接到達することは出来ず、反動や外力の助けを必要とする問題設定とする。

【0051】

粒子の初期位置ｘ＿０と初期速度ｖ＿０を様々に変更して、一定時間以上中心付近［－０．１，０．１］の範囲内にとどまることが出来た場合を引き込み領域と定義してシミュレーションした結果を図６Ａ、図６Ｂに示す。図６Ａはニューロン数Ｎ＝１、図６Ｂはニューロン数Ｎ＝１００の場合である。図６Ａ、図６Ｂ中白い領域が引き込み領域である。また、バイアス入力ｂをパラメータにしてニューロン数Ｎを変化させた場合における引き込み領域割合（ｂａｓｉｎ ｒａｔｅ）のシミュレーション結果を図６Ｃに示す。図６Ａ、図６Ｂ、図６Ｃから明らかな様に確率的スパイキングニューロンネットワーク（ｓＳＮＮ）は引き込み領域を拡大する機能を有しており、ｓＳＮＮに含まれるニューロン数は少ない方が引き込み領域拡大機能を強く発現する場合が多い。

【0052】

３．３ 自然周波数へのバインディング機能
図４Ｃに、バネマス系における質量を持った粒子の位置をｓＳＮＮによって制御する場合を示す。ここでバネマス系とは１重井戸ポテンシャル関数と等しい。何も制御を行わないバネマス系では、ばね定数ｋと粒子の質量ｍで定まる自然周波数ｆ＿０（固有周波数）を有している。そのバネマス系に通常のフィードバック制御を行なうと、フィードバック制御のゲインなどの影響により自然周波数ｆ＿０が変調されることが知られている。
中心位置（ｘ＾ｇ＝０）を目標としてｓＳＮＮによる制御を実施し、自然周波数ｆ＿０に対するＳＮＲ（ｓｉｇｎａｌ－ｔｏ－ｎｏｉｓｅ ｒａｔｉｏ）をシミュレーションした結果を図７に示す。図７中、横軸はシナプス時定数τ＿ｓ、縦軸は増幅ゲインｇ＾Ａであり、より白い領域がＳＮＲが高いことを示している。自然周波数ｆ＿０が１～１０Ｈｚという非常に広いパラメータ領域において自然周波数ｆ＿０への共鳴現象が確認できる。また、多くの領域で白い縞模様が垂直方向に伸びている事から、確率的スパイキングニューロンネットワーク（ｓＳＮＮ）を用いてバネマス系を駆動する場合、自然周波数ｆ＿０にほとんど影響を与えてない事が明白である。

【0053】

４． ロボット制御システム
第４節では、実施形態として、制御対象３としてロボット、さらに具体的には筋骨格ロボットを用いた二脚歩行ロボット制御システムのシミュレーション結果を説明する。

【0054】

図８にシミュレーションに用いた筋骨格ロボット制御システムの機能概略図を示す。図８左側が骨格（リンク）、関節（ジョイント）、筋（図中Ｍｕｓｃｌｅの線、一部省略）の構成を示しており、ロボット駆動部３０として各脚毎に８本の筋および多関節筋を接続している。また、ロボット状態検知部３１（図８中 Ｓｅｎｓｏｒｙ Ｉｎｐｕｔ）として、筋発生力、筋長、関節角、上体姿勢、重心位置、足裏反力、各骨（リンク）において９軸慣性計測装置（Ｉｎｅｒｔｉａ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）によって得られる３軸姿勢、３軸加速度、３軸角速度を測定可能な構成である。

【0055】

左右各脚は静止、振り動作など複数の相を有しており、各相毎に異なる反射活性化ルールを持っている。反射活性化ルール（図８中Ｒｅｆｌｅｘ Ｓｙｓｔｅｍ：基本制御信号生成部２３１）は発生力のポジティブフィードバック制御ルール、筋長のフィードバック制御ルール、関節角あるいは上体姿勢のＰＤ（比例微分）制御ルールの組合せで構築される。

【0056】

図９Ａ、図９Ｂ、図９Ｃには、滑りやすい低摩擦環境での重心移動速度シミュレーション結果を示す。図９Ａ、図９Ｂの横軸が時間ｔ、縦軸が重心移動速度ｖ＾ｇである。通常（図中破線）の摩擦係数μは１０としているが、低摩擦環境（図中実線）では時間ｔ＝［１０，４０］にて摩擦係数μを０．０４と低く設定している。図９Ａ、図９Ｂより通常環境、低摩擦環境ともに安定した二脚歩行動作が行われている。そのとき通常環境よりも低摩擦環境の方が全体に低速度側にシフトしている。図９Ｃは歩容周波数と振幅の関係を示したもので、低摩擦環境では低周波数側に遷移している。

【0057】

図１０には大きな滑りが発生した状況における協調運動能力シミュレーション結果を示す。図１０Ａ、図１０Ｃは横軸ｘが位置を示し、ｘ＝［４，１６］を低摩擦区間とし摩擦係数μ＝０．０４、それ以外は通常で摩擦係数μ＝１０である。なお、図１０Ａのサンプリング間隔は０．１ｓ、図１０Ｃのサンプリング間隔は０．２５ｓである。低摩擦区間（図中ｓｌｉｐｐｅｒｙ帯）上にある、黒色帯は右足の滑り、灰色帯は左足の滑りを示している。図１０Ｂ、図１０Ｄは、それぞれ図１０Ａ、図１０Ｃに対応する時間ｔと重心移動速度ｖ＾ｇの関係を示している。

【0058】

図１０Ａ、図１０Ｂにおいては、０．５ｓ以上の時間、０．５ｍ程度の滑りが発生しているが、それに適応して歩行が継続出来ている。この際、左右の足で滑る距離が非対称になっている点に留意されたい。また、図１０Ｃ、図１０Ｄでは低摩擦区間終了地点であるｘ＝１６ｍ、ｔ＝１３ｓ付近でｖ＾ｇが極端に下がっており、これは低摩擦区間終了直前におけるやや長めの右足滑りから通常区間に入るときに転倒寸前の状態となったことを示している。この状況でも、つま先などが通常区間（μ＝１０）である滑りづらい地面に接触していることを足がかりとして、正常歩行に復帰することが出来ている。この様に、従来知られている反射回路のみの制御では実現困難であった、非常に高い適応能力を、本発明による制御装置２を用いたロボット制御システムは有している。

【0059】

本節で説明した二脚歩行ロボット制御システムにおける協調動作には、運動系列のエントロピーを低減する必要がある。また、転倒回避にはＺＭＰ（ｚｅｒｏ－ｍｏｍｅｎｔ ｐｏｉｎｔ）をある範囲内に制御する必要もある。第３節にて説明した通り、本発明における制御装置２が有する秩序創発機能（３．１ エントロピー減少・パターン形成機能、３．２ 目標状態の引き込み領域拡大機能を参照されたい）が有効に働くことで、即時的な転倒回避機能が実現されていると言える。

【0060】

５．変形例
なお、次のような態様によって、本実施形態を更に創意工夫してもよい。

【0061】

第４節では、二脚歩行ロボット制御システムの実施形態について説明したが、一般に移動システムでは移動に伴い外部環境の変動を伴うものであり、秩序創発機能を有する本発明の制御装置２の特徴を活かすことが出来る。また、秩序創発機能は、無人による完全自律型制御システムとして、あるいは有人システムの補助的な制御システムどちらでも活用することが出来る。移動システムとしては、具体的には例えば、多足歩行ロボット、車輪・キャタピラ型ロボット、無人航空機（Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ：ＵＡＶ、ドローン）、無人水上艇（Ｕｎｍａｎｎｅｄ Ｓｕｒｆａｃｅ Ｖｅｈｉｃｌｅ：ＵＳＶ）、無人潜水艇（Ｕｎｍａｎｎｅｄ Ｕｎｄｅｒｗａｔｅｒ Ｖｅｈｉｃｌｅ：ＵＵＶ）、自動運転を含む自動車、航空機、船舶などであるが、これらに限定されるものでは無い。

【0062】

さらには、運搬や加工に関して作業対象物が頻繁に変更される産業用・医療用・農業用・家庭用のロボットにも適用可能である。

【0063】

本発明による制御装置２が持つ秩序創発機能は、状態の変動に適応する必要がある制御システム１であれば技術分野を限定するものでは無い。すなわち機械的な運動に対するものだけでは無く、電気的変動あるいは化学反応的変動に対しても発揮することが可能である。さらには、金融システムの制御やインターネットなどのコミュニケーションネットワークにおける情報の流入・流出・伝播の制御、空調システム、などにも適用可能である事が期待できる。したがって、例えば秩序創発機能のうち自然周波数へのバインディング機能（３．３参照）を活用した心臓ペースメーカーや人工心肺などへ応用することも可能である。

【0064】

本発明におけるスパイク信号列生成部２３２および駆動信号生成部２３３は、図１に示した様に、基本制御信号生成部２３１、通信部２１、記憶部２２などと共に１つの制御装置２として構成することも可能であるが、スパイク信号列生成部２３２と駆動信号生成部２３３を外付け制御装置とすることも可能である。

【0065】

図１１に機能ブロック図を示す。図１１中、２ｂが基本制御信号ＣＳを生成する基本制御装置、３が制御対象である。基本制御装置２ｂと制御対象３の組合せだけでも従来方式の制御は可能であるが、その従来制御を補足すべく外付け制御装置２ａを接続している。外付け制御装置２ａにはスパイク信号列生成部２３２および駆動信号生成部２３３が配備されている。既存の制御システムに外付け制御装置２ａを追加することで、第３節で説明した秩序創発機能を活用することが可能となり、制御システム１の機能・性能を向上することが出来る。

【0066】

さらには、スパイク信号列は撹乱に起因して確率的に生成されるものに限らず、十分な複雑さと予測不能性を含むならばカオスなどを利用して決定論的に生成されたスパイク信号列であっても同等の機能を得る事が出来る。

【0067】

６．結言
以上のように、本実施形態によれば、予期しない外的環境の変化が発生しても、自律的に反応し、制御システム１全体が所望の動作を行なうことを可能とする制御装置２を実施することが出来る。

【0068】

かかる制御装置２は、駆動信号を制御対象３に供給することで前記制御対象３を制御可能に構成されるもので、スパイク信号列生成部２３２と駆動信号生成部２３３とを備え、前記スパイク信号列生成部２３２は、前記制御対象３を制御するための基本制御信号ＣＳおよび擾乱を含む内部状態によって規定されるタイミングで、スパイク信号列ＳＴを生成可能に構成され、前記駆動信号生成部は、前記スパイク信号列ＳＴに基づいて時系列に連続変化する前記駆動信号ＡＳを生成可能に構成される。

【0069】

また、これにより以下の制御システム１を実施することが出来る。

【0070】

かかる制御システム１は、制御対象３と、前記制御対象３を制御する制御装置２とを備え、
前記制御対象３は、ロボット、移動体、ペースメーカー、電気回路系、および化学反応系の少なくとも１つであり、前記制御装置２は、上に記載した制御装置２である。

【0071】

制御装置２また制御システム１をハードウェアとして実施するためのソフトウェアを、プログラムとして実施することもできる。そして、このようなプログラムを、コンピュータが読み取り可能な非一時的な記録媒体として提供してもよいし、外部のサーバからダウンロード可能に提供してもよいし、外部のコンピュータで当該プログラムを起動させて、クライアント端末で各機能を実施可能な、いわゆるクラウド・コンピューティングを実施してもよい。

【0072】

かかる制御プログラムは、制御対象を制御するためのもので、コンピュータに、スパイク信号列生成機能と駆動信号生成機能とを実行させるもので、前記スパイク信号列生成機能によれば、前記制御対象３を制御するための基本制御信号ＣＳと擾乱を含む内部状態とによって規定されるタイミングで、スパイク信号列ＳＴを生成させ、前記駆動信号生成機能によれば、前記スパイク信号列ＳＴに基づいて時系列に連続変化する前記駆動信号ＡＳを生成させることとする。

【0073】

最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0074】

１ ：制御システム
２ ：制御装置
２ａ ：外付け制御装置
２ｂ ：基本制御装置
２０ ：通信バス
２１ ：通信部
２２ ：記憶部
２３ ：制御部
２３１ ：基本制御信号生成部
２３２ ：スパイク信号列生成部
２３３ ：駆動信号生成部
３ ：制御対象
３０ ：駆動部
３１ ：状態検知部
ＣＳ ：制御信号
ＳＴ ：スパイク信号列
ＡＳ ：駆動信号
Ｉ ：入力信号
ＡｐＥｎ ：エントロピー
Ｎ ：ニューロン数
ｘ＿０ ：初期位置
ｖ＿０ ：初期速度
ｂ ：バイアス入力
ｆ＿０ ：自然周波数
τ＿ｓ ：シナプス時定数
ｇ＾Ａ ：増幅ゲイン
ｖ＾ｇ ：重心移動速度
μ ：摩擦係数

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】