特許 7395968 制御装置、制御システム、制御方法およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-04

(45)【発行日】2023-12-12

(54)【発明の名称】制御装置、制御システム、制御方法およびコンピュータプログラム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20231205BHJP

【ＦＩ】

B25J13/08 A

【請求項の数】 7

(21)【出願番号】P 2019201100

(22)【出願日】2019-11-06

(65)【公開番号】P2021074797

(43)【公開日】2021-05-20

【審査請求日】2022-10-14

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100149618

【弁理士】

【氏名又は名称】北嶋 啓至

(72)【発明者】

【氏名】北川 丈晴

【審査官】樋口 幸太郎

(56)【参考文献】

【文献】国際公開第２０１９／１４２７９６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １３／０８

(57)【特許請求の範囲】

【請求項1】

操作対象の装置が力を作用する被作用面が撮影されている撮影画像と前記被作用面の硬軟状態との関係を機械学習して得られたデータを利用して、前記被作用面を含む撮影画像から前記被作用面の硬軟状態を検知する検知部と、
前記操作対象の装置を操作する操作機器から出力される指令に応じて前記操作対象の装置の動作を制御する制御モードとして、１つの指令に付き前記被作用面の硬軟状態の差異に応じて設定された複数の制御モードのなかから、実行する前記制御モードを、前記操作機器から出力された指令と前記検知部により検知された前記被作用面の硬軟状態とに基づいて選択する選択部と、
選択された前記制御モードでもって前記操作対象の装置の動作を制御する実行部と
を備える制御装置。

【請求項2】

前記検知部は、さらに、前記被作用面が撮影されている撮影画像と前記被作用面の形状との関係を機械学習して得られたデータを利用して、前記撮影画像から前記被作用面の形状をも検知し、
前記選択部は、前記被作用面の硬軟状態および形状の差異に応じて設定された複数の前記制御モードのなかから、実行する前記制御モードを、前記操作機器から出力された指令と前記検知部により検知された前記被作用面の硬軟状態および形状とに基づいて選択する請求項１に記載の制御装置。

【請求項3】

前記実行部は、前記操作対象の装置の動作制御に利用する物理量を検知するセンサから取得したセンサ情報と、前記撮影画像から取得した情報との少なくとも一方を利用して、前記選択された前記制御モードでもって、前記操作対象の装置の動作を制御する請求項１又は請求項２に記載の制御装置。

【請求項4】

前記操作機器から出力される複数種の指令のなかには、前記操作対象の装置が順に実行する一連の複数の動作の開始を指示する指令が含まれている請求項１乃至請求項３の何れか一つに記載の制御装置。

【請求項5】

操作対象の装置を操作する操作機器と、
前記操作対象の装置が力を作用する被作用面を撮影する撮影装置と、
前記撮影装置により撮影された前記被作用面を含む撮影画像と、前記操作機器から出力された指令とを受けて、前記操作対象の装置の動作を制御する請求項１乃至請求項４の何れか一つに記載の制御装置とを有する制御システム。

【請求項6】

操作対象の装置が力を作用する被作用面が撮影されている撮影画像と前記被作用面の硬軟状態との関係を機械学習して得られたデータを利用して、前記被作用面を含む撮影画像から前記被作用面の硬軟状態を検知し、
前記操作対象の装置を操作する操作機器から出力される指令に応じて前記操作対象の装置の動作を制御する制御モードとして、１つの指令に付き前記被作用面の硬軟状態の差異に応じて設定された複数の制御モードのなかから、実行する前記制御モードを、前記操作機器から出力された指令と、検知された前記被作用面の硬軟状態とに基づいて選択し、
選択された前記制御モードでもって前記操作対象の装置の動作を制御する
制御方法。

【請求項7】

操作対象の装置が力を作用する被作用面が撮影されている撮影画像と前記被作用面の硬軟状態との関係を機械学習して得られたデータを利用して、前記被作用面を含む撮影画像から前記被作用面の硬軟状態を検知する処理と、
前記操作対象の装置を操作する操作機器から出力される指令に基づいて前記操作対象の装置の動作を制御する制御モードとして、１つの指令に付き前記被作用面の硬軟状態の差異に応じて設定された複数の制御モードのなかから、実行する前記制御モードを、前記操作機器から出力された指令と、検知された前記被作用面の硬軟状態とに基づいて選択する処理と、
選択された前記制御モードでもって前記操作対象の装置の動作を制御する処理と
をコンピュータに実行させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、操作機器からの指令に応じて操作対象の装置の動作を制御する技術に関する。

【背景技術】

【0002】

操作対象の装置を操作するリモコンにおいて、例えば、装置（移動体）の前進指令にはボタンＡが対応し、前進速度を速める指令にはボタンＣとボタンＡが対応し、停止にはボタンＢが対応するというように、装置動作を指示する指令に対応するリモコン操作が予め定められている。操作者がリモコンで操作対象の装置をスムーズに操作するためには、操作者は、装置に実行させたい動作を指示する指令に応じたリモコン操作を覚えていなければならない。

【0003】

なお、特許文献１には、自律的に移動可能な脚式移動型ロボットの移動制御に関する技術が開示されている。特許文献１に示されている技術では、二足歩行ロボットに装備された各種センサのセンサ値を利用して二足歩行ロボットが歩行する歩行面の状態が検知され、検知された床面の状態に応じて二足歩行ロボットの歩行動作が制御される。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００５－１１１６５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

リモコンにより操作する操作対象の装置のなかには、複雑な動きが可能なものが出てきている。しかしながら、操作対象の装置において実行可能な動作が増加すると、リモコン操作が複雑化し、これにより、リモコン操作を覚えきれずに、操作者が思うように操作対象の装置を操作できないという問題が生じる虞がある。

【0006】

本発明は上記課題を解決するために考え出された。すなわち、本発明の主な目的は、リモコン等の操作機器の操作の複雑化を防止しつつ、煩雑な動作を実行可能な操作対象の装置であっても当該操作対象の装置を操作機器により容易に操作できる技術を提供することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本発明に係る制御装置は、その一形態として、
操作対象の装置が力を作用する被作用面が撮影されている撮影画像と前記被作用面の硬軟状態との関係を機械学習して得られたデータを利用して、前記被作用面を含む撮影画像から前記被作用面の硬軟状態を検知する検知部と、
前記操作対象の装置を操作する操作機器から出力される指令に応じて前記操作対象の装置の動作を制御する制御モードとして、前記被作用面の硬軟状態の差異に応じて設定された複数の制御モードのなかから、実行する前記制御モードを、前記操作機器から出力された指令と前記検知部により検知された前記被作用面の硬軟状態とに基づいて選択する選択部と、
選択された制御モードでもって前記操作対象の装置の動作を制御する実行部と
を備える。

【0008】

また、本発明に係る制御システムは、その一形態として、
操作対象の装置を操作する操作機器と、
前記操作対象の装置が力を作用する被作用面を撮影する撮影装置と、
前記撮影装置により撮影された前記被作用面を含む撮影画像と、前記操作機器から出力された指令とを受けて、前記操作対象の装置の動作を制御する本発明の制御装置と
を有する。

【0009】

さらに、本発明に係る制御方法は、その一形態として、
操作対象の装置が力を作用する被作用面が撮影されている撮影画像と前記被作用面の硬軟状態との関係を機械学習して得られたデータを利用して、前記被作用面を含む撮影画像から前記被作用面の硬軟状態を検知し、
前記操作対象の装置を操作する操作機器から出力される指令に応じて前記操作対象の装置の動作を制御する制御モードとして、前記被作用面の硬軟状態の差異に応じて設定された複数の制御モードのなかから、実行する制御モードを、前記操作機器から出力された指令と、検知された前記被作用面の硬軟状態とに基づいて選択し、
選択された制御モードでもって前記操作対象の装置の動作を制御する。

【0010】

さらにまた、本発明に係るコンピュータプログラムは、その一形態として、
操作対象の装置が力を作用する被作用面が撮影されている撮影画像と前記被作用面の硬軟状態との関係を機械学習して得られたデータを利用して、前記被作用面を含む撮影画像から前記被作用面の硬軟状態を検知する処理と、
前記操作対象の装置を操作する操作機器から出力される指令に応じて前記操作対象の装置の動作を制御する制御モードとして、前記被作用面の硬軟状態の差異に応じて設定された複数の制御モードのなかから、実行する前記制御モードを、前記操作機器から出力された指令と、検知された前記被作用面の硬軟状態とに基づいて選択する処理と、
選択された制御モードでもって前記操作対象の装置の動作を制御する処理と
をコンピュータに実行させる。

【発明の効果】

【0011】

本発明によれば、操作機器の操作の複雑化を防止しつつ、煩雑な動作を実行可能な操作対象の装置であっても当該操作対象の装置を操作機器により容易に操作することを可能にする。

【図面の簡単な説明】

【0012】

【図1】本発明に係る第１実施形態の制御装置の機能構成を簡略化して表すブロック図である。

【図2】第１実施形態の制御装置を備える制御システムの構成を簡略化して表すブロック図である。

【図3】第１実施形態の制御装置を実現するハードウェア構成の一例を説明するブロック図である。

【図4】操作機器から出力された指令に応じて操作対象の装置の動作を制御する制御モードを選択する際に利用するモード選択用データの一例を説明する図である。

【図5】第１実施形態の制御装置の制御動作の一例を説明するフローチャートである。

【図6】本発明に係る第２実施形態の制御装置の構成を説明するブロック図である。

【図7A】操作対象の装置である二足歩行ロボットの一例を表す図である。

【図7B】ロボットに設けられているハンドによる把持動作を表す図である。

【図7C】ロボットに設けられているアームの肘を曲げる動作を表す図である。

【図7D】ロボットが片脚立ちする動作を表す図である。

【図8】第２実施形態におけるモード選択用データの一つを説明する図である。

【図9】本発明に係る第３実施形態の制御装置の構成を説明するブロック図である。

【発明を実施するための形態】

【0013】

以下に、本発明に係る実施形態を図面を参照しつつ説明する。

【0014】

＜第１実施形態＞
図１は、本発明に係る第１実施形態の制御装置の機能構成を簡略化して表すブロック図である。図２は、第１実施形態の制御装置を含む制御システムの構成を簡略化して表すブロック図である。

【0015】

第１実施形態の制御装置１は、操作機器２および撮影装置３と、無線あるいは有線により通信可能に接続されることにより制御システム５を構成する。制御システム５は、操作対象の装置４を操作するシステムである。操作対象の装置４の例を挙げると、人型ロボット、自動車、建設機械（建機）、探査機、産業用ロボットなどがある。

【0016】

操作機器２は、操作者が操作対象の装置４の動作を操作するために利用する機器であり、例えば操作ボタンや操作レバーやタッチパネルなどの操作部（図示せず）を備えている。操作者が操作機器２を操作する操作パターン（例えば、操作ボタンを押下する、操作レバーを倒す等の操作パターン）と、操作対象の装置４に実行させたい動作に応じた指令（信号）との対応関係が予め定められている。操作機器２は、操作者によって操作部が操作された場合に、操作者による操作パターンに対応する指令を制御装置１に向けて出力する構成を備えている。

【0017】

撮影装置３は、操作対象の装置４が力を作用する被作用面を撮影する装置であり、例えば、撮影範囲内に被作用面が入るように設置の向き等が調整されて操作対象の装置４に搭載される。撮影装置３は、動画あるいは所定のタイミング毎に静止画を撮影する構成を備える。なお、撮影装置３は、必要に応じて、撮影方向を変更可能に操作対象の装置４等に設置されてもよい。

【0018】

ここで、被作用面の具体例を挙げると、操作対象の装置４が自動車であり、自動車の走行に関わる被作用面は、タイヤが力を作用する走行面である。操作対象の装置４が人型ロボットであり、人型ロボットの歩行に関わる被作用面は、脚が力を作用する歩行面である。また、操作対象の装置４が産業用ロボットの一つであるアーム型ロボットであり、アームの先端に取り付けられている把持部（ハンド）の把持動作に関わる被作用面は、把持部が把持する物体の表面である。さらに、操作対象の装置４が建機であり、建機に備えられている作業工具による地面への杭打ちや穴掘りや地ならしの作業に関する被作用面は、地面である。さらにまた、操作対象の装置４である建機あるいは探査機による穴開けや螺旋回しの作業に関する被作用面は、穴開け対象の部材や螺旋を取り付ける部材の表面である。

【0019】

制御装置１は、操作機器２から出力された指令を受けて操作対象の装置４の動作を制御する機能を有する。図３は、制御装置１を実現するハードウェア構成の一例を説明する図である。制御装置１は、コンピュータ装置であり、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサ６と、記憶装置７とを有して構成されている。

【0020】

記憶装置７は、各種のコンピュータプログラム（以下、プログラムとも記す）８やデータ９を記憶する構成を備えている。記憶装置には様々な種類があり、ここでは何れの種類の記憶装置を記憶装置７として採用してよく、その構成の説明は省略する。また、複数種の記憶装置が制御装置１に搭載される場合があり、この場合には、それら複数種の記憶装置をまとめて記憶装置７として記載することとし、この場合における記憶装置７に係る構成の説明も省略する。

【0021】

第１実施形態では、記憶装置７に、データ９として硬軟検知用データとモード選択用データが格納されている。

【0022】

硬軟検知用データは、撮影画像中における被作用面の硬軟状態の情報が付与されている画像データを教師データとして、被作用面が撮影されている撮影画像と当該被作用面の硬軟状態との関係を機械学習することにより得られるデータである。硬軟検知用データは、被作用面の硬軟状態を検知する際に利用され、モデルや辞書などとも称される。

【0023】

モード選択用データは、操作機器２から出力される指令と、当該指令に応じて操作対象の装置４の動作を制御する制御モードとの対応関係を表すデータである。第１実施形態では、操作対象の装置４が実行する動作のうち、被作用面が関わる動作に対応する指令には、被作用面の硬軟状態の差異に応じて設定された複数の制御モードが関連付けられる。

【0024】

図４は、モード選択用データの一例を説明する図である。図４に示される指令Ａは、例えば、アーム型ロボットを構成するアームの先端に設けられたハンドに物体を把持させる指令であるとする。ハンドが把持する対象の物体（把持対象の物体）として、金属製の物体や、スポンジや、ゴム製の物体などが想定される場合には、把持対象の物体によって、その被作用面（換言すれば、その物体自体）の硬軟状態が異なる。この場合、物体の硬軟状態に応じて物体を把持する力やハンドの指の動き方などを変化させることが好ましい。このことから、ハンドによる把持動作の制御モードとしては、把持対象の物体（被作用面）の硬軟状態に応じて異なる複数の制御モードが設定される。モード選択用データは、そのような把持対象の物体（被作用面）の硬軟状態に応じた複数の制御モードを表す情報が指令Ａに関連付けられているデータを含む。

【0025】

すなわち、この例では、指令Ａに関わる被作用面は把持対象の物体表面である。また、図４の例では、被作用面（把持対象の物体表面）の硬軟状態として想定される硬さ（軟らかさ（柔らかさ））の範囲が複数（４つ）に区分されている。それぞれの区分には、例えば軟らかい（柔らかい）側の区分から硬い側の区分に向かうに従って、順に、レベルＡ１，レベルＡ２，レベルＡ３，レベルＡ４というようなレベルが付与されている。それら硬軟状態のレベルＡ１～Ａ４にそれぞれ対応させて制御モードＡ１，Ａ２，Ａ３，Ａ４が設定されている。モード選択用データは、制御モードＡ１～Ａ４を表す情報が硬軟状態（レベルＡ１～Ａ４）を表す情報と共に指令Ａに関連付けられているデータを含む。

【0026】

指令Ｂに関しては、指令Ｂに応じて操作対象の装置の動作を制御する制御モードであって被作用面の硬軟状態に応じた複数の制御モードＢ１，Ｂ２が設定されている。モード選択用データは、さらに、制御モードＢ１，Ｂ２を表す情報が硬軟状態（レベルＢ１，Ｂ２）を表す情報と共に指令Ｂに関連付けられているデータを含む。

【0027】

一方、図４に示される指令Ｃは、例えば、アーム型ロボットのアーム自身を回転させる指令であるとする。アームが回転する場合には、アームが力を作用する被作用面の存在は想定されておらず、指令Ｃに対応する制御モードとしては、制御モードＣのみが設定されている。つまり、指令Ｃは、被作用面が関係しない動作の指令であり、制御モードＣを表す情報が指令Ｃに関連付けられているデータがモード選択用データに含まれている。

【0028】

指令Ｄや指令Ｅに関しても、指令Ｃと同様に、被作用面が関わらない動作を指示する指令であり、指令Ｄ，Ｅにそれぞれ対応する制御モードＤ，Ｅが設定される。制御モードＤ，Ｅをそれぞれ表す情報が指令Ｄ，Ｅに関連付けられているデータがモード選択用データに含まれている。

【0029】

記憶装置７には、さらに、プログラム８として、操作対象の装置４の動作を制御する前述のような制御モードを実行するプログラムが格納されている。また、記憶装置７には、プログラム８として、プロセッサ６に次のような機能を持たせるプログラムが格納されている。

【0030】

すなわち、プロセッサ６は、記憶装置７に格納されているプログラム８を読み出し当該プログラム８を実行することにより、当該プログラム８に応じた機能を持つことができる。第１実施形態では、プロセッサ６により実現される機能部として、制御装置１は、図１に表されるような検知部１１と選択部１２と実行部１３を備える。

【0031】

検知部１１は、操作対象の装置４が力を作用する被作用面が撮影されている撮影画像と被作用面の硬軟状態との関係を機械学習した結果を利用して、被作用面を含む撮影画像から被作用面の硬軟状態を検知する機能を備えている。すなわち、検知部１１は、撮影装置３から撮影画像を取得し、取得した撮影画像における被作用面の硬軟状態を、記憶装置７に格納されている硬軟検知用データを利用して検知する。

【0032】

選択部１２は、操作機器２から出力される指令に基づいて操作対象の装置４の動作を制御する制御モードとして設定された複数の制御モードのなかから、実行する制御モードを選択する機能を備えている。

【0033】

すなわち、第１実施形態では、前述したように、操作対象の装置４を操作する操作機器２から出力される指令に基づいて操作対象の装置４の動作を制御する制御モードとして、複数の制御モードが設定されている。また、記憶装置７には、前述したようなモード選択用データが格納されている。選択部１２は、操作機器２から出力された指令を制御装置１が受け取った場合に、その指令に応じた制御モードをモード選択用データから選択（抽出）する。この制御モードの選択に際し、被作用面の硬軟状態の情報が必要である場合には、選択部１２は、検知部１１から、操作機器２からの指令に関わる被作用面の硬軟状態の情報を取得する。そして、選択部１２は、指令と被作用面の硬軟状態との情報を利用して、モード選択用データから、実行する制御モードを選択する。

【0034】

実行部１３は、選択部１２により選択された制御モードでもって操作対象の装置４の動作を制御する機能を備える。すなわち、実行部１３は、選択部１２により選択された制御モードを実行するプログラム８を実行することによって、操作対象の装置４の動作を制御する。

【0035】

以下に、操作対象の装置４の動作を制御する制御装置１の動作の一例を図５を参照して説明する。図５は、操作対象の装置４の動作を制御する制御手順の一例を表すフローチャートである。

【0036】

例えば、制御装置１が操作機器２から出力された指令を受信し（図５におけるステップＳ１）、その指令が、被作用面が関わる動作を指示する指令である場合には、検知部１１は、被作用面を含む撮影画像を撮影装置３から取得する（ステップＳ２）。そして、検知部１１は、取得した撮影画像から、当該撮影画像に含まれている被作用面の硬軟状態を、記憶装置７の硬軟検知用データを利用して検知する（ステップＳ３）。

【0037】

然る後に、選択部１２が、操作機器２から受信した指令と、検知部１１により検知された被作用面の硬軟状態とに基づいて、記憶装置７のモード選択用データから、実行する制御モードを選択する（ステップＳ４）。その後、実行部１３が、選択された制御モードでもって操作対象の装置４の動作を制御する（ステップＳ５）。

【0038】

第１実施形態の制御装置１および制御システム５は、操作機器２から出力される指令が、被作用面が関わる動作を指示する指令である場合には、指令が同じであっても、被作用面の硬軟状態の差異に応じて異なる動作を操作対象の装置４に実行させることができる。すなわち、制御装置１およびそれを備える制御システム５は、操作機器２の操作の複雑化を防止しつつ、煩雑な動作を実行可能な操作対象の装置４であっても操作対象の装置４を操作機器２により容易に操作できるという効果を奏することができる。

【0039】

また、第１実施形態では、操作対象の装置４における被作用面が関わる動作の制御に際し、被作用面の硬軟状態の差異に着目し、被作用面の硬軟状態に応じた複数の制御モードが設定されている。これにより、制御装置１および制御システム５は、操作機器２からの簡単な指令を受けただけで、被作用面が関わる動作において、指令に応じた動作を被作用面の硬軟状態の差異によらずに達成できる。つまり、被作用面の硬軟状態が異なると、被作用面に力を作用した際に当該被作用面から操作対象の装置４が受ける反作用の力や、被作用面の形状変化等が操作対象の装置４に与える影響に差異が生じる。このため、操作対象の装置４における被作用面が関わる動作において、被作用面の硬軟状態の差異を考慮せずに同じ制御が成されると、操作対象の装置４が、指令に応じた動作に失敗してしまう事態が発生する虞がある。これに対し、制御装置１および制御システム５は、被作用面の硬軟状態に応じて異なる複数の制御モードが設定されることにより、操作機器２から簡単な指令を受けるだけで、被作用面の硬軟状態の差異の悪影響を受けずに、指令に応じた動作を達成できる。

【0040】

＜第２実施形態＞
以下に、本発明に係る第２実施形態を説明する。

【0041】

図６は、第２実施形態の制御装置を内蔵する操作対象の装置の構成を簡略化して表すブロック図である。第２実施形態では、制御装置３２は操作対象の装置２０に内蔵されており、当該操作対象の装置２０は、図７Ａに表されるような二足歩行ロボットである。この操作対象の装置２０は、操作機器２１と無線により信号を通信する通信機能を備えている。操作機器２１は、所謂、リモコンであり、操作者が操作対象の装置２０の動作を操作するために利用する機器である。操作機器２１は、第１実施形態で述べた操作機器２と同様に、例えば操作ボタンや操作レバーやタッチパネルなどの操作部を備えている。ここでは、操作部の態様は限定されず、適宜な態様を採用してよく、その説明は省略する。

【0042】

また、操作者が操作機器２１を操作する操作パターンと、操作対象の装置２０に実行させたい動作に応じた指令（信号）との対応関係が予め定められている。操作機器２１は、操作者により操作された場合に、操作者による操作パターンに対応する指令を操作対象の装置２０に向けて出力する構成を備えている。

【0043】

操作対象の装置２０は、操作機器２１から受信した指令（換言すれば、操作者による操作機器２１の操作パターン）に応じて動作する構成を備えている。

【0044】

すなわち、第２実施形態では、操作対象の装置２０は、撮影装置３０と、センサ３１と、制御装置３２と、駆動部３３とを有して構成されている。

【0045】

撮影装置３０は、操作対象の装置２０の動作を制御する際に利用する情報を取得すべく、その情報源を撮影する装置である。第２実施形態では、撮影装置３０は、少なくとも、操作対象の装置２０が力を作用する被作用面を撮影する。第２実施形態では、操作対象の装置２０は二足歩行ロボットである。当該装置２０が実行可能な動作として、歩行動作と屈む動作と把持動作（図７Ｂ参照）と肘曲げ動作（図７Ｃ参照）と腕上げ下げ動作と片脚立ち動作（図７Ｄ参照）などの、ロボットの構造に応じた動作が設定されている。このように設定されている動作のなかで、ここでは、被作用面が関わる動作として、歩行動作と、屈む動作と、片脚立ち動作と、把持動作とが想定されている。歩行動作と屈む動作と片脚立ち動作に関わる被作用面としては、ロボットの脚が力を作用する歩行面が定められている。さらにまた、把持動作に関わる被作用面としては、ロボットのアームの先端に設けられている把持部が把持する対象の物体の表面が定められている。

【0046】

撮影装置３０は、そのような被作用面が撮影範囲内に入るように設置の向き等が調整されて操作対象の装置２０の例えば頭部に搭載されている。撮影装置３０は、動画あるいは所定のタイミング毎に静止画を撮影する構成を備える。なお、必要に応じて、撮影装置３０は、撮影方向を変更することが可能な状態で操作対象の装置２０に搭載されてもよい。

【0047】

センサ３１は、操作対象の装置２０の動作を制御する制御動作に利用する物理量を検知する構成を備え、検知した物理量を表すセンサ情報を出力する機能を備えている。センサ３１の具体例を挙げると、二足歩行ロボットの体の平衡バランス制御や移動制御に関わる物理量である角速度の情報を出力するジャイロや、物理量である加速度の情報を出力する加速度センサや、物理量である距離の情報を出力する距離センサなどがある。なお、操作対象の装置２０に搭載されるセンサ３１の種類や数や搭載場所は、操作対象の装置２０が実行する動作に基づいて適宜定められるものであり、その詳細な説明は省略する。また、第２実施形態では、撮影装置３０もセンサ３１の一種として機能する。

【0048】

駆動部３３は、動力が供給されて動く部材により構成されており、制御装置３２によって制御されることにより、操作対象の装置（二足歩行ロボット）２０に様々な動作を実現させる。第２実施形態では、操作対象の装置２０には、複数の駆動部が組み込まれるが、まとめて駆動部３３として記載する。また、操作対象の装置２０に駆動部３３として組み込まれる部材の種類や個数は限定されず、仕様などに応じて適宜に設定されるものであるが、例を挙げると、人間の関節に相当する部材がある。この部材により、操作対象の装置２０は、前述したような歩行動作や屈む動作や把持動作や片脚立ち動作や腕上げ下げ動作や肘曲げ動作などの動作が可能となる。また、移動の効率化を図るために、二足歩行ロボットの足の側面や足裏に車輪が装備されてもよい。その車輪の種類としては、例えば、オムニホイール（登録商標）や、メカナムホイールがある。また、姿勢制御に利用するために、二足歩行ロボットの例えば頭部にリアクションホイールが備えられてもよい。

【0049】

制御装置３２は、操作対象の装置２０の動作を制御する装置であり、プロセッサ３５と、記憶装置３６とを備えている。

【0050】

記憶装置３６は、各種のコンピュータプログラム（プログラム）やデータを記憶する構成を備えている。第１実施形態で述べたように、記憶装置には様々な種類があり、第１実施形態と同様に、ここでは何れの種類の記憶装置を記憶装置３６として採用してよく、その詳細な説明は省略する。また、複数種の記憶装置が制御装置３２に搭載される場合があり、この場合には、それら複数種の記憶装置をまとめて記憶装置３６として記載することとし、この場合における記憶装置３６の詳細な説明も省略する。

【0051】

第２実施形態では、記憶装置３６に、硬軟検知用データと形状検知用データと撮影用データと検知要否判断用データとモード選択用データが格納されている。

【0052】

硬軟検知用データは、撮影画像中における被作用面の硬軟状態の情報が付与されている画像データを教師データとして、被作用面が撮影されている撮影画像と当該被作用面の硬軟状態との関係を機械学習することにより得られるデータである。硬軟検知用データは、被作用面の硬軟状態を検知する際に利用され、モデルや辞書などとも称される。

【0053】

形状検知用データは、撮影画像中における被作用面の形状を表す情報が付与されている画像データを教師データとして、被作用面が撮影されている撮影画像と当該被作用面の形状との関係を機械学習することにより得られるデータである。形状検知用データは、被作用面の形状を検知する際に利用され、モデルや辞書などとも称される。

【0054】

なお、硬軟状態および形状を検知する対象の被作用面に関しては、状態検知用データが利用されてもよい。状態検知用データは、撮影画像中における被作用面の硬軟状態および形状の情報が付与されている画像データを教師データとして、被作用面が撮影されている撮影画像と当該被作用面の硬軟状態および形状との関係を機械学習することにより得られるデータである。この状態検知用データも記憶装置３６に格納される。

【0055】

撮影用データは、操作機器２１から出力される指令に応じて撮影装置３０による撮影が必要であるか否かを判断する際に利用するデータである。当該撮影用データは、操作機器２１から出力される指令と、当該指令に応じた撮影装置３０による撮影の要否を表す情報と、撮影が必要である場合における撮影対象を表す情報とが関連付けられているデータである。

【0056】

検知要否判断用データは、操作機器２１から出力される指令に応じて検知部４２の動作が必要であるか否かを判断する際に利用するデータである。当該検知要否判断用データは、操作機器２１から出力される指令と、当該指令に応じた検知部４２の動作の要否を表す情報とが関連付けられ、さらに、検知動作の種類を表す情報をも関連付けられているデータである。

【0057】

モード選択用データは、第１実施形態で述べたモード選択用データと同様に、操作機器２１から出力される指令と、当該指令に応じて操作対象の装置２０の動作を制御する制御モードとの対応関係を表すデータである。すなわち、モード選択用データは、操作機器２１から出力される指令に、当該指令に応じて動作を制御する制御モードを表す情報が一つのみ関連付けられているデータを含む。また、モード選択用データは、被作用面が関わる動作に対応する指令と、当該指令に応じて動作を制御する制御モードであって被作用面の硬軟状態の差異に応じて設定された複数の制御モードを表す情報とが関連付けられているデータも含む。さらに、第２実施形態では、被作用面が関わる動作に対応する指令のうち、形状が異なる複数種の被作用面が想定される場合の指令に関しては、被作用面の硬軟状態だけでなく形状の差異をも考慮して複数の制御モードが設定される。モード選択用データは、そのような指令と、当該指令に応じて動作を制御する制御モードであって被作用面の硬軟状態だけでなく形状の差異をも考慮して設定された複数の制御モードを表す情報とが関連付けられたデータをも含む。

【0058】

操作対象の装置２０の動作において、被作用面の硬軟状態だけでなく形状の差異をも考慮して複数の制御モードが設定される動作の具体例としては、歩行動作が挙げられる。図８は、モード選択用データに含まれている歩行指令（歩行動作）に関わるデータの一例を説明する図である。つまり、図８に表されているデータは、操作対象の装置２０である二足歩行ロボットに歩行を指示する指令が操作機器２１から出力された場合に、その指令に応じて動作制御する制御モードを選択する際に利用するデータである。

【0059】

図８の例では、被作用面である歩行面の硬軟状態として、砂地、芝地、絨毯、木面、石面が想定されている。また、歩行面の形状として、平地、坂、段差、階段が想定されている。このような歩行面の硬軟状態と形状を考慮して、二足歩行ロボットの歩行動作を制御する複数の制御モードが設定されている。例えば、歩行面の硬軟状態が絨毯であり、歩行面の形状が平地である場合には、二足歩行ロボットの歩行動作を制御する制御モードとして、図８に表されるモード選択用データでは、制御モードＦ３１が設定されている。また、歩行面の硬軟状態が木面であり、歩行面の形状が平地である場合には、二足歩行ロボットの歩行動作を制御する制御モードとして、図８に表されるモード選択用データでは、制御モードＦ４１が設定されている。ここで、操作対象の装置２０である二足歩行ロボットの足裏には、メカナムホイールが設けられているとする。例えば、制御モードＦ３１（絨毯－平地対応制御モード）と、制御モードＦ４１（木面－平地対応制御モード）とでは、推進力が同じになるようにメカナムホイールが制御されるが、歩行ピッチは制御モードＦ４１よりも制御モードＦ３１の方が高くなるように脚の動きが制御される。換言すれば、制御モードＦ３１での歩行ピッチ（つまり、単位時間当たりの歩数）は、制御モードＦ４１での歩行ピッチよりも高くなるように脚の動きが制御される。また、制御モードＦ３１および制御モードＦ４１において、操作機器２１からの速度アップ指令に応じて歩行速度が上がるように脚の動きが制御され、また、歩行速度が速くなるにつれて肘の曲げの角度がきつくなるように腕の動きが制御される。このように、同じ指令に関し、歩行面の硬軟状態と形状に応じて異なる複数の制御モードが設定される。このため、操作者の操作によって操作機器２１から同じ歩行指令が操作対象の装置２０に向けて出力されたとしても、操作対象の装置２０が歩行する歩行面の硬軟状態や形状が異なると、操作対象の装置２０の歩行動作に相違が見られることとなる。

【0060】

なお、図８の例では、歩行面の形状として、平地と坂と段差と階段が設定されている。これに代えて、例えば、砂利道のような凹凸有り平地、舗装道のような凹凸無し平地というように、歩行面の形状がさらに細かく設定されてもよい。また、硬軟状態に関しても同様に、さらに細かく設定されてもよい。

【0061】

第２実施形態では、被作用面が関わる動作として、前述したように、歩行動作以外に屈む動作と片脚立ち動作と把持動作が設定されている。屈む動作と片脚立ち動作と把持動作に対応する指令に関しては、例えば、硬軟状態と形状のうちの硬軟状態のみの差異を考慮した複数の制御モードが設定される。この場合には、屈む動作と片脚立ち動作と把持動作にそれぞれ対応する指令に関わるモード選択用データとしては、指令と、被作用面の硬軟状態の差異に応じて設定された複数の制御モードを表す情報とが関連付けられているデータである。

【0062】

さらに、第２実施形態では、二足歩行ロボットは、被作用面が関わる動作以外の動作（例えば、単に肘を曲げる動作や、腕を上下させる動作や、上半身を回す動作）も可能である。このような動作を指示する指令には、当該動作を制御する１つの制御モードが設定されている。

【0063】

なお、上述したように設定されている制御モードにおける制御動作には、操作機器２１から出力された例えば肘の曲げ角度を指定する指令に応じた動作や、センサ３１のセンサ情報を利用した動作も含まれる。

【0064】

上述したような各種データが記憶装置３６に格納されている。さらに、記憶装置３６には、制御モードを実行するためのプログラムや、プロセッサ３５に次のような機能を持たせるためのプログラムが格納されている。

【0065】

プロセッサ３５は、ＣＰＵやＧＰＵにより構成されている。プロセッサ３５は、記憶装置３６に格納されているプログラムを読み出し当該プログラムを実行することにより、当該プログラムに応じた機能を持つことができる。すなわち、第２実施形態では、プロセッサ３５により実現される機能部として、図６に表されるような受信部４０と撮影制御部４１と検知部４２と選択部４３と実行部４４とが備えられている。

【0066】

受信部４０は、操作機器２１から出力された指令を、制御装置３２に備えられている通信回路（図示せず）を介して受信する機能を備えている。また、受信部４０は、受信した指令を、記憶装置３６に格納されている撮影用データに照合し、指令に応じた撮影装置３０による撮影が必要であるか否かを撮影用データの撮影要否情報から検知する機能を備えている。さらに、受信部４０は、撮影装置３０による撮影が必要であることを検知した場合には、受信した指令に応じた撮影対象の情報を撮影用データから抽出し、当該抽出した撮影対象の情報を指令に関連付け、さらに、撮影要求と共に撮影制御部４１に出力する機能を備える。さらに、受信部４０は、受信した指令を、記憶装置３６に格納されている検知要否判断用データに照合し、受信した指令に関連して検知部４２の動作が必要であるか否かの情報を検知要否判断用データから検知する機能を備えている。さらに、受信部４０は、検知部４２の動作が必要であることを検知した場合には、検知動作の種類を表す情報を動作開始指令と共に検知部４２に出力する機能を備える。さらにまた、受信部４０は、受信した指令を選択部４３に出力する機能を備えている。

【0067】

撮影制御部４１は、撮影装置３０の動作を制御する機能を備えている。例えば、撮影制御部４１は、予め定められたルールに従って撮影装置３０による撮影の開始と停止を制御する。そのルールの具体例を挙げると、受信部４０あるいは実行部４４から撮影要求を受信したときに、撮影制御部４１は、撮影を開始するように撮影装置３０を制御する。また、受信部４０から撮影要求を受信してからの経過時間が閾値に達したとき、あるいは、実行部４４による制御動作が終了したときに、撮影制御部４１は、撮影が停止するように撮影装置３０を制御する。

【0068】

また、撮影制御部４１は、受信部４０から撮影要求と共に撮影対象の情報を受信した場合には、その撮影対象を撮影できるように撮影装置３０の撮影方向を調整する。撮影対象は、例えば、指令に応じた被作用面や、二足歩行ロボットの動作制御に利用する情報を取得するためにハンドなどのロボット構成部材やロボット周辺領域である。

【0069】

検知部４２は、受信部４０から動作開始指令を受信した場合には、動作開始指令と共に受信した検知動作を種類を表す情報に応じた検知動作を実行する機能を備えている。第２実施形態では、検知部４２による検知動作として、撮影装置３０により撮影された撮影画像における被作用面の硬軟状態を検知する動作と、撮影画像における被作用面の硬軟状態および形状を検知する動作とが設定されている。

【0070】

すなわち、第２実施形態では、受信部４０からの動作開始指令および検知動作を表す情報に基づいて、検知部４２は、撮影装置３０による被作用面を含む撮影画像を取得し、記憶装置３６の硬軟検知用データを利用して撮影画像から被作用面の硬軟状態を検知する。あるいは、検知部４２は、記憶装置３６の硬軟検知用データおよび形状検知用データ、または、それらに代えて状態検知用データを利用して、撮影装置３０による撮影画像から被作用面の硬軟状態および形状を検知する。換言すれば、検知部４２は、所謂ＡＩ（Artificial Intelligence）技術により、撮影画像から被作用面の硬軟状態と形状のうちの少なくとも硬軟状態を検知する。

【0071】

選択部４３は、操作機器２１から出力された指令を受信部４０を介して受け取ると、受信した指令を記憶装置３６におけるモード選択用データに照合し、当該指令に対応する制御モードを選択する機能を備える。すなわち、モード選択用データにおいて、受信した指令に関連付けられている制御モードを表す情報が一つである場合には、選択部４３は、受信した指令に基づいて、その制御モードの情報をモード選択用データから選択（抽出）する。また、モード選択用データにおいて、受信した指令に関連付けられている制御モードを表す情報が被作用面の硬軟状態の差異により複数有る場合には、選択部４３は、検知部４２により撮影画像から検知された被作用面の硬軟状態の情報を取得する。さらに、選択部４３は、その取得した被作用面の硬軟状態の情報と、受信した指令とを利用して、モード選択用データから制御モードの情報を選択する。さらに、モード選択用データにおいて、受信した指令に関連付けられている制御モードを表す情報が被作用面の硬軟状態および形状の差異により複数有る場合には、選択部４３は、検知部４２により撮影画像から検知された被作用面の硬軟状態および形状の情報を取得する。さらに、選択部４３は、その取得した被作用面の硬軟状態および形状の情報と、受信した指令とを利用して、モード選択用データから制御モードの情報を選択する。

【0072】

さらに、選択部４３は、上述したように選択した制御モードを表す情報を実行部４４に出力する。

【0073】

実行部４４は、選択部４３により選択された制御モードでもって操作対象の装置２０の動作を制御すべく、その選択された制御モードを実行するためのプログラムを記憶装置３６から読み出し当該プログラムを実行する機能を備えている。なお、実行部４４は、プログラムに従って撮影制御部４１に撮影要求および撮影対象の情報を出力する場合がある。

【0074】

第２実施形態では、上述したような制御装置３２と撮影装置３０とセンサ３１と操作機器２１とによって、操作対象の装置２０の動作を制御する制御システムが構成される。

【0075】

第２実施形態の制御装置３２およびそれを備える制御システムは、第１実施形態と同様の効果を得ることができる。つまり、第２実施形態の制御装置３２およびそれを備える制御システムは、操作機器２１から出力される同じ指令でも、操作対象の装置２０が力を作用する被作用面の硬軟状態、あるいは、硬軟状態および形状に応じて異なる動作を実行させることができる。これにより、第２実施形態の制御装置３２およびそれを備える制御システムは、操作機器２１の操作の複雑化を防止しつつ、煩雑な動作を実行可能な操作対象の装置２０であっても操作対象の装置２０を操作機器２１により容易に操作できるという効果を奏することができる。

【0076】

さらに、第２実施形態の制御装置３２およびそれを備える制御システムは、被作用面の硬軟状態および形状を撮影画像から検知する構成を備えているので、被作用面の硬軟状態を検知するためにセンサを設けなくてすむ。

【0077】

＜第３実施形態＞
以下に、本発明に係る第３実施形態を説明する。なお、第３実施形態の説明において、第２実施形態における制御装置および制御システムを構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。

【0078】

第３実施形態では、操作対象の装置２０は自動車である。図９に表されるように、操作対象の装置２０には、操作機器２１と、当該操作機器２１を操作する操作者が位置する座席（図示せず）とが装備されている。操作機器２１は、例えばハンドルやレバーやペダルを含む。また、撮影装置３０は、自動車の少なくとも前方を撮影する装置である。さらに、駆動部３３は、タイヤを回転させる動力を調整する部材や、自動車の進行方向を変更する部材というような自動車の走行に関わる部材を少なくとも含み、制御装置３２によって制御されることにより、自動車の様々な動作を実現させる。

【0079】

操作対象の装置２０である自動車が実行可能な動作には多種多様な動作があり、それぞれの動作のうち、第３実施形態においては、走行に関わる動作の制御手法に特徴がある。操作対象の装置２０が走行に関わる動作によって力を作用する被作用面は、タイヤが力を作用する走行面であり、走行面には、複数の硬軟状態と形状が想定される。例えば、走行面の硬軟状態としては、砂地と芝地と土面とアスファルト舗装面（軟らかい）とアスファルト舗装面（硬い）などが想定される。また、走行面の形状としては、平地と上り坂と下り坂と砂利道と未舗装の山道などが想定される。

【0080】

走行に関わる動作としては、操作機器２１としてのアクセルペダルの操作に応じた前進と加速、操作機器２１としてのブレーキペダルの操作に応じた減速と停止、さらに、操作機器２１としてのハンドルの操作に応じた走行方向の変更がある。さらに、走行に関わる動作として、操作機器２１としてのシフトレバーの操作により、進行方向を前進と後進の何れかに変更する動作もある。

【0081】

第３実施形態では、そのような走行に関わる動作を指示する操作機器２１からの指令に対応して、走行面の硬軟状態に応じて異なる複数の制御モードが設定されている。なお、自動車における走行に関わる動作において、走行面の硬軟状態に応じて異なる様々な動作が想定され、そのような様々な動作を制御する制御モードにも様々なものが考えられる。ここでは、自動車に搭載されている機能などを考慮した適宜な制御モードが、走行面の硬軟状態に応じて走行に関わる動作を制御する制御モードとして選択されて採用されるとし、その説明は省略する。なお、操作機器２１の操作による自動車を前進させる指令に対応する制御モードには、例えば、撮影装置３０による走行面を含む撮影画像から、車線を表す白線を検知し、当該白線を利用して自動車の走行方向を制御する自動運転モードが含まれていてもよい。

【0082】

第３実施形態における記憶装置３６には、第２実施形態における操作対象の装置である二足歩行ロボットの動作制御に関わるデータやプログラムに代えて、操作対象の装置である自動車の動作制御に関わるデータやプログラムが格納されている。

【0083】

第３実施形態における制御装置３２が持つ機能部である受信部４０と撮影制御部４１と検知部４２と選択部４３と実行部４４においては、利用するデータやプログラムが操作対象の装置の相違によって異なる以外は、第２実施形態と同様である。ここでは、それら機能部の説明は省略する。

【0084】

第３実施形態においても、第１および第２の実施形態と同様の効果を奏することができる。なお、第３実施形態では、操作対象の装置２０が自動車である例を挙げて説明している。これに代えて、操作対象の装置２０として建機である場合にも第３実施形態を適用することができる。建機である場合には、被作用面として、建機が作業を行う作業対象の表面が想定され、そのような建機の作業動作を制御する制御モードとして、作業対象の表面の硬軟状態、あるいは、硬軟状態および形状に応じて異なる複数の制御モードが設定される。

【0085】

＜その他の実施形態＞
なお、本発明は第１～第３の実施形態に限定されずに様々な実施の形態を採り得る。例えば、第２実施形態では、制御装置の機能部である検知部４２と選択部４３と実行部４４は、操作対象の装置２０に備えられている。これに代えて、例えば、操作機器２１に関するサイズや重さの制限が緩いことによって、ＡＩ技術を利用する処理が可能なやや大きい制御装置３２を操作機器２１に搭載することが可能であるとする。このような場合に、検知部４２と選択部４３は、操作機器２１に設けられた制御装置に備えられ、実行部４４は、操作対象の装置２０における制御装置３２に備えられていてもよい。また、操作機器２１および操作対象の装置２０とは別体の制御装置（サーバ）が設けられ、検知部４２と選択部４３は、その制御装置に備えられ、実行部４４は、操作対象の装置２０における制御装置３２に備えられていてもよい。これらのように、検知部４２と選択部４３と実行部４４は、適宜に分散配置されていてもよい。

【0086】

また、第１～第３の実施形態における操作機器２，２１から出力される指令は、操作対象の装置４，２０が実行する動作一つ一つを指示する指令に限定されるものではない。例えば、指令は、人型ロボットにおいて、前進する→前方の小石の手前で停止する→小石を拾うべく屈む→小石を把持する→体を起こす→戻ってくるというような一連の複数の動作を順に実行させる連続動作の開始指令であってもよい。

【0087】

さらに、第２や第３の実施形態において、撮影画像から、例えばＡＩ技術を利用して、操作対象の装置２０の進行方向にある段差の高さを推定する機能や、路面の粗さを推定する機能をも制御装置３２が備えていてもよい。

【符号の説明】

【0088】

１，３２ 制御装置
２，２１ 操作機器
３，３０ 撮影装置
５ 制御システム
１１，４２ 検知部
１２，４３ 選択部
１３，４４ 実行部
３１ センサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図7D】

【図8】

【図9】