特許 7388352 制御装置、制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-20

(45)【発行日】2023-11-29

(54)【発明の名称】制御装置、制御方法、およびプログラム

(51)【国際特許分類】

   B25J 19/06 20060101AFI20231121BHJP

   B25J 13/08 20060101ALI20231121BHJP

【ＦＩ】

B25J19/06

B25J13/08 A

【請求項の数】 15

(21)【出願番号】P 2020530106

(86)(22)【出願日】2019-06-28

(86)【国際出願番号】 JP2019025804

(87)【国際公開番号】W WO2020012983

(87)【国際公開日】2020-01-16

【審査請求日】2022-05-13

(31)【優先権主張番号】P 2018133238

(32)【優先日】2018-07-13

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【識別番号】100082131

【弁理士】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】鈴木 洋貴

(72)【発明者】

【氏名】入江 淳

(72)【発明者】

【氏名】笠井 栄良

(72)【発明者】

【氏名】中村 匡伸

(72)【発明者】

【氏名】成田 哲也

(72)【発明者】

【氏名】三原 基

【審査官】國武 史帆

(56)【参考文献】

【文献】特開２０１８－１５３８８０（ＪＰ，Ａ）

【文献】特開２０１７－１４４５３２（ＪＰ，Ａ）

【文献】特開２００６－０９９７２６（ＪＰ，Ａ）

【文献】特開２０１４－０５３７９５（ＪＰ，Ａ）

【文献】特表２０１８－５１１７９８（ＪＰ，Ａ）

【文献】特開２００２－１４４２６０（ＪＰ，Ａ）

【文献】特開２０１８－０４７５３８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ － ２１／０２

(57)【特許請求の範囲】

【請求項1】

ロボットの所定の部位に生じた異常を検出する異常検出部と、
前記異常検出部が検出した異常部位がカメラの画角に含まれるように、前記ロボットの姿勢を制御する姿勢制御部と、
前記カメラを制御し、前記異常部位の駆動中の動画像を撮影する記録制御部と
を備える制御装置。

【請求項2】

前記カメラは、前記ロボットの所定の位置に設けられる
請求項１に記載の制御装置。

【請求項3】

前記動画像を外部の装置に送信し、異常の発生を通知する通知制御部をさらに備える
請求項１または２に記載の制御装置。

【請求項4】

前記異常部位が写る領域を強調表示させるための画像処理を前記動画像に施す情報生成部をさらに備え、
前記通知制御部は、前記画像処理が施された前記動画像を送信する
請求項３に記載の制御装置。

【請求項5】

前記情報生成部は、前記異常部位に生じた異常の種類に応じた前記画像処理を施す
請求項４に記載の制御装置。

【請求項6】

前記情報生成部は、前記異常部位に生じた異常の種類に応じたアイコンを前記動画像に合成させる
請求項４に記載の制御装置。

【請求項7】

前記記録制御部は、特定の動作を行うときに異常が生じる場合、異常が生じるタイミングの前後の所定の時間を含む時間の前記動画像を撮影させる
請求項４に記載の制御装置。

【請求項8】

前記情報生成部は、正常な前記特定の動作を表す画像を前記動画像に合成する
請求項７に記載の制御装置。

【請求項9】

前記記録制御部は、前記特定の動作を行うときの音を記録する
請求項７に記載の制御装置。

【請求項10】

前記姿勢制御部は、姿勢の制御後に前記異常部位が前記カメラの画角に含まれない場合、前記カメラの位置を制御する
請求項２に記載の制御装置。

【請求項11】

前記カメラは、前記ロボットの前記所定の位置から取り外し可能な機器である
請求項１０に記載の制御装置。

【請求項12】

前記記録制御部は、姿勢の制御後に前記所定の部位が前記カメラの画角に含まれない場合、前記異常部位の撮影を他のロボットに行わせる
請求項３に記載の制御装置。

【請求項13】

前記通知制御部は、異常が生じたことを前記ロボットの動作により通知する
請求項３に記載の制御装置。

【請求項14】

制御装置が、
ロボットの所定の部位に生じた異常を検出し、
検出した異常部位がカメラの画角に含まれるように、前記ロボットの姿勢を制御し、
前記カメラを制御し、前記異常部位の駆動中の動画像を撮影する
制御方法。

【請求項15】

コンピュータに、
ロボットの所定の部位に生じた異常を検出し、
検出した異常部位がカメラの画角に含まれるように、前記ロボットの姿勢を制御し、
前記カメラを制御し、前記異常部位の駆動中の動画像を撮影する
処理を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、制御装置、制御方法、およびプログラムに関し、特に、ロボットに生じた異常を、容易に確認できる形でユーザに通知することができるようにした制御装置、制御方法、およびプログラムに関する。

【背景技術】

【0002】

家庭内のサービスロボット、産業用のロボットといったように、ロボットが各種の用途で使われ始めている。

【0003】

ロボットのパーツが壊れた場合、パーツを修理したり交換したりする必要がある。パーツが壊れるなどの異常を、ロボットのシステムが出力するエラーログなどの情報を解析することにより確認することは一般的なユーザにとっては難しい。家庭用のサービスロボットにおいては、そのような問題が特に顕著となる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００２－１５４０８５号公報

【文献】特開平９－２１２２１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ロボットに生じた異常を一般的なユーザであっても容易に確認できることが望ましい。

【0006】

本技術はこのような状況に鑑みてなされたものであり、ロボットに生じた異常を、容易に確認できる形でユーザに通知することができるようにするものである。

【課題を解決するための手段】

【0007】

本技術の一側面の制御装置は、ロボットの所定の部位に生じた異常を検出する異常検出部と、前記異常検出部が検出した異常部位がカメラの画角に含まれるように、前記ロボットの姿勢を制御する姿勢制御部と、前記カメラを制御し、前記異常部位の駆動中の動画像を撮影する記録制御部とを備える。

【0008】

本技術の一側面においては、ロボットの所定の部位に生じた異常が検出され、検出された異常部位がカメラの画角に含まれるように、ロボットの姿勢が制御される。また、前記カメラが制御され、前記異常部位の駆動中の動画像が撮影される。

【発明の効果】

【0009】

本技術によれば、ロボットに生じた異常を、容易に確認できる形でユーザに通知することができる。

【0010】

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

【図面の簡単な説明】

【0011】

【図1】本技術の一実施形態に係る情報処理システムの構成例を示す図である。

【図2】異常通知の例を示す図である。

【図3】ロボットのハードウェア構成例を示すブロック図である。

【図4】制御部の機能構成例を示すブロック図である。

【図5】ワールド座標系の例を示す図である。

【図6】座標点列の例を示す図である。

【図7】異常通知画像の例を示す図である。

【図8】ロボットの異常通知処理について説明するフローチャートである。

【図9】図８のステップＳ４において行われる姿勢制御処理について説明するフローチャートである。

【図10】異常通知画像の他の例を示す図である。

【図11】他のロボットに撮影してもらう代替処理の例を示す図である。

【図12】ユーザに直接見せる代替処理の例を示す図である。

【図13】デタッチ式のカメラを用いる代替処理の例を示す図である。

【図14】鏡に映った姿を撮影する代替処理の例を示す図である。

【図15】制御システムの構成例を示す図である。

【図16】コンピュータのハードウェアの構成例を示すブロック図である。

【発明を実施するための形態】

【0012】

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．異常通知システムの構成
２．ロボットの構成例
３．ロボットの動作
４．異常通知画像の例
５．代替処理の例
６．変形例

【0013】

＜異常通知システムの構成＞
図１は、本技術の一実施形態に係る情報処理システムの構成例を示す図である。

【0014】

図１に示す情報処理システムは、ロボット１と携帯端末２が、無線LANやインターネットなどのネットワーク１１を介して接続されることによって構成される。ロボット１と携帯端末２は相互に通信を行うことが可能とされる。

【0015】

図１の例においては、ロボット１は、二足歩行が可能な人型のロボットである。ロボット１は、内蔵するコンピュータによって所定のプログラムを実行し、頭部、腕、足などの各部位を駆動させることによって自律的な行動をとる。

【0016】

ロボット１の頭部の正面にはカメラ４１が設けられる。例えば、ロボット１は、カメラ４１により撮影して得られた画像に基づいて周囲の状況を認識し、周囲の状況に応じた行動をとる。

【0017】

この例においては二足歩行が可能なロボットが用いられているが、四足歩行が可能なロボット、産業用途などに用いられるアーム型のロボットなどの他の形状のロボットが用いられるようにしてもよい。

【0018】

腕や足などを動かした結果、関節などの所定の部位に異常が生じることがある。物理的に駆動するモータなどのデバイスが関節には設けられており、デバイスの劣化などによって、想定通りに動かないなどの異常が生じることがある。ロボット１においては、各デバイスが正常に動作しているか否かを確認する処理が所定の周期で繰り返し行われている。

【0019】

図２は、異常通知の例を示す図である。

【0020】

図２に示すように、例えば左腕の関節に設けられたデバイスに異常が生じたことを検出した場合、ロボット１は、左腕の関節がカメラ４１の画角に収まるように姿勢を制御し、異常箇所であるデバイスをカメラ４１により撮影する。ロボット１は、撮影を行うことによって得られた画像に対して、異常箇所を強調するような画像処理を施し、画像処理を施すことによって得られた画像を携帯端末２に送信する。

【0021】

携帯端末２においては、ロボット１から送信されてきた画像がディスプレイに表示され、これにより、ロボット１の左腕の関節に設けられたデバイスに異常が生じたことがユーザに通知される。図２の携帯端末２のディスプレイに表示されている画像は、ロボット１から送信されてきた画像である。

【0022】

このように、図１の情報処理システムにおいては、ロボット１の所定の部位に設けられたデバイスに異常が生じた場合、ロボット１自身により異常箇所の撮影が行われ、異常箇所が写る画像がユーザに提示される。図１の情報処理システムは、ロボット１の異常をユーザに通知する異常通知システムといえる。

【0023】

ユーザは、携帯端末２の表示を見ることにより、ロボット１に異常が生じたことを容易に確認することができる。

【0024】

また、携帯端末２に表示される画像には異常箇所が写っているから、ユーザは、ロボット１の行動ログを解析するなどの作業を行う場合と比べて、異常箇所を容易に特定することができる。ユーザは、異常箇所を自分で修理したり、異常箇所を業者に伝えて修理を依頼したりすることを迅速に行うことができる。

【0025】

なお、図１の例においては、異常箇所の通知を受ける装置としてスマートフォンが用いられているが、タブレット端末、PC、TVなどの、ディスプレイを有する他の装置が携帯端末２に代えて用いられるようにしてもよい。

【0026】

以上のようにして異常箇所を検出し、ユーザに通知するロボット１の一連の動作についてはフローチャートを参照して後述する。

【0027】

＜ロボットの構成例＞
図３は、ロボット１のハードウェア構成例を示すブロック図である。

【0028】

図３に示すように、ロボット１は、制御部３１に対して、入出力部３２、駆動部３３、無線通信部３４、および電源部３５が接続されることによって構成される。

【0029】

制御部３１は、CPU(Central Processing Unit)，ROM(Read Only Memory)，RAM(Random Access Memory)、フラッシュメモリなどを有するコンピュータにより構成される。制御部３１は、CPUにより所定のプログラムを実行し、ロボット１の全体の動作を制御する。制御部３１を構成するコンピュータは、ロボット１の動作を制御する制御装置として機能する。

【0030】

例えば、制御部３１は、駆動部３３の各駆動ユニットから供給された情報に基づいて、各部位に設けられたデバイスが正常に動作しているか否かを確認する。

【0031】

正常に動作しているか否かの確認が、加速度センサ、ジャイロセンサなどの、ロボット１の各位置に設けられたセンサから供給された情報に基づいて行われるようにしてもよい。ロボット１を構成するそれぞれのデバイスには、正常に動作しているか否かの確認に用いられる情報を出力する機能が設けられている。動作を確認する対象となるデバイスは、ロボット１を構成するパーツとして、動きを伴うパーツであってもよいし、動きを伴わないパーツであってもよい。

【0032】

制御部３１は、所定の部位に設けられたデバイスに異常が生じたことを検出した場合、上述したように、各駆動ユニットを制御することによってロボット１の姿勢を制御し、異常箇所をカメラ４１により撮影する。制御部３１は、カメラ４１により撮影された画像に画像処理を施した後、無線通信部３４から携帯端末２に送信させる。

【0033】

入出力部３２は、カメラ４１、マイク（マイクロフォン）４２、スピーカ４３、タッチセンサ４４、およびLED(Light Emitting Diode)４５により構成される。

【0034】

カメラ４１は、ロボット１の目に相当し、周囲の環境を順次撮影する。カメラ４１は、撮影によって得られた静止画像または動画像である撮影画像のデータを制御部３１に出力する。

【0035】

マイク４２は、ロボット１の耳に相当し、環境音を検出する。マイク４２は、環境音のデータを制御部３１に出力する。

【0036】

スピーカ４３は、ロボット１の口に相当し、発話音声、BGMなどの所定の音を出力する。

【0037】

タッチセンサ４４は、頭部や背中などの所定の部位に設けられる。タッチセンサ４４は、ユーザが触れたことを検出し、ユーザによる接触の内容を表す情報を制御部３１に出力する。

【0038】

LED４５は、目の位置などのロボット１の各部に設けられる。LED４５は、制御部３１による制御に従って発光し、ユーザに情報を提示する。LED４５に代えて、LCD、有機ELディスプレイなどの小型のディスプレイが設けられるようにしてもよい。目の位置に設けられたディスプレイに各種の目の画像が表示され、それにより、各種の表情が表現されるようにしてもよい。

【0039】

入出力部３２には、周囲にある物体までの距離を測定する測距センサ、GPS(Global Positioning System)などの測位センサなどの各種のモジュールが設けられる。

【0040】

駆動部３３は、制御部３１による制御に従って駆動し、ロボット１の行動を実現する。駆動部３３は、ロール、ピッチ、ヨーなどの関節軸毎に設けられた複数の駆動ユニットにより構成される。

【0041】

各駆動ユニットは、例えばロボット１のそれぞれの関節に設けられる。各駆動ユニットは、軸回りの回転動作を行うモータ、モータの回転位置を検出するエンコーダ、および、エンコーダの出力に基づいてモータの回転位置や回転速度を適応的に制御するドライバの組み合わせによって構成される。駆動ユニットの数、駆動ユニットの位置などによって、ロボット１のハードウェア構成が定まる。

【0042】

図３の例においては、駆動ユニットとして、駆動ユニット５１－１乃至５１－ｎが設けられる。例えば駆動ユニット５１－１は、モータ６１－１、エンコーダ６２－１、ドライバ６３－１により構成される。駆動ユニット５１－２乃至５１－ｎも、駆動ユニット５１－１と同様の構成を有する。

【0043】

無線通信部３４は、無線LANモジュール、LTE(Long Term Evolution)に対応した携帯通信モジュールなどの無線通信モジュールである。無線通信部３４は、室内のネットワークに接続された携帯端末２を含む各種の機器やインターネット上のサーバなどの外部の装置との間で通信を行う。無線通信部３４は、制御部３１から供給されたデータを外部の装置に送信し、外部の装置から送信されてきたデータを受信する。

【0044】

電源部３５は、ロボット１内の各部に対して給電を行う。電源部３５は、充電バッテリ７１と、充電バッテリ７１の充放電状態を管理する充放電制御部７２により構成される。

【0045】

図４は、制御部３１の機能構成例を示すブロック図である。

【0046】

図４に示すように、制御部３１は、異常検出部１０１、姿勢制御部１０２、撮影・記録制御部１０３、通知情報生成部１０４、および通知制御部１０５から構成される。図４に示す機能部のうちの少なくとも一部は、制御部３１を構成するCPUにより所定のプログラムが実行されることにより実現される。

【0047】

・異常検出
異常検出部１０１は、駆動部３３の駆動ユニット５１－１乃至５１－ｎを含む各デバイスから供給された情報に基づいて、各部位に設けられたデバイスが正常に動作しているか否かを確認する。

【0048】

関節に設けられたモータなどの異常を検出する方法については様々な方法がある。例えば特開２００７－００７７６２号公報には、関節に距離計を取り付け、異常の発生を距離情報に基づいて検出する技術が開示されている。

【0049】

また、特開２０００－３４４５９２号公報には、視覚センサ、マイク、測距センサ、姿勢センサなどの各種のセンサの出力と、関節アクチュエータの出力とを組み合わせて用いることによって、ロボットの機能・動作を自律的に診断する方法が開示されている。

【0050】

特開２００７－３０６９７６号公報には、モータの電流値や位置情報に基づいて異常の発生を検出する技術が開示されている。

【0051】

その他の方法としては、モータなどの駆動状況を表す実測値と予測値との誤差を用いる方法が考えられる。

【0052】

所定のアクションを出力した際（アクチュエータ（駆動ユニット）に対して制御指令値を出力した際）に次の観測時刻において関節の角度がどのように変化しているかは、ロボットの物理モデルを用い、順運動学を解くことで予測することが可能である。

【0053】

観測時刻において観測された実測値と予測値との誤差が閾値以上ある状態が例えば一定時間続いた場合、そのアクションに関係するアクチュエータやセンサなどのデバイスに異常があると判断される。通常、１つのアクションは複数の関節の複合動作によって行われるため、それぞれのアクションに関係のあるデバイスを１つずつ動かし、予測値との誤差を算出することによって、異常箇所を特定することが可能となる。

【0054】

異常検出部１０１は、正常に動作していない、すなわち異常が生じているデバイスがあることを検出した場合、異常箇所を表す情報を姿勢制御部１０２に出力する。

【0055】

・異常箇所の撮影のための姿勢制御
姿勢制御部１０２は、各デバイスの設置位置の情報を有している。各デバイスの設置位置は、ロボット１の姿勢が初期姿勢にあるときの任意の点を原点とするワールド座標系における３次元座標により表される。

【0056】

図５は、ワールド座標系の例を示す図である。

【0057】

図５の例においては、ロボット１の重心位置の真下にある床面上の点を原点としたワールド座標系が示されている。図５に示すロボット１の姿勢は初期姿勢である。頭頂点などの他の点を原点としたワールド座標系が設定されるようにしてもよい。

【0058】

関節などの所定の位置に設けられる各デバイスの設置位置が、このようなワールド座標系における３次元座標（x,y,z）の値により表される。

【0059】

また、姿勢制御部１０２は、各デバイスの任意の点を原点としたローカル座標系における、デバイス上の各点の３次元座標の情報を有している。例えば、デバイスを構成する剛体の可動関節点を原点としたローカル座標系が設定される。

【0060】

姿勢制御部１０２は、これらの３次元座標の情報に基づいて、異常検出部１０１により検出された異常箇所の座標を算出する。

【0061】

例えば、姿勢制御部１０２は、各関節に設けられたデバイスのローカル座標系における姿勢行列を、ワールド座標系の原点から異常箇所までにある関節のつながりの順に直列に積算することにより行列積を求める。姿勢制御部１０２は、積算することにより求めた行列積に基づいて座標変換を行うことによって、異常箇所として検出されたデバイスの、ワールド座標系における座標を算出する。このような特定の位置の座標の算出方法については、例えば『オーム社、「ヒューマノイドロボット」、梶田秀司編著』に記載されている。

【0062】

また、姿勢制御部１０２は、デバイス毎に、デバイスが存在するエリアを囲む座標点列（点列Ａ）の情報を紐付けて管理する。

【0063】

図６は、座標点列の例を示す図である。

【0064】

図６の例においては、腕の肘の位置に設けられたデバイスを囲む座標点列が示されている。円筒状のデバイスを囲むそれぞれの小円が座標点を表す。また、左下端の座標点の座標が座標１として示され、右隣の座標点の座標が座標２として示されている。座標１，２は、例えばローカル座標系における座標である。

【0065】

姿勢制御部１０２は、座標点列を構成する複数の座標点のそれぞれの座標の情報をデバイスと紐付けて管理する。

【0066】

姿勢制御部１０２は、以上のようにして算出される異常箇所の位置、カメラ４１の位置、カメラ４１の姿勢、および、画角などのカメラパラメータなどに基づいて、異常箇所を撮影して得られる画像上における、異常箇所が写る領域の座標を特定する。姿勢制御部１０２は、カメラパラメータなどの情報をも有している。

【0067】

空間上の任意の点が、カメラにより撮影して得られた画像上のどの座標に写ることになるのかは、例えば、コンピュータビジョンの分野で一般的に用いられるピンホールカメラモデルを用いた射影変換により特定することが可能である。

【0068】

姿勢制御部１０２は、異常箇所の位置、異常箇所が写る領域の座標などの情報に基づいて、異常箇所が画像に写っているといった条件を満たすように、ロボット１の各部位の姿勢を制御する。姿勢制御部１０２から駆動部３３の各駆動ユニットに対して制御指令値が供給され、制御指令値に基づいて、各駆動ユニットの駆動が制御される。

【0069】

なお、通常、上記条件を満たす姿勢としては複数の姿勢がある。複数の姿勢の中から１つの姿勢が決定され、決定された姿勢になるように各部位の制御が行われる。

【0070】

１つの姿勢の決定の基準として、例えば以下のような基準が用いられる。

【0071】

基準例１
ａ：異常箇所を動かさないという制約下で姿勢を決定する。
ｂ：異常箇所の関節角の変化量が最小になるという制約下で姿勢を決定する。

【0072】

基準例２
関節角を変化させる際の変化量や消費電流量を最小化する姿勢を決定する。

【0073】

基準例３
上記基準例１と基準例２の両方の基準を満たす姿勢を決定する。

【0074】

基準例４
異常箇所を動かしてもよいケースがある。例えば、異常発生までの期間をユーザに通知するケースにおいては、現時点での異常箇所の駆動は可能となる。この場合、上記基準例１を排除して、基準例２のみが適用される。

【0075】

例えば、行動ログにより表されるデバイスの駆動時間を、デバイスの仕様上の耐用期間と比較することにより、異常発生までの期間を推定することが可能である。姿勢制御部１０２は、行動ログと仕様に基づいて異常発生までの期間を推定する機能を有している。

【0076】

このような各種の基準に従って、姿勢を制御することが可能である。

【0077】

・異常箇所の撮影と駆動音の記録
撮影・記録制御部１０３は、姿勢制御部１０２による姿勢制御が行われ、異常箇所がカメラ４１の画角に含まれる場合、カメラ４１を制御し、異常箇所の撮影を行う。撮影によって得られた画像は、例えば制御部３１内のメモリに記録される。

【0078】

静止画像に限らず、動画像の撮影が行われるようにしてもよい。動画像の撮影は、異常箇所の駆動中の状態を撮影するようにして行われる。

【0079】

動画像とともに、異常箇所から生じる音が記録されるようにしてもよい。撮影・記録制御部１０３は、マイク４２を制御し、姿勢制御部１０２が異常箇所を駆動させたときに生じる音を集音して駆動音として記録する。これにより、異常箇所から生じる音を動画像とともにユーザに提示することが可能となる。

【0080】

撮影・記録制御部１０３は、撮影を行うことによって得られた画像を、異常が生じたデバイスを囲む座標点列（点列Ａ）の情報などとともに通知情報生成部１０４に出力する。

【0081】

・異常箇所のハイライト表示
通知情報生成部１０４は、カメラ４１により撮影された画像に対して、異常箇所をハイライト表示（強調表示）させるための画像処理を施す。

【0082】

例えば、通知情報生成部１０４は、撮影・記録制御部１０３から供給された情報により座標が表される点列Ａを、撮影された画像上の座標に変換することによって点列Ｂを設定する。点列Ｂは、異常箇所を囲む画像上の座標点となる。

【0083】

通知情報生成部１０４は、撮影された画像のうち、点列Ｂで囲まれる領域をハイライト表示させるように画像処理を施す。例えば、所定の透明度が設定された、赤色等の目立つ色の画像を点列Ｂで囲まれる領域に重畳させることによりハイライト表示が行われる。

【0084】

エフェクト処理、アイコンの合成などの、所定の色の画像を重畳させる処理とは異なる処理が施されるようにしてもよい。ハイライト表示の具体例については後述する。

【0085】

通知情報生成部１０４は、ハイライト表示させるための画像処理を施して得られた画像を、異常箇所を通知するための画像である異常通知画像として通知制御部１０５に出力する。

【0086】

・ユーザへの通知
通知制御部１０５は、無線通信部３４を制御し、通知情報生成部１０４から供給された異常通知画像を携帯端末２に送信する。携帯端末２においては、ロボット１から送信されてきた異常通知画像が受信され、ディスプレイに表示される。

【0087】

異常通知画像が動画像であり、駆動音の記録が行われている場合、適宜、駆動音のデータも通知制御部１０５から携帯端末２に対して送信される。携帯端末２においては、動画像の表示に合わせて、駆動音がスピーカから出力される。

【0088】

図７は、異常通知画像の例を示す図である。

【0089】

図７の異常通知画像Ｐには、ロボット１の左腕の関節が写っている。左腕の関節を構成するデバイスは、所定の色の画像１５１が重畳されることによってハイライト表示される。画像１５１は、小円で示す点列（点列Ｂ）で囲む領域に重畳される。

【0090】

図７において、細幅の長方形状の領域の内側に斜線を付して示していることは、その部分に、所定の透過度が設定された画像１５１が重畳されていることを表す。このような表示から、ユーザは、ロボット１の左腕の関節において異常が生じたことを容易に確認することができる。

【0091】

＜ロボットの動作＞
ここで、図８のフローチャートを参照して、異常が生じたことをユーザに通知するロボット１の一連の処理について説明する。

【0092】

ステップＳ１において、異常検出部１０１は、各デバイスから供給される情報に基づいて、異常が生じているデバイスがあることを検出する。

【0093】

ステップＳ２において、異常検出部１０１は、所定の検出方法に基づいて異常箇所を特定する。異常箇所を表す情報は姿勢制御部１０２に出力される。

【0094】

ステップＳ３において、姿勢制御部１０２は、異常検出部１０１により検出された異常箇所が存在するエリアを囲む点列Ａを算出する。

【0095】

ステップＳ４において、姿勢制御部１０２は姿勢制御処理を行う。姿勢制御処理により、異常箇所がカメラ４１の画角に入るように、ロボット１の姿勢が制御される。姿勢制御処理の詳細については図９のフローチャートを参照して後述する。

【0096】

ステップＳ５において、姿勢制御部１０２は、異常箇所がカメラ４１の画角に入るか否かを判定する。異常箇所がカメラ４１の画角に入ると判定された場合、処理はステップＳ６に進む。

【0097】

ステップＳ６において、撮影・記録制御部１０３は、カメラ４１を制御し、異常箇所の撮影を行う。撮影を行うことによって得られた画像は、異常が生じたデバイスのエリアを囲む点列Ａの情報などとともに通知情報生成部１０４に出力される。

【0098】

ステップＳ７において、通知情報生成部１０４は、撮影・記録制御部１０３から供給された異常箇所の点列Ａを、画像座標系の点列Ｂに変換する。

【0099】

ステップＳ８において、通知情報生成部１０４は、撮影された画像に対して、点列Ｂで囲まれる領域をハイライト表示させるように画像処理を施す。画像処理が施されることによって生成された異常通知画像は通知制御部１０５に出力される。

【0100】

ステップＳ９において、通知制御部１０５は、異常通知画像を携帯端末２に送信し、処理を終了させる。

【0101】

一方、姿勢を制御したとしても異常箇所がカメラ４１の画角に入らないとステップＳ５において判定された場合、ステップＳ１０において代替処理が行われる。

【0102】

代替処理は、異常箇所を撮影できない場合に、上述したような異常通知画像を用いた方法とは異なる方法によって、異常が生じたことをユーザに通知する処理である。代替処理については後述する。異常が生じたことが代替処理によって通知された後、処理は終了となる。

【0103】

次に、図９のフローチャートを参照して、図８のステップＳ４において行われる姿勢制御処理について説明する。

【0104】

ステップＳ３１において、姿勢制御部１０２は、異常箇所の、初期姿勢におけるワールド座標系の３次元座標を算出する。

【0105】

ステップＳ３２において、姿勢制御部１０２は、異常箇所の、現在姿勢におけるワールド座標系の３次元座標を算出する。

【0106】

ステップＳ３３において、姿勢制御部１０２は、異常箇所であるデバイス上の各点の３次元座標の情報に基づいて、画像座標系における異常箇所の座標を算出する。これにより、異常箇所が写る画像上の領域が特定される。

【0107】

ステップＳ３４において、姿勢制御部１０２は、異常箇所が画像の中心付近に写るか否かを判定する。例えば、画像の中心を基準として所定の範囲が予め設定される。所定の範囲の内側に異常箇所が写る場合、異常箇所が中心付近に写ると判定され、その所定の範囲の内側に異常箇所が写らない場合、異常箇所が中心付近に写らないと判定される。

【0108】

異常箇所が画像の中心付近に写らないとステップＳ３４において判定した場合、ステップＳ３５において、姿勢制御部１０２は、異常箇所の位置と画像中心との差分に基づいて各関節角の修正量を設定する。ここでは、異常箇所が画像の中心に近づいて写るように各関節角の修正量が設定される。

【0109】

ステップＳ３６において、姿勢制御部１０２は、修正量に基づいて駆動部３３を制御し、各関節を駆動させる。

【0110】

ステップＳ３７において、姿勢制御部１０２は、関節角の修正を所定の回数繰り返したか否かを判定する。

【0111】

関節角の修正を所定の回数繰り返していないとステップＳ３７において判定された場合、ステップＳ３２に戻り、同様にして関節角の修正が繰り返される。

【0112】

一方、関節角の修正を所定の回数繰り返したとステップＳ３７において判定された場合、図８のステップＳ４に戻り、それ以降の処理が行われる。

【0113】

異常箇所が画像の中心付近に写るとステップＳ３４において判定された場合も同様に、図８のステップＳ４に戻り、それ以降の処理が行われる。

【0114】

以上の処理により、ユーザは、ロボット１に異常が生じたことだけでなく、異常箇所をも容易に確認することができる。

【0115】

ロボット１としても、自身のデバイスに異常が生じたことをユーザに通知することができる。

【0116】

また、動画像を異常通知画像として用いることにより、ロボット１は、不具合状況を再現してユーザに提示することができる。ロボット１は、動画像とともに駆動音を提示することにより、異常箇所を視覚的に提示するだけでなく、異常箇所を聴覚的にも提示することができる。これにより、ユーザは、異常の状況をより詳しく知ることができる。

【0117】

動画像を異常通知画像として提示する際、異常箇所の部分にCG(Computer Graphics)で再現された正常動作時の動きを表す動画像が重畳されるようにしてもよい。これにより、異常状態であると判断される症状がどのような状態であるかをユーザにより詳細に伝えることが可能となる。

【0118】

＜異常通知画像の例＞
図１０は、異常通知画像の他の例を示す図である。

【0119】

図１０のＡ乃至Ｃに示すように、異常通知画像にアイコンが表示されるようにしてもよい。図１０のＡ乃至Ｃに示す異常通知画像には、図７と同様に左腕の関節が写っている。左腕の関節には、その部分をハイライト表示させるための色つきの楕円形の画像が重畳されている。

【0120】

図１０のＡに示すアイコンＩ１は、異常発生までの期間を表すカウントダウンタイマーのアイコンである。例えば異常発生までの期間が所定の期間より短くなった場合、アイコンＩ１が合成された異常通知画像がユーザに提示される。

【0121】

異常発生までの期間を表すカレンダーや時計などの他の画像がアイコンとして表示されるようにしてもよい。

【0122】

異常の種類に応じたアイコンが異常通知画像に表示されるようにしてもよい。

【0123】

例えば、異常の種類が過電流である場合、そのことを表す図１０のＢのアイコンＩ２が表示される。また、異常の種類がモータの過熱である場合、そのことを表す図１０のＣのアイコンＩ３が表示される。

【0124】

アイコンＩ２を含む異常通知画像を提示する際、例えば、サーモグラフィーカメラを用いて撮影された、異常箇所の実際の発熱状況を表す画像が重畳されるようにしてもよい。これにより、異常箇所が発熱を伴う場合、発熱状況の詳細をユーザに伝えることが可能となる。

【0125】

このようなアイコンが動画像に表示されるようにしてもよい。この場合、動画像の各フレームに対してアイコンが合成されることになる。

【0126】

なお、異常通知画像として動画像を提示する場合、動画像の撮影は、異常状態であると判断される症状が生じるタイミングを基準として前後の所定の時間を含む時間、行われる。撮影された動画像には、異常状態であると判断される症状が生じる直前から、その症状が生じた後の異常箇所の状態が写っていることになる。

【0127】

この場合、上述したようなハイライト表示やアイコンの表示は、例えば、異常状態であると判断される症状が生じている間だけ行われる。これにより、症状が生じる瞬間の状態をユーザにわかりやすく伝えることが可能となる。

【0128】

＜代替処理の例＞
ロボット１の関節には可動域があるから、異常箇所によっては、姿勢を制御したとしてもカメラ４１によって撮影することができない場合がある。

【0129】

カメラ４１によって異常箇所を撮影することができない場合、以下のような代替処理（図８のステップＳ１０）が行われる。

【0130】

（i）他のロボットに撮影してもらう例
図１１は、他のロボットに撮影してもらう代替処理の例を示す図である。

【0131】

図１１の例においては、ロボット１－１の腰に設けられたデバイスに異常が生じたものとされている。ロボット１－１は、異常箇所を自身のカメラ４１によって撮影することができない。

【0132】

この場合、ロボット１－１は、異常箇所の３次元座標の情報をロボット１－２に送信し、異常箇所の撮影を要求する。

【0133】

図１１の例においては、ロボット１－２は、ロボット１－１と同じ種類のロボットとされており、上述したロボット１と同様の構成を有する。ロボット１－２の頭部にはカメラ４１が設けられる。ロボット１－１とロボット１－２の間では通信を行うことが可能とされる。

【0134】

ロボット１－２は、ロボット１－１から送信されてきた情報により表される異常箇所の３次元座標、自身とロボット１－１との相対的な位置関係などに基づいて、自身の座標系における、異常箇所の３次元座標を算出する。

【0135】

ロボット１－２は、算出した３次元座標に基づいて、異常箇所が自身のカメラ４１の画角に入るように自身の姿勢を制御し、ロボット１－１の異常箇所を撮影する。

【0136】

ロボット１－２による撮影によって得られた画像は、ロボット１－１を介して携帯端末２に送信されるようにしてもよいし、ロボット１－２から携帯端末２に直接送信されるようにしてもよい。

【0137】

これにより、ロボット１－１は、自身のカメラ４１で撮影できない位置にあるデバイスに異常が生じた場合であっても、異常が生じたことをユーザに通知することができる。

【0138】

（ii）ユーザに直接見せる例
図１２は、ユーザに直接見せる代替処理の例を示す図である。

【0139】

図１２の例においては、ロボット１の腰に設けられたデバイスに異常が生じたものとされている。

【0140】

ロボット１は、カメラ４１により撮影された画像に基づいてユーザの位置を認識し、ユーザの近くの位置に移動する。ロボット１には、撮影された画像に写る顔に基づいてユーザを認識する機能が設けられている。

【0141】

ユーザの近くの位置に移動した後、ロボット１は、異常箇所をユーザに向けるように自身の姿勢を制御し、ユーザに提示する。

【0142】

「ここをスマートフォンで撮影して」などの音声をスピーカ４３から出力し、ユーザに異常箇所を撮影してもらうようにしてもよい。ユーザに撮影したもらった画像は、携帯端末２からロボット１に送信される。

【0143】

このように、異常が生じたことをロボット１の動作によってユーザに直接通知することも可能である。

【0144】

（iii）デタッチ式のカメラを用いる例
図１３は、デタッチ式のカメラを用いる代替処理の例を示す図である。

【0145】

図１３の例においては、ロボット１の頭部の背面側（後頭部）に設けられたデバイスに異常が生じたものとされている。ロボット１は、異常箇所を自身のカメラ４１によって撮影することができない。ロボット１は、デタッチ式（着脱式）のカメラを筐体の所定の位置に有している。

【0146】

ロボット１は、デタッチ式のカメラ１６１を取り外して把持し、異常箇所がカメラ１６１の画角に入るように自身の姿勢を制御し、異常箇所を撮影する。カメラ１６１により撮影された画像は、ロボット１に転送され、携帯端末２に送信される。

【0147】

（iv）鏡に映った姿を撮影する例
図１４は、鏡に映った姿を撮影する代替処理の例を示す図である。

【0148】

図１４の例においては、ロボット１の頭部の付け根（首）に設けられたデバイスに異常が生じたものとされている。ロボット１は、異常箇所を自身のカメラ４１によって撮影することができない。

【0149】

この場合、ロボット１は、予め記憶している情報に基づいて鏡Ｍの前に移動する。ロボット１には、鏡Ｍの反射面の位置を表す情報が設定されている。カメラ４１により撮影された画像を解析することによって鏡Ｍの反射面の位置が特定されるようにしてもよい。

【0150】

鏡Ｍの反射面の前に移動した後、ロボット１は、異常箇所を鏡Ｍ向けるように自身の姿勢を制御し、撮影する。

【0151】

以上のように、カメラ４１で撮影できない位置にあるデバイスに異常が生じた場合、代替処理として、異常箇所の通知が各種の方法により行われるようにすることが可能である。

【0152】

＜変形例＞
・制御システムの例
異常が生じたことをユーザに通知するための機能の一部が、携帯端末２、インターネット上のサーバなどの外部の装置に設けられるようにしてもよい。

【0153】

図１５は、制御システムの構成例を示す図である。

【0154】

図１５の制御システムは、ロボット１と制御サーバ２０１がインターネットなどのネットワーク２０２を介して接続されることによって構成される。ロボット１と制御サーバ２０１は、ネットワーク２０２を介して通信を行う。

【0155】

図１５の制御システムにおいては、ロボット１において生じた異常が、ロボット１から送信されてくる情報に基づいて制御サーバ２０１により検出される。ロボット１から制御サーバ２０１に対しては、ロボット１の各デバイスの状態を表す情報が順次送信される。

【0156】

ロボット１において異常が生じたことを検出した場合、制御サーバ２０１は、ロボット１の姿勢を制御し、異常箇所の撮影を行わせる。制御サーバ２０１は、ロボット１により撮影された画像を取得し、ハイライト表示のための画像処理などを施した後、携帯端末２に送信する。

【0157】

このように、制御サーバ２０１は、ロボット１を制御するとともに、ロボット１において生じた異常をユーザに通知することを制御する制御装置として機能する。制御サーバ２０１においては、所定のプログラムが実行されることにより、図４の各機能部が実現される。

【0158】

・コンピュータの構成例
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

【0159】

図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。図１５の制御サーバ２０１も、図１６に示す構成と同様の構成を有する。

【0160】

CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。

【0161】

バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。

【0162】

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５及びバス１００４を介してRAM１００３にロードして実行することにより、上述した一連の処理が行われる。

【0163】

CPU１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。

【0164】

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

【0165】

本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0166】

本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

【0167】

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0168】

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0169】

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0170】

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0171】

・構成の組み合わせ例
本技術は、以下のような構成をとることもできる。

【0172】

（１）
ロボットの所定の部位に生じた異常を検出する異常検出部と、
異常が生じた前記所定の部位がカメラの画角に含まれるように、前記ロボットの姿勢を制御する姿勢制御部と
を備える制御装置。
（２）
前記カメラは、前記ロボットの所定の位置に設けられる
前記（１）に記載の制御装置。
（３）
前記カメラによる撮影を制御する記録制御部と、
前記カメラにより撮影された画像を外部の装置に送信し、異常の発生を通知する通知制御部と
をさらに備える前記（２）に記載の制御装置。
（４）
前記所定の部位が写る領域を強調表示させるための画像処理を前記画像に施す情報生成部をさらに備え、
前記通知制御部は、前記画像処理が施された前記画像を送信する
前記（３）に記載の制御装置。
（５）
前記情報生成部は、前記所定の部位に生じた異常の種類に応じた前記画像処理を施す
前記（４）に記載の制御装置。
（６）
前記情報生成部は、前記所定の部位に生じた異常の種類に応じたアイコンを前記画像に合成させる
前記（４）に記載の制御装置。
（７）
前記記録制御部は、前記所定の部位が写る静止画像または動画像を撮影させる
前記（４）に記載の制御装置。
（８）
前記記録制御部は、前記所定の部位において特定の動作を行うときに異常が生じる場合、異常が生じるタイミングの前後の所定の時間を含む時間の前記動画像を撮影させる
前記（７）に記載の制御装置。
（９）
前記情報生成部は、正常な前記特定の動作を表す画像を前記動画像に合成する
前記（８）に記載の制御装置。
（１０）
前記記録制御部は、前記特定の動作を行うときの音を記録する
前記（８）または（９）に記載の制御装置。
（１１）
前記姿勢制御部は、姿勢の制御後に前記所定の部位が前記カメラの画角に含まれない場合、前記カメラの位置を制御する
前記（２）乃至（１０）のいずれかに記載の制御装置。
（１２）
前記カメラは、前記ロボットの前記所定の位置から取り外し可能な機器である
前記（１１）に記載の制御装置。
（１３）
前記記録制御部は、姿勢の制御後に前記所定の部位が前記カメラの画角に含まれない場合、前記所定の部位の撮影を他のロボットに行わせる
前記（３）乃至（１０）のいずれかに記載の制御装置。
（１４）
前記通知制御部は、前記所定の部位に異常が生じたことを前記ロボットの動作により通知する
前記（３）乃至（１０）のいずれかに記載の制御装置。
（１５）
制御装置が、
ロボットの所定の部位に生じた異常を検出し、
異常が生じた前記所定の部位がカメラの画角に含まれるように、前記ロボットの姿勢を制御する
制御方法。
（１６）
コンピュータに、
ロボットの所定の部位に生じた異常を検出し、
異常が生じた前記所定の部位がカメラの画角に含まれるように、前記ロボットの姿勢を制御する
処理を実行させるためのプログラム。

【符号の説明】

【0173】

１ ロボット， ２ 携帯端末， １１ ネットワーク， ３１ 制御部， ３３ 駆動部， ４１ カメラ， １０１ 異常検出部， １０２ 姿勢制御部， １０３ 撮影・記録制御部， １０４ 通知情報生成部， １０５ 通知制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】