特許 7502154 制御装置、及びロボット

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-10

(45)【発行日】2024-06-18

(54)【発明の名称】制御装置、及びロボット

(51)【国際特許分類】

   G06F 3/0488 20220101AFI20240611BHJP

   G09G 5/00 20060101ALI20240611BHJP

   G09G 5/37 20060101ALI20240611BHJP

   G09G 5/373 20060101ALI20240611BHJP

   G06V 30/146 20220101ALI20240611BHJP

   G06V 30/14 20220101ALI20240611BHJP

   G06V 30/142 20220101ALI20240611BHJP

   G06V 30/19 20220101ALI20240611BHJP

   B25J 3/00 20060101ALI20240611BHJP

【ＦＩ】

G06F3/0488

G09G5/00 510A

G09G5/00 550C

G09G5/37 310

G09G5/373

G06V30/146

G06V30/14 340K

G06V30/142

G06V30/19

B25J3/00 Z

【請求項の数】 10

(21)【出願番号】P 2020188618

(22)【出願日】2020-11-12

(65)【公開番号】P2022077678

(43)【公開日】2022-05-24

【審査請求日】2023-08-04

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】110003177

【氏名又は名称】弁理士法人旺知国際特許事務所

(72)【発明者】

【氏名】稲垣 章弥

(72)【発明者】

【氏名】チェ ユンジ

【審査官】星野 裕

(56)【参考文献】

【文献】特開２０２０－１６０５６２（ＪＰ，Ａ）

【文献】特開２００９－２９０４８８（ＪＰ，Ａ）

【文献】特開２０１４－２３５６９９（ＪＰ，Ａ）

【文献】国際公開第２０２０／１７８９６０（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１２／０１４６９５６（ＵＳ，Ａ１）

【文献】特開２０１８－０５６７８１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０４８

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３７

Ｇ０６Ｖ ３０／１４６

Ｇ０６Ｖ ３０／１４

Ｇ０６Ｖ ３０／１９

Ｇ０６Ｖ ３０／１４２

Ｂ２５Ｊ ３／００

(57)【特許請求の範囲】

【請求項1】

第１端末装置の表示領域に対して第１タッチ操作を行うロボットを、第２端末装置の表示領域に対する第２タッチ操作に基づいて制御する制御装置であって、
前記ロボットが前記第１端末装置を撮像することによって生成された第１画像と、前記第２タッチ操作によってタッチされた前記第２端末装置の表示領域における位置を示す第２位置情報を取得する取得部と、
前記第１画像又は前記第１画像から一部が抽出された第２画像に基づいて、前記ロボットに対する前記第１端末装置の傾きを検出する検出部と、
前記傾きに基づいて前記第１画像の傾きを補正することによって補正済み画像を生成し、前記補正済み画像に基づいて前記第２端末装置の表示領域に表示される第３画像を生成する生成部と、
前記傾きに基づいて、前記第２位置情報を前記第１タッチ操作によってタッチされる前記第１端末装置の表示領域における位置を示す第１位置情報に変換する変換部と、
前記第３画像を前記第２端末装置の表示領域に表示させ、前記第１位置情報に基づいて前記ロボットに前記第１タッチ操作を実行させる制御部と、
を備える制御装置。

【請求項2】

第１端末装置の表示領域に対して第１タッチ操作を行うロボットを制御する制御装置であって、
画像を表示する表示領域を備え、前記画像を表示する表示領域に対する第２タッチ操作を受け付ける表示部と、
前記ロボットが前記第１端末装置を撮像することによって生成された第１画像と、前記第２タッチ操作によってタッチされた前記表示部の表示領域における位置を示す第２位置情報を取得する取得部と、
前記第１画像又は前記第１画像から一部が抽出された第２画像に基づいて、前記ロボットに対する前記第１端末装置の傾きを検出する検出部と、
前記傾きに基づいて前記第１画像の傾きを補正することによって補正済み画像を生成し、前記補正済み画像に基づいて前記表示部の表示領域に表示される第３画像を生成する生成部と、
前記傾きに基づいて、前記第２位置情報を前記第１タッチ操作によってタッチされる前記第１端末装置の表示領域における位置を示す第１位置情報に変換する変換部と、
前記第３画像を前記表示部の表示領域に表示させ、前記第１位置情報に基づいて前記ロボットに前記第１タッチ操作を実行させる制御部と、
を備える制御装置。

【請求項3】

第１端末装置の表示領域に対して第１タッチ操作を行うロボットに含まれ、第２端末装置の表示領域に対する第２タッチ操作に基づいて前記第１タッチ操作を制御する制御装置であって、
前記ロボットが第１端末装置を撮像することによって生成された第１画像と、前記第２タッチ操作によってタッチされた前記第２端末装置の表示領域における位置を示す第２位置情報を取得する取得部と、
前記第１画像又は前記第１画像から一部が抽出された第２画像に基づいて、前記ロボットに対する前記第１端末装置の傾きを検出する検出部と、
前記傾きに基づいて前記第１画像の傾きを補正することによって補正済み画像を生成し、前記補正済み画像に基づいて前記第２端末装置の表示領域に表示される第３画像を生成する生成部と、
前記傾きに基づいて、前記第２位置情報を前記第１タッチ操作によってタッチされる前記第１端末装置の表示領域における位置を示す第１位置情報に変換する変換部と、
前記第３画像を前記第２端末装置の表示領域に表示させ、前記第１位置情報に基づいて前記第１タッチ操作を実行する制御部と、
を備える制御装置。

【請求項4】

前記検出部は、前記第１画像に基づいて、前記第１端末装置の輪郭線又は前記表示領域の輪郭線に基づいて前記傾きを検出する、請求項１乃至３のうちの何れか１項に記載の制御装置。

【請求項5】

前記第１端末装置は、アプリケーションの実行指示を表示領域に表示されるアイコンに対する操作によって受け付け、
前記第１画像には、前記アイコンの画像が含まれており、
前記第２画像は、前記アイコンの画像であり、
前記検出部は、前記アイコンの画像に基づいて前記傾きを検出する、請求項１乃至３のうちの何れか１項に記載の制御装置。

【請求項6】

前記検出部は、前記アイコンの形状に基づいて前記傾きを検出する、請求項５に記載の制御装置。

【請求項7】

前記第１端末装置は、アプリケーションの実行指示を表示領域に表示される複数のアイコンのうち何れか一つのアイコンに対する操作によって受け付け、
前記第１画像には、前記複数のアイコンの画像が含まれており、
前記第２画像は、前記複数のアイコンの画像であり、
前記検出部は、前記複数のアイコンの配列に基づいて前記傾きを検出する、
請求項１乃至３のうちの何れか１項に記載の制御装置。

【請求項8】

前記第１端末装置は、アプリケーションの実行指示を表示領域に表示されるアイコンに対する操作によって受け付け、
前記第１画像には、前記アイコン及び前記アイコンに関する文字列の画像が含まれており、
前記第２画像は、前記文字列の画像であり、
前記検出部は、前記文字列の画像に基づいて前記傾きを検出する、
請求項１乃至３のうちの何れか１項に記載の制御装置。

【請求項9】

第１端末装置の表示領域に対して第１タッチ操作を、第２端末装置の表示領域に対する第２タッチ操作に基づいて実行するロボットであって、
撮像装置と、
前記第１端末装置と前記撮像装置との間に位置し、前記第１タッチ操作を行う操作装置と、
処理装置と、を備え、
前記処理装置は、
前記撮像装置によって前記第１端末装置が撮像された第１画像と、前記第２タッチ操作によってタッチされた前記第２端末装置の表示領域における位置を示す第２位置情報を取得する取得部と、
前記第１画像又は前記第１画像から一部が抽出された第２画像に基づいて、前記ロボットに対する前記第１端末装置の傾きを検出する検出部と、
前記傾きに基づいて前記第１画像の傾きを補正することによって補正済み画像を生成し、前記補正済み画像に基づいて前記第２端末装置の表示領域に表示される第３画像を生成する生成部と、
前記傾きに基づいて、前記第２位置情報を前記第１タッチ操作によってタッチされる前記第１端末装置の表示領域における位置を示す第１位置情報に変換する変換部と、
前記第３画像を前記第２端末装置の表示領域に表示させ、前記第１位置情報に基づいて前記第１タッチ操作を前記操作装置に実行させる制御部と、を備える、
ロボット。

【請求項10】

前記操作装置は、
前記第１端末装置に対する入力を行うための指示体と、
前記撮像装置の撮像範囲内で前記指示体を移動させるアームと、を含み、
前記アームは透明素材で形成される、
請求項９に記載のロボット。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、制御装置、及びロボット、に関する。

【背景技術】

【0002】

特許文献１には、スマートフォン等の端末装置に対するタッチ操作を実行するロボットが開示されている。このロボットは、治具によって位置が固定された端末装置に対してタッチ操作を実行することによって、端末装置の動作を検査できる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－２９０８５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、従来のロボットは、予め定められた順番でタッチ操作を実行するだけで、遠隔地にいるユーザが手元の端末装置をタッチ操作する場合に、ロボットが存在する場所の端末装置に対して同じタッチ操作を実行できなかった。特に、遠隔操作される端末装置がロボットに対して傾いて配置されている場合、仮に、遠隔操作される端末装置の表示領域の画像をロボットに撮像させ、この画像を操作する側の端末装置に表示させたとしても、操作する側の端末装置の表示領域に表示される画像は傾いてしまう。従って、ロボットを用いた端末装置の遠隔操作において、操作性の低下及び操作精度の低下が発生する。

【0005】

本開示は以上に説明した課題に鑑みて為されたものであり、ロボットを用いた端末装置の遠隔操作において、操作性及び操作精度を向上させることを目的とする。

【課題を解決するための手段】

【0006】

以上の課題を解決するために、本開示の制御装置は、第１端末装置の表示領域に対して第１タッチ操作を行うロボットを、第２端末装置の表示領域に対する第２タッチ操作に基づいて制御する制御装置であって、取得部、検出部、生成部、変換部、及び制御部を備える。取得部は、ロボットが前記第１端末装置を撮像することによって生成された第１画像と、前記第２タッチ操作によってタッチされた前記第２端末装置の表示領域における位置を示す第２位置情報とを取得する。検出部は、前記第１画像又は前記第１画像から一部が抽出された第２画像に基づいて、前記ロボットに対する前記第１端末装置の傾きを検出する。生成部は、前記傾きに基づいて前記第１画像の傾きを補正することによって補正済み画像を生成し、前記補正済み画像に基づいて前記第２端末装置の表示領域に表示される第３画像を生成する。変換部は、前記傾きに基づいて、前記第２位置情報を前記第１タッチ操作によってタッチされる前記第１端末装置の表示領域における位置を示す第１位置情報に変換する。制御部は、前記第３画像を前記第２端末装置の表示領域に表示させ、前記第１位置情報に基づいて前記ロボットに前記第１タッチ操作を実行させる。

【0007】

以上の課題を解決するために、本開示の別の態様の制御装置は、第１端末装置の表示領域に対して第１タッチ操作を行うロボットを制御する制御装置であって、表示部、取得部、検出部、生成部、変換部、及び制御部を備える。表示部は、画像を表示する表示領域を備え、前記画像を表示する表示領域に対する第２タッチ操作を受け付ける。取得部は、前記ロボットが第１端末装置を撮像することによって生成された第１画像と、前記第２タッチ操作によってタッチされた前記表示部の表示領域における位置を示す第２位置情報と、を取得する。検出部は、前記第１画像又は前記第１画像から一部が抽出された第２画像に基づいて、前記ロボットに対する前記第１端末装置の傾きを検出する。生成部は、前記傾きに基づいて前記第１画像の傾きを補正することによって補正済み画像を生成し、前記補正済み画像に基づいて前記表示部の表示領域に表示される第３画像を生成する。変換部は、前記傾きに基づいて、前記第２位置情報を前記第１タッチ操作によってタッチされる前記第１端末装置の表示領域における位置を示す第１位置情報に変換する。制御部は、前記第３画像を前記表示部の表示領域に表示させ、前記第１位置情報に基づいて前記ロボットに前記第１タッチ操作を実行させる。

【0008】

以上の課題を解決するために、本開示の更に別の態様の制御装置は、第１端末装置の表示領域に対して第１タッチ操作を行うロボットに含まれ、第２端末装置の表示領域に対する第２タッチ操作に基づいて前記第１タッチ操作を制御する制御装置であって、取得部、検出部、生成部、変換部、及び制御部を備える。取得部は、前記ロボットが第１端末装置を撮像することによって生成された第１画像と、前記第２タッチ操作によってタッチされた前記第２端末装置の表示領域における位置を示す第２位置情報を取得する。検出部は、前記第１画像又は前記第１画像から一部が抽出された第２画像に基づいて、前記ロボットに対する前記第１端末装置の傾きを検出する。生成部は、前記傾きに基づいて前記第１画像の傾きを補正することによって補正済み画像を生成し、前記補正済み画像に基づいて前記第２端末装置の表示領域に表示される第３画像を生成する。変換部は、前記傾きに基づいて、前記第２位置情報を前記第１タッチ操作によってタッチされる前記第１端末装置の表示領域における位置を示す第１位置情報に変換する。制御部は、前記第３画像を前記第２端末装置の表示領域に表示させ、前記第１位置情報に基づいて前記第１タッチ操作を実行する。

【0009】

また、以上の課題を解決するために、本開示のロボットは、第１端末装置の表示領域に対して第１タッチ操作を、第２端末装置の表示領域に対する第２タッチ操作に基づいて実行するロボットであって、撮像装置、操作装置、及び処理装置を備える。操作装置は、前記第１端末装置と前記撮像装置との間に位置し、前記第１タッチ操作を行う。処理装置は、取得部、検出部、生成部、変換部、及び制御部を備える。取得部は、前記撮像装置によって前記第１端末装置が撮像された第１画像と、前記第２タッチ操作によってタッチされた前記第２端末装置の表示領域における位置を示す第２位置情報を取得する。検出部は、前記第１画像又は前記第１画像から一部が抽出された第２画像に基づいて、前記ロボットに対する前記第１端末装置の傾きを検出する。生成部は、前記傾きに基づいて前記第１画像の傾きを補正することによって補正済み画像を生成し、前記補正済み画像に基づいて前記第２端末装置の表示領域に表示される第３画像を生成する。変換部は、前記傾きに基づいて、前記第２位置情報を前記第１タッチ操作によってタッチされる前記第１端末装置の表示領域における位置を示す第１位置情報に変換する。制御部は、前記第３画像を前記第２端末装置の表示領域に表示させ、前記第１位置情報に基づいて前記第１タッチ操作を前記操作装置に実行させる。

【発明の効果】

【0010】

本開示によれば、ロボットを用いた端末装置の遠隔操作において、操作性及び操作精度が向上する。

【図面の簡単な説明】

【0011】

【図1】本開示の第１実施形態による遠隔操作システム１Ａの構成例を示す図である。

【図2】ロボット１０Ａの構成例を示す図である。

【図3】端末装置２０Ａの構成例を示す図である。

【図4】制御装置３０Ａの構成例を示す図である。

【図5】ロボット１０Ａに対する端末装置４０の傾きを説明するための図である。

【図6】端末装置４０の表示領域の画像を端末装置２０Ａの表示装置２３０に表示させる表示動作の流れを示すフローチャートである。

【図7】撮像装置１３０による端末装置４０の撮像画像の一例を示す図である。

【図8】制御装置３０Ａが生成する端末画像の一例を示す図である。

【図9】端末装置２０Ａの表示装置２３０に対して為されたタッチ操作に応じて、端末装置４０に対するタッチ操作をロボット１０Ａに実行させる遠隔操作動作の流れを示すフローチャートである。

【図10】本開示の第２実施形態による遠隔操作システム１Ｂの構成例を示す図である。

【図11】端末装置２０Ｂの構成例を示す図である。

【図12】端末装置４０の表示領域の画像を端末装置２０Ｂの表示装置２３０に表示させる表示動作の流れを示すフローチャートである。

【図13】端末装置２０Ｂの表示装置２３０に対して為されたタッチ操作に応じて、端末装置４０に対するタッチ操作をロボット１０Ａに実行させる遠隔操作動作の流れを示すフローチャートである。

【図14】本開示の第３実施形態による遠隔操作システム１Ｃの構成例を示す図である。

【図15】ロボット１０Ｃの構成例を示す図である。

【図16】端末装置４０の表示領域の画像を端末装置２０Ａの表示装置２３０に表示させる表示動作の流れを示すフローチャートである。

【図17】端末装置２０Ａの表示装置２３０に対して為されたタッチ操作に応じて、ロボット１０Ｃが端末装置４０に対するタッチ操作を実行する遠隔操作動作の流れを示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、図面を参照して本開示の実施形態を説明する。以下に述べる実施形態には技術的に好ましい種々の限定が付されている。しかし、本開示の実施形態は、以下に述べる形態に限られるものではない。

【0013】

Ａ．第１実施形態
図１は、本開示の第１実施形態による遠隔操作システム１Ａの構成例を示す図である。図１に示すように、遠隔操作システム１Ａは、ロボット１０Ａと、制御装置３０Ａとを、を含む。ロボット１０Ａは、通信網ＮＷを介して制御装置３０Ａと通信する。通信網ＮＷは、インターネット及び移動通信網を含む。遠隔操作システム１Ａは、端末装置４０を通信網ＮＷ経由で端末装置２０Ａを用いて遠隔操作するためのシステムである。端末装置２０Ａは、通信網ＮＷを介して制御装置３０Ａと通信する。本実施形態では、端末装置２０Ａに対するユーザの操作に応じて制御装置３０Ａがロボット１０Ａを制御することで、端末装置４０の遠隔操作が実現される。端末装置４０は本開示における第１端末装置の一例である。端末装置２０Ａは本開示における第２端末装置の一例である。

【0014】

図１における端末装置４０は、プログラム実行機能を備えた情報処理装置である。端末装置４０は、例えばスマートフォンである。図１では詳細な図示を省略したが、端末装置４０の筐体の平面形状は長方形である。端末装置４０の筐体の平面形状は、長方形以外の多角形、又は４つの角部が丸められた長方形のように少なくとも一部が曲線で形成された形状、であってもよい。端末装置４０には、複数のアプリケーションプログラムが予めインストールされている。アプリケーションプログラムは、「アプリケーションソフトウェア」又は「アプリ」とも称され得る。端末装置４０は、複数のアプリケーションに１対１に対応する複数のアイコンを表示領域に表示させる。端末装置４０の表示領域に表示されるアイコンは本開示における第１アイコンの一例である。端末装置４０は、表示領域に対するタッチ操作によって指定されたアイコンに対応するアプリケーションを実行する。

【0015】

図２は、ロボット１０Ａの構成例を示す図である。図２に示すように、ロボット１０Ａは、処理装置１００、通信装置１１０、記憶装置１２０、撮像装置１３０、及び操作装置１４０を備える。通信装置１１０は、無線通信モジュールである。通信装置１１０は、通信網ＮＷの基地局との間で無線通信を行う。

【0016】

記憶装置１２０は、処理装置１００が読み取り可能な記録媒体である。記憶装置１２０は、例えば、不揮発性メモリと揮発性メモリとを含む。不揮発性メモリは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリは、例えば、ＲＡＭ（Radom Access Memory）である。

【0017】

記憶装置１２０の不揮発性メモリには、処理装置１００によって実行されるプログラム１２０ａ１が記憶される。記憶装置１２０の揮発性メモリはプログラム１２０ａ１を実行する際のワークエリアとして処理装置１００によって利用される。プログラム１２０ａ１は、例えば、通信装置１１０を介して、通信網ＮＷに接続された不図示のサーバ等から取得され、その後、記憶装置１２０に記憶される。プログラム１２０ａ１は、ロボット１０Ａの工場出荷時点で記憶装置１２０に予め記憶されてもよい。

【0018】

撮像装置１３０は、例えば、集光された光を電気信号に変換する撮像素子であるＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を備えたカメラである。本実施形態では、撮像装置１３０は、端末装置４０を含む動画像を撮像する。撮像装置１３０は、撮像した画像を表す画像データを処理装置１００へ出力する。

【0019】

操作装置１４０は、図１に示すように、端末装置４０に対するタッチ操作を行うための指示体１４２と、アーム１４４とを含む。また、操作装置１４０は、アーム１４４を移動させる移動機構（図示略）を含む。移動機構は、指示体１４２を用いたタッチ操作を実行する場合、アーム１４４を下方向に移動させる。指示体１４２は棒状に形成されている。図１では詳細な図示を省略したが、指示体１４２の一端には、端末装置４０の表示領域を押下するための接触部が設けられている。指示体１４２の他端には、接触部が他の物体（例えば、端末装置４０）に接触している場合に発光する発光部が設けられている。アーム１４４は、撮像装置１３０と端末装置４０との間で指示体１４２を移動させる。アーム１４４は、撮像装置１３０による端末装置４０の撮像の妨げとならないように、透明樹脂等の透明素材で形成される。なお、操作装置１４０は、指示体１４２及びアーム１４４を、複数組有してもよい。指示体１４２及びアーム１４４を二組有する操作装置１４０は、端末装置４０に対してピンチイン又はピンチアウトといったピンチ操作を実行できる。ピンチインとは、端末装置４０の表示領域に２本の指をタッチさせている状態において一方の指のタッチ位置と他方の指のタッチ位置との間隔を狭めるように２本の指を動かす操作のことをいう。ピンチインは、端末装置４０に対して表示画像の縮小を指示する操作として一般に用いられる。ピンチアウトとは、端末装置４０の表示領域に２本の指をタッチさせている状態において一方の指のタッチ位置と他方の指のタッチ位置との間隔を広げるように２本の指を動かす操作のことをいう。ピンチアウトは、端末装置４０に対して表示画像の拡大を指示する操作として一般に用いられる。

【0020】

処理装置１００は、例えばＣＰＵ（Central Processing Unit）等のプロセッサ、即ちコンピュータを含んで構成される。処理装置１００は、単一のコンピュータで構成されてもよいし、複数のコンピュータで構成されてもよい。処理装置１００は、ロボット１０Ａの電源投入を契機としてプログラム１２０ａ１を不揮発性メモリから揮発性メモリに読み出し、プログラム１２０ａ１の実行を開始する。プログラム１２０ａ１に従って作動中の処理装置１００は、図２に示す制御部１００ａ１として機能する。図２に示す制御部１００ａ１は、処理装置１００をプログラム１２０ａ１に従って動作させることで実現されるソフトウェアモジュールである。

【0021】

制御部１００ａ１は、撮像装置１３０に端末装置４０を撮像させる。撮像装置１３０は、端末装置４０を撮像することによって撮像画像を生成する。撮像画像は本開示における第１画像の一例である。制御部１００ａ１は、撮像装置１３０による端末装置４０の撮像画像を、通信装置１１０を介して通信網ＮＷへ送信する。また、制御部１００ａ１は、通信網ＮＷから与えられる更新指示に応じて、撮像装置１３０の設定を更新する。撮像装置１３０の設定としては、撮像画像のフレームレートと撮像画像の解像度との少なくとも一方が挙げられる。本実施形態における撮像装置１３０の設定は撮像画像のフレームレートである。更新指示には、撮像装置１３０の設定を示す設定情報が含まれる。

【0022】

制御部１００ａ１は、通信網ＮＷから受信する操作指示に応じて操作装置１４０を制御し、端末装置４０の表示領域に対するタッチ操作を行う。ロボット１０Ａが行うタッチ操作は本開示における第１タッチ操作の一例である。本実施形態では、ロボット１０Ａに対して、ロボット１０Ａの中心を原点とする２次元座標系におけるタッチ位置を指定する操作指示が制御装置３０Ａから与えられる。操作指示は本開示における指示情報の一例である。

【0023】

次いで、端末装置２０Ａの構成を説明する。端末装置２０Ａは、端末装置４０を遠隔操作するためのユーザの操作を受け付ける情報処理装置である。端末装置２０Ａは、例えばスマートフォンである。図３は、端末装置２０Ａの構成例を示す図である。図３に示すように、端末装置２０Ａは、処理装置２００、通信装置２１０、記憶装置２２０、表示装置２３０、及び入力装置２４０を備える。処理装置２００は、処理装置１００と同様に、単一のコンピュータ又は複数のコンピュータで構成される。通信装置２１０は、通信装置１１０と同様に、無線通信モジュールである。通信装置２１０は、通信網ＮＷの基地局との間で無線通信を行う。記憶装置２２０は、記憶装置１２０と同様に、不揮発性メモリと揮発性メモリとを含む。

【0024】

記憶装置２２０の不揮発性メモリには、処理装置２００によって実行されるプログラム２２０ａ１が記憶される。記憶装置２２０の揮発性メモリはプログラム２２０ａ１を実行する際のワークエリアとして処理装置２００によって利用される。プログラム２２０ａ１は、例えば、通信装置２１０を介して、通信網ＮＷに接続された不図示のサーバ等から取得され、その後、記憶装置２２０に記憶される。プログラム２２０ａ１は、端末装置２０Ａの工場出荷時点で記憶装置２２０に予め記憶されてもよい。

【0025】

表示装置２３０は、例えば液晶ディスプレイと、当該液晶ディスプレイの駆動回路とを含む。表示装置２３０は、処理装置２００による制御の下で各種画像を表示する。表示装置２３０は本開示における第２端末装置の表示部の一例である。入力装置２４０は、例えば透明なシート状の接触検知センサである。入力装置２４０は表示装置２３０の表示領域を覆うように設けられる。本実施形態では、表示装置２３０と入力装置２４０とによりタッチパネルが形成される。入力装置２４０に対してユーザによってタッチ操作が為されると、入力装置２４０はユーザの操作を示す操作データを処理装置２００へ出力する。操作データは、ユーザのタッチ操作を示すデータである。操作データには、ユーザのタッチ位置、即ち表示装置２３０の表示領域内のタッチ位置を示すデータが含まれる。タッチ操作を示す操作データを処理装置２００へ出力することで、表示装置２３０の表示領域内のタッチ位置が処理装置２００へ伝達される。なお、タッチ位置を押し続けた後に指を離す長押し操作が入力装置２４０に対して為された場合には、入力装置２４０は、タッチされていた時間を表すデータを更に含む操作データを処理装置２００へ出力する。また、フリック操作のように指をタッチさせたまま移動させてその後離す操作が入力装置２４０に対して為された場合には、入力装置２４０は、タッチ開始位置、タッチ終了位置、及びタッチされていた時間の各々を示すデータを含む操作データを処理装置２００へ出力する。

【0026】

処理装置２００は、プログラム２２０ａ１の実行開始を指示する操作を示す操作データを入力装置２４０から受け取ったことを契機としてプログラム２２０ａ１を不揮発性メモリから揮発性メモリに読み出し、プログラム２２０ａ１の実行を開始する。プログラム２２０ａ１の実行開始を指示する操作の具体例としては、プログラム２２０ａ１を示すものとして表示装置２３０に表示されるアイコンに対するタッチ操作が挙げられる。なお、プログラム２２０ａ１は、プログラム２２０ａ１とは異なるプログラムからの呼び出しにより実行されてもよい。処理装置２００が複数のプログラムを並列に実行可能である場合において、実行中のプログラムにプログラム２２０ａ１の呼び出しを指示するコードが含まれていた場合には、処理装置２００は当該コードの実行を契機としてプログラム２２０ａ１の実行を開始する。プログラム２２０ａ１に従って作動中の処理装置２００は、制御部２００ａ１として機能する。図３に示す制御部２００ａ１は、処理装置２００をプログラム２２０ａ１に従って動作させることで実現されるソフトウェアモジュールである。

【0027】

制御部２００ａ１は、制御装置３０Ａから送信される端末画像を通信装置２１０を介して受信する。端末画像とは、端末装置４０の表示領域の画像のことをいう。端末画像は、端末装置４０の撮像画像から制御装置３０Ａによって生成される。端末画像は本開示における第３画像の一例である。また、制御部２００ａ１は、受信した端末画像を表示装置２３０に表示することで、タッチ操作をユーザに促す。そして、制御部２００ａ１は、表示装置２３０の表示領域に対して為されたタッチ操作の位置を示す位置情報を通信装置２１０を介して制御装置３０Ａへ送信する。表示装置２３０の表示領域には端末画像が表示されるのであるから、表示装置２３０の表示領域に対して為されるタッチ操作によって、端末画像内の位置が指定される。表示装置２３０の表示領域に対して為されたタッチ操作は本開示における第２タッチ操作の一例である。端末装置２０Ａから制御装置３０Ａに送信される位置情報は本開示における第２位置情報の一例である。

【0028】

次いで、制御装置３０Ａの構成を説明する。制御装置３０Ａは、端末装置２０Ａに対するユーザのタッチ操作に応じてロボット１０Ａを制御する情報処理装置である。制御装置３０Ａは、例えばサーバ又はパーソナルコンピュータである。図４は、制御装置３０Ａの構成例を示す図である。図４に示すように、制御装置３０Ａは、処理装置３００、通信装置３１０、及び記憶装置３２０を備える。処理装置３００は、処理装置１００と同様に、単一のコンピュータ又は複数のコンピュータで構成される。通信装置３１０は、有線通信モジュールである。通信装置３１０は、通信線を介して通信網ＮＷに接続される。通信装置３１０は、通信網ＮＷとの間で有線通信を行う。記憶装置３２０は、記憶装置１２０と同様に、不揮発性メモリと揮発性メモリとを含む。

【0029】

記憶装置３２０の不揮発性メモリには、処理装置３００によって実行されるプログラム３２０ａ１が記憶される。記憶装置３２０の揮発性メモリはプログラム３２０ａ１を実行する際のワークエリアとして処理装置３００によって利用される。プログラム３２０ａ１は、例えば、通信装置３１０を介して、通信網ＮＷに接続された不図示のサーバ等から取得され、その後、記憶装置３２０に記憶される。プログラム３２０ａ１は、制御装置３０Ａの工場出荷時点で記憶装置３２０に予め記憶されてもよい。

【0030】

記憶装置３２０には、プログラム３２０ａ１の他に、第１変換情報３２０ａ２、第２変換情報３２０ａ３、アプリＤＢ３２０ａ４、及びテーブル３２０ａ５が記憶される。第１変換情報３２０ａ２は、撮像画像内の位置と端末画像内の位置とを相互変換するための情報である。第１変換情報３２０ａ２の具体例としては、撮像画像の中心を原点とする座標系において、端末画像の中心が占める位置を示す情報、及びロボット１０Ａに対する端末装置４０の傾きの角度が挙げられる。

【0031】

図５を参照して、傾きの角度を具体的に説明する。図５に示すＹ軸は、ロボット１０Ａの中心Ｐ１と撮像装置１３０の撮像範囲の中心Ｐ２とを通る座標軸である。Ｚ軸は鉛直方向の座標軸である。Ｘ軸はＹ軸及びＺ軸に直交する座標軸である。ロボット１０Ａに対して端末装置４０が傾いているとは、Ｘ軸及びＹ軸によって表される２次元座標系において、端末装置４０の筐体の長辺ＬとＹ軸とが平行ではない状態のことをいう。以下、本実施形態では、端末装置４０の筐体の長辺ＬとＹ軸との為す角度θを、ロボット１０Ａに対する端末装置４０の傾きの角度と呼ぶ。

【0032】

詳細については後述するが、ロボット１０Ａに対する端末装置４０の傾きの角度は、撮像装置１３０による端末装置４０の撮像画像に基づいて処理装置３００によって検出される。端末装置４０の傾きの角度は、プログラム３２０ａ１に従って作動している処理装置３００によって検出されるため、第１変換情報３２０ａ２は、プログラム３２０ａ１に従って作動している処理装置３００によって生成される。処理装置３００によって生成された第１変換情報３２０ａ２は、揮発性メモリに書き込まれる。

【0033】

第２変換情報３２０ａ３は、撮像画像内の位置を、図５に示すＸ軸及びＹ軸により表され、ロボット１０Ａの中心の位置を原点とする２次元座標系における位置に変換するための情報である。ロボット１０Ａの中心の位置とは、ロボット１０ＡをＺ軸の正から負に向けて平面視した場合に、ロボット１０Ａの重心を示す位置である。以下では、図５に示すＸ軸及びＹ軸により表され、ロボット１０Ａの中心の位置を原点とする２次元座標系は、単に「ＸＹ座標系」と称される。第２変換情報３２０ａ３の具体例としては、ＸＹ座標系における撮像装置１３０の撮像範囲の中心の位置を示す情報と、撮像画像の拡大又は縮小の比率を示す情報とが挙げられる。なお、撮像画像が等倍で撮像されている場合には、第２変換情報３２０ａ３は、ＸＹ座標系における撮像装置１３０の撮像範囲の中心の位置を示す情報のみで構成される。第２変換情報３２０ａ３はロボット１０Ａの仕様により定まる情報である。第２変換情報３２０ａ３は、記憶装置３２０の不揮発性メモリに予め記憶されている。

【0034】

アプリＤＢ３２０ａ４には、アプリのアイコンに対応付けてアプリの種類を示す情報が予め複数登録されている。本実施形態では、端末装置４０にインストールされている各アプリのアイコンとアプリの種類を示す情報とがアプリＤＢ３２０ａ４に予め登録されている。アプリＤＢ３２０ａ４は記憶装置３２０の不揮発性メモリに予め記憶されている。アプリＤＢ３２０ａ４は本開示における関係情報の一例である。テーブル３２０ａ５には、アプリＤＢ３２０ａ４にアイコンが登録されているアプリの種類に対応付けて、アプリを実行中の端末装置４０の表示領域の撮像に好適なフレームレートが予め格納されている。例えば動画閲覧アプリ又はゲームアプリについては高いフレームレートがテーブル３２０ａ５に格納されており、メールアプリ又はＳＮＳアプリについては低いフレームレートがテーブル３２０ａ５に格納されている。動画閲覧アプリ又はゲームアプリを実行中の端末装置４０を撮像する際のフレームレートを低くすると、端末装置２０Ａでの動画の閲覧又はゲーム操作に支障が生じる一方、メールアプリ又はＳＮＳアプリであれば、フレームレートを低くしても遠隔操作に支障は生じないからである。テーブル３２０ａ５は記憶装置３２０の不揮発性メモリに予め記憶されている。

【0035】

処理装置３００は、制御装置３０Ａの電源投入を契機としてプログラム３２０ａ１を不揮発性メモリから揮発性メモリに読み出し、プログラム３２０ａ１の実行を開始する。処理装置３００は、プログラム３２０ａ１を実行することによって、図４に示す制御部３００ａ１、取得部３００ａ２、検出部３００ａ３、生成部３００ａ４、変換部３００ａ５、特定部３００ａ６、及び更新部３００ａ７として機能する。図４に示す制御部３００ａ１、取得部３００ａ２、検出部３００ａ３、生成部３００ａ４、変換部３００ａ５、特定部３００ａ６、及び更新部３００ａ７は、処理装置３００をプログラム３２０ａ１に従って動作させることで実現されるソフトウェアモジュールである。制御部３００ａ１、取得部３００ａ２、検出部３００ａ３、生成部３００ａ４、変換部３００ａ５、特定部３００ａ６、及び更新部３００ａ７の各々の機能の詳細については、動作例にて説明する。

【0036】

処理装置３００は、プログラム３２０ａ１に従って作動することにより、表示動作と遠隔操作動作とを実行する。表示動作とは、端末画像を端末装置２０Ａの表示装置２３０に表示させる動作である。表示動作は、通信装置３１０を介して撮像画像を受信したことを契機として開始される。図６は、表示動作の流れを示すフローチャートである。図６に示すように、表示動作は、第１取得処理ＳＡ１１０、検出処理ＳＡ１２０、生成処理ＳＡ１３０、及び表示制御処理ＳＡ１４０を含む。

【0037】

第１取得処理ＳＡ１１０では、処理装置３００は取得部３００ａ２として機能する。つまり、第１取得処理ＳＡ１１０は取得部３００ａ２により実行される処理である。第１取得処理ＳＡ１１０では、取得部３００ａ２は、ロボット１０Ａから送信された撮像画像を通信装置３１０から取得する。

【0038】

第１取得処理ＳＡ１１０に後続する検出処理ＳＡ１２０では、処理装置３００は検出部３００ａ３として機能する。つまり、検出処理ＳＡ１２０は検出部３００ａ３により実行される処理である。検出部３００ａ３は、取得部３００ａ２により取得した撮像画像に基づいて、ロボット１０Ａに対する端末装置４０の傾きを検出する。ロボット１０Ａに対する端末装置４０の傾きの検出方法の具体的な態様としては、以下の第１態様、第２態様、第３態様、及び第４態様が挙げられる。

【0039】

第１態様は、撮像画像に写っている端末装置４０の輪郭線又は端末装置４０の表示領域の輪郭線に基づいて、ロボット１０Ａに対する端末装置４０の傾きを検出する態様である。第１態様では、検出部３００ａ３は、撮像画像のＸ軸方向及びＹ軸方向の各々について、画素値をスキャンし、画素値が急激に変動する箇所を端末装置４０の輪郭線として抽出する。検出部３００ａ３は、スキャン方向に隣接する２つの画素の画素値（輝度）の差分を算出し、算出された差分が所定値以上となる画素を輪郭線上の画素として検出する。次いで、検出部３００ａ３は、端末装置４０の輪郭線の内側について同様の処理を実行することによって抽出される輪郭線の内側を表示領域とする。本実施形態では、端末装置４０の輪郭線及び端末装置４０の表示領域の輪郭線は長方形を為す。撮像画像がＹ軸方向に縦長の画像である場合、例えば、検出部３００ａ３は、撮像画像の長辺と端末装置４０の輪郭線とが平行になるように後者を時計回りに回転させたときの角度を端末装置４０の傾きの角度とする。

【0040】

第２態様は、撮像画像に写っているアイコンの形状を基づいて端末装置４０の傾きを検出する態様である。第２態様では、検出部３００ａ３は、表示領域の画像から第１態様と同様の方法によりアイコンの画像を抽出する。検出部３００ａ３により抽出されるアイコンの画像は本開示における第２画像の一例である。そして、検出部３００ａ３は、アイコンの輪郭線と撮像画像の輪郭線の為す角度を傾きの角度とする。撮像画像に複数のアイコンが写っている場合には、検出部３００ａ３は、円形以外の形状のアイコンを選択して第１態様の方法により傾きを検出する。

【0041】

第３態様は、撮像画像に複数のアイコンが写っている場合において、複数のアイコンの配列に基づいて傾きを検出する態様である。スマートフォンでは、複数のアイコンは、表示領域の長辺及び短辺に沿ってマトリックス状に配列されて表示されることが多い。従って、複数のアイコンのうちの一のアイコンの中心点と、当該一のアイコンの最寄に配列されるアイコンの中心点と、を通る直線は、表示領域の長辺又は短辺と平行になる。検出部３００ａ３は、複数のアイコンのうちの一のアイコンの中心点と、当該一のアイコンの最寄に配列されるアイコンの中心点とを通る直線と撮像画像の長辺とが為す角度によって傾きを検出する。複数のアイコンの画像も本開示における第２画像の一例である。

【0042】

第４態様は、アイコンとともに表示される文字列とアイコンとを利用して端末装置４０の傾きを特定する態様である。アイコンは、アイコンに対応するアプリの名称等を表す文字列とともに表示されることが多い。この文字列において各文字が並ぶ方向と撮像画像の輪郭線の長辺又は短辺とが為す角度を傾きの角度とする。アイコンとともに表示される文字列の画像も本開示における第２画像の一例である。

【0043】

本実施形態では、検出部３００ａ３は、第１態様の検出方法により、ロボット１０Ａに対する端末装置４０の傾きを検出する。しかし、検出部３００ａ３は、第２態様、第３態様又は第４態様の検出方法により傾きを検出してもよい。また、検出部３００ａ３は、第１態様の検出方法により傾きの検出を試み、傾きを検出できなかった場合に第２態様の検出方法により傾きの検出を試みるといったように、第１態様、第２態様、第３態様、及び第４態様のうちの任意の複数の態様を用いて傾きを検出してもよい。

【0044】

検出処理ＳＡ１２０に後続する生成処理ＳＡ１３０では、処理装置３００は生成部３００ａ４として機能する。つまり、生成処理ＳＡ１３０は生成部３００ａ４により実行される処理である。生成部３００ａ４は、取得部３００ａ２により取得した撮像画像に基づいて端末画像を生成する。より詳細に説明すると、生成部３００ａ４は、撮像画像のＹ方向及びＸ方向の各々について、画素値をスキャンし、画素値が急激に変動する箇所を端末装置４０の輪郭線とする。そして、生成部３００ａ４は、端末装置４０の輪郭線の内側について同様の処理を実行することによって抽出される輪郭線の内側を表示領域とする。次いで、生成部３００ａ４は、抽出した表示領域の画像を、検出部３００ａ３により検出した傾きの角度だけ逆方向に回転させることで補正して端末画像を生成する。

【0045】

例えば、取得部３００ａ２により、図７に示す撮像画像Ｇ１が得られたとする。図７に示す例では、斜め線のハッチングを付された領域が端末装置４０における表示領域である。図７において黒く塗りつぶされた長方形は、端末装置４０の表示領域に表示されるアイコンを示す。生成部３００ａ４は、図７に示す撮像画像から、端末装置４０における表示領域の画像、即ち図７に示す例では斜め線のハッチングを付された領域の画像を抽出し、検出部３００ａ３により検出した傾きの角度だけ逆方向に回転させて、図８に示す端末画像Ｇ２を生成する。なお、通信装置３１０を介した通信によって生成部３００ａ４が端末装置２０Ａから表示装置２３０の表示領域の大きさを示す情報を取得できる場合、生成部３００ａ４は、撮像画像から抽出した端末装置４０の表示領域の画像を表示装置２３０の表示領域の大きさに合わせて拡大又は縮小させて端末画像を生成してもよい。また、生成部３００ａ４は、第１変換情報３２０ａ２を生成する。端末画像の生成の際に拡大又は縮小を行った場合、第１変換情報３２０ａ２には、当該拡大等の拡大率又は縮小率を示す情報も含まれる。生成部３００ａ４は、第１変換情報３２０ａ２を記憶装置３２０の揮発性メモリに記憶させる。

【0046】

生成処理ＳＡ１３０に後続する表示制御処理ＳＡ１４０では、処理装置３００は制御部３００ａ１として機能する。つまり、表示制御処理ＳＡ１４０は制御部３００ａ１により実行される処理である。制御部３００ａ１は、端末画像を端末装置２０Ａへ送信することによって、端末画像を端末装置２０Ａに表示させる。これにより、端末装置４０の表示領域に複数の第１アイコンが表示されている場合、端末装置２０Ａの表示領域に複数の第１アイコンに１対１に対応する複数の第２アイコンが表示される。端末装置２０Ａの表示装置２３０には傾きを補正済みの端末画像が表示され、傾きを補正済みの端末画像に対してタッチ操作が行われるので操作性が向上する。

【0047】

次いで、遠隔操作動作について説明する。遠隔操作動作は、表示装置２３０の表示領域に対して為されたタッチ操作に応じてロボット１０Ａを作動させ、端末装置４０に対するタッチ操作をロボット１０Ａに実行させる際の動作である。図９は遠隔操作動作の流れを示すフローチャートである。この遠隔操作動作は、端末装置２０Ａから送信された第２位置情報を通信装置３１０を介して受信したことを契機として開始される。図９に示すように、遠隔操作動作には、第２取得処理ＳＡ２１０、変換処理ＳＡ２２０、特定処理ＳＡ２３０、更新処理ＳＡ２４０、及び操作制御処理ＳＡ１５０が含まれる。

【0048】

第２取得処理ＳＡ２１０では、処理装置３００は取得部３００ａ２として機能する。つまり、第２取得処理ＳＡ２１０は取得部３００ａ２により実行される処理である。第２取得処理ＳＡ２１０では、取得部３００ａ２は、端末装置２０Ａから送信された第２位置情報を通信装置３１０から取得する。

【0049】

第２取得処理ＳＡ２１０に後続する変換処理ＳＡ２２０では、処理装置３００は変換部３００ａ５として機能する。つまり、変換処理ＳＡ２２０は、変換部３００ａ５により実行される処理である。変換部３００ａ５は、取得部３００ａ２により取得した第２位置情報を、第１変換情報３２０ａ２と第２変換情報３２０ａ３とを用いて、第１位置情報へ変換する。第１位置情報は、端末装置４０に対して為されるべきタッチ操作のＸＹ座標系におけるタッチ位置を示す。より詳細に説明すると、変換部３００ａ５は、まず、取得部３００ａ２により取得した第２位置情報を、第１変換情報３２０ａ２を用いて撮像画像内の位置を示す位置情報に変換する。次いで、変換部３００ａ５は、当該位置情報を、第２変換情報３２０ａ３を用いてＸＹ座標系における位置を示す第１位置情報に変換する。

【0050】

変換処理ＳＡ２２０に後続する特定処理ＳＡ２３０では、処理装置３００は特定部３００ａ６として機能する。つまり、特定処理ＳＡ２３０は、特定部３００ａ６により実行される処理である。特定部３００ａ６は、取得部３００ａ２により取得した第２位置情報に基づいて、複数の第２アイコンのうち第２タッチ操作により選択された一の第２アイコンに対応する一の第１アイコンを特定する。特定部３００ａ６は、第２位置情報の示す位置を一の第２アイコンの中心位置とする。特定部３００ａ６は、当該中心位置を第１変換情報３２０ａ２を用いて撮像画像内の位置に変換する。特定部３００ａ６は、第１変換情報３２０ａ２を用いて変換済の位置を中心とする所定の範囲の画像を撮像画像から抽出する。特定部３００ａ６は、抽出した画像を、第２タッチ操作により選択された一の第２アイコンに対応する一の第１アイコンの画像とする。

【0051】

特定処理ＳＡ２３０に後続する更新処理ＳＡ２４０では、処理装置３００は更新部３００ａ７として機能する。つまり、更新処理ＳＡ２４０は更新部３００ａ７により実行される処理である。更新部３００ａ７は、特定部３００ａ６により特定された第１アイコンに対応するアプリケーションの種類に基づいて、ロボット１０Ａによる撮像の設定を、当該第１アイコンに対応するアプリケーションの種類に応じた設定に更新する。更新部３００ａ７は、まず、特定部３００ａ６により特定された第１アイコンに対応するアプリケーションの種類を、アプリＤＢ３２０ａ４を参照して特定する。

【0052】

次いで、更新部３００ａ７は、特定部３００ａ６により特定された第１アイコンに対応するアプリケーションの種類に応じたフレームレートを、テーブル３２０ａ５を参照して特定する。そして、更新部３００ａ７は、撮像画像のフレームレートをテーブル３２０ａ５を参照して特定したフレームレートに更新することを指示する更新指示を通信装置３１０を介してロボット１０Ａへ送信することによって、撮像画像のフレームレートをロボット１０Ａに更新させる。

【0053】

更新処理ＳＡ２４０に後続する操作制御処理ＳＡ２５０では、処理装置３００は制御部３００ａ１として機能する。つまり、操作制御処理ＳＡ２５０は、制御部３００ａ１により実行される処理である。操作制御処理ＳＡ２５０では、制御部３００ａ１は、変換部３００ａ５による変換で得られた第１位置情報を含む操作指示をロボット１０Ａへ送信することによって、当該第１位置情報の示す位置をタッチするタッチ操作をロボット１０Ａに実行させる。

【0054】

本実施形態の遠隔操作システム１Ａでは、端末装置２０Ａでは、ロボット１０Ａに対する傾きを補正済みの端末画像に対してタッチ操作を行うことができるので、操作性が向上する。また、本実施形態の遠隔操作システム１Ａでは、端末装置２０Ａの表示領域に対するタッチ位置を示す第２位置情報は第１変換情報３２０ａ２及び第２変換情報３２０ａ３を用いて第１位置情報に変換されるので、変換精度が向上し、遠隔操作の操作精度が向上する。また、本実施形態の遠隔操作システム１Ａでは、端末装置４０を撮像する際のフレームレートが、第２タッチ操作により実行を指示されたアプリケーションの種類に応じて設定されるので、通信量を無駄に増やすことなく、アプリケーションを実行中の端末装置４０を当該アプリケーションに好適なフレームレートで撮像することが可能になる。

【0055】

以上説明した第１実施形態は以下のように変形されてもよい。
（Ａ１）本実施形態ではロボット１０Ａは撮像装置１３０による撮像画像をそのまま制御装置３０Ａへ送信した。しかし、ロボット１０Ａは、撮像装置１３０による撮像画像から端末画像の抽出し、抽出した端末画像を制御装置３０Ａへ送信してもよい。
（Ａ２）本実施形態では、一つの処理装置３００が、制御部３００ａ１、取得部３００ａ２、検出部３００ａ３、生成部３００ａ４、変換部３００ａ５、特定部３００ａ６、及び更新部３００ａ７として機能した。しかし、通信網ＮＷを介して互いに通信可能な複数の処理装置が、制御部３００ａ１、取得部３００ａ２、検出部３００ａ３、生成部３００ａ４、変換部３００ａ５、特定部３００ａ６、及び更新部３００ａ７の機能を分担してもよい。
（Ａ３）変換部３００ａ５は、第２位置情報を撮像画像内の位置へ変換する処理を実行し、撮像画像内の位置からＸＹ座標系における位置への変換をロボット１０Ａが実行してもよい。
（Ａ４）通信網ＮＷを介して処理装置３００がアプリＤＢ３２０ａ４にアクセス可能であれば、アプリＤＢ３２０ａ４が記憶装置３２０に記憶されている必要はない。
（Ａ５）第２タッチ操作により実行を指示されたアプリケーションの種類に応じた設定の変更が不要である場合には、アプリＤＢ３２０ａ４、テーブル３２０ａ５、特定部３００ａ６及び更新部３００ａ７は省略されてもよい。

【0056】

本開示は、上述した第１実施形態及び第１実施形態の各変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の態様で実現することができる。例えば、本開示は、以下の態様によっても実現可能である。以下に記載した各態様中の技術的特徴に対応する第１実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、或いは本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【0057】

以上に説明した第１実施形態及び第１実施形態の各変形例から把握される本開示の制御装置の一態様は、端末装置４０の表示領域に対して第１タッチ操作を行うロボット１０Ａを、端末装置２０Ａの表示領域に対する第２タッチ操作に基づいて制御する制御装置であって、取得部３００ａ２、検出部３００ａ３、生成部３００ａ４、変換部３００ａ５、及び制御部３００ａ１を備える。取得部３００ａ２は、ロボット１０Ａが端末装置４０を撮像した第１画像と、第２タッチ操作によってタッチされた端末装置２０Ａの表示領域における位置を示す第２位置情報を取得する。検出部３００ａ３は、第１画像又は第１画像から一部が抽出された第２画像に基づいて、ロボット１０Ａに対する端末装置４０の傾きを検出する。生成部３００ａ４は、検出部３００ａ３により検出された傾きに基づいて第１画像の傾きを補正することによって補正済み画像を生成し、補正済み画像に基づいて端末装置２０Ａの表示領域に表示される第３画像を生成する。変換部３００ａ５は、検出部３００ａ３により検出された傾きに基づいて、第２位置情報を第１タッチ操作によってタッチされる端末装置４０の表示領域における位置を示す第１位置情報に変換する。制御部３００ａ１は、第３画像を第２端末装置の表示領域に表示させ、第１位置情報に基づいてロボット１０Ａに第１タッチ操作を実行させる。本態様の制御装置によれば、第１画像又は第２画像に基づいて、ロボット１０Ａに対する端末装置４０の傾きを検出し、検出された傾きに基づいて第３画像を生成するので、遠隔地にいるユーザが端末装置２０Ａを用いて、端末装置４０を容易に操作することができる。更に、制御装置は、検出された傾きを考慮して、ロボット１０Ａに第１タッチ操作を実行させるので、ロボット１０Ａの操作精度が向上する。よって、制御装置は、端末装置２０Ａ及びロボット１０Ａを用いて端末装置４０の遠隔操作を行う際の操作性、及び操作精度を向上できる。

【0058】

より好ましい態様において、検出部３００ａ３は、端末装置４０の輪郭線又は端末装置４０の表示領域の輪郭線を第１画像から抽出してもよい。そして、検出部３００ａ３は、第１画像から抽出した輪郭線に基づいて端末装置４０の傾きを検出してもよい。本態様の制御装置は、第１画像から抽出される端末装置４０の輪郭線又は端末装置４０の表示領域の輪郭線に基づいて端末装置４０の傾きを補正した補正済み画像を生成できる。

【0059】

別の好ましい態様において、端末装置４０は、アプリケーションの実行指示を表示領域に表示されるアイコンに対する操作によって受け付けてもよい。アプリケーションの実行指示をアイコンに対する操作によって受け付ける場合、第１画像には、アイコンの画像が含まれ、当該アイコンの画像が第２画像とされてもよい。アイコンの画像が第２画像とされる態様では、検出部３００ａ３は、アイコンの画像に基づいて、端末装置４０の傾きを検出してもよい。本態様の制御装置は、第１画像に写っているアイコンの画像に基づいて補正済み画像を生成できる。

【0060】

更に好ましい態様においては、検出部３００ａ３は、アイコンの形状に基づいてロボット１０Ａに対する端末装置４０の傾きを検出してもよい。本態様の制御装置は、第１画像に写っているアイコンの形状に基づいて補正済み画像を生成できる。

【0061】

また別の好ましい態様においては、端末装置４０は、アプリケーションの実行指示を表示領域に表示される複数のアイコンのうち何れか一つのアイコンに対する操作によって受け付けてもよい。アプリケーションの実行指示をアイコンに対する操作により受け付ける場合、第１画像には、複数のアイコンの画像が含まれ、これら複数のアイコンの画像が第２画像とされてもよい。複数のアイコンの画像が第２画像とされる態様では、検出部３００ａ３は、複数のアイコンの配列に基づいて、端末装置４０の傾きを検出してもよい。本態様の制御装置は、第１画像に写っている複数のアイコンの配列に基づいて補正済み画像を生成できる。

【0062】

また別の好ましい態様においては、端末装置４０は、アプリケーションの実行指示を表示領域に表示されるアイコンに対する操作によって受け付けてもよい。アプリケーションの実行指示をアイコンに対する操作により受け付ける場合、第１画像には、アイコン及びアイコンに関する文字列の画像が含まれ、この文字列の画像が第２画像とされてもよい。文字列の画像が第２画像とされる態様では、検出部３００ａ３は、文字列の画像に基づいて、端末装置４０の傾きを検出してもよい。

【0063】

Ｂ．第２実施形態
次いで、本開示の第２実施形態について説明する。
図１０は、本開示の第２実施形態に係る遠隔操作システム１Ｂの構成例を示す図である。図１０では図１におけるものと同じ構成要素には同じ符号が付されている。図１０と図１とを対比すれば明らかなように、遠隔操作システム１Ｂは、端末装置２０Ａに代えて端末装置２０Ｂを有する点、及び制御装置３０Ａを有さない点において遠隔操作システム１Ａと異なる。端末装置２０Ｂは、端末装置２０Ａと同様に、端末装置４０を遠隔操作するためのユーザの操作を受け付ける情報処理装置である。また、端末装置２０Ｂは、制御装置３０Ａの役割を兼ねる。端末装置２０Ｂは、例えばスマートフォンである。以下、本実施形態の特徴を顕著に示す端末装置２０Ｂを中心に説明する。

【0064】

図１１は、端末装置２０Ｂの構成例を示す図である。図１１では、図３におけるものと同じ構成要素には同一の符号が付されている。図１１と図３とを対比すれば明らかなように、端末装置２０Ｂのハードウェア構成は端末装置２０Ａのハードウェア構成と同一である。即ち、端末装置２０Ｂは、処理装置２００、通信装置２１０、記憶装置２２０、表示装置２３０、及び入力装置２４０を備える。端末装置２０Ｂと端末装置２０Ａとの相違点は以下の二つである。第１の相違点はプログラム２２０ａ１に代えてプログラム２２０ｂ１が記憶装置２２０に記憶されている点である。第２の相違点は、第１変換情報３２０ａ２、第２変換情報３２０ａ３、アプリＤＢ３２０ａ４、及びテーブル３２０ａ５が記憶装置２２０に記憶される点である。

【0065】

端末装置２０Ｂの処理装置２００は、プログラム２２０ｂ１の実行開始を指示する操作を示す操作データを入力装置２４０から受け取ったことを契機としてプログラム２２０ｂ１を不揮発性メモリから揮発性メモリに読み出し、プログラム２２０ｂ１の実行を開始する。プログラム２２０ｂ１は、プログラム２２０１と同様に他のプログラムからの呼び出しにより実行さてもよい。プログラム２２０ｂ１に従って作動中の処理装置２００は、図１１に示すように、制御部３００ｂ１、取得部３００ｂ２、検出部３００ａ３、生成部３００ａ４、変換部３００ａ５、特定部３００ｂ６、及び更新部３００ａ７として機能する。制御部３００ｂ１、取得部３００ｂ２、検出部３００ａ３、生成部３００ａ４、変換部３００ａ５、特定部３００ｂ６、及び更新部３００ａ７は、プログラム２２０ｂ１に従って処理装置２００を作動させることで実現されるソフトウェアモジュールである。以下、第１実施形態との相違点である制御部３００ｂ１、取得部３００ｂ２、及び特定部３００ｂ６の各部が担う機能を、処理装置２００がプログラム２２０ｂ１に従って実行する動作に即して説明する。

【0066】

端末装置２０Ｂの処理装置２００がプログラム２２０ｂ１に従って実行する動作は、第１実施形態と同様に、表示動作と、遠隔操作動作と、に大別される。表示動作とは、端末画像を表示装置２３０に表示させる動作である。遠隔操作動作とは、表示装置２３０の表示領域に対して為されたタッチ操作に応じてロボット１０Ａを作動させ、端末装置４０に対するタッチ操作をロボット１０Ａに実行させる動作である。

【0067】

図１２は、表示動作の流れを示すフローチャートである。図１２に示す表示動作は、通信装置２１０による撮像画像の受信を契機として開始される。図１２では、図６におけるものと同じ処理には同じ符号が付されている。図１２と図６とを対比すれば明らかなように、本実施形態における表示動作と第１実施形態における表示動作との相違点は以下の二つである。第１の相違点は、表示制御処理ＳＡ１４０に代えて表示制御処理ＳＢ１４０が実行される点である。そして、第２の相違点は、特定処理ＳＢ２３０及び更新処理ＳＡ２４０を含む点である。

【0068】

第１取得処理ＳＡ１１０では、端末装置２０Ｂの処理装置２００は取得部３００ｂ２として機能する。第１取得処理ＳＡ１１０では、取得部３００ｂ２は、ロボット１０Ａから送信された撮像画像を通信装置３１０から取得する。第１取得処理ＳＡ１１０に後続する検出処理ＳＡ１２０では、端末装置２０Ｂの処理装置２００は検出部３００ａ３として機能する。検出部３００ａ３は、取得部３００ｂ２により取得した撮像画像に基づいて、ロボット１０Ａに対する端末装置４０の傾きを検出する。本実施形態では、検出部３００ａ３は、第１実施形態と同様に、第１態様の検出方法により、ロボット１０Ａに対する端末装置４０の傾きを検出する。検出処理ＳＡ１２０に後続する生成処理ＳＡ１３０では、端末装置２０Ｂの処理装置２００は生成部３００ａ４として機能する。生成部３００ａ４は、取得部３００ｂ２により取得した撮像画像に基づいて端末画像を生成する。また、生成部３００ａ４は、第１変換情報３２０ａ２を生成し、生成した第１変換情報３２０ａ２を記憶装置２２０の揮発性メモリに記憶させる。

【0069】

本実施形態の表示動作において生成処理ＳＡ１３０に後続する表示制御処理ＳＢ１４０では、端末装置２０Ｂの処理装置２００は、制御部３００ｂ１として機能する。つまり、表示制御処理ＳＢ１４０は、制御部３００ｂ１により実行される処理である。表示制御処理ＳＢ１４０では、制御部３００ｂ１は、生成処理ＳＡ１３０にて生成された端末画像を表示装置２３０に表示させる。

【0070】

表示制御処理ＳＢ１４０に後続する特定処理ＳＢ２３０では、端末装置２０Ｂの処理装置２００は特定部３００ｂ６として機能する。つまり、特定処理ＳＢ２３０は、特定部３００ｂ６により実行される処理である。特定部３００ｂ６は、端末装置４０の表示領域に表示されている複数の第１アイコンのうち第１タッチ操作によって選択された一の第１アイコンを、第１取得処理ＳＡ１１０にて取得した撮像画像に基づいて特定する。より具体的には、特定部３００ｂ６は、指示体１４２の発光部が発光状態となった撮像画像において指示体１４２の位置している第１アイコンを、第１タッチ操作によって選択された一の第１アイコンとして特定する。

【0071】

特定処理ＳＢ２３０に後続する更新処理ＳＡ２４０では、端末装置２０Ｂの処理装置２００は更新部３００ａ７として機能する。更新部３００ａ７は、特定部３００ｂ６により特定された第１アイコンに対応するアプリケーションの種類に応じたフレームレートを、テーブル３２０ａ５を参照して特定する。そして、更新部３００ａ７は、撮像画像のフレームレートをテーブル３２０ａ５を参照して特定したフレームレートに更新することを指示する更新指示を通信装置３１０を介してロボット１０Ａへ送信することによって、撮像画像のフレームレートをロボット１０Ａに更新させる。

【0072】

図１３は、本実施形態における遠隔操作動作の流れを示すフローチャートである。この遠隔操作動作は、入力装置２４０によるタッチ操作の検知を契機として開始される。図１３では、図９におけるものと同じ処理には同じ符号が付されている。図１３と図９とを対比すれば明らかなように、本実施形態における遠隔操作動作は、以下の二つの点において第１実施形態の遠隔操作動作と異なる。第１の相違点は、第２取得処理ＳＡ２１０に代えて第２取得処理ＳＢ２１０が実行される点である。第２の相違点は、特定処理ＳＡ２３０及び更新処理ＳＡ２４０を含まない点である。本実施形態における遠隔操作動作に特定処理ＳＡ２３０及び更新処理ＳＡ２４０が含まれていないのは、これらに対応する処理が表示動作に含まれているからである。

【0073】

第２取得処理ＳＢ２１０では、端末装置２０Ｂの処理装置２００は、取得部３００ｂ２として機能する。つまり、第２取得処理ＳＢ２１０は取得部３００ｂ２により実行される処理である。第２取得処理ＳＢ２１０では、取得部３００ｂ２は、表示装置２３０の表示領域に対するタッチ操作を示す情報、即ち第２位置情報、を入力装置２４０から取得する。

【0074】

第２取得処理ＳＢ２１０に後続する変換処理ＳＡ２２０では、端末装置２０Ｂの処理装置２００は変換部３００ａ５として機能する。変換部３００ａ５は、取得部３００ｂ２により取得した第２位置情報を、第１変換情報３２０ａ２と第２変換情報３２０ａ３とを用いて第１位置情報に変換する。

【0075】

変換処理ＳＡ２２０に後続する操作制御処理ＳＡ２５０では、端末装置２０Ｂの処理装置２００は制御部３００ｂ１として機能する。操作制御処理ＳＡ２５０では、制御部３００ｂ１は、変換部３００ａ５による変換で得られた第１位置情報を含む操作指示をロボット１０Ａへ送信することによって、当該第１位置情報の示す位置をタッチするタッチ操作をロボット１０Ａに実行させる。

【0076】

本実施形態においても、端末装置２０Ｂでは、ロボット１０Ａに対する傾きを補正済みの端末画像に対してタッチ操作を行うことができるので操作性が向上する。また、本実施形態では、端末装置２０Ｂの表示領域に対するタッチ位置を示す第２位置情報は第１変換情報３２０ａ２及び第２変換情報３２０ａ３を用いて第１位置情報に変換されるので、変換精度が向上し、遠隔操作の操作精度が向上する。また、本実施形態の遠隔操作システム１Ｂでは、ロボット１０Ａが端末装置４０を撮像する際のフレームレートが、第１タッチ操作により実行を指示されたアプリケーションの種類に応じた設定されるので、通信量を無駄に増やすことなく、アプリケーションを実行中の端末装置４０を当該アプリケーションに好適なフレームレートで撮像することが可能になる。
加えて、本実施形態によれば、制御装置３０Ａを設けない分だけ、遠隔操作システム１Ｂの構築コストを遠隔操作システム１Ａの構築コストよりも引き下げることが可能になる。

【0077】

以上説明した第２実施形態は以下のように変形されてもよい。
（Ｂ１）端末装置４０に実行させるアプリは、取得部３００ｂ２により取得した第２位置情報に基づいて特定されてもよい。端末装置４０に実行させるアプリを第２位置情報に基づいて特定する態様は、特定部３００ｂ６を特定部３００ａ６に置き換えることにより実現される。
（Ｂ２）第１タッチ操作により実行を指示されたアプリケーションの種類に応じた設定の変更が不要である場合には、アプリＤＢ３２０ａ４、テーブル３２０ａ５、特定部３００ｂ６及び更新部３００ａ７は省略されてもよい。
（Ｂ３）特定部３００ｂ６は、撮像画像において指示体１４２の発光部が発光状態となったことを検出し、検出された発光部の位置に位置している第１アイコンを、第１タッチ操作によって選択された一の第１アイコンとして特定したが、これに限定されない。移動機構は第１タッチ操作において、指示体１４２を下方向に移動させる。この移動において、指示体１４２が端末装置４０と接触すると、移動機構は反力を検出し、検出したことを示す検出信号を出力する。特定部３００ｂ６は、検出信号が有効な状態において、撮像画像に基づいて指示体１４２の位置を検出し、検出した位置に位置している第１アイコンを、第１タッチ操作によって選択された一の第１アイコンとして特定してもよい。

【0078】

以上に説明した第２実施形態及び第２実施形態の各変形例から把握される本開示の制御装置の一態様は、端末装置４０の表示領域に対して第１タッチ操作を行うロボット１０Ａを制御する制御装置であって、表示装置２３０及び入力装置２４０により構成されるタッチパネル、取得部３００ｂ２、検出部３００ａ３、生成部３００ａ４、変換部３００ａ５、及び制御部３００ｂ１を備える。タッチパネルは、画像を表示する表示領域を備え、表示領域に対する第２タッチ操作を受け付ける。取得部３００ｂ２は、ロボット１０Ａが端末装置４０を撮像した第１画像と、第２タッチ操作によってタッチされたタッチパネルの表示領域における位置を示す第２位置情報とを取得する。検出部３００ａ３は、第１画像又は前記第１画像から一部が抽出された第２画像に基づいて、ロボット１０Ａに対する端末装置４０の傾きを検出する。生成部３００ａ４は、検出部３００ａ３により検出された傾きに基づいて第１画像の傾きを補正することによって補正済み画像を生成し、補正済み画像に基づいてタッチパネルの表示領域に表示される第３画像を生成する。変換部３００ａ５は、検出部３００ａ３により検出された傾きに基づいて、第２位置情報を第１タッチ操作によってタッチされる端末装置４０の表示領域における位置を示す第１位置情報に変換する。制御部３００ｂ１は、第３画像をタッチパネルの表示領域に表示させ、第１位置情報に基づいてロボット１０Ａに第１タッチ操作を実行させる。本態様の制御装置によれば、ロボット１０Ａを用いて端末装置４０の遠隔操作を行う際の操作性、及び操作精度が向上する。

【0079】

３．第３実施形態
次いで、本開示の第３実施形態について説明する。
図１４は、本開示の第３実施形態に係る遠隔操作システム１Ｃの構成例を示す図である。図１４では図１におけるものと同じ構成要素には同じ符号が付されている。図１４と図１とを対比すれば明らかなように、遠隔操作システム１Ｃは、ロボット１０Ａに代えてロボット１０Ｃを有する点、及び制御装置３０Ａを有さない点において遠隔操作システム１Ａと異なる。ロボット１０Ｃは、端末装置２０Ａに対するユーザの操作に応じて端末装置４０に対するタッチ操作を行う点では制御装置３０Ａと同一である。ロボット１０Ｃは、制御装置３０Ａの役割を兼ねる点においてロボット１０Ａと異なる。また、ロボット１０Ｃは、撮像装置１３０の設定を自律更新する点においてもロボット１０Ａと異なる。以下、本実施形態の特徴を顕著に示すロボット１０Ｃを中心に説明する。

【0080】

図１５は、ロボット１０Ｃの構成例を示す図である。図１５では、図２におけるものと同じ構成要素には同一の符号が付されている。図１５と図２とを対比すれば明らかなように、ロボット１０Ｃのハードウェア構成はロボット１０Ａのハードウェア構成と同一である。即ち、ロボット１０Ｃは、処理装置１００、通信装置１１０、記憶装置１２０、撮像装置１３０、及び操作装置１４０を備える。ロボット１０Ｃとロボット１０Ａとの相違点は以下の二つである。第１の相違点はプログラム１２０ａ１に代えてプログラム１２０ｃ１が記憶装置１２０に記憶されている点である。第２の相違点は、第１変換情報３２０ａ２、第２変換情報３２０ａ３、アプリＤＢ３２０ａ４、及びテーブル３２０ａ５が記憶装置１２０に記憶される点である。

【0081】

ロボット１０Ｃの処理装置１００は、ロボット１０Ｃの電源投入を契機としてプログラム１２０ｃ１を不揮発性メモリから揮発性メモリに読み出し、プログラム１２０ｃ１の実行を開始する。プログラム１２０ｃ１に従って作動中の処理装置１００は、図１５に示すように、制御部３００ｃ１、取得部３００ｃ２、検出部３００ａ３、生成部３００ａ４、変換部３００ａ５、特定部３００ｂ６、及び更新部３００ｃ７として機能する。制御部３００ｃ１、取得部３００ｃ２、検出部３００ａ３、生成部３００ａ４、変換部３００ａ５、特定部３００ｂ６、及び更新部３００ｃ７は、プログラム１２０ｃ１に従って処理装置１００を作動させることで実現されるソフトウェアモジュールである。以下、第１実施形態及び第２実施形態との相違点である制御部３００ｃ１、取得部３００ｃ２、及び更新部３００ｃ７の各部が担う機能を、処理装置１００がプログラム１２０ｃ１に従って実行する動作に即して説明する。

【0082】

ロボット１０Ｃの処理装置１００がプログラム１２０ｃ１に従って実行する動作は、第１実施形態及び第２実施形態と同様に、表示動作と、遠隔操作動作と、に大別される。

【0083】

図１６は、本実施形態における表示動作の流れを示すフローチャートである。この表示動作は、撮像装置１３０による端末装置４０の撮像を契機として開始される。図１６では、図６におけるものと同じ処理には同じ符号が付されている。図１６と図６とを対比すれば明らかなように、本実施形態における表示動作と第１実施形態における表示動作との相違点は以下の二つである。第１の相違点は、第１取得処理ＳＡ１１０に代えて第１取得処理ＳＣ１１０が実行される点である。そして、第２の相違点は、特定処理ＳＢ２３０及び更新処理ＳＣ２４０を含む点である。

【0084】

第１取得処理ＳＣ１１０では、ロボット１０Ｃの処理装置１００は、取得部３００ｃ２として機能する。つまり、第１取得処理ＳＣ１１０は、取得部３００ｃ２により実行される処理である。第１取得処理ＳＣ１１０では、取得部３００ｃ２は、撮像装置１３０から撮像画像を取得する。

【0085】

第１取得処理ＳＣ１１０に後続する検出処理ＳＡ１２０では、ロボット１０Ｃの処理装置１００は検出部３００ａ３として機能する。検出部３００ａ３は、取得部３００ｃ２により取得した撮像画像に基づいて、ロボット１０Ｃに対する端末装置４０の傾きを検出する。本実施形態では、検出部３００ａ３は、第１実施形態と同様に、第１態様の検出方法により、ロボット１０Ｃに対する端末装置４０の傾きを検出する。検出処理ＳＡ１２０に後続する生成処理ＳＡ１３０では、ロボット１０Ｃの処理装置１００は生成部３００ａ４として機能する。生成部３００ａ４は、取得部３００ｃ２により取得した撮像画像に基づいて、検出部３００ａ３により検出された傾きを補正済みの端末画像を生成する。また、生成部３００ａ４は、第１変換情報３２０ａ２を生成し、生成した第１変換情報３２０ａ２を記憶装置１２０の揮発性メモリに記憶させる。

【0086】

生成処理ＳＡ１３０に後続する表示制御処理ＳＡ１４０では、ロボット１０Ｃの処理装置１００は、制御部３００ｃ１として機能する。つまり、本実施形態における表示制御処理ＳＡ１４０は、制御部３００ｃ１により実行される処理である。表示制御処理ＳＡ１４０では、制御部３００ｃ１は、生成処理ＳＡ１３０にて生成された端末画像を通信装置１１０を介して端末装置２０Ａへ送信することによって、端末画像を端末装置２０Ａに表示させる。端末装置４０の表示領域に複数の第１アイコンが表示されている場合、端末装置２０Ａの表示領域に複数の第１アイコンに１対１に対応する複数の第２アイコンが表示される。端末装置２０Ａでは、傾きを補正済みの端末画像が表示装置２３０に表示される。本実施形態では、傾きを補正済みの端末画像に対してタッチ操作が為されるので、操作性が向上する。

【0087】

本実施形態の表示動作において表示制御処理ＳＡ１４０に後続する特定処理ＳＢ２３０では、ロボット１０Ｃの処理装置１００は特定部３００ｂ６として機能する。特定部３００ｂ６は、端末装置４０の表示領域に表示されている複数の第１アイコンのうち第１タッチ操作によって選択された一の第１アイコンを、第１取得処理ＳＡ１１０にて取得した撮像画像に基づいて特定する。

【0088】

本実施形態の表示動作において特定処理ＳＢ２３０に後続する更新処理ＳＣ２４０では、ロボット１０Ｃの処理装置１００は、更新部３００ｃ７として機能する。つまり、更新処理ＳＣ２４０は、更新部３００ｃ７により実行される処理である。更新処理ＳＣ２４０では、更新部３００ｃ７は、特定部３００ｂ６により特定された第１アイコンに対応するアプリケーションの種類に応じたフレームレートを特定する。この特定方法は、第１実施形態における更新処理ＳＡ２４０における特定方法と同じである。更新部３００ｃ７は、撮像画像のフレームレートを特定部３００ｂ６により特定されたフレームレートに更新する。

【0089】

図１７は、本実施形態における遠隔操作動作の流れを示すフローチャートである。この遠隔操作動作は、通信装置１１０を介して第２位置情報を受信したこと契機として実行される。図１７では、図９におけるものと同じ処理には同じ符号が付されている。図１７と図９とを対比すれば明らかなように、本実施形態における遠隔操作動作は、以下の二つの点において第１実施形態の遠隔操作動作と異なる。第１の相違点は、操作制御処理ＳＡ２５０に代えて操作制御処理ＳＣ２５０が実行される点である。第２の相違点は、特定処理ＳＡ２３０及び更新処理ＳＡ２４０を含まない点である。本実施形態における遠隔操作動作に特定処理ＳＡ２３０及び更新処理ＳＡ２４０が含まれていないのは、これらに対応する処理が表示動作に含まれているからである。

【0090】

本実施形態の遠隔操作動作における第２取得処理ＳＡ２１０では、ロボット１０Ｃの処理装置１００は取得部３００ｃ２として機能する。つまり、本実施形態における第２取得処理ＳＡ２１０は取得部３００ｃ２により実行される処理である。第２取得処理ＳＡ２１０では、取得部３００ｃ２は、端末装置２０Ａから送信された第２位置情報を通信装置３１０から取得する。第２取得処理ＳＡ２１０に後続する変換処理ＳＡ２２０では、ロボット１０Ｃの処理装置１００は変換部３００ａ５として機能する。変換部３００ａ５は、取得部３００ｃ２により取得した第２位置情報を第１変換情報３２０ａ２と第２変換情報３２０ａ３とを用いて第１位置情報に変換する。

【0091】

本実施形態の遠隔操作動作において変換処理ＳＡ２２０に後続して実行される操作制御処理ＳＣ２５０では、ロボット１０Ｃの処理装置１００は制御部３００ｃ１として機能する。つまり、操作制御処理ＳＣ２５０は、制御部３００ｃ１により実行される処理である。操作制御処理ＳＣ２５０では、制御部３００ｃ１は、変換処理ＳＡ２２０にて変換された第１位置情報に従って操作装置１４０の駆動制御を行い、第１位置情報の示す位置をタッチする。

【0092】

本実施形態によっても、第１実施形態と同様に、遠隔操作における操作性、及び操作精度が向上する。また、本実施形態では、撮像画像のフレームレートを、第１タッチ操作により実行を指示されるアプリケーションの種類に応じてロボット１０Ｃに自律更新させることができる。
加えて、本実施形態によれば、制御装置３０Ａを設けない分だけ、遠隔操作システム１Ｃの構築コストを遠隔操作システム１Ａの構築コストよりも引き下げることが可能になる。

【0093】

以上説明した第３実施形態は以下のように変形されてもよい。
（Ｃ１）端末装置４０に実行させるアプリは、取得部３００ｂ２により取得した第２位置情報に基づいて特定されてもよい。端末装置４０に実行させるアプリを第２位置情報に基づいて特定する態様は、特定部３００ｂ６を特定部３００ａ６に置き換えることにより実現される。
（Ｃ２）第１タッチ操作により実行を指示されたアプリケーションの種類に応じた設定の変更が不要である場合には、アプリＤＢ３２０ａ４、テーブル３２０ａ５、特定部３００ｂ６及び更新部３００ｃ７は省略されてもよい。

【0094】

以上に説明した第３実施形態及び第３実施形態の各変形例から把握される本開示のロボットの一態様は、端末装置４０の表示領域に対して第１タッチ操作を、端末装置２０Ａの表示領域に対する第２タッチ操作に基づいて実行するロボットであって、撮像装置１３０、操作装置１４０、及び処理装置１００を含む。操作装置１４０は、端末装置４０と撮像装置１３０との間に位置し、端末装置４０に対して第１タッチ操作を行う。処理装置１００は、取得部３００ｃ２、検出部３００ａ３、生成部３００ａ４、変換部３００ａ５、及び制御部３００ｃ１を備える。取得部３００ｃ２は、撮像装置１３０によって端末装置４０が撮像された第１画像と、第２タッチ操作によってタッチされた端末装置２０Ａの表示領域における位置を示す第２位置情報とを取得する。検出部３００ａ３は、第１画像又は第１画像から一部が抽出された第２画像に基づいて、当該ロボットに対する端末装置４０の傾きを検出する。生成部３００ａ４は、検出部３００ａ３により検出された傾きに基づいて第１画像の傾きを補正することによって補正済み画像を生成し、補正済み画像に基づいて端末装置２０Ａの表示領域に表示される第３画像を生成する。変換部３００ａ５は、検出部３００ａ３により検出された傾きに基づいて、第２位置情報を第１タッチ操作によってタッチされる端末装置４０の表示領域における位置を示す第１位置情報に変換する。制御部３００ｃ１は、第３画像を端末装置２０Ａの表示領域に表示させ、第１位置情報に基づいて第１タッチ操作を操作装置１４０に実行させる。本態様のロボットによれば、端末装置２０Ａを用いて端末装置４０を遠隔操作する際の操作性、及び操作精度が向上する。

【0095】

より好ましい態様のロボットにおいては、操作装置１４０は、端末装置４０に対する入力を行うための指示体１４２と、撮像装置１３０の撮像範囲内で指示体１４２を移動させるアーム１４４と、を含でもよい。操作装置１４０が、指示体１４２と、指示体１４２を移動させるアーム１４４とを含む場合、アーム１４４は透明素材で形成されることが好ましい。本態様によれば、アーム１４４が、撮像装置１３０による端末装置４０の撮像の妨げとなることを回避できる。

【0096】

以上に説明した第３実施形態及び第３実施形態の各変形例から把握される本開示の制御装置の一態様は、端末装置４０の表示領域に対して第１タッチ操作を行うロボット１０Ｃに含まれ、端末装置２０Ａの表示領域に対する第２タッチ操作に基づいて第１タッチ操作を制御する制御装置であって、取得部３００ｃ２、検出部３００ａ３、生成部３００ａ４、変換部３００ａ５、及び制御部３００ｃ１を備える。取得部３００ｃ２は、ロボット１０Ｃが端末装置４０を撮像した第１画像と、第２タッチ操作によってタッチされた端末装置２０Ａの表示領域における位置を示す第２位置情報とを取得する。検出部３００ａ３は、第１画像又は第１画像から一部が抽出された第２画像に基づいて、ロボット１０Ｃに対する端末装置４０の傾きを検出する。生成部３００ａ４は、検出部３００ａ３により検出された傾きに基づいて第１画像の傾きを補正することによって補正済み画像を生成し、補正済み画像に基づいて端末装置２０Ａの表示領域に表示される第３画像を生成する。変換部３００ａ５は、検出部３００ａ３により検出された傾きに基づいて、第２位置情報を第１タッチ操作によってタッチされる端末装置４０の表示領域における位置を示す第１位置情報に変換する。制御部３００ｃ１は、第３画像を端末装置２０Ａの表示領域に表示させ、第１位置情報に基づいて第１タッチ操作を実行する。本態様の制御装置によれば、端末装置２０Ａ及びロボット１０Ｃを用いて端末装置４０を遠隔操作する際の操作性、及び操作精度が向上する。

【0097】

Ｄ．他の変形例
各実施形態は、以下のように更に変形されてもよい。
（Ｄ１）上記各実施形態における端末装置４０はスマートフォンであったが、タブレット端末であってもよい。同様に、第１実施形態及び第３実施形態における端末装置２０Ａもタブレット端末であってもよい。第２実施形態における端末装置２０Ｂも、同様にタブレット端末であってもよい。第１実施形態における制御部３００ａ１、取得部３００ａ２、検出部３００ａ３、生成部３００ａ４、変換部３００ａ５、特定部３００ａ６、及び更新部３００ａ７の一部又は全部がハードウェアであってもよい。このハードウェアの一例としては、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、及びＦＰＧＡ（Field Programmable Gate Array）が挙げられる。制御部３００ａ１、取得部３００ａ２、検出部３００ａ３、生成部３００ａ４、変換部３００ａ５、特定部３００ａ６、及び更新部３００ａ７の一部又は全部がハードウェアであっても、上記第１実施形態と同一の効果が奏される。同様に、制御部１００ａ１、２００ａ１、３００ｂ１、及び３００ｃ１もハードウェアであってもよい。また、取得部３００ｂ２、取得部３００ｃ２、特定部３００ｂ６、及び更新部３００ｃ７もハードウェアであってもよい。
つまり、上記実施形態に開示された各機能は、ハードウェア及びソフトウェアの任意の組合せによって実現される。また、各機能は、単体の装置によって実現されてもよいし、相互に別体で構成された２個以上の装置によって実現されてもよい。

【0098】

（Ｄ２）検出部３００ａ３は、アプリＤＢ３２０ａ４に格納された各アプリのアイコンと端末装置４０の撮像画像から抽出したアイコンの画像との突合により端末装置４０の傾きを検出してもよい。具体的には、検出部３００ａ３は、撮像画像から抽出したアイコンの画像を所定の角度ずつ回転させながら、アプリＤＢ３２０ａ４に格納された各アイコンの画像とのパターンマッチングを行い、アプリＤＢ３２０ａ４に格納された複数のアイコンの画像の何れかと一致したときの角度を、端末装置４０の傾き角度とする。

【0099】

（Ｄ３）上記第１実施形態では、プログラム３２０ａ１が記憶装置３２０に記憶済であった。しかし、プログラム３２０ａ１は単体で製造又は配布されてもよい。プログラム３２０ａ１の具体的な配布方法としては、フラッシュＲＯＭ（Read Only Memory）等のコンピュータ読み取り可能な記録媒体にプログラム３２０ａ１を書き込んで配布する態様、又はインターネット等の電気通信回線経由のダウンロードにより配布する態様が考えられる。当該プログラム３２０ａ１をパーソナルコンピュータ等の一般的な情報処理装置にインストールし、当該情報処理装置のＣＰＵ等のコンピュータを当該プログラム３２０ａ１に従って作動させることで当該情報処理装置を本開示の制御装置として機能させることが可能になる。プログラム２２０ｂ１及びプログラム１２０ｃ１も単体で製造又は配布されてもよい。

【0100】

（Ｄ４）上記各実施形態では、記憶装置１２０は、処理装置１００が読取可能な記録媒体であり、ＲＯＭ及びＲＡＭなどを例示したが、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリデバイス（例えば、カード、スティック、キードライブ）、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。記憶装置２２０及び記憶装置３２０も同様である。また、プログラムは、電気通信回線を介してネットワークから送信されても良い。また、プログラムは、電気通信回線を介して通信網から送信されても良い。なお、基地局は、入力キーなどの入力装置や、ディスプレイなどの出力装置を含んでいてもよい。

【0101】

（Ｄ５）上記各実施形態は、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ－Ａ（ＬＴＥ－Ａｄｖａｎｃｅｄ）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Ｆｕｔｕｒｅ Ｒａｄｉｏ Ａｃｃｅｓｓ）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ｕｌｔｒａ Ｍｏｂｉｌｅ Ｂｒｏａｄｂａｎｄ）、ＩＥＥＥ ８０２．１１（Ｗｉ－Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ｕｌｔｒａ－ＷｉｄｅＢａｎｄ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。

【0102】

（Ｄ６）上記各実施形態において、説明した情報及び信号などは、様々な異なる技術の何れかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

【0103】

（Ｄ７）上記各実施形態において、入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

【0104】

（Ｄ８）上記各実施形態において、判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Ｂｏｏｌｅａｎ：ｔｒｕｅ又はｆａｌｓｅ）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

【0105】

（Ｄ９）上記各実施形態で例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード又はハードウェア記述言語と呼ばれるか、他の名称によって呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順又は機能等を意味するよう広く解釈されるべきである。また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

【0106】

（Ｄ１０）上記各実施形態において、端末装置２０Ａ、２０Ｂ、又は４０は、移動局である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。

【0107】

（Ｄ１１）上記各実施形態において、「接続された（ｃｏｎｎｅｃｔｅｄ）」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。本明細書で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及び／又はプリント電気接続を使用することにより、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどの電磁エネルギーを使用することにより、互いに「接続」されると考えることができる。

【0108】

（Ｄ１２）上記各実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

【0109】

（Ｄ１３）「含む（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、及びそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。更に、本明細書あるいは特許請求の範囲において使用されている用語「又は（ｏｒ）」は、排他的論理和ではないことが意図される。

【0110】

（Ｄ１４）本願の全体において、例えば、英語におけるａ、ａｎ及びｔｈｅのように、翻訳によって冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数を含む。

【0111】

（Ｄ１５）本発明が本明細書中に説明した実施形態に限定されないことは当業者にとって明白である。本発明は、特許請求の範囲の記載に基づいて定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施できる。従って、本明細書の記載は、例示的な説明を目的とし、本発明に対して何ら制限的な意味を有さない。また、本明細書に例示した態様から選択された複数の態様を組合わせてもよい。

【符号の説明】

【0112】

１Ａ，１Ｂ，１Ｃ…遠隔操作システム、１０Ａ，１０Ｃ…ロボット、２０Ａ，２０Ｂ，４０…端末装置、３０Ａ…制御装置、１００，２００，３００…処理装置、１１０，２１０，３１０…通信装置、１２０，２２０，３２０…記憶装置、１３０…撮像装置、１４０…操作装置、１４２…指示体、１４４…アーム、２３０…表示装置、２４０…入力装置、１００ａ１，２００ａ１，３００ａ１，３００ｂ１，３００ｃ１…制御部、３００ａ２，３００ｂ２，３００ｃ２…取得部、３００ａ３…検出部、３００ａ４…生成部、３００ａ５…変換部、３００ａ６，３００ｂ６…特定部、３００ａ７，３００ｃ７…更新部、３２０ａ２…第１変換情報、３２０ａ３…第２変換情報、３２０ａ４…アプリＤＢ、３２０ａ５…テーブル。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】