特許 7265305 遠隔制御システム及び端末装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-04-18

(45)【発行日】2023-04-26

(54)【発明の名称】遠隔制御システム及び端末装置

(51)【国際特許分類】

   G06F 3/048 20130101AFI20230419BHJP

【ＦＩ】

G06F3/048

【請求項の数】 3

(21)【出願番号】P 2023505812

(86)(22)【出願日】2022-10-18

(86)【国際出願番号】 JP2022038782

【審査請求日】2023-01-26

(31)【優先権主張番号】P 2021173877

(32)【優先日】2021-10-25

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】513190830

【氏名又は名称】Ｆａｉｒｙ Ｄｅｖｉｃｅｓ株式会社

(74)【代理人】

【識別番号】100116850

【弁理士】

【氏名又は名称】廣瀬 隆行

(74)【代理人】

【識別番号】100165847

【弁理士】

【氏名又は名称】関 大祐

(72)【発明者】

【氏名】藤野 真人

(72)【発明者】

【氏名】久池井 淳

(72)【発明者】

【氏名】竹崎 雄一郎

【審査官】塩屋 雅弘

(56)【参考文献】

【文献】特開２００９－２２３４１２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２１／００９９３２０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

３／０４８－３／０４８９５

１１／ ０７

１１／２８－１１／３６

(57)【特許請求の範囲】

【請求項1】

表示部を有しない端末装置と、ネットワークを介して前記端末装置と接続された遠隔制御装置とを含む、前記端末装置の遠隔制御システムであって、
前記端末装置は、
一又は複数の入出力部と、
前記入出力部を利用するプログラムを格納した記憶部と、
前記プログラムを操作するためのグラフィックユーザインターフェース（ＧＵＩ）画面を生成するＧＵＩ部と、
前記遠隔制御装置からの命令情報に基づいて前記ＧＵＩ画面を介して前記プログラムを操作する操作処理部と、
前記ＧＵＩ画面上の少なくとも一部の領域のＧＵＩ画像を取得するキャプチャ部と、
前記ＧＵＩ画像を前記ネットワークを介して前記遠隔制御装置に送信する画像送信部と、を有し、
前記遠隔制御装置は、
前記プログラムの操作の結果に関連する前記ＧＵＩ画面上の複数の参照画像を記憶した画像記憶部と、
前記端末装置から受信した前記ＧＵＩ画像が前記参照画像と一致するか否かを判断し、その判断結果に応じて前記端末装置に実行させる処理を分岐させる画像検証部とを有する
遠隔制御システム。

【請求項2】

前記遠隔制御装置は、前記ＧＵＩ画面上の座標情報、クリック情報、及び文字入力情報のうちの１つ以上を含む命令情報を前記端末装置に送信する命令送信部を、さらに有する
請求項１に記載の遠隔制御システム。

【請求項3】

前記命令情報は予め手順が定めれたものであり、
前記命令送信部は、複数の前記命令情報を前記手順に従って自動的に前記端末装置に送信する
請求項２に記載の遠隔制御システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、端末装置の遠隔制御システムに関する。また、本発明は、その端末装置自体に関するものでもある。

【背景技術】

【0002】

本願出願人は、小型で多機能な首掛け型のウェアラブルデバイスを提案している（例えば特許文献１）。この首掛け型装置は、カメラや、スピーカ、マイク、ジェスチャーセンサ等の入出力機器を備えており、対話している者同士の会話の録音や解析、カメラによる撮影画像の解析を行うことができる。また、この首掛け型装置は、ネットワークを介して外部の支援装置と接続できるように構成されている。このため、首掛け型装置を現場の作業者に装着させ、支援装置からこの首掛け型装置に対して音声等で支援情報を伝達することで、現場の作業者を遠隔地から支援することができる。

【0003】

また、この首掛け型装置は、モニタやディスプレイといった表示装置を搭載しないことにより装置全体の小型化を達成している。このため、カメラやマイクのオン／オフ等の操作は、ジェスチャーセンサが検出した動作やマイクに対する音声入力によって行われる。

【0004】

この首掛け型装置のように、表示装置を有しない装置は、ＣＵＩ（Character User Interface）ベースのＯＳ（Operating System）によって制御することが一般的である。ユーザインターフェースとしてはこのＣＵＩの他にＧＵＩ（Graphical User Interface）がよく知られているが、表示装置を有しない装置にＧＵＩベースのＯＳを搭載してても、ユーザが視覚的な操作によってコンピュータに命令等を出すことができるというＧＵＩの恩恵を受けられない。一方で、ＣＵＩは、装置に入力された文字列によってＯＳ上のプログラムの操作などを行うものであることから、処理の自動化が容易であったり、プログラムの作成を簡略化できたりするというメリットがある。このため、表示装置を有しない装置については、ＧＵＩを搭載するメリットが少ない一方で、ＣＵＩを搭載するメリットが大きいことから、通常はＣＵＩベースのＯＳによって制御されることとなる。

【0005】

また、近年では、人間がキーボードやマウスを用いて行う単純作業や定型作業をソフトウェアロボトットによって自動的に実行するＲＰＡ（Robotic Process Automation）が普及している（例えば特許文献２）。首掛け型装置をＰＲＡプログラムによって自動制御する場合、ＣＵＩベースでソフトウェアロボットに実行させる作業のシナリオを作成し、このシナリオに沿って首掛け型装置の持つ各種機能を自動的に実行させることとなる。また、首掛け型装置を支援装置によって遠隔制御する場合、支援装置にてＰＲＡプログラムを実行し、所定の制御命令だけを首掛け型装置に送信することも提案されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０２１－０８２８０２号公報

【文献】特開２０２０－１５５０１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ところで、首掛け型装置のように表示装置を有しない端末装置をＲＰＡプログラムで遠隔で自動制御する場合、端末装置に発生したエラー状態を検知できない可能性がある。その場合、遠隔側の支援装置から制御命令を端末装置に送り続けることとなるが、端末装置ではこの制御命令に従った処理を実行できない。このように、従来は、表示装置を有しない端末装置をＲＰＡプログラムによって遠隔から自動制御することは困難であるとされていた。

【0008】

そこで、本発明は、表示装置を有しない端末装置を効率的に遠隔制御できるシステム又は端末装置自体を提供することを主な目的とする。

【課題を解決するための手段】

【0009】

本発明の第１の側面は、遠隔制御システムに関する。遠隔制御システムは、端末装置と遠隔制御装置を含む。端末装置は、ディスプレイやモニタなどの表示部を有しないものである。遠隔制御装置は、インターネット等のネットワークを介して端末装置と接続されている。端末装置は、一又は複数の入出力部、記憶部、ＧＵＩ部、操作処理部、キャプチャ部、及び画像送信部を有する。入出力部は、情報を入力又は出力するための装置であり、デジタルカメラ、マイク、その他の各種センサ等の入力部と、スピーカ、プリンタ、アクチュエータ等の出力部を含む。なお、この入出力部には表示部は含まれない。記憶部は、入出力部を利用するプログラムを格納している。ＧＵＩ部は、プログラムを操作するためのＧＵＩ画面を生成する。操作処理部は、遠隔制御装置からの命令情報に基づいてＧＵＩ画面を介してプログラムを操作する。キャプチャ部は、ＧＵＩ画面上の少なくとも一部の領域のＧＵＩ画像を取得する。画像送信部は、ＧＵＩ画像をネットワークを介して遠隔制御装置に送信する。一方、遠隔制御装置は、画像記憶部及び画像検証部を有する。画像記憶部は、プログラムの操作の結果に関連するＧＵＩ画面上の複数の参照画像を記憶している。画像検証部は、端末装置から受信したＧＵＩ画像が参照画像と一致するか否かを判断する

【0010】

本発明おいて、遠隔制御装置は、ＧＵＩ画面上の座標情報、クリック情報、及び文字入力情報のうちの１つ以上を含む命令情報を端末装置に送信する命令送信部をさらに有することが好ましい。

【0011】

本発明において、命令情報は予め手順が定めれたものであり、遠隔制御装置の命令送信部は、複数の命令情報を手順に従って自動的に端末装置に送信するものであってもよい。すなわち、遠隔制御装置においてＲＰＡプログラムを実行し、その命令情報をネットワークを介して端末装置に送信することとなる。

【0012】

本発明の第２の側面は、表示部を有しない端末装置に関する。この端末装置は、一又は複数の入出力部と、入出力部を利用するプログラムを格納した記憶部と、プログラムを制御するためのＧＵＩ画面を生成するＧＵＩ部と、ＧＵＩ画面上の少なくとも一部の領域のＧＵＩ画像を取得するキャプチャ部と、ＧＵＩ画像をネットワークを介して外部の装置（具体的には遠隔制御装置）に送信する画像送信部を有する。

【発明の効果】

【0013】

本発明では、画像の表示部を有しない端末装置にあえてＧＵＩ部を設け、遠隔制御装置からの命令情報に基づいた操作結果に関連して、端末装置がＧＵＩ画像を取得できるようにしている。そして、端末装置がＧＵＩ画像を遠隔制御装置に送信し、遠隔制御装置においてＧＵＩ画像と参照画像とが一致するか否かを判断する。これにより、遠隔制御装置からの命令情報に基づいた操作を端末装置が適切に完了させたどうかを機械的に判断できる。従って、表示装置を有しない端末装置であっても効率的に遠隔制御できるようになる。

【図面の簡単な説明】

【0014】

【図1】図１は、本発明の一実施形態に係る遠隔制御システムの全体図を示している。

【図2】図２は、端末装置（ウェアラブルデバイス）の一例を示している。

【図3】図３は、遠隔制御システムを構成する端末装置、クライアント装置、及びクラウドのそれぞれについて、ハードウェア要素の一例を示したブロック図である。

【図4】図４は、遠隔制御システムを構成する主なソフトウェア要素の一例を示したブロック図である。

【図5】図５は、遠隔制御装置によって端末装置を自動的に遠隔制御する方法の一例を示したフロー図である。

【発明を実施するための形態】

【0015】

以下、図面を用いて本発明を実施するための形態について説明する。本発明は、以下に説明する形態に限定されるものではなく、以下の形態から当業者が自明な範囲で適宜変更したものも含む。

【0016】

図１は、本発明の一実施形態に係る遠隔制御システム１００の全体構成を模式的に示している。本実施形態に係る遠隔制御システム１００は、主に複数の作業者が現場で行う作業を支援者がインターネットを介して遠隔で支援するといった用途で好適に用いられる。

【0017】

図１に示されるように、遠隔制御システム１００は、複数の端末装置１０と、遠隔制御装置２０（「遠隔制御装置」に対応）と、クラウド３０を含む。端末装置１０の例は、ウェアラブルデバイスである。ウェアラブルデバイスとしては、例えば首掛け型、眼鏡型、頭部装着型、及び腕時計型など挙げられるが、本実施形態では首掛け型のウェアラブルデバイスを採用している。このような端末装置１０は、複数の作業者がそれぞれ一つずつ装着することになる。遠隔制御装置２０としては、汎用的なパーソナルコンピュータ（ＰＣ）を利用できる。遠隔制御装置２０は、基本的に複数の端末装置１０を装着した作業者を支援するための支援者によって操作される。クラウド３０は、インターネットを介して相互に接続された複数のサーバ装置によって構成されている。クラウド３０は、複数の端末装置１０及び遠隔制御装置２０とインターネットを介して接続されており、遠隔制御装置２０からの制御命令やデータを端末装置１０に送信したり、その反対に端末装置１０により得られたデータを遠隔制御装置２０に送信するといった中継装置としての機能をも有する。

【0018】

図２は、端末装置１０の一例を示した外観斜視図である。また、図３にも、端末装置１０のハードウェア要素の例が示されている。図２に示されるように、本実施形態における端末装置１０は首掛け型のウェアラブルデバイスである。端末装置１０は、左腕部と、右腕部と、それらを装着者の首裏にて接続する本体部を備える。端末装置１０を装着する際には、本体部を装着者の首裏に接触させ、左腕部と右腕部を装着者の首横から胸部側に向かって垂らすようにして、装置全体を首元に引っ掛ければよい。端末装置１０の筐体内には、各種の電子部品が格納されている。

【0019】

左腕部と右腕部には、それぞれ複数の集音部１４（マイク）が設けられている。集音部１４は、主に装着者の周囲の音や、装着者と対話者の音声を取得することを目的として配置されている。装着者周囲で発生した音を広く集音できるように、集音部１４としては、全指向性（無指向性）のマイクロホンを採用することが好ましい。集音部１４としては、ダイナミックマイクやコンデンサマイク、ＭＥＭＳ(Micro-Electrical-Mechanical Systems)マイクなど、公知のマイクロホンを採用すればよい。集音部１４は、音を電気信号に
変換し、その電気信号をアンプ回路によって増幅した上で、Ａ／Ｄ変換回路によってデジタル情報に変換して制御部１１へと出力する。集音部１４によって取得した音信号は、筐体内に設けられた制御部１１へ伝達されて所定の解析処理が行われる。

【0020】

左腕部には、撮像部１６がさらに設けられている。具体的には、左腕部の先端面に撮像部１６が設けられており、この撮像部１６によって装着者の正面側の静止画像や動画像を撮影することができる。撮像部１６によって取得された画像は、筐体内の制御部１１に伝達され画像データとして記憶される。撮像部１６としては一般的なデジタルカメラを採用すればよい。撮像部１６は、例えば、撮影レンズ、メカシャッター、シャッタードライバ、ＣＣＤイメージセンサユニットなどの光電変換素子、光電変換素子から電荷量を読み出し画像データを生成するデジタルシグナルプロセッサ（ＤＳＰ）、及びＩＣメモリで構成される。撮像部１６によって取得された画像データは、制御部１１へと供給されて記憶部１２に記憶され、所定の画像解析処理が行われたり、あるいは通信部１３を介してインターネット経由でクラウドへと送信される。

【0021】

また、左腕部には、操作部１５がさらに設けられている。操作部１５は、装着者による操作の入力を受け付ける。操作部１５としては、公知のスイッチ回路又はタッチパネルなどを採用することができる。操作部１５は、例えば音声入力の開始又は停止を指示する操作や、装置の電源のＯＮ又はＯＦＦを指示する操作、スピーカの音量の上げ下げを指示する操作、その他端末装置１０の機能の実現に必要な操作を受け付ける。操作部１５を介して入力された情報は制御部１１へと伝達される。

【0022】

右腕部には、非接触型のセンサ部１７がさらに設けられている。センサ部１７は、主に端末装置１０の正面側における装着者の手の動きを検知することを目的として、右腕部の先端面に配置されている。センサ部１７の例は、近接センサ又はジェスチャーセンサである。近接センサは、例えば装着者の手指が所定範囲まで近接したことを検知する。近接センサとしては、光学式、超音波式、磁気式、静電容量式、又は温感式などの公知のものを採用できる。ジェスチャーセンサは、例えば装着者の手指の動作や形を検知する。ジェスチャーセンサの例は光学式センサであり、赤外発光ＬＥＤから対象物に向けて光を照射し、その反射光の変化を受光素子で捉えることで対象物の動作や形を検出する。センサ部１７による検知情報は、制御部１１へと伝達され、主に撮像部１６の制御に利用される。具体的には、センサ部１７の検知情報は、撮像部１６起動や、撮影の開始、停止など、主に撮像部１６の制御に利用される。例えば、センサ部１７は、装着者の手などの物体がそのセンサ部１７に近接したことを検知して撮像部１６を制御することとしてもよいし、あるいはセンサ部１７の検知範囲内で装着者が所定のジェスチャーを行ったことを検知して撮像部１６を制御することとしてもよい。なお、本実施形態において、撮像部１６とセンサ部１７の位置を入れ替えることも可能である。

【0023】

装着者の首裏に位置する本体部の外側（装着者の反対側）には放音部（スピーカ）１８が設けられている。本実施形態において、放音部１８は、本体部の外側に向かって音を出力するように配置されている。このように、装着者の首裏から真後ろに向かって音を放出することで、この放音部１８から出力された音が、装着者の正面前方に存在する対話者に直接的に届きにくくなる。これにより、対話者は、装着者自身が発した音声と端末装置１０の放音部１８から発せられた音とを区別しやすくなる。放音部１８は、電気信号を物理的振動（すなわち音）に変換する音響装置である。放音部１８の例は、空気振動により音を装着者に伝達する一般的なスピーカである。また、放音部１８としては、装着者の骨を振動させることにより音を装着者に伝達する骨伝導スピーカであってもよい。なお、この場合、放音部１８を本体部の内側（装着者側）に設けて、骨伝導スピーカが装着者の首裏の骨（頚椎）に接触するように構成すればよい。

【0024】

端末装置１０の制御部１１は、この端末装置１０が備える他の要素を制御する演算処理を行う。制御部１１としては、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサを利用することができる。制御部８０は、基本的に
、記憶部２１に記憶されているプログラム（ＯＳを含む）を読み出してメインメモリに展開し、このプログラムに従って所定の演算処理を実行する。また、制御部８０は、プログラムに従った演算結果を記憶部１２に適宜書き込んだり読み出したりすることができる。また、詳しくは後述するが、端末装置１０の制御部１１は、遠隔制御装置２０で実行されたＲＰＡプログラムの命令情報に従って、記憶部２１に記憶されている既成のアプリケーションプログラムを実行し、そのプログラムに基づいて各種のハードウェア要素を制御したり所定の演算を行うことができる。つまり、本システムにおいて、端末装置１０には既成のアプリケーションプログラムがインストールされていれば十分であり、ＲＰＡプログラム自体は遠隔制御装置２０において実行されることとなる。

【0025】

端末装置１０の記憶部１２は、制御部１１での演算処理等に用いられる情報やその演算結果を記憶するための要素である。記憶部１２のストレージ機能は、例えばＨＤＤ及びＳＤＤといった不揮発性メモリによって実現できる。また、記憶部１２は、制御部１１による演算処理の途中経過などを書き込む又は読み出すためのメインメモリとしての機能を有していてもよい。記憶部１１のメモリ機能は、ＲＡＭやＤＲＡＭといった揮発性メモリにより実現できる。また、記憶部１１には、それを所持するユーザ固有のＩＤ情報が記憶されていてもよい。また、記憶部１１には、端末装置１０のネットワーク上の識別情報であるＩＰアドレスが記憶されていてもよい。

【0026】

端末装置１０の通信部１３は、クラウド上のサーバ装置又は別の端末装置１０と無線通信するための要素である。通信部１３は、インターネットを介してサーバ装置や別の首掛け型装置と通信を行うために、例えば、３Ｇ（W-CDMA）、４Ｇ（LTE／LTE-Advanced）、
５Ｇといった公知の移動通信規格や、Wi-Fi（登録商標）等の無線ＬＡＮ方式で無線通信
するための通信モジュールを採用すればよい。また、通信部１３は、別の端末装置１０と直接的に通信を行うために、Bluetooth（登録商標）やＮＦＣ等の方式の近接無線通信用
の通信モジュールを採用することもできる。

【0027】

その他、端末装置１０は、図３に示した構成に加えて、ジャイロセンサ、加速度センサ、地磁気センサ、近接センサ、又はＧＰＳセンサなどのセンサ類など、一般的な携帯型情報端末に搭載されているモジュール機器を適宜搭載することができる。

【0028】

図２及び図３から明らかなように、本実施形態において、端末装置１０は、ディスプレイやモニタなどの表示装置を有しない。このため、作業者は、各ハードウェア要素のオン・オフ等の比較的簡単な操作は行うことができるものの、アプリケーションプログラムの操作など複雑な操作は困難である。このため、このような表示装置を持たない端末装置１０については、遠隔制御装置２０によって遠隔操作することが特に有効である。

【0029】

図３は、さらに、遠隔制御装置２０のハードウェア要素も示している。遠隔制御装置２０としては、公知のパーソナルコンピュータ（ＰＣ）を利用できる。具体的には、遠隔制御装置２０は、ＣＰＵ等のプロセッサで構成された制御部２１と、不揮発性メモリ及び揮発性メモリを含む記憶部２２と、インターネット接続用の通信モジュールで構成された通信部２３を含む。また、遠隔制御装置２０は、マウスやキーボードなどの入力装置２４と、ディスプレイ等の表示装置２５をさらに含む。遠隔制御装置２０は、現場の作業者に対して支援情報を提供する支援者（オペレーター等）によって操作される端末である。これにより、支援者は、遠隔地から現場に居る作業者に対して作業指示等を送ることができる。

【0030】

図３は、さらに、クラウド３０のハードウェア要素も示している。本実施形態におけるクラウド３０としては、一又は複数のサーバ装置３１で構成された公知のクラウドシステムを利用することができる。本発明に係る情報処理システム１００では、基本的に、様々な種類のアプリケーションプログラムを保持させたり、特に負荷の大きい処理を実行させたり、あるいは機密性の高い情報を保持させるために、このクラウド３０を利用している。これにより、各端末装置１０に予め様々なアプリケーションをインストールする手間が省けたり、各端末装置１０での処理負荷が分散されたり、機密性の高い情報のセキュリティを保つことができるようになる。

【0031】

また、クラウド３０には、データベース３２が含まれていてもよい。なお、このデータベース３２は、情報保存のためのサーバ装置を個別に設けることで構築されたものであってもよいし、各サーバ装置の記憶容量を集約することで仮想的に構築されたものであってもよい。このデータベース３２には、本システム内で利用するアプリケーションプログラムについて、その実行に必要な認証情報が記憶されていてもよい。例えば、アプリケーションの実行に、アカウント認証が必要である場合、データベース３２には、固有のアカウント名とそのパスワードを記憶しておけばよい。その他、このデータベース３２には、アプリケーションの利用に必要な様々なデータを登録しておくことも可能である。また、このデータベース３２には、端末装置１０の装着者（作業者）に関する情報や遠隔制御装置２０の操作者（支援者）に関する情報を登録することとしてもよい。

【0032】

図４は、本実施形態に係る遠隔制御システム１００を構成する主なソフトウェア要素を示している。図４を参照して、遠隔制御システム１００のアーキテクチャの基本について説明を行う。このアーキテクチャは、図２及び図３に示した各種ハードウェア、特に端末装置１０の制御部１１、記憶部１２、及び通信部１３、クラウド３０のサーバ装置３１及びデータベース３２、遠隔制御装置２０の制御部２１、記憶部２２、及び通信部２３により実現されるものである。

【0033】

本実施形態では、基本的に、ＧＵＩベースのＯＳと、このＯＳ上で動作する既成のプログラム等を各端末装置１０に導入しておき、遠隔制御装置２０おいて実行されたＲＰＡプログラムに従って、各端末装置１０においてプログラムを自動操作する。これにより、各端末装置１０にＲＰＡプログラムをインストールしたり、ＲＰＡで実行する作業手順を端末装置１０内に定義しておかなくても、実質的に各端末装置１０をＲＰＡプログラムによって自動操作することができる。これにより、端末装置１０が持つ様々な既成のプログラムを、遠隔制御装置２０のＲＰＡプログラムを介して自由に利用できる。

【0034】

具体的に説明すると、図４に示されるように、端末装置１０は、第１のミドルウェア１１１、既成のプログラム１１２、ＳＤＫ１１３、サービス１１４、及びＧＵＩベースのＯＳ１１５が設けられている。第１のミドルウェア１１１は、クラウド３０に設けられた第２のミドルウェア１３１と連携するメッセージングシステムである。既成のプログラム１１２としては、特に制限されず、端末装置１０が備えるハードウェア資源を利用して所定の機能を実行することが可能なあらゆるアプリケーションプログラムを利用できる。特に、プログラム１１２は、ＧＵＩ画面によって操作可能なＧＵＩベースのアプリケーションプログラムが採用される。端末装置１０は、このような一般的に入手可能な汎用的なアプリケーションプログラム（いわゆるサードパーティ製アプリ）を利用することができる。ＳＤＫ１１３とは、ソフトウェア開発キット（Software Development Kit）であり、プログラム１１２の実行時に利用される多様な関数をパッケージ化した情報群である。ＳＤＫ１１３としては、例えばAndroid SDKなど、アプリケーションプログラムの開発者向けに
提供されているものを適宜利用することができる。サービス１１４は、ユーザが認識できる操作を行うフォアグラウンドサービス及び／又はユーザに認識されない操作を行うバックグラウンドサービスが含まれる。特に、本実施形態では、プログラム１１２を操作するためのＧＵＩ画面のキャプチャ画像（「ＧＵＩ画像」ともいう）をバックグラウンドで取得するためのサービスが含まれる。ＯＳ１１５は、上記のプログラム１１２や、ＳＤＫ１１３、及びサービス１１４の制御や管理などを行うための基本システムである。特に、端末装置１０はディスプレイ等の表示装置を有しないものの、ＧＵＩベースのＯＳ１１５が搭載されることとなる。ＯＳ１１５としては公知のものを利用できるが、例えばオープンソースであるAndroidを利用すればよい。

【0035】

端末装置１０のＧＵＩ画面は、ＯＳ１１５及びプログラム１１２を実行することにより制御部１１（ＣＰＵやＧＰＵ）により仮想的に生成されるものである。本実施形態おいて端末装置１０は物理的な表示装置を持たないものであるため、このＧＵＩ画面は物理的な表示画面には依存しない。ＧＵＩ画面には、論理上の表示画面である仮想画面と、この仮想画面上に配置される平面的なウィンドウと、このウィンドウ内に配置されるテキストボックやボタン等のコンポーネントが含まれる。

【0036】

クラウド３０には、第２のミドルウェア１３１が設けられる。クラウド３０に設けられた第２のミドルウェア１３１の例はメッセージブローカーであり、端末装置１０に設けられた第１のミドルウェア１１１の例はサブスクライバーである。この場合、遠隔制御装置２０内のＲＰＡプログラム１２１を、メッセージの発行元であるパブリッシャーとみなすことができる。つまり、メッセージの発行元をパブリッシャー、メッセージの受信側をサブスクライバー、これらの間においてメッセージの中継を行う機能をメッセージブローカーという。パブリッシャー（ＲＰＡプログラム１２１）が発行したメッセージは、メッセージブローカー（第２のミドルウェア１３１）を経由して、サブスクライバー（第１のミドルウェア１１１）に配信される。サブスクライバーは、メッセージブローカーから配信された全てのメッセージを受信するのではなく、購読（サブスクリプション）と呼ばれる情報を登録して、受信するメッセージを指定することもできる。つまり、第１のミドルウェア１１１と第２のミドルウェア１３１との間では、パブリッシャー（ＲＰＡプログラム１２１）からどのサブスクライバー（第１のミドルウェア１１１）に対してメッセージを送信するかを指定できるだけでなく、サブスクライバー（第１のミドルウェア１１１）においてどのメッセージを受信するかを指定することも可能である。このようなメッセージングシステムを、Ｐｕｂ／Ｓｕｂ型（発行－購読型）ともいう。

【0037】

図４に示した第１のミドルウェア１１１と第２のミドルウェア１３１の間には、大きく分けて３つの通信経路がある。１つ目は、命令の通信経路である。命令は、前述したＰｕｂ／Ｓｕｂ型のメッセージングシステムを用いて、プッシュ／プル型で非同期的に第２のミドルウェア１３１から第１のミドルウェア１１１に対して送信すればよい。非同期命令の処理結果は、ウェブフック等の別経路で通知させてもよい。後述するように、遠隔制御装置２０のＲＰＡプログラム１２１から発せられたポインタ座標やクリック命令、文字入力命令といった単純な命令情報であれば、この命令の通信経路を介して第１のミドルウェア１１１に対して送信できる。２つ目は、離散的時系列データの通信経路である。ここにいう離散的時系列データとは、例えばＧＰＳ緯度経度情報やバッテリー残量情報、装着・非装着状態、加速度センサ測定結果を解釈した結果としての姿勢情報等、スループットが相対的に小さい時系列データである。これらの離散的時系列データは、同様のメッセージングシステムを介して通信してもよいし、ウェブフック等の経路を利用してもよい。すなわち、２つ目は、１つ目の通信経路と事実上同じ通信経路である。３つ目は、連続的時系列データの通信経路である。連続的時系列データの典型例は、音声データや動画データである。その他にも、連続的時系列データとしては、高頻度に測定されるデータなど、スループットが相対的に大きい時系列データが挙げられる。このような連続的時系列データは、メッセージキューイングシステムが適している通信容量を超過しているため、別途通信経路を準備する必要がある。例えば、WebRTCやHLS（Http Live Streaming）やAmazon Kinesis Video Stream 等の通信経路であり、通信内容に応じて適切な通信方式を選択すればよい。

【0038】

遠隔制御装置２０は、端末装置１０を遠隔制御する。遠隔制御装置２０は、端末装置１０を自動的に操作するためのＲＰＡプログラム１２１を含む。ＲＰＡプログラム１２１は、端末装置１０に行わせるためのシナリオ（作業手順）が設定されており、このシナリオに沿った所定の処理を端末装置１０に実行させるための命令情報を、クラウド３０を介して端末装置１０へと送信する機能を持つ。このシナリオは、定型化された複数の作業工程から構成されており、各作業工程はＧＵＩベースで定義されている。具体的には、シナリオには、端末装置１０の特定のプログラム１１２を起動又は終了する工程や、端末装置１０のＧＵＩ画面におけるポインタ座標を特定する工程や、端末装置１０内のＧＵＩ画面をクリックする工程、端末装置１０内のＧＵＩ画面上のテキスト入力窓に文字情報を入力する工程などが含まれる。端末装置１０は、ＧＵＩベースで操作可能であるため、基本的には説明したように、所定プログラムの起動又は終了する命令、ＧＵＩ画面上のポインタ座標を指示する命令、ＧＵＩ画面をクリックする命令、及びＧＵＩ画面上のテキスト入力窓に文字情報を入力する命令があれば、端末装置１０が持つ機能の殆どを遠隔操作できる。また、ＲＰＡプログラム１２１のシナリオは、遠隔制御装置２０側の支援者において自由に設定したり変更したりすることができる。ＲＰＡ１２１のシナリオの設定や変更方法は公知であるため、ここでの詳細な説明は割愛する。

【0039】

また、遠隔制御装置２０は、参照画像セット１２２を記憶している。参照画像セット１２２には、端末装置１０で実行されるプログラム１２２ごとに、端末装置１０に所定の作業工程（プログラムの起動や、ポインタ座標の指定、クリック、文字入力等の工程）を行わせた後のＧＵＩ画面を予め撮影して保持した参照画像が、多数含まれている。例えば、端末装置１０のマイクを制御するためのプログラム１１２を起動させると、マイク制御用の所定の初期画面が立ち上がる。この初期画面をキャプチャしたものが一つの参照画像として参照画像セット１２２に含まれる。また、例えば、マイク制御用のＧＵＩ画面には、マイクによる録音を開始するボタンと停止するボタンが含まれている。このＧＵＩ画面上においてあるポインタ座標を指定すると、録音ボタン上でマウスポインタの状態が変化する（例えば矢印画像から指先画像に変わる）とする。この状態のＧＵＩ画像をキャプチャしたものが別の参照画像として参照画像セット１２２に含まれる。また、例えば、録音ボタン上でマウスポインタ状にある状態でクリックすると、録音ボタンの色が変わって、マイクによる録音が開始されるとする。このように録音が開始した状態のＧＵＩ画像をキャプチャしたものがさらに別の参照画像として参照画像セット１２２に含まれる。また、例えば、ウェブ会議アプリやブラウザアプリ等のＧＵＩ画面のアドレスバーに所定のＵＲＬ（文字情報）を入力すると、そのＵＲＬで特定された画面に遷移する。そこで、遷移後の画面をキャプチャしたものがさらに別の参照画像として参照画像セット１２２に含まれる。このように、ＲＰＡプログラム１２１のシナリオを構成する定型の作業工程ごとに、予め参照画像を作成しておき、それらの参照画像を遠隔制御装置２０に記憶させておく。このような参照画像は、ＲＰＡのシナリオを設定する際に、端末装置１０のＧＵＩ画像からキャプチャすればよい。各参照画像は、シナリオの作業工程と関連付けて遠隔制御装置２０に記憶される。

【0040】

続いて、図５を参照して、ＲＰＡの実行フローの例について説明する。まず、遠隔制御装置２０において、ＲＰＡプログラム１２１が実行される（ステップＳ１）。ＲＰＡのシナリオには、複数の定型の作業工程が順番に定義されている。遠隔制御装置２０は、このシナリオに沿って定型工程を実行する（ステップＳ２）。例えば、定型工程が、端末装置１０の所定のプログラム１１２を実行させることである場合、遠隔制御装置２０は、そのプログラムの起動命令を、クラウド３０を介して端末装置１０へと送信する（ステップＳ２ａ）。また、定型工程が、端末装置１０のＧＵＩ画面上における所定のポインタ座標を指定することである場合、遠隔制御装置２０は、そのポインタ座標を、クラウド３０を介して端末装置１０へと送信する（ステップＳ２ｂ）。また、定型工程が、端末装置１０のＧＵＩ画面をクリックすることである場合、遠隔制御装置２０は、そのクリック命令を、クラウド３０を介して端末装置１０へと送信する（ステップＳ２ｃ）。さらに、定形工程が、端末装置１０のＧＵＩ画面上の所定のテキスト入力窓（例えば上記座標情報とクリック命令で指定されたもの）に所定の文字情報（ＵＲＬなど）を入力することである場合、遠隔制御装置２０は、その文字情報を、クラウド３０を介して端末装置１０へと送信する（ステップＳ２ｄ）。このように、遠隔制御装置２０は、ＲＰＡプログラム１２１のシナリオに従い、各定型工程を端末装置１０に実行させるための命令情報を生成して、端末装置１０に送ることとなる。このとき、遠隔制御装置２０と端末装置１０の間の通信には、第１のミドルウェア１１１と第２のミドルウェア１３１からなるメッセージングシステムを好適に利用できる。

【0041】

次に、端末装置１０は、遠隔制御装置２０からの命令情報に基づいて、ＧＵＩ画面を介してプログラム１１２を操作する。このようなＧＵＩ画面は、端末装置１０の制御装置１１、より具体的にはＯＳ１１５及びプログラム１１２の機能の実行により生成されるものである。端末装置１０は、このようなＧＵＩ画面上において、プログラム１１２を起動させたり（ステップＳ３ａ）、ＧＵＩ画面上の指定されたポインタ座標にマウスポインタを移動させたり（ステップＳ３ｂ）、ＧＵＩ画面のクリックを実行させたりするなど、遠隔制御装置２０からの命令情報に従った操作を行う。

【0042】

次に、端末装置１０は、ＧＵＩ画面をキャプチャしたＧＵＩ画像を取得する（ステップＳ４）。このＧＵＩ画面をキャプチャする処理は、ＲＰＡのシナリオを構成する各定型工程が完了した都度行うことが好ましい。ＧＵＩ画像は、特定のプログラムを操作するためのウィンドウのみをキャプチャしたものであってもよいし、論理上の表示画面である仮想画面全体をキャプチャしたものであってもよい。また、例えばマウスポインタの周囲のみをキャプチャしたＧＵＩ画像を生成することとしてもよい。このＧＵＩ画面のキャプチャ処理は、端末装置１０の制御部１１、特にバックグラウンドで動作する画面キャプチャ用のサービス１１４によって実行することができる。このサービス１１４では、端末装置１０が遠隔制御装置２０からの命令情報に従った操作を行ったときに、自動的にＧＵＩ画像を取得することが好ましい。

【0043】

次に、端末装置１０は、ＧＵＩ画像をクラウド３０を介して遠隔制御装置２０に送信する（ステップＳ５）。ＧＵＩ画像は、第１のミドルウェア１１１と第２のミドルウェア１３１との間で確立された通信経路を利用して送信することできる。クラウド３０は、端末装置１０からＧＵＩ画像を受信すると、これを遠隔制御装置２０へと転送する。

【0044】

次に、遠隔制御装置２０は、端末装置１０からＧＵＩ画像を受信すると、このＧＵＩ画像を参照画像と照らし合わせて、端末装置１０においてＲＰＡの定型工程で定められた操作が適切に完了しているかどうかを機械的に判断する（ステップＳ６）。具体的には、遠隔制御装置２０の制御部２１は、ある定型工程の結果得られたＧＵＩ画像が、参照画像セット１２２のうち当該定型工程に関連付けられた参照画像と一致するかどうかを判断すればよい。ＧＵＩ画像と参照画像の比較は、例えばテンプレートマッチングアルゴリズムを用いればよい。端末装置１０の既成のプログラム１１２が更新されないという前提をおいたとき、端末装置１０でキャプチャしたＧＵＩ画像と事前にキャプチャした参照画像は同一となる。ただし通信の理由により画像圧縮等が行われ圧縮劣化などが生じる可能性も考えられる。この場合、ＧＵＩ画像と参照画像のバイナリデータは一致しないものの、極めて同一性の高い画像であるということができる。このような場合、テンプレートマッチングアルゴリズムを用いればほぼ１００％に近い精度で画像の同一性を判定することが可能できる。テンプレートマッチングは画像判定用のアルゴリズムの一例であり、これに限定されず公知のアルゴリズムを適宜採用できる。

【0045】

遠隔制御装置２０の制御部２１は、ＧＵＩ画像照査処理の結果、ＧＵＩ画像と参照画像とが一致していると判断した場合（ステップＳ７）、ＲＰＡのシナリオで定められた全ての定型工程が終了するまで、次の定型工程を実行する（ステップＳ２）。ステップＳ２からステップＳ７までの処理を繰り返し、遠隔制御装置２０の制御部２１は、全ての定型工程が終了したと判断した場合（ステップＳ８）、ＲＰＡプログラムを終了させる（ステップＳ９）。一方で、遠隔制御装置２０の制御部２１は、ＧＵＩ画像照査処理の結果、ＧＵＩ画像と参照画像とが不一致であると判断した場合（ステップＳ７）、例えばＲＰＡプログラムを中断する（ステップＳ９）。ＧＵＩ画像と参照画像が一致しないということは、端末装置１０に何らかのエラーが発生したものと考えられる。このため、ＲＰＡプログラムを一旦中断して、エラーの原因等を特定することが好ましい。なお、本実施形態では、ＧＵＩ画像と参照画像とが不一致である場合に、ＲＰＡプログラムを中断することとしたが、その他、遠隔制御装置２０の表示部２５にエラーの警告文を表示したり、あるいはエラー特定の原因となったＧＵＩ画像と参照画像を表示したりするなど、別のアクションを行うことも可能である。

【0046】

以上、本願明細書では、本発明の内容を表現するために、図面を参照しながら本発明の実施形態の説明を行った。ただし、本発明は、上記実施形態に限定されるものではなく、本願明細書に記載された事項に基づいて当業者が自明な変更形態や改良形態を包含するものである。

【符号の説明】

【0047】

１０…端末装置 １１…制御部
１２…記憶部 １３…通信部
１４…集音部 １５…操作部
１６…撮像部 １７…センサ部
１８…放音部 ２０…クライアント装置
２１…制御部 ２２…記憶部
２３…通信部 ２４…入力部
２５…表示部 ３０…クラウド
３１…サーバ装置 ３２…データベース
１００…情報処理システム １１１…第１のミドルウェア
１１２…既成プログラム １１３…ＳＤＫ
１１４…サービス １１５…ＧＵＩ ＯＳ
１２１…ＲＰＡプログラム １２２…参照画像セット
１３１…第２のミドルウェア

【要約】

表示装置を有しない端末装置を効率的に遠隔制御する。
表示部を有しない端末装置１０と遠隔制御装置２０を含む遠隔制御システム１００であって、端末装置１０は、一又は複数の入出力部と、入出力部を利用するプログラムを格納した記憶部と、プログラムを操作するためのＧＵＩ画面を生成するＧＵＩ部と、遠隔制御装置からの命令情報に基づいてＧＵＩ画面を介してプログラムを操作する操作処理部と、ＧＵＩ画面上の少なくとも一部の領域のＧＵＩ画像を取得するキャプチャ部と、ＧＵＩ画像をネットワークを介して遠隔制御装置に送信する画像送信部とを有する。遠隔制御装置２０は、プログラムの操作の結果に関連するＧＵＩ画面上の複数の参照画像を記憶した画像記憶部と、端末装置から受信したＧＵＩ画像が参照画像と一致するか否かを判断する画像検証部を有する。

【図1】

【図2】

【図3】

【図4】

【図5】