ホーム > 特許ランキング > ドクターズモバイル株式会社
特開2022-52015遠隔操作支援システム、遠隔操作端末、遠隔操作支援方法、及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022052015
(43)【公開日】2022-04-04
(54)【発明の名称】遠隔操作支援システム、遠隔操作端末、遠隔操作支援方法、及びコンピュータプログラム
(51)【国際特許分類】
H04Q 9/00 20060101AFI20220328BHJP
H04M 11/00 20060101ALI20220328BHJP
G06F 3/038 20130101ALI20220328BHJP
G06F 13/00 20060101ALI20220328BHJP
【ＦＩ】
H04Q9/00 331A
H04M11/00 301
G06F3/038 350R
G06F13/00 650A
H04Q9/00 351
【審査請求】有
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2020158159
(22)【出願日】2020-09-23
(71)【出願人】
【識別番号】514062806
【氏名又は名称】ドクターズモバイル株式会社
(74)【代理人】
【識別番号】100103872
【弁理士】
【氏名又は名称】粕川 敏夫
(74)【代理人】
【識別番号】100088856
【弁理士】
【氏名又は名称】石橋 佳之夫
(74)【代理人】
【識別番号】100149456
【弁理士】
【氏名又は名称】清水 喜幹
(74)【代理人】
【識別番号】100194238
【弁理士】
【氏名又は名称】狩生 咲
(72)【発明者】
【氏名】中尾 彰宏
(72)【発明者】
【氏名】濱邉 将太
【テーマコード（参考）】
5B084
5B087
5K048
5K201
【Ｆターム（参考）】
5B084AA01
5B084AA02
5B084AA14
5B084AB06
5B084BA09
5B084BB04
5B084CF12
5B084DB08
5B084DC05
5B084EA47
5B087AA05
5B087AA09
5B087DD10
5B087DE07
5K048BA01
5K048EB15
5K048FB15
5K048GC03
5K201AA05
5K201BA01
5K201EF10
(57)【要約】
【課題】所定の端末の遠隔操作において、的確な操作を実行するのに適したシステムを提供する。
【解決手段】遠隔操作支援システム１は、遠隔操作支援装置２から操作対象端末３の映像を受信すると、映像展開部１１により、遠隔操作端末３を操作する第一ポインタが表示される操作エリアと、操作対象端末３の映像を表示する映像表示エリアとが設けられた画面を遠隔操作端末４上に展開する。切替処理部１３は、マウス４２による指示位置が操作エリアにあるときは第一ポインタを表示し、映像表示エリアにあるときは第一ポインタを非表示とする。マウス４２による指示位置が映像表示エリアにあるときに、遠隔操作支援装置２に対して、操作情報を送信する。遠隔操作端末４の画面上には、マウス４２の指示位置に応じて、第一ポインタ、又は操作対象端末３を操作する第二ポインタのいずれかが択一的に表示される。
【選択図】図１
【解決手段】遠隔操作支援システム１は、遠隔操作支援装置２から操作対象端末３の映像を受信すると、映像展開部１１により、遠隔操作端末３を操作する第一ポインタが表示される操作エリアと、操作対象端末３の映像を表示する映像表示エリアとが設けられた画面を遠隔操作端末４上に展開する。切替処理部１３は、マウス４２による指示位置が操作エリアにあるときは第一ポインタを表示し、映像表示エリアにあるときは第一ポインタを非表示とする。マウス４２による指示位置が映像表示エリアにあるときに、遠隔操作支援装置２に対して、操作情報を送信する。遠隔操作端末４の画面上には、マウス４２の指示位置に応じて、第一ポインタ、又は操作対象端末３を操作する第二ポインタのいずれかが択一的に表示される。
【選択図】図１
【特許請求の範囲】
【請求項1】
操作対象端末と接続し、所定の操作情報に基づいて当該操作対象端末を操作する遠隔操作支援装置と、
ポインティングデバイスを備え、遠隔操作者が使用する遠隔操作端末と、通信可能に構成されたシステムであって、
前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信部と、
前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開部と、
前記遠隔操作端末から、前記ポインティングデバイスの操作情報を受信する操作情報受信部と、
前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理部と、
前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信手段と、を有し、
前記遠隔操作端末の画面上には、前記ポインティングデバイスの指示位置に応じて、第一ポインタ、又は前記操作対象端末を操作する第二ポインタのいずれかが択一的に表示される、
遠隔操作支援システム。
ポインティングデバイスを備え、遠隔操作者が使用する遠隔操作端末と、通信可能に構成されたシステムであって、
前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信部と、
前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開部と、
前記遠隔操作端末から、前記ポインティングデバイスの操作情報を受信する操作情報受信部と、
前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理部と、
前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信手段と、を有し、
前記遠隔操作端末の画面上には、前記ポインティングデバイスの指示位置に応じて、第一ポインタ、又は前記操作対象端末を操作する第二ポインタのいずれかが択一的に表示される、
遠隔操作支援システム。
【請求項2】
前記遠隔操作端末上において、前記第一ポインタと前記第二ポインタとを識別可能に表示する、
請求項１記載の遠隔操作支援システム。
請求項１記載の遠隔操作支援システム。
【請求項3】
前記操作エリアには、前記操作対象端末上での操作を実行するためのボタン、が設けられている、
請求項１又は２記載の遠隔操作支援システム。
請求項１又は２記載の遠隔操作支援システム。
【請求項4】
前記操作対象端末の映像を補正する補正処理手段、をさらに有する、
請求項１乃至３いずれかの項に記載の遠隔操作支援システム。
請求項１乃至３いずれかの項に記載の遠隔操作支援システム。
【請求項5】
前記遠隔操作支援装置は、前記操作対象端末と有線接続してデータの送受信を実行する、
請求項１乃至４いずれかの項に記載の遠隔操作支援システム。
請求項１乃至４いずれかの項に記載の遠隔操作支援システム。
【請求項6】
操作対象端末と接続し、所定の操作情報に基づいて当該操作対象端末を操作する遠隔操作支援装置と、通信可能に構成された遠隔操作端末であって、
ポインティングデバイスと、
前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信部と、
前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開部と、
前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理部と、
前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信手段と、を有し、
前記遠隔操作端末の画面上には、前記ポインティングデバイスの指示位置に応じて、第一ポインタ、又は前記操作対象端末を操作する第二ポインタのいずれかが択一的に表示される、
遠隔操作端末。
ポインティングデバイスと、
前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信部と、
前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開部と、
前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理部と、
前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信手段と、を有し、
前記遠隔操作端末の画面上には、前記ポインティングデバイスの指示位置に応じて、第一ポインタ、又は前記操作対象端末を操作する第二ポインタのいずれかが択一的に表示される、
遠隔操作端末。
【請求項7】
操作対象端末と接続し、所定の操作情報に基づいて当該操作対象端末を操作する遠隔操作支援装置と、
ポインティングデバイスを備え、遠隔操作者が使用する遠隔操作端末と、通信可能に構成されたシステムによって実行される方法であって、
前記システムが、
前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信処理と、
前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開処理と、
前記遠隔操作端末から、前記ポインティングデバイスの操作情報を受信する操作情報受信処理と、
前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理と、
前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信処理と、を実行し、
前記遠隔操作端末の画面上には、前記ポインティングデバイスの指示位置に応じて、第一ポインタ、又は前記操作対象端末を操作する第二ポインタのいずれかが択一的に表示される、
遠隔操作支援方法。
ポインティングデバイスを備え、遠隔操作者が使用する遠隔操作端末と、通信可能に構成されたシステムによって実行される方法であって、
前記システムが、
前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信処理と、
前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開処理と、
前記遠隔操作端末から、前記ポインティングデバイスの操作情報を受信する操作情報受信処理と、
前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理と、
前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信処理と、を実行し、
前記遠隔操作端末の画面上には、前記ポインティングデバイスの指示位置に応じて、第一ポインタ、又は前記操作対象端末を操作する第二ポインタのいずれかが択一的に表示される、
遠隔操作支援方法。
【請求項8】
操作対象端末と接続し、所定の操作情報に基づいて当該操作対象端末を操作する遠隔操作支援装置と、
ポインティングデバイスを備え、遠隔操作者が使用する遠隔操作端末と、通信可能に構成されたシステムによって実行されるコンピュータプログラムであって、
前記システムに対し、
前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信処理と、
前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開処理と、
前記遠隔操作端末から、前記ポインティングデバイスの操作情報を受信する操作情報受信処理と、
前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理と、
前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信処理と、を実行させ、
前記遠隔操作端末の画面上には、前記ポインティングデバイスの指示位置に応じて、第一ポインタ、又は前記操作対象端末を操作する第二ポインタのいずれかが択一的に表示される、
コンピュータプログラム。
ポインティングデバイスを備え、遠隔操作者が使用する遠隔操作端末と、通信可能に構成されたシステムによって実行されるコンピュータプログラムであって、
前記システムに対し、
前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信処理と、
前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開処理と、
前記遠隔操作端末から、前記ポインティングデバイスの操作情報を受信する操作情報受信処理と、
前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理と、
前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信処理と、を実行させ、
前記遠隔操作端末の画面上には、前記ポインティングデバイスの指示位置に応じて、第一ポインタ、又は前記操作対象端末を操作する第二ポインタのいずれかが択一的に表示される、
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、所定の端末を遠隔で操作するための技術に関する。
【背景技術】
【0002】
従来、コンピュータあるいはシステムを遠隔から操作するためのシステムや装置が提供されている。
【0003】
例えば、特許文献１では、コンピュータシステムを構成するコンピュータを通信ネットワークを介して管理する管理制御手段と、コンピュータシステムを構成するコンピュータの状態を撮影する撮像手段と、前記撮像手段からの画像を前記通信ネットワークを介して前記管理制御手段に伝送する画像伝送手段とを備えるコンピュータ運用管理システムが提案されている。
また、特許文献２では、操作対象となる被沿おう差操作端末及び前記被操作端末を奏すあ操作する操作端末と通信可能な携帯型中継装置であって、前記被操作端末の表示画面を撮影する撮影手段と、前記撮影手段の撮影により得られた画像を前記操作端末に送信すると共に、当該画像に応じて前記操作端末によって生成された、前記被操作端末を操作するためのコマンドを、前記操作端末から受信する第１通信手段と、前記第１通信手段によって受信された前記コマンドを前記被操作端末に送信する第２通信手段とを備えた携帯型中継装置が提案されている。
また、特許文献２では、操作対象となる被沿おう差操作端末及び前記被操作端末を奏すあ操作する操作端末と通信可能な携帯型中継装置であって、前記被操作端末の表示画面を撮影する撮影手段と、前記撮影手段の撮影により得られた画像を前記操作端末に送信すると共に、当該画像に応じて前記操作端末によって生成された、前記被操作端末を操作するためのコマンドを、前記操作端末から受信する第１通信手段と、前記第１通信手段によって受信された前記コマンドを前記被操作端末に送信する第２通信手段とを備えた携帯型中継装置が提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００２－１７１５０６号公報
【特許文献2】ＷＯ２０１４－１６２５０５
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記特許文献では、遠隔から所定のコンピュータ等を操作する技術が開示されているが、遠隔操作する端末では、自端末の操作と遠隔にある端末の操作が行われる。そのため、遠隔操作を行う者がいずれの端末を操作しているのかを把握しながら、的確に操作できるようにすることが望まれる。
【0006】
そこで本発明は、所定の端末の遠隔操作において、的確な操作を実行するのに適したシステムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本発明の一の観点に係る遠隔操作支援システムは、操作対象端末と接続し、所定の操作情報に基づいて当該操作対象端末を操作する遠隔操作支援装置と、ポインティングデバイスを備え、遠隔操作者が使用する遠隔操作端末と、通信可能に構成されたシステムであって、
前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信部と、前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開部と、前記遠隔操作端末から、前記ポインティングデバイスの操作情報を受信する操作情報受信部と、前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理部と、前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信手段と、を有し、前記遠隔操作端末の画面上には、前記ポインティングデバイスの指示位置に応じて、第一ポインタ、又は前記操作対象端末を操作する第二ポインタのいずれかが択一的に表示される。
前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信部と、前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開部と、前記遠隔操作端末から、前記ポインティングデバイスの操作情報を受信する操作情報受信部と、前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理部と、前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信手段と、を有し、前記遠隔操作端末の画面上には、前記ポインティングデバイスの指示位置に応じて、第一ポインタ、又は前記操作対象端末を操作する第二ポインタのいずれかが択一的に表示される。
【0008】
また、前記遠隔操作端末上において、前記第一ポインタと前記第二ポインタとを識別可能に表示するものとしてもよい。
【0009】
また、前記操作エリアには、前記操作対象端末上での操作を実行するためのボタン、が設けられているものとしてもよい。
【0010】
また、前記操作対象端末の映像を補正する補正処理手段、をさらに有するものとしてもよい。
【0011】
また、前記遠隔操作支援装置は、前記操作対象端末と有線接続してデータの送受信を実行するものとしてもよい。
【0012】
また、本発明の別の観点に係る遠隔操作端末は、操作対象端末と接続し、所定の操作情報に基づいて当該操作対象端末を操作する遠隔操作支援装置と、通信可能に構成された遠隔操作端末であって、ポインティングデバイスと、前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信部と、前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開部と、前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理部と、前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信手段と、を有し、前記遠隔操作端末の画面上には、前記ポインティングデバイスの指示位置に応じて、第一ポインタ、又は前記操作対象端末を操作する第二ポインタのいずれかが択一的に表示される。
【0013】
また、本発明の別の観点に係る遠隔操作支援方法は、操作対象端末と接続し、所定の操作情報に基づいて当該操作対象端末を操作する遠隔操作支援装置と、ポインティングデバイスを備え、遠隔操作者が使用する遠隔操作端末と、通信可能に構成されたシステムによって実行される方法であって、前記システムが、前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信処理と、前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開処理と、前記遠隔操作端末から、前記ポインティングデバイスの操作情報を受信する操作情報受信処理と、前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理と、前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信処理と、を実行し、前記遠隔操作端末の画面上には、前記ポインティングデバイスの指示位置に応じて、第一ポインタ、又は前記操作対象端末を操作する第二ポインタのいずれかが択一的に表示される。
【0014】
また、本発明の別の観点に係るコンピュータプログラムは、操作対象端末と接続し、所定の操作情報に基づいて当該操作対象端末を操作する遠隔操作支援装置と、ポインティングデバイスを備え、遠隔操作者が使用する遠隔操作端末と、通信可能に構成されたシステムによって実行されるコンピュータプログラムであって、前記システムに対し、前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信処理と、前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開処理と、前記遠隔操作端末から、前記ポインティングデバイスの操作情報を受信する操作情報受信処理と、前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理と、前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信処理と、を実行させ、前記遠隔操作端末の画面上には、前記ポインティングデバイスの指示位置に応じて、第一ポインタ、又は前記操作対象端末を操作する第二ポインタのいずれかが択一的に表示される。
【0015】
なお、コンピュータプログラムは、各種のデータ読取可能な記録媒体に格納して提供したり、インターネット等のネットワークを介してダウンロード可能に提供したりすることができる。
【発明の効果】
【0016】
本発明によれば、所定の端末の遠隔操作において、的確な操作を実行するのに適したシステムを提供することができる。
【図面の簡単な説明】
【0017】
【図1】本発明の実施形態に係る遠隔操作支援システムが備える機能を示す機能ブロック図である。
【図2】本発明の実施形態に係る遠隔操作支援システムにおいて、（ａ）遠隔操作端末の画面構成の一例、（ｂ）遠隔操作端末の映像表示エリアに表示されている操作対象端末の実際の画面、を示す。
【図3】本発明の実施形態に係る遠隔操作支援システムにおいて、（ａ）遠隔操作端末の画面構成の一例、（ｂ）遠隔操作端末の映像表示エリアに表示されている操作対象端末の実際の画面、を示す。
【図4】本発明の実施形態に係る遠隔操作支援システムにおいて、遠隔操作端末の画面構成の一例を示す図であって、操作エリアから映像表示エリアへのポインタの移動を模式的に示している。
【図5】本発明の実施形態に係る遠隔操作支援システムにおいて、遠隔操作端末の画面構成の一例を示す図であって、映像表示エリアから操作エリアへのポインタの移動を模式的に示している。
【図6】本発明の実施形態に係る遠隔操作支援システムによって実行される処理のうち、操作対象端末の映像が遠隔操作端末に提供される処理の流れの一例を示すシーケンス図である。
【図7】本発明の実施形態に係る遠隔操作支援システムによって実行される処理のうち、操作情報が操作対象端末に提供される処理の流れの一例を示すシーケンス図である。
【図8】本発明の実施形態に係る遠隔操作支援システムにおいて、遠隔操作端末の画面上でポインタの表示が切り替えられる処理の流れを示す処理フロー図である。
【発明を実施するための形態】
【0018】
●機能構成
以下、本発明の実施形態に係る遠隔操作支援システム１について、図を参照して説明する。
図１は、本実施形態に係る遠隔操作支援システム１の機能構成を示している。
遠隔操作支援システム１は、遠隔操作者が遠隔から操作対象端末３を設定する操作を支援するシステムであり、インターネット等のネットワークＮＷ２を介して遠隔操作支援装置２及び遠隔操作端末４と通信可能に構成されている。
以下、本発明の実施形態に係る遠隔操作支援システム１について、図を参照して説明する。
図１は、本実施形態に係る遠隔操作支援システム１の機能構成を示している。
遠隔操作支援システム１は、遠隔操作者が遠隔から操作対象端末３を設定する操作を支援するシステムであり、インターネット等のネットワークＮＷ２を介して遠隔操作支援装置２及び遠隔操作端末４と通信可能に構成されている。
【0019】
本実施形態に係る遠隔操作支援システム１の使用が想定される場面は以下のとおりである。即ち、操作対象端末３の使用者が、技術的な知見などを有しないために操作対象端末３の設定等に必要な操作が分からない場合に、遠隔にいる専門的な知識を有する人者に操作を行ってもらうことを想定している。なお、以下の説明では、操作の対象となる操作対象端末３を使用する者を「使用者」と称し、遠隔から操作対象端末３を操作する者を「操作者」と称することがある。
【0020】
●操作対象端末３
操作対象端末３は、ネットワーク設定などの操作が行われる端末であり、遠隔操作者によって遠隔から操作される。
この操作対象端末３は、所謂パーソナルコンピュータ等であり、少なくとも、情報を出力可能なディスプレイを備えるほか、遠隔操作支援装置２から操作情報の入力を受け付けるための入力手段を備える。
操作対象端末３は、ネットワーク設定などの操作が行われる端末であり、遠隔操作者によって遠隔から操作される。
この操作対象端末３は、所謂パーソナルコンピュータ等であり、少なくとも、情報を出力可能なディスプレイを備えるほか、遠隔操作支援装置２から操作情報の入力を受け付けるための入力手段を備える。
【0021】
ここで、入力手段は、ネットワーク設定などの操作を行うことも前提とすれば、遠隔操作支援装置２との有線接続を可能とする規格が好適であり、例えばＵＳＢUSB等のシリアルバス規格に基づいたネットワークＮＷ１を実現するＵＳＢUSB端子によって遠隔操作支援装置２と接続する。ただし、既に無線での接続が可能な状態であって、ネットワーク設定以外の設定等を行う場合には、遠隔操作支援装置２からBluetooth（登録商標）や無線LAN等を介して操作情報の入力を受け付けてもよい。
【0022】
●遠隔操作支援装置２
遠隔操作支援装置２は、操作対象端末３を操作者に操作してもらうために使用者が使用する装置であり、遠隔操作支援システム１を介して遠隔操作端末４に接続されるホストコンピュータである。
この遠隔操作支援装置２は、操作対象端末３のディスプレイ上に出力されている映像を遠隔操作支援装置２に対して送信すると共に、操作対象端末３に接続し、遠隔操作支援システム１を介して遠隔操作端末４から送信された操作情報を操作対象端末３に入力する。
この遠隔操作支援装置２は例えば、タブレット端末やパーソナルコンピュータ、あるいはデータの送受信が可能な携帯電話端末等のスマートデバイスによって実現され、少なくとも、撮像部２１、出力部２２、及び通信処理部２３を有する。
遠隔操作支援装置２は、操作対象端末３を操作者に操作してもらうために使用者が使用する装置であり、遠隔操作支援システム１を介して遠隔操作端末４に接続されるホストコンピュータである。
この遠隔操作支援装置２は、操作対象端末３のディスプレイ上に出力されている映像を遠隔操作支援装置２に対して送信すると共に、操作対象端末３に接続し、遠隔操作支援システム１を介して遠隔操作端末４から送信された操作情報を操作対象端末３に入力する。
この遠隔操作支援装置２は例えば、タブレット端末やパーソナルコンピュータ、あるいはデータの送受信が可能な携帯電話端末等のスマートデバイスによって実現され、少なくとも、撮像部２１、出力部２２、及び通信処理部２３を有する。
【0023】
撮像部２１は、操作対象端末３のディスプレイ上に出力される映像を撮像する機能部であり、CCDカメラ等によって実現される。
この撮像部２１は、遠隔操作支援装置２自体が備えるものであってもいし、遠隔操作支援装置２に対して外付けされたものであってもよい。撮像部２１は、使用者により、操作対象端末３のディスプレイを撮影できるように固定あるいは設置される。
撮像部２１によって生成された映像は、遠隔操作支援システム１を介して、遠隔操作端末４に動画像として提供される。
この撮像部２１は、遠隔操作支援装置２自体が備えるものであってもいし、遠隔操作支援装置２に対して外付けされたものであってもよい。撮像部２１は、使用者により、操作対象端末３のディスプレイを撮影できるように固定あるいは設置される。
撮像部２１によって生成された映像は、遠隔操作支援システム１を介して、遠隔操作端末４に動画像として提供される。
【0024】
出力部２２は、操作対象端末３を操作する操作情報を当該操作対象端末３に対して出力するための機能部である。この出力部２２は例えば、USB端子等、所定のシリアルバス規格によって実現され、操作対象端末３が備えるUSB端子と接続してネットワークＮＷ１を構成有線接続し、操作情報を操作対象端末３に出力する。
【0025】
通信処理部２３は、インターネット等のネットワークＮＷ２を介して遠隔操作支援システム１とデータの送受信を可能とする機能部であり、ブラウザプログラム等によって実現される。
遠隔操作支援装置２はこの通信処理部２３により、遠隔操作支援システム１に対して、撮像部２１により撮影した操作対象端末３の映像を送信したり、遠隔操作支援システム１から操作情報を受信したりすることができる。
遠隔操作支援装置２はこの通信処理部２３により、遠隔操作支援システム１に対して、撮像部２１により撮影した操作対象端末３の映像を送信したり、遠隔操作支援システム１から操作情報を受信したりすることができる。
【0026】
なお、遠隔操作支援装置２が操作対象端末３に対してキーボードやマウスをエミュレートすることができる限り、遠隔操作支援装置２と操作対象端末３の間の通信方式は、有線ＬＡＮLAN方式、無線ＬＡＮLAN方式、Bluetooth（登録商標）、ZigBee（登録商標）のほか、近距離無線通消費電力を抑えつつ遠距離の無線通信を実現するＬＰＷＡLPWA（Low Power Wide Area）方式であってもよい。
また、遠隔操作支援装置２は、有線接続する操作対象端末３から電力の供給を受けることもできる。
また、遠隔操作支援装置２は、有線接続する操作対象端末３から電力の供給を受けることもできる。
【0027】
●遠隔操作支援システム１
遠隔操作支援システム１は、遠隔操作支援装置２と遠隔操作端末４を仲介して、遠隔操作支援装置２と遠隔操作端末４の間で必要な情報処理や情報の送受信を実行する。
この遠隔操作支援システム１はサーバコンピュータ等によって実現され、映像展開部１１、補正処理部１２、切替処理部１３、及び通信処理部１４からなる機能部を有する。
遠隔操作支援システム１は、遠隔操作支援装置２と遠隔操作端末４を仲介して、遠隔操作支援装置２と遠隔操作端末４の間で必要な情報処理や情報の送受信を実行する。
この遠隔操作支援システム１はサーバコンピュータ等によって実現され、映像展開部１１、補正処理部１２、切替処理部１３、及び通信処理部１４からなる機能部を有する。
【0028】
映像展開部１１は、遠隔操作支援装置２から受信した操作対象端末３のディスプレイの映像を遠隔操作端末４上に展開する機能部である。
映像展開部１１は例えば、Ｗｅｂクライアントにより、遠隔操作端末４が備えるブラウザプログラム等を用いて、遠隔操作端末４に映像を提供する。ただし、Ｗｅｂクライアントによらず、所定の専用アプリケーションを遠隔操作端末４にインストールさせ、当該所定の専用アプリケーションの機能実行により遠隔操作端末４上に映像を展開させることもできる。
映像展開部１１は例えば、Ｗｅｂクライアントにより、遠隔操作端末４が備えるブラウザプログラム等を用いて、遠隔操作端末４に映像を提供する。ただし、Ｗｅｂクライアントによらず、所定の専用アプリケーションを遠隔操作端末４にインストールさせ、当該所定の専用アプリケーションの機能実行により遠隔操作端末４上に映像を展開させることもできる。
【0029】
補正処理部１２は、遠隔操作支援装置２から受信した映像の補正処理を行う。
この補正処理部１２によって実行される補正処理は、映像自体の歪みを補正する歪み補正、映像と遠隔操作端末４のディスプレイ４１の解像度に応じた補正などであり、広く遠隔操作端末４上で操作対象端末３の映像を的確に把握できるようにする処理を含む。
この補正処理部１２によって実行される補正処理は、映像自体の歪みを補正する歪み補正、映像と遠隔操作端末４のディスプレイ４１の解像度に応じた補正などであり、広く遠隔操作端末４上で操作対象端末３の映像を的確に把握できるようにする処理を含む。
【0030】
切替処理部１３は、遠隔操作端末４上に展開される、操作対象端末３の映像表示画面において、遠隔操作端末４が備えるポインティングデバイス（マウス４２）のポインタを所定の条件に従って表示又は非表示の状態に切り替える。操作対象端末３上の映像表示画面の詳細は後述するが、当該映像表示画面には、遠隔操作者が遠隔操作端末４を操作する操作エリアＧ１（図２～図５を参照して後述）と操作対象端末３の映像を表示する映像表示エリアＧ２（図２～図５を参照して後述）とが設けられており、ポインティングデバイス（マウス４２）の指示位置が操作エリアＧ１にあるときは、遠隔操作端末４を操作するポインタを表示する。一方、ポインティングデバイス（マウス４２）の指示位置が映像表示エリアＧ２にあるときは、遠隔操作端末４を操作するポインタを非表示に切り替える。
【0031】
通信処理部１４は、遠隔操作支援装置２及び遠隔操作端末４とデータの送受信を実行可能とする機能部である。
この通信処理部１４により、遠隔操作支援システム１は遠隔操作支援装置２との間で、操作対象端末３を撮影した映像を受信したり、操作対象端末３を操作するための操作情報を送信したりする。また、遠隔操作端末４との間では、操作対象端末３を撮影した映像を送信したり、操作対象端末３を操作するための操作情報を受信したりする。
この通信処理部１４により、遠隔操作支援システム１は遠隔操作支援装置２との間で、操作対象端末３を撮影した映像を受信したり、操作対象端末３を操作するための操作情報を送信したりする。また、遠隔操作端末４との間では、操作対象端末３を撮影した映像を送信したり、操作対象端末３を操作するための操作情報を受信したりする。
【0032】
●遠隔操作端末４
遠隔操作端末４は、遠隔から操作対象端末３を操作する操作者が使用する端末であり、遠隔操作支援システム１を介して遠隔操作支援装置２に接続するクライアントコンピュータである。
この遠隔操作端末４により、操作者は、遠隔操作端末４上に表示される映像を見ながら、操作対象端末３を操作する。
遠隔操作端末４は、遠隔から操作対象端末３を操作する操作者が使用する端末であり、遠隔操作支援システム１を介して遠隔操作支援装置２に接続するクライアントコンピュータである。
この遠隔操作端末４により、操作者は、遠隔操作端末４上に表示される映像を見ながら、操作対象端末３を操作する。
【0033】
この遠隔操作端末４は例えば、パーソナルコンピュータによって実現され、少なくとも、データの表示部としてのディスプレイ４１、ポインティングデバイスとしてのマウス４２、及び通信処理部４４を有し、本実施形態ではさらに、入力部としてのキーボード４３を有しいている。
なお、遠隔操作端末４はこのほか、タブレット端末やデータの送受信が可能な携帯電話端末等のスマートデバイスによって実現することができ、この場合には例えば、タッチパネル式ディスプレイがポインティングデバイスとしてのマウス４２やキーボード４３として機能する。
なお、遠隔操作端末４はこのほか、タブレット端末やデータの送受信が可能な携帯電話端末等のスマートデバイスによって実現することができ、この場合には例えば、タッチパネル式ディスプレイがポインティングデバイスとしてのマウス４２やキーボード４３として機能する。
【0034】
●画面構成例
続いて、操作者が操作対象端末３を操作する際、遠隔操作端末４のディスプレイ４１上に展開される画面の構成例について、図２乃至図４を参照して説明する。
遠隔操作支援システム１を介して、遠隔操作端末４と遠隔操作支援装置２とが通信可能に構成された状態において、遠隔操作端末４のディスプレイ４１上には操作対象端末３の撮影映像が表示される。
続いて、操作者が操作対象端末３を操作する際、遠隔操作端末４のディスプレイ４１上に展開される画面の構成例について、図２乃至図４を参照して説明する。
遠隔操作支援システム１を介して、遠隔操作端末４と遠隔操作支援装置２とが通信可能に構成された状態において、遠隔操作端末４のディスプレイ４１上には操作対象端末３の撮影映像が表示される。
【0035】
図２（ａ）及び図３（ａ）は、操作対象端末３の撮影映像を表示した、遠隔操作端末４の映像表示画面の一例を示している。
この映像表示画面は、遠隔操作支援システム１の映像展開部１１によって生成されているものであり、遠隔操作端末４のブラウザプログラムを利用して展開されている。
画面上には、操作対象端末３の映像を表示する映像表示エリアＧ２、及び遠隔操作端末４の操作が実行可能な操作エリアＧ１が設けられている。
この映像表示画面は、遠隔操作支援システム１の映像展開部１１によって生成されているものであり、遠隔操作端末４のブラウザプログラムを利用して展開されている。
画面上には、操作対象端末３の映像を表示する映像表示エリアＧ２、及び遠隔操作端末４の操作が実行可能な操作エリアＧ１が設けられている。
【0036】
本実施形態では、上下に分かれた操作エリアＧ１の間に映像表示エリアＧ２が設けられている。ただし、一の画面上に操作エリアＧ１と映像表示エリアＧ２が設けられる限り、操作エリアＧ１と映像表示エリアＧ２の配置の仕方やサイズは図２（ａ）や図３（ａ）に示す例に限られない。
【0037】
画面上には、遠隔操作端末４が備えるマウス４２の指示位置を示すポインタＰ（第一ポインタＰ１、第二ポインタＰ２）が表示される。なお、「ポインタＰ」とは、マウス４２の操作に応じた画面上の指示位置に表示される図柄であり、本実施形態では後述する第一ポインタＰ１、第二ポインタＰ２、及び第三ポインタＰ３が該当するところ、これらを個別に区別することなく指称する場合には、「ポインタＰ」と称することがある。
【0038】
ここで、遠隔操作端末４の画面上に表示されるポインタＰには２種類あり、一方は、マウス４２の操作を受け付けた遠隔操作端末４が画面上に出力したものであり、ここでは第一ポインタＰ１と称する。また、他方は、マウス４２の操作に応じて操作対象端末３の画面上に出力されたものを映像として遠隔操作端末４の画面上に出力したものであり、ここでは第二ポインタＰ２と称する。
また、操作対象端末３の画面上には、遠隔操作端末４のマウス４２の操作に応じて操作対象端末３が操作されている場合に第三ポインタＰ３が出力される。この第三ポインタＰ３は、遠隔操作端末４の画面に表示されている映像表示エリアＧ２において、第二ポインタＰ２として表示される。
また、操作対象端末３の画面上には、遠隔操作端末４のマウス４２の操作に応じて操作対象端末３が操作されている場合に第三ポインタＰ３が出力される。この第三ポインタＰ３は、遠隔操作端末４の画面に表示されている映像表示エリアＧ２において、第二ポインタＰ２として表示される。
【0039】
遠隔操作端末４におけるマウス４２の指示位置に応じたポインタＰの表示について、説明する。
マウス４２の指示位置が操作エリアＧ１にあるとき、遠隔操作端末４上には図２（ａ）に示されるように、当該指示位置に対応する位置に第一ポインタＰ１が表示されている。このようにマウス４２の指示位置が操作エリアＧ１にあるとき、マウス４２による操作情報は操作対象端末３に送信されておらず、その結果、図２（ｂ）に示されるように、操作対象端末３の画面上には第三ポインタＰ３が表示されていない。
マウス４２の指示位置が操作エリアＧ１にあるとき、遠隔操作端末４上には図２（ａ）に示されるように、当該指示位置に対応する位置に第一ポインタＰ１が表示されている。このようにマウス４２の指示位置が操作エリアＧ１にあるとき、マウス４２による操作情報は操作対象端末３に送信されておらず、その結果、図２（ｂ）に示されるように、操作対象端末３の画面上には第三ポインタＰ３が表示されていない。
【0040】
この状態から図４に示されるように、マウス４２の指示位置が操作エリアＧ１から映像表示エリアＧ２に移ると、第一ポインタＰ１は切替処理部１３によって非表示に切り替えられ、遠隔操作端末４上ではポインタＰとして第二ポインタＰ２のみが映像表示エリアＧ２に表示される。即ち、マウス４２の指示位置が映像表示エリアＧ２に移ったことで、マウス４２の操作情報が遠隔操作支援システム１及び遠隔操作支援装置２を介して操作対象端末３に送信されるようになる。これに応じて、図３（ｂ）に示されるように、操作対象端末３の画面上には、第三ポインタＰ３が表示される。その結果、当該操作対象端末３の画面の映像を表示する遠隔操作端末４の映像表示エリアＧ２には、図３（ａ）に示されるように、当該第三ポインタＰ３に対応する第二ポインタＰ２が表示されている。
【0041】
マウス４２の指示位置が映像表示エリアＧ２にあるとき、遠隔操作端末４上には図３（ａ）に示されるように、第一ポインタＰ１は表示されていない。一方、このようにマウス４２の指示位置が映像表示エリアＧ２にあるとき、マウス４２による操作情報は操作対象端末３に送信されており、その結果、図３（ｂ）に示されるように、操作対象端末３の画面上には、マウス４２の指示位置に第三ポインタＰ３が表示されている。そして、この第三ポインタＰ３が表示されている操作対象端末３の画面の映像は、図３（ａ）に示されるように、遠隔操作端末４上の映像表示エリアＧ２に表示され、第三ポインタＰ３は第二ポインタＰ２として遠隔操作端末４の画面上に表示されている。
【0042】
この状態から図５に示されるように、マウス４２の指示位置が映像表示エリアＧ２から操作エリアＧ１に移ると、第一ポインタＰ１は切替処理部１３によって表示されるように切り替えられ、遠隔操作端末４上ではポインタＰとして第一ポインタＰ１のみが操作エリアＧ１に表示される。即ち、マウス４２の指示位置が操作エリアＧ１に移ったことで、マウス４２の操作情報が操作対象端末３に送信されなくなる。これに応じて、図２（ｂ）に示されるように、操作対象端末３の画面上からは第三ポインタＰ３の表示が消える。その結果、遠隔操作端末４の画面上において、当該操作対象端末３の映像を表示する映像表示エリアＧ２には、図２（ａ）に示されるように、第二ポインタＰ２が表示されていない。
【0043】
このように、操作対象端末３の画面上では、マウス４２の指示位置に応じて、第一ポインタＰ１又は第二ポインタＰ２が択一的に表示されている。
【0044】
なお、本実施形態において、図２～図５により説明した映像表示画面中の操作エリアＧ１には、特定のコマンドを操作対象端末３に送信するためのコマンドボタンＧ１１が設けられている。このコマンドボタンＧ１１には例えば、任意の操作を設定することができ、これにより使用者は簡単な操作で必要な操作を実行することもできる。
【0045】
また、本実施形態において、第一ポインタＰ１と第二ポインタＰ２の違いがさらに明確になるよう、第一ポインタＰ１又は第二ポインタＰ２のいずれか、あるいは両方に対して互いに異なる識別効果を付与するようにしてもよい。識別効果は色、模様、明滅等、各種の態様によることができ、特に限られない。
【0046】
●処理の流れ
続いて、本実施形態に係る遠隔操作支援システム１による処理の流れを説明する。
なお、予め、操作対象端末３の使用者は、操作対象端末３に遠隔操作支援装置２を接続すると共に、操作対象端末３のディスプレイが撮影領域に収まるように、遠隔操作支援装置２の撮像部２１の位置を調整し、撮影を開始する。
また、遠隔操作支援装置２が遠隔操作支援システム１と通信可能な状態にする。なお、遠隔操作支援装置２として、予め遠隔操作支援システム１と通信可能に設定された装置が使用者に提供されれば、使用者がネットワークまわりの操作に不慣れな場合に余計な負担がなく好適である。
続いて、本実施形態に係る遠隔操作支援システム１による処理の流れを説明する。
なお、予め、操作対象端末３の使用者は、操作対象端末３に遠隔操作支援装置２を接続すると共に、操作対象端末３のディスプレイが撮影領域に収まるように、遠隔操作支援装置２の撮像部２１の位置を調整し、撮影を開始する。
また、遠隔操作支援装置２が遠隔操作支援システム１と通信可能な状態にする。なお、遠隔操作支援装置２として、予め遠隔操作支援システム１と通信可能に設定された装置が使用者に提供されれば、使用者がネットワークまわりの操作に不慣れな場合に余計な負担がなく好適である。
【0047】
操作者は、遠隔操作支援装置２のホスト名等に基づいて接続する遠隔操作支援装置２を特定し、遠隔操作支援システム１を介して遠隔操作端末４を遠隔操作支援装置２に接続する。
【0048】
操作対象端末３、遠隔操作支援装置２、遠隔操作支援システム１、及び遠隔操作端末４の接続が確立すると、図６に示されるように、遠隔操作支援システム１は遠隔操作支援装置２に対して映像の取得要求を送信する（Ｓ１０１）。
これに応じて、遠隔操作支援装置２から映像が送信されると（Ｓ１０２）、遠隔操作支援システム１は補正処理部１２によって所定の設定に従った補正処理を映像に施した上（Ｓ１０３）、遠隔操作端末４に対して当該補正処理後の映像を送信する（Ｓ１０４）。映像は随時更新され、映像表示エリアＧ２に表示される。
これに応じて、遠隔操作支援装置２から映像が送信されると（Ｓ１０２）、遠隔操作支援システム１は補正処理部１２によって所定の設定に従った補正処理を映像に施した上（Ｓ１０３）、遠隔操作端末４に対して当該補正処理後の映像を送信する（Ｓ１０４）。映像は随時更新され、映像表示エリアＧ２に表示される。
【0049】
図７は、遠隔操作端末４により、操作対象端末３が操作される処理の流れを示している。
操作者が遠隔操作端末４のマウス４２を操作すると、操作情報が遠隔操作支援システム１に送信される（Ｓ２０１）。このとき、マウス４２の指示位置が映像表示エリアＧ２内にあれば、当該操作情報は操作対象端末３を操作する操作情報として、遠隔操作支援装置２に送信される（Ｓ２０３）。
操作者が遠隔操作端末４のマウス４２を操作すると、操作情報が遠隔操作支援システム１に送信される（Ｓ２０１）。このとき、マウス４２の指示位置が映像表示エリアＧ２内にあれば、当該操作情報は操作対象端末３を操作する操作情報として、遠隔操作支援装置２に送信される（Ｓ２０３）。
【0050】
遠隔操作支援装置２は、遠隔操作支援システム１から受信した操作情報を操作対象端末３に送信し、当該操作情報に応じた動作を操作対象端末３に要求する（Ｓ２０４）。これにより、操作者の操作に基づいて操作対象端末３が操作される。
なお、Ｓ２０２の処理において、マウス４２の指示位置が映像表示エリアＧ２にない場合には、操作情報は遠隔操作支援装置２に送信されない。
なお、Ｓ２０２の処理において、マウス４２の指示位置が映像表示エリアＧ２にない場合には、操作情報は遠隔操作支援装置２に送信されない。
【0051】
図８は、操作対象端末３の画面上におけるポインタＰの動きに関する処理の流れを示している。
操作者がマウス４２を操作すると、遠隔操作支援システム１は当該操作に係る操作情報を受信する（Ｓ３０１）。このとき、操作者が行った操作により、操作エリアＧ１にあった第一ポインタＰ１が当該操作エリアＧ１から映像表示エリアＧ２に入ったときは（Ｓ３０２）、切替処理部１３によって第一ポインタＰ１が非表示に切り替えられ（Ｓ３０３）、当該操作は遠隔操作端末４上に反映される（Ｓ３０６）。
なお、第一ポインタＰ１は、画面上に表示されているか否かにかかわらず、操作者による操作に応じて画面上を動いており、その座標によって、操作エリアＧ１にいるか映像表示エリアＧ２にいるかが判別される。
操作者がマウス４２を操作すると、遠隔操作支援システム１は当該操作に係る操作情報を受信する（Ｓ３０１）。このとき、操作者が行った操作により、操作エリアＧ１にあった第一ポインタＰ１が当該操作エリアＧ１から映像表示エリアＧ２に入ったときは（Ｓ３０２）、切替処理部１３によって第一ポインタＰ１が非表示に切り替えられ（Ｓ３０３）、当該操作は遠隔操作端末４上に反映される（Ｓ３０６）。
なお、第一ポインタＰ１は、画面上に表示されているか否かにかかわらず、操作者による操作に応じて画面上を動いており、その座標によって、操作エリアＧ１にいるか映像表示エリアＧ２にいるかが判別される。
【0052】
一方、操作者が行った操作により、映像表示エリアＧ２にあった第二ポインタＰ２が当該映像表示エリアＧ２から操作エリアＧ１に入ったときは（Ｓ３０４）、切替処理部１３によって第一ポインタＰ１が表示され（Ｓ３０５）、当該操作は遠隔操作端末４上に反映される（Ｓ３０６）。
【0053】
以上の本実施形態に係る遠隔操作支援システム１によれば、所定の端末の遠隔操作において、遠隔からの走者は的確な操作を実行することができる。特に、遠隔からの操作者は、自端末である遠隔操作端末４を操作しているのか、遠隔の操作対象端末３を操作しているのか、認識しやすく、操作ミスを防ぐことができる。
また、操作対象端末３の設定等を遠隔から行う場合、操作対象端末３の使用者がすべきことは、操作対象端末３に遠隔操作支援装置２を有線接続し、操作対象端末３を撮影するという平易且つ手間のない作業のみであるため、パソコンまわりの技術に不慣れな使用者にとっての負担が小さくて済む。
また、操作対象端末３の設定等を遠隔から行う場合、操作対象端末３の使用者がすべきことは、操作対象端末３に遠隔操作支援装置２を有線接続し、操作対象端末３を撮影するという平易且つ手間のない作業のみであるため、パソコンまわりの技術に不慣れな使用者にとっての負担が小さくて済む。
【0054】
なお、以上の本発明の実施形態においては、遠隔操作端末４における操作の利便性や処理負担の軽減等のため、遠隔操作端末４にインストール可能な専用のアプリケーションであって、遠隔操作支援システム１と連携するアプリケーションを提供してもよい。
また、以上で説明したシステムや端末、あるいは装置の機能構成は一例であり、本例で示した機能部が、本例とは異なるシステムや端末、あるいは装置に備えさせることもできる。
また、以上で説明したシステムや端末、あるいは装置の機能構成は一例であり、本例で示した機能部が、本例とは異なるシステムや端末、あるいは装置に備えさせることもできる。
【0055】
また、本発明の別の実施形態においては、遠隔操作支援システム１が備えた機能の全てを遠隔操作端末４に具備させ、遠隔操作端末４がネットワークＮＷ２を介して遠隔操作支援装置２とデータの送受信を実行するように構成することもできる。
【符号の説明】
【0056】
１ ：遠隔操作支援システム
２ ：遠隔操作支援装置
３ ：操作対象端末
４ ：遠隔操作端末
１１ ：映像展開部
１２ ：補正処理部
１３ ：切替処理部
１４ ：通信処理部
２１ ：撮像部
２２ ：出力部
２３ ：通信処理部
４１ ：ディスプレイ
４２ ：マウス
４３ ：キーボード
４４ ：通信処理部
Ｇ１ ：操作エリア
Ｇ１１ ：コマンドボタン
Ｇ２ ：映像表示エリア
ＮＷ１ ：ネットワーク
ＮＷ２ ：ネットワーク
Ｐ ：ポインタ
Ｐ１ ：第一ポインタ
Ｐ２ ：第二ポインタ
Ｐ３ ：第三ポインタ
２ ：遠隔操作支援装置
３ ：操作対象端末
４ ：遠隔操作端末
１１ ：映像展開部
１２ ：補正処理部
１３ ：切替処理部
１４ ：通信処理部
２１ ：撮像部
２２ ：出力部
２３ ：通信処理部
４１ ：ディスプレイ
４２ ：マウス
４３ ：キーボード
４４ ：通信処理部
Ｇ１ ：操作エリア
Ｇ１１ ：コマンドボタン
Ｇ２ ：映像表示エリア
ＮＷ１ ：ネットワーク
ＮＷ２ ：ネットワーク
Ｐ ：ポインタ
Ｐ１ ：第一ポインタ
Ｐ２ ：第二ポインタ
Ｐ３ ：第三ポインタ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【手続補正書】
【提出日】2022-02-09
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
操作対象端末と接続し、所定の操作情報に基づいて当該操作対象端末を操作する遠隔操作支援装置と、
ポインティングデバイスを備え、遠隔操作者が使用する遠隔操作端末と、通信可能に構成されたシステムであって、
前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信部と、
前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開部と、
前記遠隔操作端末から、前記ポインティングデバイスの操作情報を受信する操作情報受信部と、
前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理部と、
前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信手段と、を有し、
前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときは、第二ポインタとして、前記ポインティングデバイスの操作に応じて前記操作対象端末の画面上に出力された第三ポインタの映像を表示する、
遠隔操作支援システム。
ポインティングデバイスを備え、遠隔操作者が使用する遠隔操作端末と、通信可能に構成されたシステムであって、
前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信部と、
前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開部と、
前記遠隔操作端末から、前記ポインティングデバイスの操作情報を受信する操作情報受信部と、
前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理部と、
前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信手段と、を有し、
前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときは、第二ポインタとして、前記ポインティングデバイスの操作に応じて前記操作対象端末の画面上に出力された第三ポインタの映像を表示する、
遠隔操作支援システム。
【請求項2】
前記遠隔操作端末上において、前記第一ポインタと前記第二ポインタとを識別可能に表示する、
請求項１記載の遠隔操作支援システム。
請求項１記載の遠隔操作支援システム。
【請求項3】
前記操作エリアには、前記操作対象端末上での操作を実行するためのボタン、が設けられている、
請求項１又は２記載の遠隔操作支援システム。
請求項１又は２記載の遠隔操作支援システム。
【請求項4】
前記操作対象端末の映像を補正する補正処理手段、をさらに有する、
請求項１乃至３いずれかの項に記載の遠隔操作支援システム。
請求項１乃至３いずれかの項に記載の遠隔操作支援システム。
【請求項5】
前記遠隔操作支援装置は、前記操作対象端末と有線接続してデータの送受信を実行する、
請求項１乃至４いずれかの項に記載の遠隔操作支援システム。
請求項１乃至４いずれかの項に記載の遠隔操作支援システム。
【請求項6】
操作対象端末と接続し、所定の操作情報に基づいて当該操作対象端末を操作する遠隔操作支援装置と、通信可能に構成された遠隔操作端末であって、
ポインティングデバイスと、
前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信部と、
前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開部と、
前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理部と、
前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信手段と、を有し、
前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときは、第二ポインタとして、前記ポインティングデバイスの操作に応じて前記操作対象端末の画面上に出力された第三ポインタの映像を表示する、
遠隔操作端末。
ポインティングデバイスと、
前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信部と、
前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開部と、
前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理部と、
前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信手段と、を有し、
前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときは、第二ポインタとして、前記ポインティングデバイスの操作に応じて前記操作対象端末の画面上に出力された第三ポインタの映像を表示する、
遠隔操作端末。
【請求項7】
操作対象端末と接続し、所定の操作情報に基づいて当該操作対象端末を操作する遠隔操作支援装置と、
ポインティングデバイスを備え、遠隔操作者が使用する遠隔操作端末と、通信可能に構成されたシステムによって実行される方法であって、
前記システムが、
前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信処理と、
前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開処理と、
前記遠隔操作端末から、前記ポインティングデバイスの操作情報を受信する操作情報受信処理と、
前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理と、
前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信処理と、を実行し、
前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときは、第二ポインタとして、前記ポインティングデバイスの操作に応じて前記操作対象端末の画面上に出力された第三ポインタの映像を表示する、
遠隔操作支援方法。
ポインティングデバイスを備え、遠隔操作者が使用する遠隔操作端末と、通信可能に構成されたシステムによって実行される方法であって、
前記システムが、
前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信処理と、
前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開処理と、
前記遠隔操作端末から、前記ポインティングデバイスの操作情報を受信する操作情報受信処理と、
前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理と、
前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信処理と、を実行し、
前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときは、第二ポインタとして、前記ポインティングデバイスの操作に応じて前記操作対象端末の画面上に出力された第三ポインタの映像を表示する、
遠隔操作支援方法。
【請求項8】
操作対象端末と接続し、所定の操作情報に基づいて当該操作対象端末を操作する遠隔操作支援装置と、
ポインティングデバイスを備え、遠隔操作者が使用する遠隔操作端末と、通信可能に構成されたシステムによって実行されるコンピュータプログラムであって、
前記システムに対し、
前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信処理と、
前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開処理と、
前記遠隔操作端末から、前記ポインティングデバイスの操作情報を受信する操作情報受信処理と、
前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理と、
前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信処理と、を実行させ、
前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときは、第二ポインタとして、前記ポインティングデバイスの操作に応じて前記操作対象端末の画面上に出力された第三ポインタの映像を表示させる、
コンピュータプログラム。
ポインティングデバイスを備え、遠隔操作者が使用する遠隔操作端末と、通信可能に構成されたシステムによって実行されるコンピュータプログラムであって、
前記システムに対し、
前記遠隔操作支援装置から、前記操作対象端末の映像を受信する映像受信処理と、
前記遠隔操作端末を操作する第一ポインタが表示される操作エリアと、前記操作対象端末の映像を表示する映像表示エリアと、が設けられた画面を前記遠隔操作端末上に展開する映像展開処理と、
前記遠隔操作端末から、前記ポインティングデバイスの操作情報を受信する操作情報受信処理と、
前記ポインティングデバイスによる指示位置が前記操作エリアにあるときは前記第一ポインタを表示し、前記映像表示エリアにあるときは前記第一ポインタを非表示とする切替処理と、
前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときに、前記遠隔操作支援装置に対して、前記操作情報を前記所定の操作情報として送信する操作情報送信処理と、を実行させ、
前記ポインティングデバイスによる指示位置が前記映像表示エリアにあるときは、第二ポインタとして、前記ポインティングデバイスの操作に応じて前記操作対象端末の画面上に出力された第三ポインタの映像を表示させる、
コンピュータプログラム。