(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023140075
(43)【公開日】2023-10-04
(54)【発明の名称】遠隔操作装置
(51)【国際特許分類】
G06F 3/0481 20220101AFI20230927BHJP
G06F 3/0484 20220101ALI20230927BHJP
H04Q 9/00 20060101ALN20230927BHJP
【FI】
G06F3/0481
G06F3/0484
H04Q9/00 311Z
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022045922
(22)【出願日】2022-03-22
(71)【出願人】
【識別番号】000232092
【氏名又は名称】NECソリューションイノベータ株式会社
(74)【代理人】
【識別番号】100124811
【弁理士】
【氏名又は名称】馬場 資博
(74)【代理人】
【識別番号】100088959
【弁理士】
【氏名又は名称】境 廣巳
(74)【代理人】
【識別番号】100097157
【弁理士】
【氏名又は名称】桂木 雄二
(74)【代理人】
【識別番号】100187724
【弁理士】
【氏名又は名称】唐鎌 睦
(72)【発明者】
【氏名】山上 辰典
(72)【発明者】
【氏名】石田 州裕
(72)【発明者】
【氏名】外村 彰英
(72)【発明者】
【氏名】鈴木 隼人
【テーマコード(参考)】
5E555
5K048
【Fターム(参考)】
5E555AA16
5E555AA68
5E555BA02
5E555BA05
5E555BB02
5E555BC01
5E555BC08
5E555BC09
5E555BD02
5E555CA02
5E555CA18
5E555CA42
5E555CB02
5E555CB20
5E555CB74
5E555CC01
5E555CC03
5E555DB03
5E555DC13
5E555DC84
5E555EA11
5E555EA24
5E555FA00
5K048BA01
5K048EB02
5K048EB15
(57)【要約】
【課題】容易に遠隔操作を実現することが難しい。
【解決手段】遠隔操作装置700は、被操作装置が有する画面表示部を少なくとも被写体とした画像データを受信する受信部721と、前記被操作装置が有する前記画面表示部の大きさを示す情報と、前記画像データとに基づいて、所定の変換処理を行う変換部722と、前記変換部722による変換処理の結果として生成される変換後画像データに対して文字認識処理を行う文字認識部723と、前記文字認識部723による処理後の処理後画像データを表示する表示部724と、を有する。
【選択図】
図11
【特許請求の範囲】
【請求項1】
被操作装置が有する画面表示部を少なくとも被写体とした画像データを受信する受信部と、
前記被操作装置が有する前記画面表示部の大きさを示す情報と、前記画像データとに基づいて、所定の変換処理を行う変換部と、
前記変換部による変換処理の結果として生成される変換後画像データに対して文字認識処理を行う文字認識部と、
前記文字認識部による処理後の処理後画像データを表示する表示部と、
を有する
遠隔操作装置。
【請求項2】
請求項1に記載の遠隔操作装置であって、
前記変換部は、前記画像データ内の前記画面表示部の形状を前記画面表示部の大きさに応じた形状に変換する際に必要となる変換パラメータを算出して、算出した変換パラメータを用いて前記変換処理を行う
遠隔操作装置。
【請求項3】
請求項2に記載の遠隔操作装置であって、
前記変換部は、前記画像データ内の前記画面表示部の形状を前記画面表示部の大きさに応じた形状に変換する際に必要となるホモグラフィ変換行列を前記変換パラメータとして算出する
遠隔操作装置。
【請求項4】
請求項1から請求項3までのうちのいずれか1項に記載の遠隔操作装置であって、
前記変換部は、前記画面表示部の大きさを示す規格情報に基づいて前記画面表示部の高さと幅を特定し、特定した高さと幅とを用いて前記変換処理を行う
遠隔操作装置。
【請求項5】
請求項1から請求項4までのうちのいずれか1項に記載の遠隔操作装置であって、
操作入力部に対する操作に応じた操作情報を取得して取得した前記操作情報を外部装置に対して送信する操作情報送信部を有する
遠隔操作装置。
【請求項6】
請求項1から請求項5までのうちのいずれか1項に記載の遠隔操作装置であって、
前記画像データを取得する撮像装置に対して解像度を変更する旨の指示を送信する指示部を有する
遠隔操作装置。
【請求項7】
情報処理装置が、
被操作装置が有する画面表示部を少なくとも被写体とした画像データを受信し、
前記被操作装置が有する前記画面表示部の大きさを示す情報と、前記画像データとに基づいて、所定の変換処理を行い、
変換処理の結果として生成される変換後画像データに対して文字認識処理を行い、
文字認識処理後の処理後画像データを表示する
遠隔操作方法。
【請求項8】
情報処理装置に、
被操作装置が有する画面表示部を少なくとも被写体とした画像データを受信し、
前記被操作装置が有する前記画面表示部の大きさを示す情報と、前記画像データとに基づいて、所定の変換処理を行い、
変換処理の結果として生成される変換後画像データに対して文字認識処理を行い、
文字認識処理後の処理後画像データを表示する
処理を実現するためのプログラム。
【請求項9】
被操作装置が有する画面表示部を少なくとも被写体とした画像データを受信する受信部と、前記被操作装置が有する前記画面表示部の大きさを示す情報と、前記画像データとに基づいて、所定の変換処理を行う変換部と、前記変換部による変換処理の結果として生成される変換後画像データに対して文字認識処理を行う文字認識部と、前記文字認識部による処理後の処理後画像データを表示する表示部と、を有する遠隔操作装置と、
前記被操作装置が有する前記画面表示部を被写体とした前記画像データを取得して、取得した前記画像データを前記遠隔操作装置に対して送信する撮像装置と、
を有する
遠隔操作システム。
【請求項10】
請求項9に記載の遠隔操作システムであって、
前記遠隔操作装置は、操作入力部に対する操作に応じた操作情報を取得して取得した前記操作情報を外部装置に対して送信する操作情報送信部を有し、
遠隔操作システムは、前記操作情報送信部が送信した前記操作情報を受信して前記被操作装置に対して出力する受信機を有する
遠隔操作システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、遠隔操作装置、遠隔操作方法、プログラム、遠隔操作システムに関する。
【背景技術】
【0002】
パーソナルコンピュータなどの情報処理装置を遠隔操作する際に用いられる技術が知られている。
【0003】
例えば、特許文献1には、ローカルPC用の入力装置とのインタフェースを司どる第1のインタフェース部と、第1の変更認識手段と、第1の圧縮部と、第1の結合部と、第1のネットワークI/O部と、第1の分割部と、第1の解凍部と、第1のインタフェース手段とを具備することを特徴とする送信側ネットワークI/Oボックス装置などが記載されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ローカルネットワーク環境下やオフライン環境下において、パーソナルコンピュータなどの情報処理装置を遠隔で操作したい場合がある。このような場合において、特許文献1に記載の技術では、被操作側と操作側の両方にネットワークI/Oボックス装置が必要であり、容易に遠隔操作を行うことが難しかった。このように、容易に遠隔操作を行うことが難しい、という課題が生じていた。
【0006】
そこで、本発明の目的は、上述した課題を解決するための遠隔操作装置、遠隔操作方法、プログラム、遠隔操作システムを提供することにある。
【課題を解決するための手段】
【0007】
かかる目的を達成するため本開示の一形態である遠隔操作装置は、
被操作装置が有する画面表示部を少なくとも被写体とした画像データを受信する受信部と、
前記被操作装置が有する前記画面表示部の大きさを示す情報と、前記画像データとに基づいて、所定の変換処理を行う変換部と、
前記変換部による変換処理の結果として生成される変換後画像データに対して文字認識処理を行う文字認識部と、
前記文字認識部による処理後の処理後画像データを表示する表示部と、
を有する
という構成をとる。
【0008】
また、本開示の他の形態である遠隔操作方法は、
情報処理装置が、
被操作装置が有する画面表示部を少なくとも被写体とした画像データを受信し、
前記被操作装置が有する前記画面表示部の大きさを示す情報と、前記画像データとに基づいて、所定の変換処理を行い、
変換処理の結果として生成される変換後画像データに対して文字認識処理を行い、
文字認識処理後の処理後画像データを表示する
という構成をとる。
【0009】
また、本開示の他の形態であるプログラムは、
情報処理装置に、
被操作装置が有する画面表示部を少なくとも被写体とした画像データを受信し、
前記被操作装置が有する前記画面表示部の大きさを示す情報と、前記画像データとに基づいて、所定の変換処理を行い、
変換処理の結果として生成される変換後画像データに対して文字認識処理を行い、
文字認識処理後の処理後画像データを表示する
処理を実現するためのプログラムである。
【0010】
また、本開示の他の形態である遠隔操作システムは、
被操作装置が有する画面表示部を少なくとも被写体とした画像データを受信する受信部と、前記被操作装置が有する前記画面表示部の大きさを示す情報と、前記画像データとに基づいて、所定の変換処理を行う変換部と、前記変換部による変換処理の結果として生成される変換後画像データに対して文字認識処理を行う文字認識部と、前記文字認識部による処理後の処理後画像データを表示する表示部と、を有する遠隔操作装置と、
前記被操作装置が有する前記画面表示部を被写体とした前記画像データを取得して、取得した前記画像データを前記遠隔操作装置に対して送信する撮像装置と、
を有する
という構成をとる。
【発明の効果】
【0011】
上述したような各構成によると、容易に情報処理装置を遠隔操作することが可能となる。
【図面の簡単な説明】
【0012】
【
図1】本開示の第1の実施形態における遠隔操作システムの構成例を示す図である。
【
図2】遠隔操作システムの他の構成例を示す図である。
【
図3】遠隔操作装置の構成例を示すブロック図である。
【
図7】遠隔操作装置の動作例を示すフローチャートである。
【
図8】遠隔操作装置の動作例を示すフローチャートである。
【
図9】遠隔操作装置の他の構成例を示すブロック図である。
【
図10】本開示の第2の実施形態における遠隔操作装置のハードウェア構成例を示す図である。
【
図11】遠隔操作装置の構成例を示すブロック図である。
【発明を実施するための形態】
【0013】
[第1の実施形態]
本開示の第1の実施形態について、
図1から
図9までを参照して説明する。
図1、
図2は、遠隔操作システム100の構成の概要を説明するための図である。
図3は、遠隔操作装置500の構成例を示すブロック図である。
図4は、規格情報541の一例を示す図である。
図5、
図6は、遠隔操作装置500の処理例を示す図である。
図7、
図8は、遠隔操作装置500の動作例を示すフローチャートである。
図9は、遠隔操作装置500の他の構成例を示すブロック図である。
【0014】
本開示の第1の実施形態においては、ローカルネットワーク環境下やオフライン環境下におかれた被操作装置200を遠隔操作する遠隔操作システム100について説明する。後述するように、遠隔操作システム100は、撮像装置300を利用して被操作装置200を被写体とした画像データを取得すると、当該取得した画像データ内に写った被操作装置200の画面表示部を抽出して、抽出した被操作装置200の画面表示部の形状を所定の形状に変換する。そして、遠隔操作システム100は、変換後の画像データに対してOCR(Optical character recognition)処理などの文字認識処理を実行する。その後、遠隔操作システム100は、上記処理後の画像データである処理後画像データを画面表示する。
【0015】
また、遠隔操作システム100は、上述した処理後画像データを画面表示するとともに、キーボードやマウスなどの操作入力部に対する操作に応じた操作情報を被操作装置200に対して送信する。例えば、遠隔操作システム100は、遠隔操作エミュレート用のマウス・キーボード受信機400を介して、被操作装置200へと操作情報を送信する。これにより、被操作装置200において、マウスやキーボードなどに対する操作が認識される。なお、操作情報の送信は、既知の技術を用いて実現されてよい。
【0016】
図1、
図2は、遠隔操作システム100の構成例を示している。
図1を参照すると、遠隔操作システム100は、例えば、被操作装置200と、撮像装置300と、遠隔操作エミュレート用のマウス・キーボード受信機400と、遠隔操作装置500と、を有している。また、
図2で示すように、遠隔操作システム100は、スマートフォンなどの携帯端末600を含んでもよい。
図1、
図2で示すように、遠隔操作装置500は、ネットワークなどを介して、撮像装置300やマウス・キーボード受信機400と互いに通信可能なよう接続されている。
【0017】
被操作装置200は、ローカルネットワーク環境下やオフライン環境下におかれた情報処理装置である。例えば、被操作装置200は、情報を表示するLCD(Liquid Crystal Display、液晶ディスプレイ)などの画面表示部を有する。また、被操作装置200は、取得した操作情報に応じてキーボードやマウスなどに対する操作を認識する。例えば、被操作装置200は、パーソナルコンピュータやタブレットその他の携帯端末など、一般的な情報処理装置であってよい。
【0018】
撮像装置300は、被操作装置200の画面表示部を少なくとも被写体とした画像データを取得するカメラなどの撮像装置である。例えば、撮像装置300は、時系列の画像データを取得する。また、撮像装置300は、ネットワークNなどを介して、取得した画像データを遠隔操作装置500に対して送信する。
【0019】
例えば、撮像装置300は、無線通信機能などを有しており、当該無線通信機能を利用して、遠隔操作装置500に対して画像データを送信することができる。撮像装置300は、当該撮像装置300と通信可能に接続された携帯端末600が有するテザリング機能などを利用して、遠隔操作装置500に対して画像データを送信してもよい。
【0020】
マウス・キーボード受信機400は、ネットワークNを介して遠隔操作装置500からキーボードやマウスなどの操作情報を受信する遠隔操作エミュレート用の受信機である。例えば、マウス・キーボード受信機400は、被操作装置200と接続されており、遠隔操作装置500から受信した操作情報を被操作装置200に対して出力する。マウス・キーボード受信機400が操作情報を被操作装置200に対して出力することで、被操作装置200においてキーボードやマウスなどに対する操作が認識される。
【0021】
例えば、マウス・キーボード受信機400は、無線通信機能などを有しており、当該無線通信機能を利用して、遠隔操作装置500から操作情報を受信することができる。マウス・キーボード受信機400は、当該マウス・キーボード受信機400と通信可能に接続された携帯端末600が有するテザリング機能などを利用して、遠隔操作装置500から操作情報などを受信してもよい。
【0022】
なお、マウス・キーボード受信機400は、既知のものであってよい。例えば、マウス・キーボード受信機400は、KVM(Keyboard, Video, Mouse) over IP(Internet Protocol)などを利用してもよい。
【0023】
遠隔操作装置500は、被操作装置200を遠隔操作する情報処理装置である。
図3は、遠隔操作装置500の構成例を示している。
図3を参照すると、遠隔操作装置500は、主な構成要素として、例えば、操作入力部510と、画面表示部520と、通信I/F部530と、記憶部540と、演算処理部550と、を有している。
【0024】
操作入力部510は、キーボードやマウスなどの操作入力装置からなる。操作入力部510は、遠隔操作装置500を操作する人員の操作を検出して演算処理部550に出力する。
【0025】
画面表示部520は、LCDなどの画面表示装置からなる。画面表示部520は、演算処理部550からの指示に応じて、記憶部540に格納された各種情報などを画面表示することができる。
【0026】
通信I/F部530は、データ通信回路からなる。通信I/F部530は、通信回線を介して接続された撮像装置300やマウス・キーボード受信機400などの外部装置との間でデータ通信を行う。
【0027】
記憶部540は、ハードディスクやメモリなどの記憶装置である。記憶部540は、演算処理部550における各種処理に必要な処理情報やプログラム544を記憶する。プログラム544は、演算処理部550に読み込まれて実行されることにより各種処理部を実現する。プログラム544は、通信I/F部530などのデータ入出力機能を介して外部装置や記録媒体から予め読み込まれ、記憶部540に保存されている。記憶部540で記憶される主な情報としては、例えば、規格情報541、画像データ情報542、処理後画像データ情報543などがある。
【0028】
規格情報541は、被操作装置200が有する画面表示部の大きさを示す情報を含んでいる。例えば、規格情報541は、通信I/F部530などを介して外部装置などから予め取得され、または、操作入力部510などを用いて予め入力され、記憶部540に格納されている。
【0029】
図4は、規格情報541の一例を示している。
図4を参照すると、規格情報541では、画面表示部のサイズごとの高さと幅を示している。このように、規格情報541は、被操作装置200が有する画面表示部の大きさを示している。
【0030】
画像データ情報542には、撮像装置300から受信した画像データが含まれている。例えば、画像データ情報542には、時系列の画像データが含まれる。画像データ情報542においては、画像データの識別情報、画像データを取得した日時を示す情報、画像データを取得した位置を示す情報、そのほか任意の情報などが画像データを関連付けられてもよい。例えば、画像データ情報542は、受信部551がカメラや外部の情報処理装置などの外部装置などから画像データを受信するごとに更新される。
【0031】
処理後画像データ情報543には、後述する変換部553や文字認識部554などによる処理が行われた後の処理後画像データが含まれている。例えば、処理後画像データ情報543は、文字認識部554がOCRなどの文字認識処理を行うことなどに応じて更新される。
【0032】
演算処理部550は、CPU(Central Processing Unit)などの演算装置とその周辺回路を有する。演算処理部550は、記憶部540からプログラム544を読み込んで実行することにより、上記ハードウェアとプログラム544とを協働させて各種処理部を実現する。演算処理部550で実現される主な処理部としては、例えば、受信部551、抽出部552、変換部553、文字認識部554、表示部555、操作情報送信部556などがある。
【0033】
受信部551は、外部装置から画像データや被操作装置200が有する画像表示部の大きさを示す情報などを受信する。
【0034】
例えば、受信部551は、通信I/F部530を介して、撮像装置300から画像データを受信する。受信部551は、画像データとともに画像データを取得した日時や取得場所を示す情報を撮像装置300から受信してもよい。また、受信部551は、受信した画像データなどを画像データ情報542として記憶部540に格納する。
【0035】
また、例えば、受信部551は、通信I/F部530を介して、携帯端末600やそのほかの外部装置から、被操作装置200が有する画面表示部の大きさを示す情報を取得することができる。なお、画面表示部の大きさを示す情報は、例えば、xx型など画面表示部のサイズを示していてもよいし、画面表示部の高さや幅などを示していてもよい。
【0036】
抽出部552は、画像データ情報542に含まれる画像データ内から被写体である被操作装置200の画面表示部を抽出する。抽出部552は、既知の手段を用いて、画像データから画面表示部を抽出してよい。
【0037】
例えば、抽出部552は、YOLO(You Only Look Once)などの物体検出アルゴリズムを用いて、画面表示部を抽出する。抽出部552は、OpenCV(Open Source Computer Vision Library)などを用いて作成した物体検出器を用いて画面表示部を抽出する、テンプレートマッチングの手法を用いて画面表示部を検出するなど、そのほか既知の手法を用いて、被操作装置200が有する画面表示部を抽出してもよい。
【0038】
変換部553は、抽出部552による抽出結果や画面表示部の大きさを示す情報などに基づいて、画像データ内の少なくとも抽出画面表示部に相当する部分の形状を変換する変換処理を行う。
【0039】
例えば、変換部553は、抽出部552が抽出した画面表示部の形状を所定の形状に変換する際に必要となる変換パラメータを算出する。例えば、変換部553は、画像データ内における画面表示部の形状を画面表示部の大きさに応じた形状に変換する際に必要となる変換パラメータを算出する。具体的には、例えば、変換部553は、変換パラメータとしてホモグラフィ変換行列を算出する。なお、変換部553は、既知の手段を用いてホモグラフィ変換行列を算出してよい。例えば、変換部553は、抽出した画面表示部の座標と、画面表示部の大きさに応じて特定される、画面表示部の形状に応じた座標と、を用いた連立方程式を解くことなどにより、ホモグラフィ変換行列を算出することができる。
【0040】
また、変換部553は、算出した変換パラメータを用いた計算を行うことで、画面表示部を抽出した画像データを変換する。例えば、変換部553は、算出した変換パラメータを用いて画像データ内のうち少なくとも画面表示部に対応する領域について行列計算することで、少なくとも領域内の形状を変換した変換後画像データを生成する。変換部553が変換を行うことで、例えば、撮像装置300の撮像位置がずれていることなどにより被操作装置200の画面表示部を真正面から撮像できていない場合などにおいても、画像データ内における画面表示部や画像表示部内の表示などの形状を補正することができる。
【0041】
例えば、以上例示したように、変換部553は、抽出部552による抽出結果や画面表示部の大きさを示す情報などに基づいて、ホモグラフィ変換処理を行うことで、変換後画像データを生成する。なお、画面表示部の大きさを示す情報が画面表示部のサイズを示す場合、変換部553は、規格情報541を参照して、サイズに応じた高さや幅などの情報を特定してよい。変換部553は、特定した高さや幅などが示す形状に変換するための変換パラメータを算出することができる。
【0042】
文字認識部554は、変換後画像データに基づいて、OCRなどの文字認識処理を行う。文字認識部554は、一般的な方法を用いて文字認識処理を行ってよい。また、文字認識部554は、文字認識処理の後の画像データを、処理後画像データ情報543として記憶部540に格納する。
【0043】
上述したように、文字認識部554は、変換部553により生成された変換後画像データに対して、文字認識処理を行う。変換後画像データに対して文字認識処理を行うことで、撮像装置300の撮像位置がずれていることなどにより被操作装置200の画面表示部を真正面から撮像できていない場合などにおいて、文字認識処理の精度を向上させることができる。
【0044】
表示部555は、画面表示部520に処理後画像データなどを表示する。表示部555は、処理後画像データ以外の各種情報などを画面表示部520上に表示させてもよい。
【0045】
操作情報送信部556は、操作入力部510に対する操作に応じた操作情報をマウス・キーボード受信機400に対して送信する。例えば、操作情報送信部556は、表示部555が画面表示部520上に処理後画像データなどを表示している状態において、操作入力部510に対する操作に応じた操作情報をマウス・キーボード受信機400に対して送信する。操作情報送信部556は、既知の技術を用いて実現されてよい。
【0046】
上述したように、遠隔操作システム100は、携帯端末600を含むことができる。携帯端末600は、テザリング機能を有する一般的なスマートフォンなどであってよい。なお、撮像装置300やマウス・キーボード受信機400が無線通信機能などを有する場合、遠隔操作システム100は携帯端末600を含まなくてもよい。
【0047】
以上が、遠隔操作システム100の構成例である。上述した構成によると、
図5で示すように、遠隔操作システム100の遠隔操作装置500は、画像データ中の画面表示部の形状を変換した後に、文字認識処理を行う。その結果、撮像装置300の撮像位置がずれている場合などにおいても、精度よく文字認識処理を行うことができる。
【0048】
また、
図6で示すように、本実施形態において説明した遠隔操作システム100によると、画面表示部520上に処理後画像データを表示した状態において、操作入力部510に対する操作などに応じた操作情報をマウス・キーボード受信機400に対して送信することができる。その結果、画像データに基づく遠隔操作を行う際などにおける利便性を向上させることができる。
【0049】
続いて、
図7、
図8を参照して、遠隔操作装置500の動作例について説明する。まず、
図7を参照して、画面表示する際の遠隔操作装置500の動作例について説明する。
【0050】
図7は、遠隔操作装置500の動作例を示すフローチャートである。
図7を参照すると、受信部551は、撮像装置300から画像データを受信する(ステップS101)。受信部551は、画像データとともに画像データを取得した日時や取得場所を示す情報を撮像装置300から受信してもよい。また、受信部551は、携帯端末600やそのほかの外部装置から、被操作装置200が有する画面表示部の大きさを示す情報を取得することができる。
【0051】
抽出部552は、画像データ情報542に含まれる画像データ内から被写体である被操作装置200の画面表示部を抽出する(ステップS102)。抽出部552は、既知の手段を用いて、画像データから画面表示部を抽出してよい。
【0052】
変換部553は、抽出部552による抽出結果や画面表示部の大きさを示す情報などに基づいて、ホモグラフィ変換処理を実行する(ステップS103)。例えば、変換部553は、画像データ内における画面表示部の形状を画面表示部の大きさに応じた形状に変換する際に必要となる変換パラメータを算出する。また、変換部553は、算出した変換パラメータを用いた計算を行うことで、画面表示部の形状などを変換した変換後画像データを生成する。
【0053】
文字認識部554は、変換後画像データに基づいて、OCRなどの文字認識処理を行う(ステップS104)。文字認識部554は、一般的な方法を用いて文字認識処理を行ってよい。
【0054】
表示部555は、文字認識部554による処理後の画像データである処理後画像データを画面表示部520上に表示する(ステップS105)。
【0055】
以上が、画面表示部520上に画面表示する際の遠隔操作装置500の動作例である。続いて、
図8を参照して、操作情報を送信する際の遠隔操作装置500の動作例について説明する。
【0056】
図8は、遠隔操作装置500の動作例を示すフローチャートである。
図8を参照すると、操作情報送信部556は、表示部555が処理後画像データを画面表示部520上に表示している状態において、操作入力部510に対する操作に応じた操作情報を取得する(ステップS201)。
【0057】
また、操作情報送信部556は、取得した操作情報をマウス・キーボード受信機400に対して送信する(ステップS202)。その後、マウス・キーボード受信機400が被操作装置200に対して受信した操作情報を出力することで、マウスやキーボードに対する操作が被操作装置200に認識される。
【0058】
以上が、操作情報を送信する際の遠隔操作装置500の動作例である。
【0059】
このように、遠隔操作装置500は、変換部553と文字認識部554と表示部555とを有している。このような構成によると、文字認識部554は、変換部553による変換が行われた画像データを用いて、文字認識処理を行うことができる。また、表示部555は、処理後画像データを画面表示部520上に表示させることができる。その結果、撮像装置300の撮像位置が多少ずれていたとしても精度よく文字認識処理を行うことができ、容易に利便性の高い遠隔操作を実現することができる。
【0060】
また、遠隔操作装置500は、操作情報送信部556を有している。このような構成によると、操作情報送信部556は、画面表示部520上に処理後画像データを表示した状態において、操作入力部510に対する操作などに応じた操作情報をマウス・キーボード受信機400に対して送信することができる。その結果、画像データに基づく遠隔操作を行う際などにおける利便性を向上させることができる。
【0061】
なお、遠隔操作装置500などの構成は本実施形態で例示した場合に限定されない。例えば、
図9を参照すると、演算処理部550は、プログラム544を読み込んで実行することで、上述した各処理部に加えて解像度修正指示部557を実現することができる。
【0062】
解像度修正指示部557は、画像データ情報542などに基づいてモアレが発生していると判断される場合、または、遠隔操作装置500に対する操作などに応じて、撮像装置300に対して解像度を変更するよう指示することができる。解像度修正指示部557が解像度を変更するよう撮像装置300に対して指示することで、撮像装置300において解像度が変更され、より快適な遠隔操作を実現することができる。なお、解像度修正指示部557は、任意の方法でモアレ発生の有無を判断してよい。
【0063】
[第2の実施形態]
次に、
図10、
図11を参照して、本開示の第2の実施形態について説明する。本開示の第2の実施形態では、情報処理装置である遠隔操作装置700の構成の概要について説明する。
【0064】
図10は、遠隔操作装置700のハードウェア構成例を示している。
図10を参照すると、遠隔操作装置700は、一例として、以下のようなハードウェア構成を有している。
・CPU(Central Processing Unit)701(演算装置)
・ROM(Read Only Memory)702(記憶装置)
・RAM(Random Access Memory)703(記憶装置)
・RAM703にロードされるプログラム群704
・プログラム群704を格納する記憶装置705
・情報処理装置外部の記録媒体710の読み書きを行うドライブ装置706
・情報処理装置外部の通信ネットワーク711と接続する通信インタフェース707
・データの入出力を行う入出力インタフェース708
・各構成要素を接続するバス709
【0065】
また、遠隔操作装置700は、プログラム群704をCPU701が取得して当該CPU701が実行することで、
図11に示す受信部721、変換部722、文字認識部723、表示部724としての機能を実現することができる。なお、プログラム群704は、例えば、予め記憶装置705やROM702に格納されており、必要に応じてCPU701がRAM703などにロードして実行する。また、プログラム群704は、通信ネットワーク711を介してCPU701に供給されてもよいし、予め記録媒体710に格納されており、ドライブ装置706が該プログラムを読み出してCPU701に供給してもよい。
【0066】
なお、
図10は、遠隔操作装置700のハードウェア構成例を示している。遠隔操作装置700のハードウェア構成は上述した場合に限定されない。例えば、遠隔操作装置700は、ドライブ装置706を有さないなど、上述した構成の一部から構成されてもよい。
【0067】
受信部721は、被操作装置が有する画面表示部を少なくとも被写体とした画像データを受信する。
【0068】
変換部722は、被操作装置が有する画面表示部の大きさを示す情報と、画像データとに基づいて、所定の変換処理を行う。
【0069】
文字認識部723は、変換部722による変換処理の結果として生成される変換後画像データに対して文字認識処理を行う。
【0070】
表示部724は、文字認識部723による処理後の処理後画像データを表示する。
【0071】
このように、遠隔操作装置700は、変換部722と文字認識部723と表示部724とを有している。このような構成によると、遠隔操作装置700の文字認識部723は、変換部722による変換が行われた画像データを用いて、文字認識処理を行うことができる。また、表示部724は、文字認識部723による処理後の画像データを表示させることができる。その結果、画像データを撮像する際の撮像位置が多少ずれていたとしても精度よく文字認識処理を行うことができ、容易に利便性の高い遠隔操作を実現することができる。
【0072】
なお、上述した遠隔操作装置700などの情報処理装置は、当該情報処理装置に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、情報処理装置に、被操作装置が有する画面表示部を少なくとも被写体とした画像データを受信し、被操作装置が有する画面表示部の大きさを示す情報と、画像データとに基づいて、所定の変換処理を行い、変換処理の結果として生成される変換後画像データに対して文字認識処理を行い、文字認識処理後の処理後画像データを表示する、処理を実現するためのプログラムである。
【0073】
また、上述した情報処理装置により実行される遠隔操作方法は、情報処理装置が、被操作装置が有する画面表示部を少なくとも被写体とした画像データを受信し、被操作装置が有する画面表示部の大きさを示す情報と、画像データとに基づいて、所定の変換処理を行い、変換処理の結果として生成される変換後画像データに対して文字認識処理を行い、文字認識処理後の処理後画像データを表示する、というものである。
【0074】
上述した構成を有する、プログラム(又は記録媒体)、又は、遠隔操作方法などの発明であっても、上述した遠隔操作装置700と同様の作用・効果を奏するために、上述した本発明の目的を達成することができる。また、上述した構成を有する遠隔操作装置700と、被操作装置が有する画面表示部を被写体とした画像データを取得して、取得した画像データを遠隔操作装置に対して送信する撮像装置と、を有する遠隔操作システムであっても、同様の目的を達成することができる。
【0075】
<付記>
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における遠隔操作装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。
【0076】
(付記1)
被操作装置が有する画面表示部を少なくとも被写体とした画像データを受信する受信部と、
前記被操作装置が有する前記画面表示部の大きさを示す情報と、前記画像データとに基づいて、所定の変換処理を行う変換部と、
前記変換部による変換処理の結果として生成される変換後画像データに対して文字認識処理を行う文字認識部と、
前記文字認識部による処理後の処理後画像データを表示する表示部と、
を有する
遠隔操作装置。
(付記2)
付記1に記載の遠隔操作装置であって、
前記変換部は、前記画像データ内の前記画面表示部の形状を前記画面表示部の大きさに応じた形状に変換する際に必要となる変換パラメータを算出して、算出した変換パラメータを用いて前記変換処理を行う
遠隔操作装置。
(付記3)
付記1または付記2に記載の遠隔操作装置であって、
前記変換部は、前記画像データ内の前記画面表示部の形状を前記画面表示部の大きさに応じた形状に変換する際に必要となるホモグラフィ変換行列を前記変換パラメータとして算出する
遠隔操作装置。
(付記4)
付記1から付記3までのうちのいずれか1項に記載の遠隔操作装置であって、
前記変換部は、前記画面表示部の大きさを示す規格情報に基づいて前記画面表示部の高さと幅を特定し、特定した高さと幅とを用いて前記変換処理を行う
遠隔操作装置。
(付記5)
付記1から付記4までのうちのいずれか1項に記載の遠隔操作装置であって、
操作入力部に対する操作に応じた操作情報を取得して取得した前記操作情報を外部装置に対して送信する操作情報送信部を有する
遠隔操作装置。
(付記6)
付記1から付記5までのうちのいずれか1項に記載の遠隔操作装置であって、
前記画像データを取得する撮像装置に対して解像度を変更する旨の指示を送信する指示部を有する
遠隔操作装置。
(付記7)
情報処理装置が、
被操作装置が有する画面表示部を少なくとも被写体とした画像データを受信し、
前記被操作装置が有する前記画面表示部の大きさを示す情報と、前記画像データとに基づいて、所定の変換処理を行い、
変換処理の結果として生成される変換後画像データに対して文字認識処理を行い、
文字認識処理後の処理後画像データを表示する
遠隔操作方法。
(付記8)
情報処理装置に、
被操作装置が有する画面表示部を少なくとも被写体とした画像データを受信し、
前記被操作装置が有する前記画面表示部の大きさを示す情報と、前記画像データとに基づいて、所定の変換処理を行い、
変換処理の結果として生成される変換後画像データに対して文字認識処理を行い、
文字認識処理後の処理後画像データを表示する
処理を実現するためのプログラム。
(付記9)
被操作装置が有する画面表示部を少なくとも被写体とした画像データを受信する受信部と、前記被操作装置が有する前記画面表示部の大きさを示す情報と、前記画像データとに基づいて、所定の変換処理を行う変換部と、前記変換部による変換処理の結果として生成される変換後画像データに対して文字認識処理を行う文字認識部と、前記文字認識部による処理後の処理後画像データを表示する表示部と、を有する遠隔操作装置と、
前記被操作装置が有する前記画面表示部を被写体とした前記画像データを取得して、取得した前記画像データを前記遠隔操作装置に対して送信する撮像装置と、
を有する
遠隔操作システム。
(付記10)
付記9に記載の遠隔操作システムであって、
前記遠隔操作装置は、操作入力部に対する操作に応じた操作情報を取得して取得した前記操作情報を外部装置に対して送信する操作情報送信部を有し、
遠隔操作システムは、前記操作情報送信部が送信した前記操作情報を受信して前記被操作装置に対して出力する受信機を有する
遠隔操作システム。
【0077】
なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
【0078】
以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
【符号の説明】
【0079】
100 遠隔操作システム
200 被操作装置
300 撮像装置
400 マウス・キーボード受信機
500 遠隔操作装置
510 操作入力部
520 画面表示部
530 通信I/F部
540 記憶部
541 規格情報
542 画像データ情報
543 処理後画像データ情報
544 プログラム
550 演算処理部
551 受信部
552 抽出部
553 変換部
554 文字認識部
555 表示部
556 操作情報送信部
557 解像度修正指示部
600 携帯端末
700 遠隔操作装置
701 CPU
702 ROM
703 RAM
704 プログラム群
705 記憶装置
706 ドライブ装置
707 通信インタフェース
708 入出力インタフェース
709 バス
710 記録媒体
711 通信ネットワーク
721 受信部
722 変換部
723 文字認識部
724 表示部