特許 7172610 遠隔操作システム及び遠隔操作装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-08

(45)【発行日】2022-11-16

(54)【発明の名称】遠隔操作システム及び遠隔操作装置

(51)【国際特許分類】

   H04Q 9/00 20060101AFI20221109BHJP

【ＦＩ】

H04Q9/00 331A

H04Q9/00 301D

【請求項の数】 5

(21)【出願番号】P 2019002498

(22)【出願日】2019-01-10

(65)【公開番号】P2020113860

(43)【公開日】2020-07-27

【審査請求日】2021-09-09

(73)【特許権者】

【識別番号】000102500

【氏名又は名称】ＳＭＫ株式会社

(74)【代理人】

【識別番号】100182028

【弁理士】

【氏名又は名称】多原 伸宜

(74)【代理人】

【識別番号】100145023

【弁理士】

【氏名又は名称】川本 学

(74)【代理人】

【識別番号】100105887

【弁理士】

【氏名又は名称】来山 幹雄

(72)【発明者】

【氏名】町田 雄輔

【審査官】岩田 玲彦

(56)【参考文献】

【文献】特開２００６－１４６８０３（ＪＰ，Ａ）

【文献】特開２０１７－０９１４３１（ＪＰ，Ａ）

【文献】特開２００５－０７２７６４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｑ ９／００

(57)【特許請求の範囲】

【請求項1】

サーバと、前記サーバに接続すると共に外部機器を無線で遠隔操作する遠隔操作装置と、を有する遠隔操作システムであって、
前記遠隔操作装置は、
前記外部機器を撮像する撮像部と、
前記外部機器を動作させる動作情報が入力される入力部と、
前記撮像部により撮像した動画又は静止画の画像データと、前記入力部に入力される前記動作情報と、を前記サーバに送信し、前記サーバから受信する動作制御信号を前記外部機器に送信する動作制御部と、
を備え、
前記動作制御部は、
操作対象の前記外部機器を選択する選択条件を満たした際に前記撮像部により撮像した前記画像データを前記サーバに送信し、
前記サーバは、
前記動作制御部より送信される前記画像データ及び前記動作情報を受信し、人工知能により前記画像データ及び前記動作情報を解析して前記画像データの画像に写っている前記外部機器の種別及び前記動作情報の動作を確定すると共に、確定した前記動作を行わせるための前記種別に応じた前記動作制御信号を前記動作制御部に送信し、
前記遠隔操作装置は、
人体の頭部に装着される装着具に設けられ、
前記撮像部は、
前記装着具の向きに応じた方向を撮像する、
ことを特徴とする遠隔操作システム。

【請求項2】

前記入力部は、
前記動作情報が音声で入力される、
ことを特徴とする請求項１記載の遠隔操作システム。

【請求項3】

サーバと、前記サーバに接続する第１の遠隔操作装置と、外部機器を無線で遠隔操作する第２の遠隔操作装置と、を有する遠隔操作システムであって、
前記第１の遠隔操作装置は、
前記外部機器を撮像する撮像部と、
前記撮像部により撮像した動画又は静止画の画像データを前記サーバに送信し、前記外部機器の種別に関する機器情報を、前記サーバから受信して前記第２の遠隔操作装置に送信する動作制御部と、
を備え、
前記サーバは、
前記動作制御部より送信される前記画像データを受信し、人工知能により前記画像データを解析して前記画像データの画像に写っている前記外部機器の前記機器情報を確定して前記動作制御部に送信し、
前記第２の遠隔操作装置は、
前記外部機器を動作させる動作情報が入力される入力部と、
前記動作制御部より送信された前記機器情報を受信し、受信した前記機器情報毎に異なる前記入力部を設定する設定制御部と、
前記設定制御部により設定した前記入力部に入力される前記動作情報の動作を行わせる動作制御信号を前記外部機器に送信する送信部と、
を備え、
前記第１の遠隔操作装置は、
人体の頭部に装着される装着具に設けられ、
前記撮像部は、
前記装着具の向きに応じた方向を撮像する、
ことを特徴とする遠隔操作システム。

【請求項4】

前記動作制御部は、
操作対象の前記外部機器を選択する選択条件を満たした際に前記撮像部により撮像した前記画像データを前記サーバに送信する、
ことを特徴とする請求項３に記載の遠隔操作システム。

【請求項5】

第１の遠隔操作装置と、外部機器を無線で遠隔操作する第２の遠隔操作装置と、を有する遠隔操作システムであって、
前記第１の遠隔操作装置は、
前記外部機器を撮像する撮像部と、
前記撮像部により撮像した動画又は静止画の画像データを人工知能により解析して前記動画又は静止画に写っている前記外部機器の種別を確定すると共に、確定した前記種別に関する機器情報を前記第２の遠隔操作装置に送信する動作制御部と、
を備え、
前記第２の遠隔操作装置は、
前記外部機器を動作させる動作情報が入力される入力部と、
前記動作制御部より送信された前記機器情報を受信し、受信した前記機器情報毎に異なる前記入力部を設定する設定制御部と、
前記設定制御部により設定した前記入力部に入力される前記動作情報の動作を行わせる動作制御信号を前記外部機器に送信する送信部と、
を備え、
前記第１の遠隔操作装置は、
人体の頭部に装着される装着具に設けられ、
前記撮像部は、
前記装着具の向きに応じた方向を撮像する、
ことを特徴とする遠隔操作システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、レコーダ等の外部機器を無線で遠隔操作する遠隔操作システム及び遠隔操作装置に関する。

【背景技術】

【0002】

従来、ＴＶ受像機、ビデオデッキ、オーディオ機器及びエアコン等の種別の異なる全ての外部機器を統合的に遠隔操作する遠隔操作装置が知られている。このような遠隔操作装置は、サーバ装置から送信された遠隔制御情報を受信し、受信した遠隔制御情報に基づいてボタンを含む画像をタッチパネル式のディスプレイに表示させる。次いで、遠隔操作装置は、ユーザがボタンを押すことにより、外部機器を制御するための信号であってそのボタンに応じた制御信号を発信する。外部機器は、この制御信号を受信し、受信した制御信号に応じて作動する。

【0003】

上記の遠隔操作装置においては、ユーザが外部機器を特定する情報を入力しなければ、遠隔操作装置が外部機器に対応する遠隔制御情報を取得することができず、手間を要する。

【0004】

これに対して、特許文献１においては、携帯電話装置が背面に配置されたレンズと固体撮像素子を備えるカメラ部によって外部機器を撮影し、撮影した外部機器の画像を表す画像情報をサーバ装置へ送信すると共に、送信した画像情報に対応する遠隔制御情報をサーバ装置から取得する。そして、携帯電話装置は、取得した遠隔制御情報と、受け付けた外部機器を制御する旨を指示する制御指示情報と、に基づいて制御信号を発信する。これにより、特許文献１の携帯電話装置は、ユーザの手間を軽減しながらサーバ装置から遠隔制御情報を取得することができる。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１０－０８８０３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１においては、携帯電話装置を取り出す操作と、カメラ機能を起動する操作と、外部機器にカメラ部のレンズを向ける操作と、の３つの操作を必要とするため、ユーザの手間を軽減することについて、更なる改良の余地がある。

【0007】

本発明の目的は、複数の異なる種別の機器を遠隔操作することができると共に、遠隔操作の際のユーザの手間を省くことができる遠隔操作システム及び遠隔操作装置を提供することである。

【課題を解決するための手段】

【0008】

本発明に係る遠隔操作システムは、サーバと、前記サーバに接続すると共に外部機器を無線で遠隔操作する遠隔操作装置と、を有する遠隔操作システムであって、前記遠隔操作装置は、前記外部機器を撮像する撮像部と、前記外部機器を動作させる動作情報が入力される入力部と、前記撮像部により撮像した動画又は静止画の画像データと、前記入力部に入力される前記動作情報と、を前記サーバに送信し、前記サーバから受信する動作制御信号を前記外部機器に送信する動作制御部と、を備え、前記動作制御部は、操作対象の前記外部機器を選択する選択条件を満たした際に前記撮像部により撮像した前記画像データを前記サーバに送信し、前記サーバは、前記動作制御部より送信される前記画像データ及び前記動作情報を受信し、人工知能により前記画像データ及び前記動作情報を解析して前記画像データの画像に写っている前記外部機器の種別及び前記動作情報の動作を確定すると共に、前記動作を行わせるための前記種別に応じた前記動作制御信号を前記動作制御部に送信し、前記遠隔操作装置は、人体の頭部に装着される装着具に設けられ、前記撮像部は、前記装着具の向きに応じた方向を撮像する。

【0009】

また、本発明に係る遠隔操作システムは、サーバと、前記サーバに接続する第１の遠隔操作装置と、外部機器を無線で遠隔操作する第２の遠隔操作装置と、を有する遠隔操作システムであって、前記第１の遠隔操作装置は、前記外部機器を撮像する撮像部と、前記撮像部により撮像した動画又は静止画の画像データを前記サーバに送信し、前記外部機器の種別に関する機器情報を、前記サーバから受信して前記第２の遠隔操作装置に送信する動作制御部と、を備え、前記サーバは、前記動作制御部より送信される前記画像データを受信し、人工知能により前記画像データを解析して前記画像データの画像に写っている前記外部機器の前記機器情報を確定して前記動作制御部に送信し、前記第２の遠隔操作装置は、前記外部機器を動作させる動作情報が入力される入力部と、前記動作制御部より送信された前記機器情報を受信し、受信した前記機器情報毎に異なる入力部を設定する設定制御部と、前記設定制御部により設定した前記入力部に入力される前記動作情報の動作を行わせる動作制御信号を前記外部機器に送信する送信部と、を備え、前記第１の遠隔操作装置は、人体の頭部に装着される装着具に設けられ、前記撮像部は、前記装着具の向きに応じた方向を撮像する。

【0010】

更に、本発明に係る遠隔操作システムは、第１の遠隔操作装置と、外部機器を無線で遠隔操作する第２の遠隔操作装置と、を有する遠隔操作システムであって、前記第１の遠隔操作装置は、前記外部機器を撮像する撮像部と、前記撮像部により撮像した動画又は静止画の画像データを人工知能により解析して前記動画又は静止画に写っている前記外部機器の種別を確定すると共に、確定した前記種別に関する機器情報を前記第２の遠隔操作装置に送信する動作制御部と、を備え、前記第２の遠隔操作装置は、前記外部機器を動作させる動作情報が入力される入力部と、前記動作制御部より送信された前記機器情報を受信し、受信した前記機器情報毎に異なる前記入力部を設定する設定制御部と、前記設定制御部により設定した前記入力部に入力される前記動作情報の動作を行わせる動作制御信号を前記外部機器に送信する送信部と、を備え、前記第１の遠隔操作装置は、人体の頭部に装着される装着具に設けられ、前記撮像部は、前記装着具の向きに応じた方向を撮像する。

【0012】

人体の頭部に装着された装着具に設けられた遠隔操作装置は、頭部と一緒に向きを変える装着具の向きに応じた方向に有る外部機器を撮像部で撮像し、撮像した外部機器の画像の画像データを人工知能で解析して得られる外部機器の種別に基づいて、その外部機器を遠隔操作する。

【発明の効果】

【0013】

本発明によれば、複数の異なる種別の機器を遠隔操作することができると共に、遠隔操作の際のユーザの手間を省くことができる。

【図面の簡単な説明】

【0014】

【図1】本発明の第１の実施形態に係る遠隔操作システムの模式図である。

【図2】本発明の第１の実施形態に係る遠隔操作装置と接続するサーバの構成を示すブロック図である。

【図3】本発明の第１の実施形態に係る遠隔操作装置の構成を示すブロック図である。

【図4】本発明の第１の実施形態に係る遠隔操作処理を示すフロー図である。

【図5】本発明の第２の実施形態に係る遠隔操作システムの模式図である。

【図6】本発明の第２の実施形態に係る第１の遠隔操作装置と接続するサーバの構成を示すブロック図である。

【図7】本発明の第２の実施形態に係る第１の遠隔操作装置の構成を示すブロック図である。

【図8】本発明の第２の実施形態に係る第２の遠隔操作装置の構成を示すブロック図である。

【図9】本発明の第２の実施形態に係る第１の遠隔操作処理を示すフロー図である。

【図10】本発明の第２の実施形態に係る第２の遠隔操作処理を示すフロー図である。

【図11】本発明の第３の実施形態に係る遠隔操作装置の構成を示すブロック図である。

【図12】本発明の第４の実施形態に係る第１の遠隔操作装置の構成を示すブロック図である。

【発明を実施するための形態】

【0015】

以下、図面を適宜参照して、本発明の実施形態に係る遠隔操作システムにつき、詳細に説明する。

【0016】

（第１の実施形態）
＜遠隔操作システムの構成＞
本発明の第１の実施形態に係る遠隔操作システム１の構成につき、図１を参照しながら、以下に詳細に説明する。

【0017】

遠隔操作システム１は、サーバ２と、遠隔操作装置３と、外部機器４と、を有している。

【0018】

サーバ２は、クラウドサーバである。サーバ２は、遠隔操作装置３より送信された画像データを受信し、受信した画像データを人工知能（ＡＩ）によって解析して画像認識を行い、その画像データの画像に写っている外部機器４の種別に関する機器情報を確定すると共に、確定した機器情報を記憶する。サーバ２は、遠隔操作装置３から送信された動作情報を受信し、受信した動作情報を人工知能によって解析して確定する。サーバ２は、記憶した機器情報と確定した動作情報とに基づいて、この動作情報に対応する動作制御信号を遠隔操作装置３に送信する。なお、サーバ２は、クラウドサーバ以外のサーバでもよい。

【0019】

ここで、動作情報は、ユーザによって指示された外部機器４に対して所定の動作をさせるための情報であり、例えば電源オン若しくはオフ、チャネルの切り替え又は音量調整等の動作をさせるための情報である。また、動作制御信号は、動作情報に対応して外部機器４に所定の動作を行わせる信号であり、例えば電源オン若しくはオフ、チャネルの切り替え又は音量調整等の動作を行わせる信号である。また、外部機器４の種別とは、ＴＶ受像機、ビデオデッキ、オーディオ機器及びエアコン等の機器の用途毎の区別、製造メーカ及び機種である。なお、外部機器４の種別は、上記に限定されず、外部機器４を特定できるものであればよい。

【0020】

遠隔操作装置３は、人体の頭部に装着される装着具である眼鏡５に対して着脱自在又は一体に設けられている。遠隔操作装置３は、外部機器４を撮像した動画又は静止画の画像データをサーバ２に送信する。遠隔操作装置３は、動作情報が入力された際に、入力された動作情報をサーバ２に送信し、サーバ２から動作制御信号を受信すると共に、受信した動作制御信号を外部機器４に送信する。なお、遠隔操作装置３は、眼鏡５に設けられる場合に限らず、人体の頭部に装着されるヘッドマウントディスプレイ等の任意の装着具に設けることができる。

【0021】

外部機器４は、遠隔操作装置３から送信された動作制御信号を受信し、受信した動作制御信号に応じた動作を行う。

【0022】

＜サーバの構成＞
本発明の第１の実施形態に係るサーバ２の構成につき、図２を参照しながら、以下に詳細に説明する。

【0023】

サーバ２は、通信部２１と、制御部２２と、記憶部２３と、を有している。

【0024】

通信部２１は、無線通信処理を実行して遠隔操作装置３と無線通信を行う。この無線通信は、例えばＷＩＦＩ通信、ブルートゥース通信、ＩＲ通信又はインターネット回線を用いた通信である。

【0025】

具体的には、通信部２１は、遠隔操作装置３から無線送信された画像データ又は動作情報としての音声データを無線受信して制御部２２に出力する。通信部２１は、制御部２２から入力される動作制御信号としてのキーコマンドを遠隔操作装置３に無線送信する。

【0026】

制御部２２は、人工知能を有している。制御部２２は、通信部２１から入力される画像データを、人工知能を利用したディープラーニング（深層学習）によって解析して画像認識を行い、画像データの画像に写っている外部機器４の種別を確定する。制御部２２は、記憶部２３に記憶されているテーブルを参照して、確定した種別の機器情報があるか否かを判定する。制御部２２は、確定した種別の機器情報がテーブルにある場合に、その機器情報を記憶部２３に記憶させる。なお、制御部２２は、人工知能以外の手段によって画像データの解析処理を行うようにしてもよい。

【0027】

制御部２２は、通信部２１から入力される音声データを、人工知能を利用したディープラーニングによって解析して、ユーザが外部機器４に対して指示した動作を確定する。制御部２２は、記憶部２３に記憶されているテーブルを参照して、記憶した機器情報と、確定した動作と、に対応付けられているキーコマンドを選択する。制御部２２は、選択したキーコマンドを通信部２１に出力する。なお、制御部２２は、人工知能以外の手段によって音声データの解析処理を行うようにしてもよい。

【0028】

記憶部２３は、機器情報と、動作と、キーコマンドと、を対応付けたテーブルを予め記憶している。

【0029】

＜遠隔操作装置の構成＞
本発明の第１の実施形態に係る遠隔操作装置３の構成につき、図３を参照しながら、以下に詳細に説明する。

【0030】

遠隔操作装置３は、撮像部３１と、入力部３２と、送信部３３と、制御部３４と、通信部３５と、を有している。送信部３３、制御部３４及び通信部３５は、動作制御部を構成している。

【0031】

撮像部３１は、眼鏡５の向きに応じた方向を撮像可能であり、顔の正面の向きを撮像可能であることが好ましい。撮像部３１は、レンズと固体撮像素子とを備えたカメラであり、制御部３４の制御によって動作して、外部機器３の動画又は静止画の画像を撮像し、撮像した画像の画像データを制御部３４に出力する。

【0032】

入力部３２は、マイクを備えており、マイクに対して入力される音声の音声データを動作情報として制御部３４に出力する。入力部３２は、押しボタン又はタッチパネル等を有し、押しボタン又はタッチパネル等に対する操作を検出した際に、その操作に応じた検出信号を制御部３４に出力する。

【0033】

送信部３３は、制御部３４より入力されるキーコマンドを外部機器４に無線送信する。この無線送信の通信方式は、例えばＷＩＦＩ通信、ブルートゥース通信又はＩＲ通信である。

【0034】

制御部３４は、図示しない記憶部に記憶されている制御プログラム等を実行する中央演算処理ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）であり、入力部３２から入力される検出信号に応じて、撮像部３１、入力部３２、送信部３３及び通信部３５の動作を制御すると共に遠隔操作装置３の全体の動作を制御する。

【0035】

制御部３４は、撮像部３１より入力される画像データを通信部３５に出力する。制御部３４は、入力部３２より入力される音声データを通信部３５に出力する。制御部３４は、通信部３５より入力されるキーコマンドを送信部３３に出力する。制御部３４は、撮像部３１が起動されてから停止するまでの間に継続して撮像部３１が撮像した画像の画像データを通信部３５に出力し、又は選択条件として入力部３２から所定の音声（ボイスワード）の音声データ若しくは所定のキー操作等を検出する検出信号が入力した際に撮像部３１で撮像した画像の画像データを通信部３５に出力する。所定の音声は、例えば「ロックオン」である。

【0036】

通信部３５は、無線通信処理を実行してサーバ２と無線通信を行う。この無線通信は、例えばＷＩＦＩ通信、ブルートゥース通信、ＩＲ通信又はインターネット回線を用いた通信である。

【0037】

具体的には、通信部３５は、サーバ２から無線送信されたキーコマンドを無線受信して制御部３４に出力する。通信部３５は、制御部３４から入力される画像データ又は音声データをサーバ２に無線送信する。

【0038】

＜遠隔操作処理＞
本発明の第１の実施形態に係る遠隔操作処理につき、図４を参照しながら、以下に詳細に説明する。

【0039】

図４に示す遠隔操作処理は、遠隔操作装置３に電源が投入されて撮像部３１が起動すると共に遠隔操作装置３がサーバ２に接続したタイミングで開始される。図４に示す遠隔操作処理は、所定の制御周期で繰り返し実行される。図４は、撮像部３１が起動されてから停止するまでの間に継続して撮像した動画又は静止画の画像データをサーバ２に送信するように制御される場合を示している。

【0040】

まず、ユーザが頭を動かして操作したい外部機器４を見ることにより、このユーザの頭部に装着されている眼鏡５は、操作したい外部機器４の方向に向く。これにより、眼鏡５に設けられている遠隔操作装置３の撮像部３１は、ユーザが見た方向に有る外部機器４を撮像し、撮像した画像の画像データを通信部３５からサーバ２に送信する画像撮影処理を実行する（Ｓ１）。

【0041】

次に、サーバ２は、通信部２１において画像データを受信し、制御部２２において人工知能を利用して画像データを解析して画像認識を行い、画像データの画像に写っている外部機器４の種別を確定する画像解析処理を実行する（Ｓ２）。この際に、外部機器４の種別又は種別の一部を記載したシール等の識別部材を、この外部機器４の外表面に設けておくことにより、サーバ２は、より確実に外部機器４の種別を確定することができる。

【0042】

次に、サーバ２は、制御部２２において記憶部２３に記憶されているテーブルを参照して、確定した外部機器４の種別の機器情報があるか否かを判定することにより、対象機器があるか否かを判定する（Ｓ３）。

【0043】

制御部２２は、対象機器がない場合に（Ｓ３：Ｎｏ）、ステップＳ１の処理に戻る。一方、制御部２２は、対象機器がある場合に（Ｓ３：Ｙｅｓ）、その対象機器の機器情報を記憶部２３に保存する機器情報保存処理を実行する（Ｓ４）。

【0044】

次に、遠隔操作装置３は、制御部３４において入力部３２より音声データの入力があるか否かを監視して、入力部３２に音声入力が有るか否かを判定する（Ｓ５）。

【0045】

遠隔操作装置３は、制御部３４において音声入力が無いと判定した場合に（Ｓ５：Ｎｏ）、ステップＳ１に処理を戻す。一方、遠隔操作装置３は、制御部３４において音声入力が有ると判定した場合に（Ｓ５：Ｙｅｓ）、通信部３５においてその音声の音声データをサーバ２に送信する。そして、サーバ２は、制御部２２において、人工知能を利用して音声データを解析する音声解析処理を実行し（Ｓ６）、ユーザが外部機器４に対して指示する動作を確定する。

【0046】

次に、サーバ２は、制御部２２において、記憶部２３に記憶されているテーブルにおいて、ステップＳ４で保存した機器情報と、ステップＳ６で確定した動作と、に対応付けられている対象のキーコマンドが有るか否かを判定する（Ｓ７）。

【0047】

サーバ２は、制御部２２において対象のキーコマンドが無いと判定した場合に（Ｓ７：Ｎｏ）、ステップＳ１の処理に戻る。一方、サーバ２は、制御部２２において対象のキーコマンドが有ると判定した場合に（Ｓ７：Ｙｅｓ）、その対象のキーコマンドを含む送信信号を通信部２１から遠隔操作装置３に送信するキーコマンド送信処理を実行する（Ｓ８）。そして、遠隔操作装置３は、通信部３５においてキーコマンドを含む受信信号を受信し、送信部３３より外部機器４に対してそのキーコマンドを含む送信信号を送信し、ステップＳ１の処理に戻る。そして、外部機器４は、キーコマンドを受信して、受信したキーコマンドに応じた動作を行うことにより、遠隔操作される。これにより、遠隔操作システム１は、ユーザが操作したい外部機器４に視線を合わせるのみの１の操作で外部機器４を遠隔操作することができる。

【0048】

なお、図４に示す遠隔操作処理は、遠隔操作装置３の主電源がオフされた際に終了する。

【0049】

このように、本実施形態によれば、眼鏡５に設けられる遠隔操作装置３の撮像部３１により、眼鏡５の向きに応じた方向を撮像した動画又は静止画の画像データを、人工知能により解析して、画像データの画像に写っている外部機器４の種別を確定すると共に、遠隔操作装置３に入力された音声データを人工知能により解析してユーザが外部機器４に対して指示する動作を確定し、確定した動作を行わせるための外部機器４の種別に応じたキーコマンドを外部機器４に送信することにより、複数の異なる種別の機器を遠隔操作することができると共に、遠隔操作の際のユーザの手間を省くことができる。

【0050】

（第２の実施形態）
＜遠隔操作システムの構成＞
本発明の第２の実施形態に係る遠隔操作システム６の構成につき、図５を参照しながら、以下に詳細に説明する。

【0051】

なお、図５において、図１と同一構成である部分については同一符号を付して、その説明を省略する。

【0052】

遠隔操作システム６は、外部機器４と、サーバ７と、第１の遠隔操作装置８と、第２の遠隔操作装置９と、を有している。

【0053】

サーバ７は、クラウドサーバである。サーバ７は、第１の遠隔操作装置８より送信された画像データを受信し、受信した画像データを人工知能によって解析して画像認識を行い、画像データの画像に写っている外部機器４の種別に関する機器情報を確定すると共に、確定した機器情報を第１の遠隔操作装置８に送信する。なお、サーバ７は、クラウドサーバ以外のサーバでもよい。

【0054】

第１の遠隔操作装置８は、眼鏡５に対して着脱自在又は一体に設けられている。第１の遠隔操作装置８は、外部機器４を撮像した動画又は静止画の画像データをサーバ７に送信する。第１の遠隔操作装置８は、サーバ７から機器情報を受信すると共に、受信した機器情報を第２の遠隔操作装置９に送信する。なお、第１の遠隔操作装置８は、眼鏡５に設けられる場合に限らず、人体の頭部に装着されるヘッドマウントディスプレイ等の任意の装着具に設けることができる。

【0055】

第２の遠隔操作装置９は、第１の遠隔操作装置８から機器情報を受信して、受信した機器情報に基づいて、動作情報の入力を受け付けるための操作部を設定する。第２の遠隔操作装置９は、操作部に対して動作情報が入力された際に、入力された動作情報に応じた動作制御信号を外部機器４に送信する。

【0056】

外部機器４は、第２の遠隔操作装置９から送信された動作制御信号を受信し、受信した動作制御信号に応じた動作を行う。

【0057】

＜サーバの構成＞
本発明の第２の実施形態に係るサーバ７の構成につき、図６を参照しながら、以下に詳細に説明する。

【0058】

サーバ７は、通信部４１と、制御部４２と、記憶部４３と、を有している。

【0059】

通信部４１は、無線通信処理を実行して第１の遠隔操作装置８と無線通信を行う。この無線通信は、例えばＷＩＦＩ通信、ブルートゥース通信、ＩＲ通信又はインターネット回線を用いた通信である。

【0060】

具体的には、通信部４１は、第１の遠隔操作装置８から無線送信された画像データを無線受信して制御部４２に出力する。また、通信部４１は、制御部４２から入力される機器情報を第１の遠隔操作装置８に無線送信する。

【0061】

制御部４２は、人工知能を有している。制御部４２は、通信部４１から入力される画像データを、人工知能を利用したディープラーニングによって解析して画像認識を行い、画像データの画像に写っている外部機器４の種別を確定する。制御部４２は、記憶部４３に記憶されているテーブルを参照して、確定した種別の機器情報があるか否かを判定する。制御部４２は、確定した種別の機器情報がテーブルにある場合に、その機器情報を通信部４１に出力する。なお、制御部４２は、人工知能以外の手段によって画像データの解析処理を行うようにしてもよい。

【0062】

記憶部４３は、機器情報を予め記憶している。

【0063】

＜第１の遠隔操作装置の構成＞
本発明の第１の実施形態に係る第１の遠隔操作装置８の構成につき、図７を参照しながら、以下に詳細に説明する。

【0064】

遠隔操作装置８は、撮像部５１と、送信部５２と、制御部５３と、通信部５４と、を有している。送信部５２、制御部５３及び通信部５４は、動作制御部を構成している。

【0065】

撮像部５１は、眼鏡５の向きに応じた方向を撮像可能であり、顔の正面の向きを撮像可能であることが好ましい。撮像部５１は、レンズと固体撮像素子とを備えたカメラであり、制御部５３の制御によって動作して、外部機器４の動画又は静止画の画像を撮像し、撮像した画像の画像データを制御部５３に出力する。

【0066】

送信部５２は、制御部５３より入力される機器情報を第２の遠隔操作装置９に無線送信する。この無線送信の通信方式は、例えばＷＩＦＩ通信、ブルートゥース通信又はＩＲ通信である。

【0067】

制御部５３は、図示しない記憶部に記憶されている制御プログラム等を実行する中央演算処理ユニットであり、撮像部５１、送信部５２及び通信部５４の動作を制御すると共に第１の遠隔操作装置８の全体の動作を制御する。

【0068】

制御部５３は、撮像部５１より入力される画像データを通信部５４に出力し、通信部５４より入力される機器情報を送信部５２に出力する。制御部５３は、撮像部５１が起動されてから停止するまでの間に継続して撮像部５１が撮像した画像の画像データを通信部５４に出力し、又は選択条件として図示しない入力部から所定の音声（ボイスワード）の音声データ若しくは所定のキー操作等を検出する検出信号が入力した際に撮像部５１で撮像した画像の画像データを通信部５４に出力する。

【0069】

通信部５４は、無線通信処理を実行してサーバ７と無線通信を行う。この無線通信は、例えばＷＩＦＩ通信、ブルートゥース通信、ＩＲ通信又はインターネット回線を用いた通信である。

【0070】

具体的には、通信部５４は、サーバ７から無線送信された機器情報を無線受信して制御部５３に出力する。通信部５４は、制御部５３から入力される画像データをサーバ７に無線送信する。

【0071】

＜第２の遠隔操作装置の構成＞
本発明の第２の実施形態に係る第２の遠隔操作装置９の構成につき、図８を参照しながら、以下に詳細に説明する。

【0072】

第２の遠隔操作装置９は、受信部６１と、制御部６２と、操作部６３と、送信部６４と、記憶部６５と、を有している。

【0073】

受信部６１は、第１の遠隔操作装置８の送信部５２から無線送信された機器情報を無線受信して制御部６２に出力する。

【0074】

制御部６２は、図示しない記憶部に記憶されている制御プログラム等を実行する中央演算処理ユニットであり、受信部６１、操作部６３及び送信部６４の動作を制御すると共に第２の遠隔操作装置９の全体の動作を制御する。

【0075】

設定制御部としての制御部６２は、記憶部６５に記憶されているテーブルを参照して、受信部６１より入力される機器情報に対応付けられている操作部設定用情報を選択して、選択した操作部設定用情報に基づいて操作部６３を設定する。ここで、操作部設定用情報は、操作部６３を設定するための情報であり、例えば、操作部６３が複数のキーが配列された入力デバイスである場合には外部機器４の種別に応じた各キーの用途を設定する情報であり、操作部６３がタッチパネルである場合には外部機器４の種別に応じたタッチパネルの操作画面の表示を設定する情報である。制御部６２は、操作部６３から検出信号が入力された際に、記憶部６５に記憶されているテーブルを参照して、入力された検出信号の操作に対応付けられているキーコマンドを選択して、選択したキーコマンドを送信部６４に出力する。

【0076】

操作部６３は、複数のキーが配列された入力デバイス又はタッチパネル等であり、制御部６２の制御により、入力デバイスの各キーの用途又はタッチパネルの操作画面の表示等を設定し、キー又は操作画面等に対する操作を検出した際に、その操作に応じた検出信号を制御部６２に出力する。

【0077】

送信部６４は、制御部６２より入力されるキーコマンドを外部機器４に無線送信する。この無線送信の通信方式は、例えばＷＩＦＩ通信、ブルートゥース通信又はＩＲ通信である。

【0078】

記憶部６５は、機器情報と操作部設定用情報とを対応付けたテーブルと、操作部６３の操作とキーコマンドとを対応付けたテーブルと、を予め記憶している。

【0079】

＜第１の遠隔操作処理＞
本発明の第２の実施形態に係る第１の遠隔操作処理につき、図９を参照しながら、以下に詳細に説明する。

【0080】

図９に示す第１の遠隔操作処理は、第１の遠隔操作装置８に電源が投入されて撮像部５１が起動すると共に第１の遠隔操作装置８がサーバ７に接続したタイミングで開始される。図９に示す第１の遠隔操作処理は、所定の制御周期で繰り返し実行される。図９は、撮像部５１が起動されてから停止するまでの間に継続して撮像した動画又は静止画の画像データをサーバ７に送信するように制御される場合を示している。

【0081】

まず、ユーザが頭を動かして操作したい外部機器４を見ることにより、このユーザの頭部に装着されている眼鏡５は、操作したい外部機器４の方向に向く。これにより、眼鏡５に設けられている第１の遠隔操作装置８の撮像部５１は、ユーザが見た方向に有る外部機器４を撮像し、撮像した画像の画像データを通信部５４からサーバ７に送信する画像撮影処理を実行する（Ｓ１１）。

【0082】

次に、サーバ７は、通信部４１において画像データを受信し、制御部４２において人工知能を利用して画像データを解析して画像認識を行い、画像データの画像に写っている外部機器４の種別を確定する画像解析処理を実行する（Ｓ１２）。この際に、外部機器４の種別又は種別の一部を記載したシール等の識別部材を、この外部機器４の外表面に設けておくことにより、サーバ７は、より確実に外部機器４の種別を確定することができる。

【0083】

次に、サーバ７は、制御部４２において記憶部４３に記憶されているテーブルを参照して、確定した外部機器４の種別の機器情報があるか否かを判定することにより、対象機器があるか否かを判定する（Ｓ１３）。

【0084】

サーバ７は、制御部４２において対象機器がないと判定した場合に（Ｓ１３：Ｎｏ）、ステップＳ１１の処理に戻る。一方、サーバ７は、制御部４２において対象機器があると判定した場合に（Ｓ１３：Ｙｅｓ）、その対象機器の機器情報を通信部４１より第１の遠隔操作装置８に送信する機器情報送信処理を実行する（Ｓ１４）。その後に、第１の遠隔操作装置８は、ステップＳ１１の処理に戻る。

【0085】

なお、図９に示す第１の遠隔操作処理は、第１の遠隔操作装置８の主電源がオフされた際に終了する。

【0086】

＜第２の遠隔操作処理＞
本発明の第２の実施形態に係る第２の遠隔操作処理につき、図１０を参照しながら、以下に詳細に説明する。

【0087】

図１０に示す第２の遠隔操作処理は、第２の遠隔操作装置９に電源が投入されて起動したタイミングで開始される。図１０に示す第２の遠隔操作処理は、所定の制御周期で繰り返し実行される。

【0088】

まず、第２の遠隔操作装置９は、制御部６２において受信部６１から機器情報が入力されたか否かを監視して、受信部６１が機器情報を受信したか否かを判定する（Ｓ２１）。

【0089】

第２の遠隔操作装置９は、制御部６２において受信部６１が機器情報を受信したと判定した場合に（Ｓ２１：Ｙｅｓ）、制御部６２において機器情報に基づいて操作部６３を設定する機器切換処理を実行する（Ｓ２２）。

【0090】

次に、第２の遠隔操作装置９は、制御部６２において操作部６３から検出信号が入力されたか否かを監視して、操作部６３に対する操作があるか否かを判定する。操作部６３に対する操作は、ここではキー押下を例示する（Ｓ２３）。

【0091】

第２の遠隔操作装置９は、制御部６２において操作がないと判定した場合に（Ｓ２３：Ｎｏ）、ステップＳ２１の処理に戻る。

【0092】

一方、第２の遠隔操作装置９は、制御部６２において操作があると判定した場合に（Ｓ２３：Ｙｅｓ）、押下られたキーに応じたキーコマンドを送信部６４より送信するキーコマンド送信処理を実行し（Ｓ２４）、その後にステップＳ２１の処理に戻る。

【0093】

また、第２の遠隔操作装置９は、制御部６２において受信部６１が機器情報を受信していないと判定した場合に（Ｓ２１：Ｎｏ）、ステップＳ２３の処理にスキップする。

【0094】

このように、本実施形態によれば、眼鏡５に設けられる第１の遠隔操作装置８の撮像部５１により、眼鏡５の向きに応じた方向を撮像した動画又は静止画の画像データを、人工知能により解析して、画像データの画像に写っている外部機器４の種別を確定すると共に、確定した種別の機器情報に応じた操作部６３を設定して、操作部６３の操作に応じたキーコマンドを外部機器４に送信することにより、複数の異なる種別の機器を遠隔操作することができると共に、遠隔操作の際のユーザの手間を省くことができる。

【0095】

（第３の実施形態）
＜遠隔操作装置の構成＞
本発明の第３の実施形態に係る遠隔操作装置１０の構成につき、図１１を参照しながら、以下に詳細に説明する。

【0096】

遠隔操作装置１０は、外部機器４を遠隔操作可能であり、撮像部７１と、入力部７２と、送信部７３と、制御部７４と、記憶部７５と、を有している。送信部７３及び制御部７４は、動作制御部を構成している。

【0097】

撮像部７１は、眼鏡５の向きに応じた方向を撮像可能であり、顔の正面の向きを撮像可能であることが好ましい。撮像部７１は、レンズと固体撮像素子とを備えたカメラであり、制御部７４の制御によって動作して、外部機器３の動画又は静止画の画像を撮像し、撮像した画像の画像データを制御部７４に出力する。

【0098】

入力部７２は、マイクを備えており、マイクに対して入力される音声の音声データを動作情報として制御部７４に出力する。入力部７２は、押しボタン又はタッチパネル等を有し、押しボタン又はタッチパネル等に対する操作を検出した際に、その操作に応じた検出信号を制御部７４に出力する。

【0099】

送信部７３は、制御部７４より入力されるキーコマンドを外部機器４に無線送信する。この無線送信の通信方式は、例えばＷＩＦＩ通信、ブルートゥース通信又はＩＲ通信である。

【0100】

制御部７４は、記憶部７５に記憶されている制御プログラム等を実行する中央演算処理ユニットであり、入力部７２から入力される検出信号に応じて、撮像部７１、入力部７２及び送信部７３の動作を制御すると共に遠隔操作装置１０の全体の動作を制御する。

【0101】

制御部７４は、人工知能を有している。制御部７４は、撮像部７１より入力される画像データを、人工知能を利用したディープラーニングによって解析して画像認識を行い、画像データの画像に写っている外部機器４の種別を確定する。制御部７４は、記憶部７５に記憶されているテーブルを参照して、確定した種別の機器情報があるか否かを判定する。制御部７４は、確定した種別の機器情報がテーブルにある場合に、その機器情報を記憶部７５に記憶させる。なお、制御部７４は、人工知能以外の手段によって画像データの解析処理を行うようにしてもよい。

【0102】

制御部７４は、入力部７２より入力される音声データを、人工知能を利用したディープラーニングによって解析して、ユーザが外部機器４に対して指示した動作を確定する。制御部７４は、記憶部７５に記憶されているテーブルを参照して、記憶した機器情報と、確定した動作と、に対応付けられているキーコマンドを選択する。制御部７４は、選択したキーコマンドを送信部７３に出力する。なお、制御部７４は、人工知能以外の手段によって音声データの解析処理を行うようにしてもよい。

【0103】

制御部７４は、撮像部７１が起動されてから停止するまでの間に継続して撮像部７１が撮像した画像を解析し、又は選択条件として入力部７２から所定の音声（ボイスワード）の音声データ若しくは所定のキー操作等を検出する検出信号が入力した際に撮像部７１で撮像した画像を解析する。

【0104】

記憶部７５は、機器情報と、動作と、キーコマンドと、を対応付けたテーブル、及び制御プログラム等を予め記憶している。

【0105】

なお、本実施形態における遠隔操作処理は遠隔操作装置１０が全て実行するものであって図４と同一処理となるので、その説明を省略する。

【0106】

このように、本実施形態によれば、眼鏡５に設けられる遠隔操作装置１０の撮像部７１により、眼鏡５の向きに応じた方向を撮像した動画又は静止画の画像データを、人工知能により解析して、画像データの画像に写っている外部機器４の種別を確定すると共に、遠隔操作装置１０に入力された音声データを人工知能により解析してユーザが外部機器４に対して指示する動作を確定し、確定した動作を行わせるための外部機器４の種別に応じたキーコマンドを外部機器４に送信することにより、複数の異なる種別の機器を遠隔操作することができると共に、遠隔操作の際のユーザの手間を省くことができる。

【0107】

（第４の実施形態）
本発明の第４の実施形態に係る遠隔操作システムは、図５においてサーバ７を削除すると共に第１の遠隔操作装置８に代えて第１の遠隔操作装置１１を設ける以外は図５と同一構成であるので、その説明を省略する。なお、本実施形態に係る遠隔操作システムにおいて、図５と同一構成である部分については同一符号を用いて説明する。

【0108】

＜第１の遠隔操作装置の構成＞
本発明の第４の実施形態に係る第１の遠隔操作装置１１の構成につき、図１２を参照しながら、以下に詳細に説明する。

【0109】

第１の遠隔操作装置１１は、撮像部８１と、送信部８２と、制御部８３と、記憶部８４と、を有している。送信部８２及び制御部８３は、動作制御部を構成している。

【0110】

撮像部８１は、眼鏡５の向きに応じた方向を撮像可能であり、顔の正面の向きを撮像可能であることが好ましい。撮像部８１は、レンズと固体撮像素子とを備えたカメラであり、制御部８３の制御によって動作して、外部機器４の動画又は静止画の画像を撮像し、撮像した画像の画像データを制御部８３に出力する。

【0111】

送信部８２は、制御部８３より入力される機器情報を第２の遠隔操作装置９に無線送信する。この無線送信の通信方式は、例えばＷＩＦＩ通信、ブルートゥース通信又はＩＲ通信である。

【0112】

制御部８３は、記憶部８４に記憶されている制御プログラム等を実行する中央演算処理ユニットであり、撮像部８１及び送信部８２の動作を制御すると共に第１の遠隔操作装置１１の全体の動作を制御する。

【0113】

制御部８３は、人工知能を有している。制御部８３は、撮像部８１より入力される画像データを、人工知能を利用したディープラーニングによって解析して画像認識を行い、画像データの画像に写っている外部機器４の種別を確定する。制御部８３は、記憶部８４に記憶されているテーブルを参照して、確定した種別の機器情報があるか否かを判定する。制御部８３は、確定した種別の機器情報がテーブルにある場合に、その機器情報を送信部８２に出力する。なお、制御部８３は、人工知能以外の手段によって画像データの解析処理を行うようにしてもよい。

【0114】

制御部８３は、撮像部８１が起動されてから停止するまでの間に継続して撮像部８１が撮像した画像の画像データを解析し、又は選択条件として図示しない入力部から所定の音声（ボイスワード）の音声データ若しくは所定のキー操作等を検出する検出信号が入力した際に撮像部８１で撮像した画像の画像データを解析する。

【0115】

記憶部８４は、機器情報と、制御プログラム等と、を予め記憶している。

【0116】

なお、本実施形態における第１の遠隔操作処理は第１の遠隔操作装置１１が全て実行するものであって図９と同一処理となると共に、本実施形態における第２の遠隔操作処理は図１０と同一処理になるので、それらの説明を省略する。

【0117】

このように、本実施形態によれば、眼鏡５に設けられる第１の遠隔操作装置１１の撮像部８１により、眼鏡５の向きに応じた方向を撮像した動画又は静止画の画像データを、人工知能により解析して、画像データの画像に写っている外部機器４の種別を確定すると共に、確定した種別の機器情報に応じた操作部６３を設定して、操作部６３の操作に応じたキーコマンドを外部機器４に送信することにより、複数の異なる種別の機器を遠隔操作することができると共に、遠隔操作の際のユーザの手間を省くことができる。

【0118】

本発明は、部材の種類、配置、個数等は前述の実施形態に限定されるものではなく、その構成要素を同等の作用効果を奏するものに適宜置換する等、発明の要旨を逸脱しない範囲で適宜変更可能であることはもちろんである。

【0119】

具体的には、上記第１の実施形態から第４の実施形態において、撮像部が起動されてから停止するまでの間に継続して撮像部が撮像した画像の画像データ、又は入力部から所定の音声（ボイスワード）の音声データ若しくは所定のキー操作等を検出する検出信号が入力した際に撮像部で撮像した画像の画像データを解析したが、選択条件として撮像を開始してから所定時間において撮像部の向きが固定されていることを検出した際に撮像部で撮像した画像の画像データを解析するようにしてもよい。

【産業上の利用可能性】

【0120】

本発明に係る遠隔操作システムは、レコーダ等の外部機器を無線で遠隔操作するのに好適である。

【符号の説明】

【0121】

１ 遠隔操作システム
２ サーバ
３ 遠隔操作装置
４ 外部機器
５ 眼鏡
６ 遠隔操作システム
７ サーバ
８ 第１の遠隔操作装置
９ 第２の遠隔操作装置
１０ 遠隔操作装置
１１ 第１の遠隔操作装置
２１ 通信部
２２ 制御部
２３ 記憶部
３１ 撮像部
３２ 入力部
３３ 送信部
３４ 制御部
３５ 通信部
４１ 通信部
４２ 制御部
４３ 記憶部
５１ 撮像部
５２ 送信部
５３ 制御部
５４ 通信部
６１ 受信部
６２ 制御部
６３ 操作部
６４ 送信部
６５ 記憶部
７１ 撮像部
７２ 入力部
７３ 送信部
７４ 制御部
７５ 記憶部
８１ 撮像部
８２ 送信部
８３ 制御部
８４ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】