特許 5996869 遠隔操作システム、遠隔操作機器及び遠隔操作方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5996869

(24)【登録日】2016年9月2日

(45)【発行日】2016年9月21日

(54)【発明の名称】遠隔操作システム、遠隔操作機器及び遠隔操作方法

(51)【国際特許分類】

   H04Q 9/00 20060101AFI20160908BHJP

   H04M 1/00 20060101ALI20160908BHJP

   H04M 11/00 20060101ALI20160908BHJP

【ＦＩ】

   H04Q9/00 301D

   H04M1/00 U

   H04M11/00 301

【請求項の数】21

【全頁数】25

(21)【出願番号】特願2011-540455(P2011-540455)

(86)(22)【出願日】2010年10月14日

(86)【国際出願番号】JP2010068531

(87)【国際公開番号】WO2011058857

(87)【国際公開日】20110519

【審査請求日】2013年9月19日

【審判番号】不服2015-4531(P2015-4531/J1)

【審判請求日】2015年3月9日

(31)【優先権主張番号】特願2009-256909(P2009-256909)

(32)【優先日】2009年11月10日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】314008976

【氏名又は名称】レノボ・イノベーションズ・リミテッド（香港）

(74)【代理人】

【識別番号】100084250

【弁理士】

【氏名又は名称】丸山 隆夫

(72)【発明者】

【氏名】宇野 博之

【合議体】

【審判長】 大塚 良平

【審判官】 山中 実

【審判官】 林 毅

(56)【参考文献】

【文献】 特開２００５−３３２０７０（ＪＰ，Ａ）

【文献】 特開２００５−０６５１１８（ＪＰ，Ａ）

【文献】 特開２００９−２６０５２３（ＪＰ，Ａ）

【文献】 特開２００６−１９６９５６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

H04Q 9/00 301, H04M 1/00, H04M 11/00

(57)【特許請求の範囲】

【請求項1】

ネットワークに接続された複数の機器をそれぞれ撮像して操作対象機器を特定し、特定した前記操作対象機器の種類の組合せで決まる複数の操作対象機器間の連携動作の操作シナリオ情報を送信する遠隔操作機器と、
前記複数の機器を収容して前記ネットワークを構成し、前記遠隔操作機器から前記操作シナリオ情報を受信すると、当該受信した操作シナリオ情報が規定する前記操作対象機器に対して、当該受信した操作シナリオ情報が規定する動作を実行させる操作指示を出力するネットワーク制御ユニットと
を備える遠隔操作システムであって、
前記遠隔操作機器は、カメラ部と表示部とを含み、
前記カメラ部が撮像した前記操作対象機器を、前記遠隔操作機器が撮像対象として認識すると、前記表示部においては、前記操作対象機器に四角枠を表示し、
特定した前記操作対象機器を示す制御信号を前記ネットワーク制御ユニットに送信し、前記ネットワーク制御ユニットが受信した前記制御信号に基づいて、前記操作対象機器に設置されているＬＥＤを点灯させることを特徴とする遠隔操作システム。

【請求項2】

前記遠隔操作機器は、
撮像した前記操作対象機器を、記憶する照合用画像情報と照合して前記操作対象機器を特定する画像照合手段と、
前記操作シナリオ情報を記憶する操作シナリオ登録情報から、特定した前記操作対象機器の種類の組合せで決まる操作シナリオ情報を取得する操作シナリオ情報検索手段と、
取得した前記操作シナリオ情報を外部に送信する通信手段と
を備えることを特徴とする請求項１に記載の遠隔操作システム。

【請求項3】

前記ネットワーク制御ユニットは、
前記操作シナリオ情報を外部から受信する通信手段と、
前記操作シナリオ情報が規定する前記操作対象機器と前記操作シナリオ情報が規定する各操作対象機器の動作内容を分析し、各操作対象機器を特定した操作対象機器情報と、各操作対象機器の動作内容情報を出力する操作シナリオ分析手段と、
前記操作シナリオ分析手段から転送された前記操作対象機器情報と、前記動作内容情報に基づき、各操作対象機器に対応する操作指示データを生成して出力する操作指示データ生成手段と、
複数の前記操作対象機器のそれぞれを接続するポートを備え、前記操作指示データ生成手段が出力する前記操作指示データに基づいて、前記操作対象機器を接続している前記ポートを特定して前記各操作対象機器に対応する操作指示データを送信する機器接続手段と
を備えることを特徴とする請求項２に記載の遠隔操作システム。

【請求項4】

前記ネットワーク制御ユニットは、当該ネットワーク制御ユニットに接続した前記操作対象機器の機器種別情報、接続位置情報及び前記ネットワークで規定するアドレス情報を接続機器情報として記憶するメモリ部を備え、
前記遠隔操作機器は、撮像した前記操作対象機器の画像を前記照合用画像として登録する処理を実行する画像登録制御手段を備え、当該画像登録制御手段は、前記接続機器情報を前記ネットワーク制御ユニットから取得し、撮像した前記操作対象機器の画像を前記接続機器情報と対応させて前記照合用画像として登録することを特徴とする請求項２又は請求項３に記載の遠隔操作システム。

【請求項5】

前記遠隔操作機器は、前記操作シナリオ情報を登録する処理を実行する操作シナリオ登録制御手段を備え、当該操作シナリオ登録制御手段は、操作シナリオ毎に、当該操作に関与する複数の前記操作対象機器の機器種別情報と各操作対象機器に規定される動作情報を、当該操作シナリオを特定する操作シナリオ識別情報とともに前記操作シナリオ登録情報として登録し、登録した当該操作シナリオ登録情報を前記ネットワーク制御ユニットに転送することを特徴とする請求項４に記載の遠隔操作システム。

【請求項6】

前記ネットワーク制御ユニットは、前記遠隔操作機器から転送された前記操作シナリオ登録情報を、当該操作シナリオ登録情報が含む前記操作対象機器の機器種別情報に前記接続機器情報の前記接続位置情報及び前記アドレス情報を付加して、前記メモリ部に記憶することを特徴とする請求項５に記載の遠隔操作システム。

【請求項7】

前記遠隔操作機器の前記操作シナリオ情報検索手段は、取得した前記操作シナリオ情報が含む前記操作シナリオ識別情報を、前記通信手段を介して出力し、前記ネットワーク制御ユニットの前記操作シナリオ分析手段は、前記通信手段を介して前記操作シナリオ識別情報を受信すると、前記メモリ部に記憶された前記操作シナリオ登録情報から前記操作シナリオ識別情報に対応する前記操作シナリオ情報を読み出して、当該操作シナリオ情報が規定する前記操作対象機器と各操作対象機器の動作内容を分析することを特徴とする請求項６に記載の遠隔操作システム。

【請求項8】

前記遠隔操作機器の前記通信手段は、前記ネットワーク制御ユニットの前記通信手段と、直接通信を行うか、又は移動通信網を介して通信を行うことを特徴とする請求項３乃至請求項７のいずれかの請求項に記載の遠隔操作システム。

【請求項9】

ネットワーク制御ユニットが収容する複数の機器を遠隔操作する遠隔操作機器であって、
複数の前記操作対象機器をそれぞれ撮像して操作対象とする機器を特定する操作対象機器特定手段と、
特定した前記操作対象機器の種類の組合せで決まる複数の操作対象機器間の連携動作の各機器の動作を規定する操作シナリオ情報を出力する操作シナリオ出力手段と
を備え、
前記ネットワーク制御ユニットが前記操作シナリオ情報を受信して当該操作シナリオ情報が規定する動作を前記操作対象機器に実行させる遠隔操作機器であって、
前記遠隔操作機器は、カメラ部と表示部とを含み、
前記カメラ部が撮像した前記操作対象機器を、前記遠隔操作機器が撮像対象として認識すると、前記表示部においては、前記操作対象機器に四角枠を表示し、
特定した前記操作対象機器を示す制御信号を前記ネットワーク制御ユニットに送信し、前記ネットワーク制御ユニットが受信した前記制御信号に基づいて、前記操作対象機器に設置されているＬＥＤを点灯させることを特徴とする遠隔操作機器。

【請求項10】

前記操作対象機器特定手段は、撮像した前記操作対象機器を、記憶する照合用画像情報と照合して前記操作対象機器を特定する画像照合手段を備え、
前記操作シナリオ出力手段は、前記操作シナリオ情報を記憶する操作シナリオ登録情報から、特定した前記操作対象機器の種類の組合せで決まる操作シナリオ情報を取得する操作シナリオ情報検索手段と、取得した前記操作シナリオ情報を外部に送信する通信手段とを備える
ことを特徴とする請求項９記載の遠隔操作機器。

【請求項11】

前記遠隔操作機器は、撮像した前記操作対象機器の画像を前記照合用画像として登録する処理を実行する画像登録制御手段を備え、当該画像登録制御手段は、前記ネットワーク制御ユニットが記憶する、当該ネットワーク制御ユニットに接続した前記操作対象機器の機器種別情報、接続位置情報及び前記ネットワークで規定するアドレス情報を含む接続機器情報を、前記ネットワーク制御ユニットから取得し、撮像した前記操作対象機器の画像を前記接続機器情報と対応させて前記照合用画像として登録することを特徴とする請求項１０に記載の遠隔操作機器。

【請求項12】

前記遠隔操作機器は、前記操作シナリオ情報を登録する処理を実行する操作シナリオ登録制御手段を備え、当該操作シナリオ登録制御手段は、操作シナリオ毎に、当該操作に関与する複数の前記操作対象機器の機器種別情報と各操作対象機器に規定される動作情報を、当該操作シナリオを特定する操作シナリオ識別情報とともに前記操作シナリオ登録情報として登録し、登録した当該操作シナリオ登録情報を前記ネットワーク制御ユニットに転送することを特徴とする請求項１１に記載の遠隔操作機器。

【請求項13】

前記操作シナリオ情報検索手段は、前記操作シナリオ情報を取得すると、当該操作シナリオ情報が含む前記操作シナリオ識別情報か、又は前記操作対象機器の種類情報と各操作対象機器に規定される動作情報を、前記通信手段を介して出力することを特徴とする請求項１２に記載の遠隔操作機器。

【請求項14】

前記通信手段は、前記ネットワーク制御ユニットと直接通信を行うか、又は少なくとも移動通信網を介して通信を行うことを特徴とする請求項１０乃至請求項１３のいずれかの請求項に記載の遠隔操作機器。

【請求項15】

ネットワーク制御ユニットに接続された複数の機器を遠隔操作機器がそれぞれ撮像して操作対象機器を特定する操作対象機器特定ステップと、
特定した前記操作対象機器の種類の組合せで決まる複数の操作対象機器間の連携動作の操作シナリオ情報を前記遠隔操作機器が送信する操作シナリオ送信ステップと、
受信した前記操作シナリオ情報が規定する機器に対して、当該受信した前記操作シナリオ情報が規定する動作を実行させる操作指示を前記ネットワーク制御ユニットが出力する操作指示出力ステップと、
前記遠隔操作機器は、カメラ部と表示部とを含み、
前記カメラ部が撮像した前記操作対象機器を、前記遠隔操作機器が撮像対象として認識すると、前記表示部においては、前記操作対象機器に四角枠を表示するステップと、
特定した前記操作対象機器を示す制御信号を前記ネットワーク制御ユニットに送信するステップと、
前記ネットワーク制御ユニットが受信した前記制御信号に基づいて、前記操作対象機器に設置されているＬＥＤを点灯させる表示ステップと
を含むことを特徴とする遠隔操作方法。

【請求項16】

前記操作対象機器特定ステップは、撮像した前記操作対象機器を、記憶する照合用画像情報と照合して前記操作対象機器を特定する画像照合ステップを含み、
前記操作シナリオ送信ステップは、前記操作シナリオ情報を記憶する操作シナリオ登録情報から、特定した前記操作対象機器の種類の組合せで決まる操作シナリオ情報を取得する操作シナリオ情報検索ステップと、取得した前記操作シナリオ情報を外部に送信する通信ステップとを含む
ことを特徴とする請求項１５に記載の遠隔操作方法。

【請求項17】

前記操作指示出力ステップは、
前記操作シナリオ情報を外部から受信する通信ステップと、
前記操作シナリオ情報が規定する前記操作対象機器と前記操作シナリオ情報が規定する各操作対象機器の動作内容を分析し、各操作対象機器を特定した操作対象機器情報と、各操作対象機器の動作内容情報を出力する操作シナリオ分析ステップと、
前記操作シナリオ分析ステップで出力された前記操作対象機器情報と、前記動作内容情報に基づき、各操作対象機器に対応する操作指示データを生成して出力する操作指示データ生成ステップと、
前記操作指示データ生成ステップで出力した前記操作指示データに基づいて、前記操作対象機器を接続しているポートを特定して前記各操作対象機器に対応する操作指示データを送信する操作指示送信ステップと
を含むことを特徴とする請求項１６に記載の遠隔操作方法。

【請求項18】

前記ネットワーク制御ユニットに接続した前記操作対象機器の機器種別情報、接続位置情報及び前記ネットワークで規定するアドレス情報を接続機器情報として記憶する接続機器情報記憶ステップと、前記遠隔操作機器が撮像した前記操作対象機器の画像を前記照合用画像として登録する画像登録制御ステップを更に含み、
前記画像登録制御ステップは、前記接続機器情報を前記ネットワーク制御ユニットから取得するステップと、撮像した前記操作対象機器の画像を前記接続機器情報と対応させて前記照合用画像として登録するステップを含む
ことを特徴とする請求項１６又は請求項１７に記載の遠隔操作方法。

【請求項19】

前記遠隔操作機器が前記操作シナリオ情報を登録する操作シナリオ登録制御ステップを更に有し、
前記操作シナリオ登録制御ステップは、操作シナリオ毎に、当該操作に関与する複数の前記操作対象機器の機器種別情報と各操作対象機器に規定される動作情報を、当該操作シナリオを特定する操作シナリオ識別情報とともに前記操作シナリオ登録情報として登録するステップと、登録した当該操作シナリオ登録情報を前記ネットワーク制御ユニットにも転送するステップを含む
ことを特徴とする請求項１８に記載の遠隔操作方法。

【請求項20】

前記遠隔操作機器から転送された前記操作シナリオ登録情報を、前記ネットワーク制御ユニットが、当該操作シナリオ登録情報が含む前記操作対象機器の機器種別情報に、前記接続機器情報記憶ステップで記憶した前記接続機器情報の前記接続位置情報及び前記アドレス情報を付加して、記憶する操作シナリオ登録情報記憶ステップを更に含むことを特徴とする請求項１９に記載の遠隔操作方法。

【請求項21】

前記操作シナリオ情報検索ステップは、取得した前記操作シナリオ情報が含む前記操作シナリオ識別情報を出力するステップを含み、
前記操作シナリオ分析ステップは、受信した前記操作シナリオ識別情報に対応する前記操作シナリオ情報を前記操作シナリオ登録情報から読み出すステップと、読み出した当該操作シナリオ情報が規定する前記操作対象機器と各操作対象機器の動作内容を分析するステップを含むことを特徴とする請求項２０に記載の遠隔操作方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔操作システム、遠隔操作機器及び遠隔操作方法に関し、特にネットワークに接続された機器に対する遠隔操作システム、遠隔操作機器及び遠隔操作方法に関する。

【背景技術】

【0002】

赤外線リモコンは、機械や電子機器を離れた場所から操作する遠隔操作機器として現在広く使われている。これは、制御データで変調した赤外線を機械や電子機器の赤外線受光部に向けて送信することにより、それらの機械や電子機器に対して目的とする操作を遠隔で行うものである。赤外線リモコンを使った場合の操作範囲は、赤外線ビームの広がりで制限される正面から上下左右約±５度以下の範囲と赤外線ビームの到達距離で制限される約５メートルから１０メートルの範囲に限られる。
また、この赤外線リモコンは、その操作の簡便性からあらゆる機器に付属している。例えば、テレビ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）レコーダー／プレーヤー、オーディオ装置、エアコン、照明機器、カメラ、ゲーム機、パソコン等に付属して消費者に提供されている。さらに、このように多数の機器に付属する赤外線リモコンを一つに集約させる目的で提供されている機器として、学習リモコンやマルチリモコンと呼ばれる機器もある。
近年、ネットワークには、通信系機器のみならずＡＶ（Ａｕｄｉｏ Ｖｉｓｕａｌ）機器、制御機器等の多くの種類の機器が接続されるようになっている。例えば、家庭内でホームネットワークを構築し、テレビ、ＤＶＤレコーダー／プレーヤー、オーディオ装置等のＡＶ機器や、エアコン、照明機器、防犯装置等の制御機器をホームネットワークに接続し、外出先からそれらの機器を操作することができる。
特許文献１は、ネットワークに接続された機器をカメラ部で撮像し、機器を操作するときは、撮像した画像を表示部に表示させ、所望の機器を選択することによりネットワーク経由で機器を遠隔操作する遠隔操作機器の技術を開示する。そして、この遠隔操作機器は、１台で複数の異なる種類の機器を遠隔操作することができる。
特許文献１が開示する遠隔操作機器は、遠隔操作の対象とする機器を撮像する際に、機器固有情報を赤外線信号でその機器自体から取得して、撮像した画像と対応させてメモリに記憶させておく。遠隔操作の際に、ユーザが所望の機器を表示部に表示された画像から選択すると、その選択した画像に対応する機器のユーザインタフェース、操作制御プログラム及び機器固有情報が読み出される。そして、遠隔操作対象となる機器を操作するためのユーザインタフェースが表示部に表示され、遠隔操作機器は無線通信手段を用いて機器固有情報に基づいてネットワークに接続された機器に接続する。そして、ユーザは、遠隔操作機器の表示部に表示されたユーザインタフェースに基づく操作をすることによりネットワークに接続された機器を遠隔操作することができる。
特許文献２は、使用者が頭部に装着し、使用者の視界内の領域を撮像する撮像装置を備える遠隔操作用の操作装置の技術を開示する。この操作装置も１台で複数の異なる種類の機器を遠隔操作することができる。
特許文献２が開示する操作装置は、使用者の視界内に入ることにより撮像装置によって得られた画像情報と、記憶装置に記憶された識別情報とにもとづいて操作対象機器を認識し、使用者が入力した動作指令を操作対象機器に送信する。そのため、この操作装置は、使用者の視界内に入った操作対象装置を自動的に特定して、操作対象装置を遠隔操作することができる。また、使用者は、装着した操作装置に設置された半透過型光学素子に表示される仮想コントローラをポイントすることにより動作指令を入力する。
特許文献３は、遠隔操作対象の機器に一切の機能を追加することなく、複数の対象機器を遠隔操作することができる遠隔操作機器の技術を開示する。
特許文献３が開示する遠隔操作機器は、カメラ部で遠隔操作対象の機器を撮像し、撮像した画像から文字列を抽出して複数の対象機器から操作対象機器を特定する。そして、この遠隔操作機器は、特定した操作対象機器に合わせて操作部の各ボタンを設定し、液晶表示部に操作部の操作方法を表示する。なお、この遠隔操作機器は、特定した機器の遠隔操作にあたっては、従来どおりの赤外線ビームを用いている。そのため、特許文献３が開示する技術は、操作範囲を広げるために中継用の遠隔操作機器を設ける等の工夫がされている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７−２５９３２８号公報

【特許文献2】特開２００６−１４６８０３号公報

【特許文献3】特開２００５−２６８９４１号公報

【発明の開示】

【発明が解決しようとする課題】

【0004】

赤外線リモコンによる遠隔操作は、操作対象の機器に向けて操作ボタンを押すという非常に直感的な操作である。しかし、前述の如く、赤外線リモコンを使った場合の操作範囲は、赤外線ビームの広がりで制限される正面から上下左右約±５度以下の範囲と赤外線ビームの到達距離で制限される約５メートルから１０メートルの範囲に限られる。また、学習リモコンやマルチリモコンのように多数の赤外線リモコンを一つに集約することができる装置はあるものの、複数の機器の操作を連携して行うことは困難である。例えば、ＤＶＤで映画を見る際に、テレビとＤＶＤプレーヤーの電源を入れ、ＤＶＤプレーヤーの再生動作を行うというような機器間での連携操作はできない。
特許文献１が開示する遠隔操作機器は、操作対象機器からの距離に依存することなく遠隔操作を行うことができる。しかし、その操作は、操作対象機器が近距離に存在する場合であっても、メモリに記憶している画像を呼び出し、そして遠隔操作機器上の液晶画面に表示された画像を見ながら特定画像を選択するという操作を行う必要がある。そのため、この遠隔操作機器は、操作対象の機器に向けて操作するという、長年の間、慣れ親しんできた直感的な操作ができない。
指向性のないリモコンを用いるようになっても、操作対象の機器にリモコンを向けて操作するという、リモコン操作の慣れ親しんだ行動スタイルを崩さないようにすることが望まれていると考える。
特許文献２が開示する操作装置は、撮像した画像により操作対象機器を特定するという点において特徴を有する。しかし、使用者は、半透過型光学素子に表示される仮想コントローラをポイントすることにより動作指令を入力するというような特殊な操作を必要する。また、そのために複雑な装置構成となっている。
特許文献３が開示する遠隔操作機器は、操作対象機器の特定にあたって、撮像した画像から文字列を抽出するという点において特徴を有するが、この遠隔操作機器は、従来どおりの赤外線ビームを用いた遠隔操作を行っている。そのため、中継用の遠隔操作機器の開示があるものの、その構成が複雑になり、操作範囲には限度がある。
特許文献１乃至３に開示された技術は、１台で複数の異なる種類の機器を遠隔操作することができる遠隔操作機器を提供することができる。しかし、特許文献１乃至３に開示された技術は、複数の異なる種類の機器の遠隔操作を連携して行うことができる遠隔操作機器を提供することは困難である。
本発明の目的は、上記の課題を解決する遠隔操作システム、遠隔操作機器及び遠隔操作方法を提供することにある。

【課題を解決するための手段】

【0005】

上記の目的を実現するために、本発明における遠隔操作システムは、ネットワークに接続された複数の機器をそれぞれ撮像して操作対象機器を特定し、特定した前記操作対象機器の種類の組合せで決まる複数の操作対象機器間の連携動作の操作シナリオ情報を送信する遠隔操作機器と、前記複数の機器を収容して前記ネットワークを構成し、前記遠隔操作機器から前記操作シナリオ情報を受信すると、当該受信した操作シナリオ情報が規定する前記操作対象機器に対して、当該受信した操作シナリオ情報が規定する動作を実行させる操作指示を出力するネットワーク制御ユニットとを備える遠隔操作システムであって、前記遠隔操作機器は、カメラ部と表示部とを含み、前記カメラ部が撮像した前記操作対象機器を、前記遠隔操作機器が撮像対象として認識すると、前記表示部においては、前記操作対象機器に四角枠を表示し、特定した前記操作対象機器を示す制御信号を前記ネットワーク制御ユニットに送信し、前記ネットワーク制御ユニットが受信した前記制御信号に基づいて、前記操作対象機器に設置されているＬＥＤを点灯させることを特徴とする。
また、本発明の遠隔操作機器は、ネットワーク制御ユニットが収容する複数の機器を遠隔操作する遠隔操作機器であって、複数の前記操作対象機器をそれぞれ撮像して操作対象とする機器を特定する操作対象機器特定手段と、特定した前記操作対象機器の種類の組合せで決まる複数の操作対象機器間の連携動作の各機器の動作を規定する操作シナリオ情報を出力する操作シナリオ出力手段とを備え、前記ネットワーク制御ユニットが前記操作シナリオ情報を受信して当該操作シナリオ情報が規定する動作を前記操作対象機器に実行させる遠隔操作機器であって、前記遠隔操作機器は、カメラ部と表示部とを含み、前記カメラ部が撮像した前記操作対象機器を、前記遠隔操作機器が撮像対象として認識すると、前記表示部においては、前記操作対象機器に四角枠を表示し、特定した前記操作対象機器を示す制御信号を前記ネットワーク制御ユニットに送信し、前記ネットワーク制御ユニットが受信した前記制御信号に基づいて、前記操作対象機器に設置されているＬＥＤを点灯させることを特徴とする。
また、本発明の遠隔操作方法は、ネットワーク制御ユニットに接続された複数の機器を遠隔操作機器がそれぞれ撮像して操作対象機器を特定する操作対象機器特定ステップと、特定した前記操作対象機器の種類の組合せで決まる複数の操作対象機器間の連携動作の操作シナリオ情報を前記遠隔操作機器が送信する操作シナリオ送信ステップと、受信した前記操作シナリオ情報が規定する機器に対して、当該受信した前記操作シナリオ情報が規定する動作を実行させる操作指示を前記ネットワーク制御ユニットが出力する操作指示出力ステップと、前記遠隔操作機器は、カメラ部と表示部とを含み、前記カメラ部が撮像した前記操作対象機器を、前記遠隔操作機器が撮像対象として認識すると、前記表示部においては、前記操作対象機器に四角枠を表示するステップと、特定した前記操作対象機器を示す制御信号を前記ネットワーク制御ユニットに送信するステップと、前記ネットワーク制御ユニットが受信した前記制御信号に基づいて、前記操作対象機器に設置されているＬＥＤを点灯させる表示ステップとを含むことを特徴とする。

【発明の効果】

【0006】

本発明によれば、リモコン操作の慣れ親しんだ直感的な行動スタイルを崩さず、しかも複数の異なる種類の機器の遠隔操作を連携して行うことができる。

【図面の簡単な説明】

【0007】

【図1】本発明の基本実施形態に係るシステム構成を示すブロック構成図である。

【図2】本発明の基本実施形態に係る動作を示すシーケンス図である。

【図3】本発明の基本実施形態に係る遠隔操作機器の構成を示すブロック構成図である。

【図4】本発明の実施形態１に係る遠隔操作機器の構成を示すブロック構成図である。

【図5】本発明の実施形態１に係るネットワーク制御ユニットの構成を示すブロック構成図である。

【図6】本発明の実施形態２に係るシステム構成を示すブロック構成図である。

【図7】本発明の実施形態２に係る遠隔操作機器の構成を示すブロック構成図である。

【図8】本発明の実施形態２に係るネットワーク制御ユニットの構成を示すブロック構成図である。

【図9】本発明の実施形態２に係る遠隔操作機器の上面外観を示す外観図である。

【図10】本発明の実施形態２に係る遠隔操作機器の表示部に表示された初期メニュー画面例を示す図である。

【図11】本発明の実施形態２に係る遠隔操作機器の初期メニュー動作を示すフロー図である。

【図12】本発明の実施形態２に係る遠隔操作機器の操作対象機器登録動作を示すフロー図である。

【図13】本発明の実施形態２に係る遠隔操作機器の表示部に表示された操作対象機器登録動作時の表示例を示す図である。

【図14】本発明の実施形態２の単独操作モードに係る動作を示すシーケンス図である。

【図15】本発明の実施形態２に係る遠隔操作機器の表示部に表示された単独操作モード時の表示例を示す図である。

【図16】本発明の実施形態２の連携操作モードの操作シナリオ登録に係る動作を示すシーケンス図である。

【図17】本発明の実施形態２の連携操作モードの操作シナリオ登録に係る表示部に表示された表示例を示す図である。

【図18】本発明の実施形態２の連携操作モードの遠隔操作に係る動作を示すシーケンス図である。

【図19】本発明の実施形態２に係る遠隔操作機器の表示部に表示された連携操作モード時の表示例を示す図である。

【図20】本発明の実施形態２の連携操作モードの操作シナリオ情報の一例を示す図である。

【図21】本発明の実施形態３に係るシステム構成を示すブロック構成図である。

【図22】本発明の実施形態３に係るネットワーク制御ユニットの構成を示すブロック構成図である。

【発明を実施するための形態】

【0008】

本発明を実施するための形態について図面を参照して説明する。
図１は、本発明の基本実施形態に係るシステム構成を示すブロック構成図である。
遠隔操作機器１０は、ネットワークに接続された機器を遠隔操作するための装置である。図１において、遠隔操作機器１０が操作対象とする機器を、例えば、操作対象機器Ａ３０および操作対象機器Ｂ４０として示している。また、機器Ｃ５０は、ネットワークに接続された機器ではあるが、現時点での操作対象機器ではないものとしている。
ネットワーク制御ユニット２０は、それらの操作対象機器Ａ３０、操作対象機器Ｂ４０および機器Ｃ５０を収容してネットワークを構成している。
遠隔操作機器１０は、ネットワークに接続された任意の複数の機器のそれぞれを撮像して操作対象とする機器を特定し、特定した操作対象機器の種類の組合せで決まる複数の操作対象機器間の連携動作の操作シナリオ情報を送信する。
ネットワーク制御ユニット２０は、遠隔操作機器１０から前記の操作シナリオ情報を受信すると、当該受信した操作シナリオ情報が規定する機器に対して、当該受信した操作シナリオ情報が規定する動作を実行させる操作指示を出力する。
図１は、上記の様子を模式的に示しており、遠隔操作機器１０が機器をそれぞれ撮像する様子、操作シナリオ情報を送信する様子を示している。また、図１は、ネットワーク制御ユニット２０が、受信した操作シナリオ情報が規定する機器（操作対象機器Ａ３０および操作対象機器Ｂ４０）に対して、その操作シナリオ情報が規定する動作の実行を指示する様子を示している。
図２は、本発明の基本実施形態に係る動作を示すシーケンス図である。
遠隔操作機器１０は、ネットワークに接続された任意の複数の機器をそれぞれ撮像し、操作対象機器を特定する（Ｓ２０１）。遠隔操作機器１０は、操作対象機器の種類の組合せで決まる操作シナリオ情報を送信する（Ｓ２０２）。操作シナリオ情報はネットワーク制御ユニット２０に送られる。ネットワーク制御ユニット２０は、操作シナリオ情報が規定する機器に対して、操作シナリオ情報が規定する動作の実行を指示する操作指示を出力する（Ｓ２０３）。操作指示は各操作対象機器に送られる。操作指示を受信した各操作対象機器は、操作指示で指示された動作を実行する（Ｓ２０４）。
図３は、本発明の基本実施形態に係る遠隔操作機器の構成を示すブロック構成図である。
遠隔操作機器１０は、ネットワーク制御ユニットが収容する複数の機器を遠隔操作する遠隔操作機器であって、それら機器のそれぞれを撮像して操作対象とする機器を特定する操作対象機器特定手段１１を備える。また、遠隔操作機器１０は、特定した操作対象機器の種類の組合せで決まる複数の操作対象機器間の連携動作の各機器の動作を規定する操作シナリオ情報を出力する操作シナリオ出力手段１２を備える。そして、前記のネットワーク制御ユニットが前記の操作シナリオ情報を受信して当該操作シナリオ情報が規定する動作を操作対象機器に実行させる。
以上に説明したように、本発明の基本実施形態において、ユーザは、連携動作の操作対象としたい機器に遠隔操作機器１０を向けてそれらの機器を撮像する。この操作形態は、リモコン操作の慣れ親しんだ直感的な行動スタイルである。この操作により特定された操作対象機器の種類の組合せで、複数の操作対象機器間の連携動作の操作シナリオ情報が決まる。操作シナリオ情報には制御すべき機器とその動作が規定されているので、この操作シナリオ情報に基づいてそれぞれの操作対象機器が連携した制御動作を実行することができる。
次に、図４と図５を参照して、本発明の実施形態１に係る遠隔操作機器とネットワーク制御ユニットの構成と動作を説明する。
図４は本発明の実施形態１に係る遠隔操作機器の構成を示すブロック構成図である。基本実施形態で説明したように、ユーザは、連携動作の操作対象としたい機器に遠隔操作機器１０を向けてそれらの機器を撮像する。例えば、テレビとＤＶＤプレーヤーをそれぞれ撮像したものとする。
この操作により得られた機器の画像は、操作対象機器特定手段１１に転送される。操作対象機器特定手段１１は、画像照合手段１１１により、入力した機器の画像を予め記憶している照合用画像１１２と照合して操作対象機器を特定する。特定された操作対象機器の情報は操作シナリオ出力手段１２に転送される。
操作シナリオ出力手段１２は、操作シナリオ検索手段１２１により、特定された制御機器の種類の組合せに基づいて、操作シナリオ登録情報記憶手段１２２に予め記憶している操作シナリオ登録情報のどの操作シナリオに該当するかを検索する。
操作シナリオについては後述するが、例えば、テレビとＤＶＤプレーヤーをそれぞれ撮像した場合の操作シナリオとして次の制御動作を行うことが規定されているものとする。
・ＤＶＤプレーヤーの映像と音声をテレビのライン入力に接続する。
・テレビ、ＤＶＤプレーヤーのそれぞれの電源をオンにする。
・テレビの入力ソースをライン入力に切替える。
つまり、これは、ＤＶＤプレーヤーをテレビに接続し、テレビとＤＶＤプレーヤーの電源を入れ、ＤＶＤプレーヤーで再生する映像をテレビで視聴する準備を行わせる操作シナリオの例である。
このとき、操作シナリオ登録情報記憶手段１２２から検索した情報には、テレビとＤＶＤプレーヤーの組合せに対応する操作シナリオである上記内容か、又は当該内容の操作シナリオであることを特定することができる操作シナリオ識別情報が含まれている。
操作シナリオ出力手段１２は、この検索によって得られた操作シナリオ情報を、通信手段１２３により出力する。
遠隔操作機器１０から出力される操作シナリオ情報は、上述のように、各機器の具体的な動作を規定する操作シナリオそのものか、又はそのような内容の操作シナリオであることを特定できる操作シナリオ識別情報のいずれかを含む。この場合、どちらの操作シナリオ情報が出力されているのかを示す表示フラグを付しても良い。
図５は本発明の実施形態１に係るネットワーク制御ユニットの構成を示すブロック構成図である。
遠隔操作機器１０が出力した操作シナリオ情報は、ネットワーク制御ユニット２０の通信手段２１で受信され、操作シナリオ分析手段２２に転送される。
遠隔操作機器１０が出力した操作シナリオ情報が操作シナリオ識別情報であった場合、操作シナリオ分析手段２２は、操作シナリオ識別情報で操作シナリオ登録情報記憶手段２５を検索して、操作シナリオが規定する各機器に対する具体的な動作内容に関する情報を取得する。
一方、遠隔操作機器１０が出力した操作シナリオ情報が具体的な各機器の動作を規定する操作シナリオそのものであった場合には、その検索動作は必要ない。
操作シナリオ分析手段２２がどちらの動作を行うかは、操作シナリオ情報が表示フラグとともに出力される場合は、その表示フラグで識別できる。また、表示フラグが付されていない場合であっても、操作シナリオ分析手段２２は受信した操作シナリオ情報のデータ量を見ることによりいずれの操作シナリオ情報であるかを識別することができる。
操作シナリオ分析手段２２は、操作シナリオが規定する操作対象機器と具体的な動作の内容を取得すると、それらを分析し、各操作対象機器の特定と、各操作対象機器に対する操作指示データの生成準備を行う。具体的には、各操作対象機器を特定した操作対象機器情報と、各操作対象機器に対して生成する操作指示の種類を含む操作指示データを出力する。また、操作対象機器間の接続に関する情報が含まれてもよい。
操作シナリオ分析手段２２は、これらの分析結果データを操作指示データ生成手段２３に転送して操作指示データの生成を指示する。
操作指示データ生成手段２３は、操作シナリオ分析手段２２から各操作対象機器に対する操作指示データの生成を指示されると、転送された分析結果データに基づいて、各操作対象機器対応に操作指示データを生成する。そして、操作指示データ生成手段２３は生成した操作指示データを機器接続手段２４に転送する。
機器接続手段２４は、各機器を接続するポートを備えており、操作対象機器がどのポートに接続されているかを特定することができる。
当該ネットワーク制御ユニット内で機器間の接続設定を行うことができる制御動作は機器接続手段２４にその接続制御が指示される。例えば、「ＤＶＤプレーヤーの映像と音声をテレビのライン入力に接続する」制御を機器接続手段２４で実行することができる場合には、機器接続手段２４にその接続制御が指示される。
また、各操作対象機器で実行させる動作は、機器接続手段２４からその操作対象機器に対して操作指示データが送信される。例えば、テレビに対しては、「電源のオン」および「入力ソースをライン入力に切替え」の操作指示データを送り、ＤＶＤプレーヤーに対しては、「電源のオン」の操作指示データを送る。
本実施形態は、このように構成し、動作することにより、ユーザが連携動作の操作対象としたい機器に遠隔操作機器１０を向けてリモコン操作するだけで、それぞれの操作対象機器が連携した動作を実行することができる。つまり、ユーザは、テレビとＤＶＤプレーヤーを撮像するだけで、画像照合手段１１１が入力した機器の画像を予め記憶している照合用画像１１２と照合して操作対象機器をテレビとＤＶＤプレーヤーであると特定する。操作シナリオ検索手段１２１は、操作対象機器がテレビとＤＶＤプレーヤーであることを知ると、予め記憶している操作シナリオ登録情報記憶手段１２２のどの操作シナリオに該当するかを検索する。そして、検索された操作シナリオはネットワーク制御ユニット２０に送られ、そこで操作シナリオ分析手段２２により、操作シナリオの具体的な内容が分析される。分析の結果、各機器の動作を規定する操作指示データが操作指示データ生成手段２３で生成され、操作指示データが各機器に送られる。その結果、ＤＶＤプレーヤーがテレビに接続され、テレビとＤＶＤプレーヤーの電源が入り、ＤＶＤプレーヤーで再生する映像をテレビで視聴する準備ができる。
さらに詳細な実施形態を実施形態２にもとづいて説明する。
図６は、本発明の実施形態２に係るシステム構成を示すブロック図である。
実施形態２は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や電灯線ネットワーク等で構築する内部ネットワークに適用する例である。
ネットワーク制御ユニット２０は、そのような内部ネットワークを構築する制御装置が組み込まれ、遠隔操作機器１０とは、無線により通信を行う。この場合の無線通信は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）または小電力無線の適用が考えられる。したがって、遠隔操作機器１０とネットワーク制御ユニット２０との間は、少なくとも１０メートルから１００メートルの距離があっても通信が可能である。そのため、本実施形態は、家庭内での使用に限ることなく、会議室、小ホールまたはイベント会場等で使用することができる。
その他のシステム構成は、図１を参照して説明した基本実施形態と同様である。ネットワーク制御ユニット２０は、複数の機器を収容することが可能である。図６においては、３つの収容機器が例示されている。ネットワーク制御ユニット２０は、ユーザが遠隔操作の対象とする操作対象機器Ａ３０および操作対象機器Ｂ４０と、現時点では遠隔操作の対象としていない機器Ｃ５０を収容しているものとする。
図７は、本発明の実施形態２に係る遠隔操作機器１０の構成を示すブロック構成図である。
遠隔操作機器１０は、図９にその外観を示すように、操作対象とする機器を撮像するためのカメラ部１０２、遠隔操作の入力操作を行う操作部１０４、操作部１０４の操作方法等を示す表示部１０３が筐体の外部に配備されている。
筐体の内部には、主制御部１０１、カメラ制御部１０５、インタフェース制御部１０６、メモリ部１０７および無線通信部１０８を主要構成要素として含む。
主制御部１０１は、メモリ部１０７に記憶されている主プログラムにより遠隔操作機器１０の全体的な動作に関する制御を司る。主プログラム以外にも各種のアプリケーションプログラムがメモリ部１０７に格納され、主制御部１０１やカメラ制御部１０５、インタフェース制御部１０６等の他の制御部と協働して遠隔操作機器１０の制御動作を実行する。なお、実施形態１で説明した画像照合手段や操作シナリオ検索手段は、主制御部１０１が実行する制御動作により実現される。
メモリ部１０７は、それらのプログラム以外にも、実施形態１で説明した照合用画像情報や操作シナリオ登録情報を記憶する領域を備えている。また、後述する操作対象機器毎の操作インタフェースプログラムもメモリ部１０７に格納されている。
カメラ制御部１０５は、カメラ部１０２を用いた撮像操作に関わる制御を実行する。また、インタフェース制御部１０６は、表示部１０３への表示制御や操作部１０４での操作入力された情報の識別等の制御を行う。
無線通信部１０８は、当該遠隔操作機器１０とネットワーク制御ユニット２０との間の無線通信を行う。
図８は、本発明の実施形態２に係るネットワーク制御ユニット２０の構成の一例を示すブロック構成図である。
図８において、制御部２０１は、メモリ部２０４に記憶されているプログラムによりネットワーク制御ユニット２０の全体的な動作に関する制御を司る。なお、実施形態１で説明した操作シナリオ分析手段や操作指示データ生成手段は、制御部２０１が実行する制御動作により実現される。
メモリ部２０４は、プログラム以外にも、実施形態１で説明した操作シナリオ登録情報や収容している機器に関する各種のデータを記憶する領域を備えている。
接続部２０５は、収容機器を接続する機器接続ポート２０６を備え、当該ネットワーク制御ユニット内で機器間の接続設定を行うことができる制御は接続部２０５で実行される。
ルーティング部２０２は、制御部２０１から出力される操作対象機器に送信する操作指示データを接続部２０５の目的とするポートに対してルーティングを行う。
無線通信部２０３は、当該ネットワーク制御ユニット２０と遠隔操作機器１０との間の無線通信を行う。
次に、本実施形態の動作について説明する。
図１０は、本発明の実施形態２に係る遠隔操作機器１０の表示部１０３に表示された初期メニュー画面例を示す図である。
この初期メニュー画面に示されるように、遠隔操作機器１０は３つの動作モードを有している。
登録モードは、遠隔操作の対象とする機器を事前に登録しておくための動作モードである。単独操作モードは、機器を個別に遠隔操作するための動作モードである。そして、連携操作モードは、複数の機器を連携して遠隔操作するための動作モードである。ユーザがいずれかのモードを選択し、実行ボタンで確定操作することにより、それぞれのモードの動作が実行される。
図１１は、遠隔操作機器１０の初期メニュー動作を示すフロー図である。
遠隔操作機器１０の表示部１０３には、電源を投入した初期状態で図１０に示す初期メニュー画面が表示され、ユーザの操作入力待ち状態となる（Ｓ１１０１、Ｓ１１０２無）。
ユーザがいずれかのモードを選択し、実行ボタンで確定操作すると（Ｓ１１０２、有）、どのメニューが選択されたかが識別される（Ｓ１１０３）。
登録モードが選択された場合には、登録モードの動作が実行される（Ｓ１１０４）。単独操作モードが選択された場合には、単独操作モードの動作が実行される（Ｓ１１０５）。そして、連携操作モードが選択された場合には、連携操作モードの動作が実行される（Ｓ１１０６）。
以下に、それぞれのモードでの動作を順次説明する。
図１２は、遠隔操作機器１０の操作対象機器登録動作を示すフロー図である。
まず、ネットワーク制御ユニット２０が管理している収容機器情報について説明する。
各機器をネットワーク制御ユニット２０の機器接続ポート２０６に接続すると、図示しない機器の制御部との通信により、ネットワーク制御ユニット２０の制御部２０１でその機器が認識される。そして、接続した機器の種別情報および接続位置情報が特定される。また、各機器には内部ネットワークで使用するアドレスが、例えばＤＨＣＰ（Ｄｙｎａｍｉｃ Ｈｏｓｔ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）機能により付与される。そして、ネットワーク制御ユニット２０のメモリ部２０４には、当該ネットワーク制御ユニット２０に接続されている各機器のこれらの情報が接続機器情報として記憶される。
この状態で、遠隔操作機器１０が登録モードの動作を行うと、遠隔操作機器１０は、ネットワーク制御ユニット２０と通信を行い、ネットワーク制御ユニット２０から接続機器情報を取得する（Ｓ１２０１）。
ネットワーク制御ユニット２０から取得した接続機器情報は、図１３に示すように、遠隔操作機器１０の表示部１０３に表示される（Ｓ１２０２）。図１３は、ネットワーク制御ユニット２０に接続している機器種別、ポート番号、アドレスが表示されている様子を示す。
ユーザは、操作対象機器として登録したい機器を選択して確定操作を行う（Ｓ１２０３）。このユーザ操作は、遠隔操作機器１０の操作部１０４からインタフェース制御部１０６を介して主制御部１０１に伝達されるので、主制御部１０１は、カメラ制御部１０５にカメラ部１０２の起動を指示する。
ユーザは、起動されたカメラ部１０２を用いて、操作対象機器の外観を撮像し、登録操作を行う（Ｓ１２０４）。この機器の外観撮像において、ユーザは異なる角度から複数の外観を撮像してもかまわない。このようにすることにより、後述する単独操作モードや連携操作モードの際に、操作対象とする機器を特定する動作である照合動作がより正確に行われることになる。
登録操作が完了した機器については、表示部１０３に登録完了の表示が付され、遠隔操作機器１０のメモリ部１０７に照合用画像として機器種別、ポート番号、アドレス等の関連機器情報と対応付けられて記憶される。
ユーザが登録操作を連続して実行する場合（Ｓ１２０５、有）は、上記Ｓ１２０３から再度、操作を繰り返す。
ユーザが登録操作を終了した場合（Ｓ１２０５、無）は、登録モード動作を終了する。
次に、上述した登録モード動作が完了している状態で、ユーザが初期メニュー画面において単独操作モードを選択した場合の動作を説明する。
図１４は、単独操作モードに係る動作を示すシーケンス図である。
まず、ユーザは遠隔操作機器１０の表示部１０３の初期メニュー画面において単独操作モードを選択して確定操作を行う（Ｓ１４０１）。このユーザ操作は、遠隔操作機器１０の操作部１０４からインタフェース制御部１０６を介して主制御部１０１に伝達されるので、主制御部１０１は、カメラ制御部１０５にカメラ部１０２の起動を指示する。
ユーザは、起動されたカメラ部１０２を操作対象機器に向けて撮像操作を行う（Ｓ１４０２）。つまり、表示部１０３がモニタ画面に切り替わっていれば、ユーザはそのモニタ画面に操作対象機器が映っていることを確認してシャッターを切ればよい。
ユーザが撮像した画像は、カメラ制御部１０５から主制御部１０１に送られ（Ｓ１４０３）、登録モードで登録した照合用画像との照合が行われる（Ｓ１４０４）。この照合動作により、合致した照合用画像と対応付けて記憶されている機器情報が読み出され、操作対象機器が特定される（Ｓ１４０５）。
操作対象機器が特定されると、主制御部１０１は、メモリ部１０７からその機器に対応するインタフェースプログラムを読み出し、インタフェース制御部１０６に転送する。インタフェース制御部１０６は、転送されたインタフェースプログラムに従った操作キー配列に操作部１０４のキーを意味づけ、表示部１０３にその説明を表示する（Ｓ１４０７）。
図１５は、遠隔操作機器１０の表示部１０３に表示された単独操作モード時の操作キー説明の表示例を示す図である。
図１５（ａ）は、操作対象機器をテレビと特定した場合に表示される。四方向キーは音量調節とチャンネル切り替えに、数字キーはチャンネルの直接入力に、確定キーは電源の入／切に使用される例を示している。図１５（ｂ）は、操作対象機器をオーディオ機器と特定した場合に表示される。四方向キーは音量調節と演奏局の変更に、数字キーは演奏局の直接指定に、確定キーは電源の入／切に使用される例を示している。そして、図１５（ｃ）は、操作対象機器を照明機器と特定した場合に表示される。四方向キーは明るさ調節に、確定キーは電源の入／切に使用される例を示している。もちろん、これらは例示であって、これらの設定に限られることは無い。
ユーザは、遠隔操作機器１０の操作部１０４のキーを操作して、所望の遠隔操作を行う（Ｓ１４０８）。
このユーザ操作は、遠隔操作機器１０の操作部１０４からインタフェース制御部１０６を介して主制御部１０１に伝達される。主制御部１０１は、ユーザが操作した制御内容を識別して、その操作指示データを生成し、無線通信部１０８を介してネットワーク制御ユニット２０に送信する（Ｓ１４０９）。このとき、ネットワーク制御ユニット２０に送信される操作指示データには、操作対象機器を特定するアドレス情報を含む。また、後述する連携操作モードと区別するために単独操作モードであることを示す操作モードフラグを付加する。
この操作指示データはネットワーク制御ユニット２０の無線通信部２０６で受信され、制御部２０１に転送される。
ネットワーク制御ユニット２０の制御部２０１は、操作指示データに付加された操作モードフラグから単独操作モードであることを識別し、操作指示データに含まれるアドレス情報から操作対象機器を特定する（Ｓ１４１０）。
そして、制御部２０１は、操作指示データをルーティング部２０２、接続部２０５を介して操作対象となる機器に送信する（Ｓ１４１１）。
操作対象機器では受信した操作指示データで指定される動作を実行する（Ｓ１４１２）。
上記の、Ｓ１４０８からＳ１４１２の動作は、ユーザが遠隔操作機器１０の操作部１０４のキーを操作する度に繰り返される。
以上に説明したように、本実施形態の単独操作モードは、ユーザが遠隔操作機器１０のカメラ部１０２を向けて撮像した機器が遠隔操作の対象機器として特定され、その機器種別に応じた操作を行うことができる。また、カメラ部１０２がズーム機能を有していれば、離れた場所からでも対象機器を撮像することができるので、大会議室、小ホールまたはイベント会場等でも使用することができる。
また、操作対象とする機器が密集しているような場所で使うことを考慮して、次のように構成してもよい。
一例として、遠隔操作機器１０は、ユーザがカメラ部１０２を操作対象機器に向けたときに、表示部１０３に表示されている画像のうち、カメラ部１０２が撮像対象として認識している画像に例えば四角枠を表示するようにしてもよい。また、他の一例として、図１４のＳ１４０５で、取得した画像による操作対象機器を特定したときに、遠隔操作機器１０は、ネットワーク制御ユニット２０に特定した機器を示す制御信号を送信するようにしてもよい。この場合、ネットワーク制御ユニット２０は、遠隔操作機器１０から受信したその制御信号に基づいて、対象機器に設置されている表示手段を点灯させるように指示する操作指示データを送信する。表示手段としては、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）が例示される。
次に、登録モード動作が完了している状態で、ユーザが初期メニュー画面において連携操作モードを選択した場合の動作を説明する。
連携操作モードは、実施形態１で説明したように、操作対象とする複数の機器間で連携をとった動作を行わせることができる操作モードである。連携操作モードの動作は、操作シナリオを登録する動作と、操作シナリオが登録されている状況下で複数の機器を連携させて遠隔操作を行なう連携操作モード実行動作とがある。
図１６は、本発明の実施形態２の連携操作モードの操作シナリオ登録に係る動作を示すシーケンス図である。
ユーザが遠隔操作機器１０の初期メニュー画面で連携操作モードを選択して確定操作を行うと、表示部１０３が図１７（ａ）に示す連携操作モードのメニュー画面に切り替わる。この連携操作モードのメニュー画面では、操作シナリオ登録動作と連携操作モード実行動作を選択することができる。
ユーザが連携操作モードのメニュー画面で操作シナリオ登録動作を選択すると（Ｓ１６０１、登録）、図１７（ｂ）に示す操作対象機器を選択する画面が表示部１０３に表示される。ここで、表示部１０３には、図１２で説明した登録操作により操作対象機器として登録されている機器の一覧が表示される。
例えば、ユーザが、「ＤＶＤプレーヤーで再生する映像、音声をテレビから出力する」という連携操作シナリオを登録するものとする。
ユーザは、登録機器一覧画面から「ＤＶＤプレーヤー」を選択して設定する（Ｓ１６０２）。
次に、表示部１０３には、図１７（ｃ）に示すように、当該選択した機器種別に対応して設定が可能な動作内容を選択することができる動作登録画面が表示される。そこでユーザは、「映像出力」という動作を選択して設定する（Ｓ１６０３）。さらに設定する動作がある場合には（Ｓ１６０４、未）、動作登録画面に戻り、次に所望する動作を設定登録する。この場合、「音声出力」を選択して設定し、そして次に「電源入り」を選択して設定する。
「ＤＶＤプレーヤー」の設定動作が終了すると（Ｓ１６０４、終了）、ユーザは連携操作する機器である「テレビ」を選択するために操作対象機器の選択画面に戻る（Ｓ１６０５、有）。操作対象機器の選択画面で「テレビ」を選択したユーザは、動作登録画面に移り、そこで前述のように所望の動作を選択して設定する。この場合、「映像入力」、「音声入力」、「電源入り」、「入力ソースのライン入力切替」をそれぞれ選択して設定する。
ユーザが操作シナリオの登録操作を終了すると（Ｓ１６０５、無）、登録した操作シナリオを遠隔操作機器１０のメモリ部１０７に記憶するとともに、同じ操作シナリオをネットワーク制御ユニット２０に送信する（Ｓ１６０６）。
以上の動作により、操作シナリオが作成され、遠隔操作機器１０とネットワーク制御ユニット２０とで操作シナリオを保持する。
図２０は、本発明の実施形態２の連携操作モードの操作シナリオの一例を示す図である。各操作シナリオには、シナリオ識別番号が付されて遠隔操作機器１０のメモリ部１０７とネットワーク制御ユニット２０のメモリ部２０４にそれぞれ記憶される。
なお、図２０に示された操作シナリオは、それぞれ次のような連携動作を行うことを規定している。シナリオ識別番号Ｎｏ．１は「テレビの音声をオーディオ機器から出力する」。シナリオ識別番号Ｎｏ．２は「ＤＶＤプレーヤーで再生する映像、音声をテレビから出力する」。シナリオ識別番号Ｎｏ．３は「ＤＶＤプレーヤーで再生する映像をテレビから出力し、音声をオーディオ機器から出力する」。シナリオ識別番号Ｎｏ．４は「ＤＶＤプレーヤーで再生する映像をテレビから出力し、音声をオーディオ機器から出力し、照明の明るさをシアターモードに設定する」。
なお、以上に説明した操作シナリオの登録方法は一例であって、これに限定されるものではない。操作対象機器を選択する順番に応じて操作内容が異なるシナリオが登録できるように構成してもよい。例えば、「テレビ」を選択して「録画」という操作を規定し、続いて、「ＤＶＤ」でテレビを録画するための動作を規定する操作シナリオを登録してもよい。この場合のユーザの遠隔操作としては、「ＤＶＤプレーヤーで再生する映像、音声をテレビから出力する」操作シナリオを実行させる場合には、「ＤＶＤ」を選択し、続いて「テレビ」を選択する。そして、「テレビの番組をＤＶＤレコーダーに録画する」操作シナリオを実行させる場合には、「テレビ」を選択し、続いて「ＤＶＤ」を選択する。
次に、操作シナリオが上述したように登録されている状態で、ユーザが連携操作モードのメニュー画面で連携操作モード実行動作を選択した場合の動作を説明する。この場合は、図１６の選択分岐において（Ｓ１６０１、実行）、連携操作モード動作実行（Ｓ１６０７）に動作が移る。
図１８は、連携操作モードの遠隔操作に係る動作を示すシーケンス図である。
連携操作モード実行が選択されると（Ｓ１８０１）、このユーザ操作は、遠隔操作機器１０の操作部１０４からインタフェース制御部１０６を介して主制御部１０１に伝達されるので、主制御部１０１は、カメラ制御部１０５にカメラ部１０２の起動を指示する。
ユーザは、起動されたカメラ部１０２を操作対象機器に向けて撮像する操作を複数の操作対象機器に対して行う（Ｓ１８０２）。つまり、「ＤＶＤプレーヤーで再生する映像、音声をテレビから出力する」という連携操作を行う場合、ユーザは、「ＤＶＤプレーヤー」を撮像し、引き続き「テレビ」を撮像して確定操作を行えばよい。
ユーザが撮像した画像は、カメラ制御部１０５から主制御部１０１に順次送られ（Ｓ１８０３）、登録モードで登録した照合用画像との照合が行われる（Ｓ１８０４）。この照合動作により、合致した照合用画像と対応付けて記憶されている機器情報が読み出され、操作対象機器が特定される（Ｓ１８０５）。この場合、「ＤＶＤプレーヤー」と「テレビ」が特定される。
また、このとき、連携操作モード実行が選択されているので、主制御部１０１は、特定された操作対象機器の組合せで決まる操作シナリオを、メモリ部１０７に記憶している登録済みの操作シナリオから検索する（Ｓ１８０６）。例えば、図２０に示した操作シナリオリストから、シナリオ識別番号Ｎｏ．２が検索される。
続いて、主制御部１０１は、操作シナリオに基づく動作を実行させるために、操作シナリオ情報をネットワーク制御ユニット２０に送信する。実施形態１でも説明したように、遠隔操作機器１０からネットワーク制御ユニット２０に送信する操作シナリオ情報は、操作シナリオの内容そのものでもよいし、操作シナリオの内容を特定することができる識別情報でもよい。この場合は、送信する情報量を減らすためにシナリオ識別番号を送信するものとする。
主制御部１０１は、連携操作モードであることを示す操作モードフラグとシナリオ識別番号（Ｎｏ．２）を含む操作指示データを生成して無線通信部１０８を介してネットワーク制御ユニット２０に送信する（Ｓ１８０７）。
ネットワーク制御ユニット２０の無線通信部２０３で受信した制御データは、制御部２０１に転送される。制御部２０１は、操作指示データに含まれる連携操作モードであることを示す操作モードフラグとシナリオ識別番号（Ｎｏ．２）から、メモリ部２０４に記憶している操作シナリオを検索して該当する操作シナリオを読み出す（Ｓ１８０８）。
つまり、操作対象機器として「ＤＶＤプレーヤー」と「テレビ」がそれぞれのアドレスおよびポート番号とともに特定される。そして、実行すべき動作として「ＤＶＤプレーヤーの映像、音声をテレビに出力」、「ＤＶＤプレーヤーの電源入り」、「テレビの電源入り」および「テレビの入力ソース切替」が特定される。
制御部２０１は、特定した動作のうち、機器間接続設定のようなネットワーク制御ユニット２０で実行できる動作を実行する（Ｓ１８０９）。例えば、「ＤＶＤプレーヤーの映像、音声をテレビに出力」の動作を、接続部２０５を制御して実行できる場合には、接続部２０５にその接続の実行を指示する。
続いて、制御部２０１は、各操作対象機器に送信する操作指示データを生成し、ルーティング部２０２および接続部２０５を介して、各機器が接続されているポートから送信する（Ｓ１８１０）。操作指示データには実行する動作を指示する命令と、ルーティングのためのアドレス情報、ポート情報を含む。そして、この操作指示データにより、目的とする機器に対して、実行する動作に関する情報が伝達される。
この場合、「ＤＶＤプレーヤー」には「電源入り」の命令を含む操作指示データが送信され、「テレビ」には、「電源入り」の命令を含む操作指示データと「入力ソース切替」の命令を含む操作指示データが送信される。
各機器では、受信した操作指示データに含まれる命令に従った動作を実行する（Ｓ１８１１）。
一方、操作シナリオ情報を送信した遠隔操作機器１０は、ユーザが連携操作の次に行う操作入力ができるように操作部１０４を設定する。
主制御部１０１は、Ｓ１８０５で特定した操作対象機器に対応するインタフェースプログラムをメモリ部１０７から読み出し（Ｓ１８１２）、インタフェース制御部１０６に転送する。この場合は、「ＤＶＤプレーヤー」と「テレビ」のインタフェースプログラムが読み出される。
インタフェース制御部１０６は、転送されたインタフェースプログラムに従った操作キー配列に操作部１０４のキーを意味づけ、表示部１０３にその説明を表示する（Ｓ１８１３）。連携操作モードでは複数の機器に関するインタフェースプログラムが読み出され、表示部１０３にはいずれか一つのインタフェースしか表示しないが、ユーザ操作で切り替えられるようになっている。
図１９は、遠隔操作機器１０の表示部１０３に表示された連携操作モード時の表示例を示す図である。図１９では、「ＤＶＤプレーヤー」、「オーディオ機器」、「テレビ」および「照明機器」の４つのインタフェースプログラムが読み出されて、適宜切り替えられる様子を示している。
ユーザは、遠隔操作機器１０の操作部１０４のキーを操作して、所望の遠隔操作を行う（Ｓ１８１４）。例えば、上述した連携操作によりＤＶＤプレーヤーとテレビが接続され、両方の機器の電源が入った状態になっており、操作部１０４は「ＤＶＤプレーヤー」の操作インタフェースが設定されている。
このような状態で、ユーザは「再生」に該当する操作を行う。
このユーザ操作は、遠隔操作機器１０の操作部１０４からインタフェース制御部１０６を介して主制御部１０１に伝達される。主制御部１０１は、ユーザが操作した制御内容を識別して、その操作指示データを生成し、無線通信部１０８を介してネットワーク制御ユニット２０に送信する（Ｓ１８１５）。このとき、ネットワーク制御ユニット２０に送信される操作指示データには、操作対象機器を特定するアドレス情報を含む。また、連携操作モードであることを示す操作モードフラグを付加する。
この操作指示データはネットワーク制御ユニット２０の無線通信部２０３で受信され、制御部２０１に転送される。
ネットワーク制御ユニット２０の制御部２０１は、操作指示データに付加された操作モードフラグから連携操作モードであることを識別し、操作指示データに含まれるアドレス情報から操作対象機器を特定する（Ｓ１８１６）。
そして、制御部２０１は、操作指示データをルーティング部２０２、接続部２０５を介して操作対象となる機器に送信する（Ｓ１８１７）。
操作対象機器では受信した操作指示データで指定される動作を実行する（Ｓ１８１８）。
上記の、Ｓ１８１４からＳ１８１８の動作は、ユーザが遠隔操作機器１０の操作部１０４のキーを操作する度に繰り返される。
以上に説明したように、本実施形態の連携操作モードは、複数の機器間の連携操作のシナリオを設定することができる。そして、ユーザが遠隔操作機器１０のカメラ部１０２を向けて撮像した複数の機器が遠隔操作の対象機器として特定され、その機器の組合せ応じた連携操作を行うことができる。また、カメラ部１０２がズーム機能を有していれば、離れた場所からでも対象機器を撮像することができるので、このような機器間の連携操作を大会議室、小ホールまたはイベント会場等でも使用することができる。
また、本実施形態においても、ユーザがカメラ部１０２を操作対象機器に向けたときに、表示部１０３に表示されている画像のうち、カメラ部１０２が撮像対象として認識している画像に例えば四角枠を表示するようにしてもよい。また、図１８のＳ１８０５で、取得した画像による操作対象機器を特定したときに、当該特定した機器のＬＥＤを含む表示手段を点灯させるようにしてもよい。
次に、本発明の実施形態３を説明する。
図２１は、本発明の実施形態３に係るシステム構成を示すブロック図である。
実施形態３は、実施形態２と同様に操作対象機器はローカルエリアネットワーク等の内部ネットワークに接続されているが、遠隔操作機器６０が携帯電話機等の移動通信端末に組み込まれる形態となっている。
そのため、実施形態３のネットワーク制御ユニット７０は、遠隔操作機器６０と直接通信を行う必要はなく、少なくとも移動通信網を介して通信が行われる。
図２２は、本発明の実施形態３に係るネットワーク制御ユニットの構成の一例を示すブロック図である。ネットワーク制御ユニット７０は、図８に示した実施形態２のネットワーク制御ユニット２０から無線通信部２０３を削除した構成となっている。そして、遠隔操作機器６０との間の通信は移動通信網およびインターネットを介して、ローカルエリアネットワークを構築するルーター８０を介して行う。従って、ネットワーク制御ユニット７０は、図２２に示すように、ルーター８０と通信を行うことができる通信部７０３を備える。
その他の構成および動作は実施形態２で説明したものと同じで、登録モード、単独操作モード及び連携操作モードを備えている。
また、本実施形態においても、ユーザがカメラ部１０２を操作対象機器に向けたときに、表示部１０３に表示されている画像のうち、カメラ部１０２が撮像対象として認識している画像に例えば四角枠を表示するようにしてもよい。また、撮像した画像で特定した機器のＬＥＤを含む表示手段を点灯させるようにしてもよい。
この実施形態３は、携帯電話の通信を操作情報の伝達に使うことができ、しかもカメラ部のズーム機能を用いれば遠方に設置された機器の特定も可能になるので、仮設の屋外イベント会場やテーマパーク等の広範に開けた場所での使用に好適である。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２００９年１１月１０日に出願された日本出願特願２００９−２５６９０９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0009】

１０、６０ 遠隔操作機器
２０、７０ ネットワーク制御ユニット
３０、４０ 操作対象機器
５０ 機器
１１ 操作対象機器特定手段
１２ 操作シナリオ出力手段
１１１ 画像照合手段
１２１ 操作シナリオ検索手段
１３、２１ 通信手段
１１２ 照合用画像
１２２、２５ 操作シナリオ登録情報記憶手段
２２ 操作シナリオ分析手段
２３ 操作指示データ生成手段
２４ 機器接続手段
１０１ 主制御部
１０２ カメラ部
１０３ 表示部
１０４ 操作部
１０５ カメラ制御部
１０６ インタフェース制御部
１０７、２０４ メモリ部
１０８、２０３ 無線通信部
２０１、７０１ 制御部
２０２、７０２ ルーティング部
２０５、７０５ 接続部
２０６、７０６ 機器接続ポート
７０３ 通信部
８０ ルーター
９０ モデム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図11】

【図12】

【図14】

【図16】

【図18】

【図20】

【図22】

【図9】

【図10】

【図13】

【図15】

【図17】

【図19】

【図21】