IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 北京京東尚科信息技術有限公司の特許一覧 ▶ 北京京東世紀貿易有限公司の特許一覧

特許7280888電子機器確定方法、システム、コンピュータシステムおよび読取り可能な記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-16
(45)【発行日】2023-05-24
(54)【発明の名称】電子機器確定方法、システム、コンピュータシステムおよび読取り可能な記憶媒体
(51)【国際特許分類】
   G06F 3/01 20060101AFI20230517BHJP
【FI】
G06F3/01 570
【請求項の数】 12
(21)【出願番号】P 2020551794
(86)(22)【出願日】2019-04-12
(65)【公表番号】
(43)【公表日】2021-07-15
(86)【国際出願番号】 CN2019082567
(87)【国際公開番号】W WO2019196947
(87)【国際公開日】2019-10-17
【審査請求日】2020-09-25
【審判番号】
【審判請求日】2022-06-20
(31)【優先権主張番号】201810331949.8
(32)【優先日】2018-04-13
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】517156872
【氏名又は名称】北京京東尚科信息技術有限公司
【氏名又は名称原語表記】Beijing Jingdong Shangke Information Technology Co., Ltd.
【住所又は居所原語表記】8th floor of building No. 76, Zhichun Road,Haidian District, Beijing 100086 China
(73)【特許権者】
【識別番号】517241916
【氏名又は名称】北京京東世紀貿易有限公司
【氏名又は名称原語表記】BEIJING JINGDONG CENTURY TRADING CO., LTD.
【住所又は居所原語表記】Room 201, 2/F, Block C, No.18, Kechuang 11th Street, Beijing Economic and Technological Development Zone, Beijing 100176, China
(74)【代理人】
【識別番号】110001771
【氏名又は名称】弁理士法人虎ノ門知的財産事務所
(72)【発明者】
【氏名】ワン ヤーヂュオ
(72)【発明者】
【氏名】グァン ユー
(72)【発明者】
【氏名】シュ ヂョンフェイ
【合議体】
【審判長】▲吉▼田 耕一
【審判官】中野 裕二
【審判官】野崎 大進
(56)【参考文献】
【文献】特開2004-246856(JP,A)
【文献】国際公開第2018/008218(WO,A1)
【文献】特開2007-266772(JP,A)
【文献】特開2012-198608(JP,A)
【文献】米国特許出願公開第2011/0164163(US,A1)
【文献】特開2000-231427(JP,A)
【文献】特開2014-203090(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F3/01
G06F3/048-3/0489
(57)【特許請求の範囲】
【請求項1】
第1の電子機器により操作体による第1の動作を識別し、識別結果を取得することと、
前記識別結果に基づいて、前記第1の電子機器によって制御可能な第2の電子機器を確定することと、を含み、
前記第1の電子機器によって制御可能な第2の電子機器を確定することは、
前記第1の電子機器によって制御可能な少なくとも1つの候補電子機器を確定することと、
ユーザの身体の一つの位置を座標原点として確定し、前記座標原点を基準として空間座標系を確定することと、
前記少なくとも1つの候補電子機器の各々に対応する、前記座標原点を始点として自身位置を終点とする少なくとも1つの第1の位置ベクトルを確定することと、
前記座標原点を始点として前記操作体が第2の動作を行った後に存在する位置を終点とする第2の位置ベクトルを確定することと、
前記少なくとも1つの第1の位置ベクトルの各々と前記空間座標系における一つの座標軸とがなす少なくとも1つの第1の角度を確定することと、
前記第2の位置ベクトルと前記一つの座標軸とがなす第2の角度を確定することと、
前記少なくとも1つの第1の角度の各々と前記第2の角度との角度差を計算し、対応する少なくとも1つの角度差を取得することと、
前記少なくとも1つの角度差に予め設定された角度以下の角度差が存在する場合に、前記少なくとも1つの候補電子機器のうち前記予め設定された角度以下の角度差に対応する電子機器を前記第2の電子機器として確定することと、を含み、
更に、
前記角度差が前記予め設定された角度以下の対応する電子機器を前記第2の電子機器として確定する前に、前記対応する電子機器の名称情報を出力することと、
前記操作体が前記名称情報に対して確認操作を行った場合に、前記対応する電子機器を前記第2の電子機器として確定することと、を含む
電子機器確定方法。
【請求項2】
前記第1の電子機器によって制御可能な少なくとも1つの候補電子機器を確定する過程において、目標領域における各電子機器に対して、
当該電子機器の画像を取得し、
当該電子機器の画像の第1の積分グラフを計算し、
前記第1の電子機器によって制御可能な電子機器により得られる画像である予め設定されたテンプレート画像を計算して得られる少なくとも1つの予め設定された積分グラフを取得し、
前記第1の積分グラフと前記少なくとも1つの予め設定された積分グラフの各々との第1の類似度を計算し、少なくとも1つの第1の類似度を取得し、
前記少なくとも1つの第1の類似度に第1の類似度閾値を満たす類似度が存在する場合に、当該電子機器を前記候補電子機器として確定する
請求項に記載の電子機器確定方法。
【請求項3】
当該電子機器を前記候補電子機器として確定する前に、当該電子機器に対応する画像の第1のヒストグラムを計算することと、
予め設定されたテンプレート画像を計算して得られる少なくとも1つの予め設定されたヒストグラムを取得することと、
前記第1のヒストグラムと前記少なくとも1つの予め設定されたヒストグラムの各々との第2の類似度を計算し、少なくとも1つの第2の類似度を取得することと、
前記少なくとも1つの第1の類似度に第1の類似度閾値を満たす類似度が存在し、かつ、前記少なくとも1つの第2の類似度に第2の類似度閾値を満たす類似度が存在する場合に、当該電子機器を前記候補電子機器として確定することと、をさらに含む
請求項に記載の電子機器確定方法。
【請求項4】
前記第1の電子機器によって制御可能な第2の電子機器を確定した後、前記第2の電子機器は、ユーザ音声情報を受信し、前記ユーザ音声情報に応答することをさらに含む
請求項1に記載の電子機器確定方法。
【請求項5】
第1の電子機器により操作体による第1の動作を識別し、識別結果を取得する第1の取得装置と、
前記識別結果に基づいて、前記第1の電子機器によって制御可能な第2の電子機器を確定する第1の確定装置と、を含み
前記第1の確定装置は、
前記第1の電子機器によって制御可能な少なくとも1つの候補電子機器を確定する第1の確定手段と、
ユーザの身体の一つの位置を座標原点として確定し、前記座標原点を基準として空間座標系を確定する第2の確定手段と、
前記少なくとも1つの候補電子機器の各々に対応する、前記座標原点を始点として自身位置を終点とする少なくとも1つの第1の位置ベクトルを確定する第3の確定手段と、
前記座標原点を始点として前記操作体が第2の動作を行った後に存在する位置を終点とする第2の位置ベクトルを確定する第4の確定手段と、
前記少なくとも1つの第1の位置ベクトル及び前記第2の位置ベクトルに基づいて、前記少なくとも1つの候補電子機器から前記第2の電子機器を確定する第5の確定手段と、を含み、
前記第5の確定手段は、
前記少なくとも1つの第1の位置ベクトルの各々と前記空間座標系における一つの座標軸とがなす少なくとも1つの第1の角度を確定する第1の確定サブ手段と、
前記第2の位置ベクトルと前記一つの座標軸とがなす第2の角度を確定する第2の確定サブ手段と、
前記少なくとも1つの第1の角度の各々と前記第2の角度との角度差を計算し、対応する少なくとも1つの角度差を取得する計算サブ手段と、
前記少なくとも1つの角度差に予め設定された角度以下の角度差が存在する場合に、前記少なくとも1つの候補電子機器のうち前記予め設定された角度以下の角度差に対応する電子機器を前記第2の電子機器として確定する第3の確定サブ手段と、を含み、
さらに、
前記角度差が前記予め設定された角度以下の対応する電子機器を前記第2の電子機器として確定する前に、前記対応する電子機器の名称情報を出力する出力装置と、
前記操作体が前記名称情報に対して確認操作を行った場合に、前記対応する電子機器を前記第2の電子機器として確定する第2の確定装置と、を含む
電子機器確定システム。
【請求項6】
前記第1の確定手段が、前記第1の電子機器によって制御可能な少なくとも1つの候補電子機器を確定する過程において、目標領域における各電子機器に対して、
当該電子機器の画像を取得し、
当該電子機器の画像の第1の積分グラフを計算し、
前記第1の電子機器によって制御可能な電子機器により得られる画像である予め設定されたテンプレート画像を計算して得られる少なくとも1つの予め設定された積分グラフを取得し、
前記第1の積分グラフと前記少なくとも1つの予め設定された積分グラフの各々との第1の類似度を計算し、少なくとも1つの第1の類似度を取得し、
前記少なくとも1つの第1の類似度に第1の類似度閾値を満たす第1の類似度が存在する場合に、当該電子機器を前記候補電子機器として確定する
請求項に記載の電子機器確定システム。
【請求項7】
当該電子機器を前記候補電子機器として確定する前に、当該電子機器に対応する画像の第1のヒストグラムを計算する第1の計算装置と、
予め設定されたテンプレート画像を計算して得られる少なくとも1つの予め設定されたヒストグラムを取得する第2の取得装置と、
前記第1のヒストグラムと前記少なくとも1つの予め設定されたヒストグラムの各々との第2の類似度を計算し、少なくとも1つの第2の類似度を取得する第2の計算装置と、
前記少なくとも1つの第1の類似度に第1の類似度閾値を満たす類似度が存在し、かつ、前記少なくとも1つの第2の類似度に第2の類似度閾値を満たす類似度が存在する場合に、当該電子機器を前記候補電子機器として確定する第3の確定装置と、をさらに含む
請求項に記載の電子機器確定システム。
【請求項8】
操作体による第1の動作に用いる収集装置と、
前記第1の動作を識別して識別結果を取得する識別装置と、
前記識別結果に基づいて、制御可能な第2の電子機器を確定する処理装置と、を含み、
前記処理装置は、位置ベクトルと空間座標系における一つの座標軸とがなす第1の角度、及び第2の動作をした後の前記操作体の位置ベクトルと前記一つの座標軸とがなす第2の角度の間の角度差が、予め設定された角度以下の電子機器を前記第2の電子機器として確定し、
前記電子機器の位置ベクトルは、前記空間座標系の座標原点を始点として自身位置を終点とし、前記操作体の位置ベクトルは、前記空間座標系の座標原点を始点として前記第2の動作をした後の位置を終点とし、前記座標原点はユーザの身体の一つの位置であり、
前記角度差が前記予め設定された角度以下の対応する電子機器を前記第2の電子機器として確定する前に、前記対応する電子機器の名称情報を出力するとともに、前記操作体が前記名称情報に対して確認操作を行った場合に、前記対応する電子機器を前記第2の電子機器として確定する
電子機器確定装置。
【請求項9】
前記制御可能な第2の電子機器に信号を送信するための信号送信装置をさらに含む
請求項に記載の電子機器確定装置。
【請求項10】
少なくとも1つの第1の電子機器と、
少なくとも1つの第2の電子機器と、を含み、
前記少なくとも1つの第1の電子機器は、操作体による第1の動作を識別して識別結果を取得し、前記識別結果に基づいて前記第1の電子機器によって制御可能な第2の電子機器を確定し、
前記第1の電子機器によって制御可能な第2の電子機器を確定することは、
前記第1の電子機器によって制御可能な少なくとも1つの候補電子機器を確定することと、
ユーザの身体の一つの位置を座標原点として確定し、前記座標原点を基準として空間座標系を確定することと、
前記少なくとも1つの候補電子機器の各々に対応する、前記座標原点を始点として自身位置を終点とする少なくとも1つの第1の位置ベクトルを確定することと、
前記座標原点を始点として前記操作体が第2の動作を行った後に存在する位置を終点とする第2の位置ベクトルを確定することと、
前記少なくとも1つの第1の位置ベクトルの各々と前記空間座標系における一つの座標軸とがなす少なくとも1つの第1の角度を確定することと、
前記第2の位置ベクトルと前記一つの座標軸とがなす第2の角度を確定することと、
前記少なくとも1つの第1の角度の各々と前記第2の角度との角度差を計算し、対応する少なくとも1つの角度差を取得することと、
前記少なくとも1つの角度差に予め設定された角度以下の角度差が存在する場合に、前記少なくとも1つの候補電子機器のうち前記予め設定された角度以下の角度差に対応する電子機器を前記第2の電子機器として確定することと、を含み、
前記角度差が前記予め設定された角度以下の対応する電子機器を前記第2の電子機器として確定する前に、前記対応する電子機器の名称情報を出力するとともに、前記操作体が前記名称情報に対して確認操作を行った場合に、前記対応する電子機器を前記第2の電子機器として確定する
電子機器確定システム。
【請求項11】
1つまたは複数のプロセッサと、
1つまたは複数のプログラムを記憶するためのコンピュータ読み取り可能な記憶媒体と、を含み、
前記1つまたは複数のプログラムが前記1つまたは複数のプロセッサにより実行される際に、前記1つまたは複数のプロセッサに、請求項1乃至のいずれか1項に記載の電子機器確定方法を実現させる
コンピュータシステム。
【請求項12】
プロセッサによって実行されたときに、前記プロセッサに請求項1乃至のいずれか1項に記載の電子機器確定方法を実現させる実行可能な命令が記憶された
コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、2018年4月13日に出願された、出願番号が201810331949.8である中国特許出願の優先権を主張し、その内容全体が援引により本出願に組み込まれる。
本開示は、インターネット技術の分野に関し、より詳細には、電子機器確定方法、システム、コンピュータシステム、およびコンピュータ読み取り可能な記憶媒体に関する。
【背景技術】
【0002】
現在、インテリジェント制御を行う前に、どの機器が被制御対象であるかを予め確定することが一般的である。
【0003】
従来技術における被制御機器の確定方法は、使用者が接触的な方式(たとえば、タッチ操作)により制御端末に相応的な確認情報を送信し、制御端末により、この確認情報に基づいて被制御機器を確定することである。
【0004】
スマートホームの発展に伴い、接触的な方式は、より良いユーザ体験を提供することができなくなってきている。また、他の係る技術には、上記不備を克服するために、非接触的な方式(たとえば、音声操作)で遠隔操作して被制御機器を確定する技術案も提供されている。
【0005】
しかし、発明者らは、本開示の概念を実現する過程で、従来技術に、少なくとも従来の音声確認方式が、意味理解が正確でない短所があるだけでなく、距離と環境騒音に対する要求が高くて使用シーンが限定されるという不備があることを発見した。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本開示は、これに鑑みてなされたものであり、第1の電子機器によって、操作体による第1の動作を識別する識別結果に基づいて、第1の電子機器によって制御可能な第2の電子機器を確定することにより、従来の音声操作方式では意味理解が不正確になるという欠点を解決するだけでなく、距離と環境騒音に対する要求が高く、使用シーンが限定されるという欠点も解決できる電子機器確定方法及びシステムを提供している。
【課題を解決するための手段】
【0007】
本開示の一面によれば、第1の電子機器により操作体による第1の動作を識別し、識別結果を取得することと、前記識別結果に基づいて、前記第1の電子機器によって制御可能な第2の電子機器を確定することと、を含む電子機器確定方法を提供している。
【0008】
本開示の実施例によれば、前記第1の電子機器によって制御可能な第2の電子機器を確定することは、前記第1の電子機器によって制御可能な少なくとも1つの候補電子機器を確定することと、座標原点を確定することと、前記少なくとも1つの候補電子機器の各々に対応する、前記座標原点を始点として自身位置を終点とする少なくとも1つの第1の位置ベクトルを確定することと、前記座標原点を始点として前記操作体が第2の動作を行った後に存在する位置を終点とする第2の位置ベクトルを確定することと、前記少なくとも1つの第1の位置ベクトル及び前記第2の位置ベクトルに基づいて、前記少なくとも1つの候補電子機器から前記第2の電子機器を確定することと、を含む。
【0009】
本開示の実施例によれば、前記少なくとも1つの候補電子機器から前記第2の電子機器を確定することは、前記少なくとも1つの第1の位置ベクトルの各々と同一の座標軸とがなす少なくとも1つの第1の角度を確定することと、前記第2の位置ベクトルと前記同一の座標軸とがなす第2の角度を確定することと、前記少なくとも1つの第1の角度の各々と前記第2の角度との角度差を計算し、対応する少なくとも1つの角度差を取得することと、前記少なくとも1つの角度差に予め設定された角度以下の角度差が存在する場合に、前記少なくとも1つの候補電子機器のうち前記予め設定された角度以下の角度差に対応する電子機器を前記第2の電子機器として確定することと、を含む。
【0010】
本開示の実施例によれば、前記電子機器確定方法は、前記少なくとも1つの候補電子機器のうち前記予め設定された角度以下の角度差に対応する電子機器を前記第2の電子機器として確定する前に、前記対応する電子機器の名称情報を出力することと、前記操作体が前記名称情報に対して確認操作を行った場合に、前記対応する電子機器を前記第2の電子機器として確定することと、をさらに含む。
【0011】
本開示の実施例によれば、前記第1の電子機器によって制御可能な少なくとも1つの候補電子機器を確定する過程において、目標領域における各電子機器に対して、当該電子機器の画像を取得し、当該電子機器の画像の第1の積分グラフを計算し、前記第1の電子機器によって制御可能な電子機器により得られる画像である予め設定されたテンプレート画像を計算して得られる少なくとも1つの予め設定された積分グラフを取得し、前記第1の積分グラフと前記少なくとも1つの予め設定された積分グラフの各々との第1の類似度を計算し、少なくとも1つの第1の類似度を取得し、前記少なくとも1つの第1の類似度に第1の類似度閾値を満たす類似度が存在する場合に、当該電子機器を前記候補電子機器として確定する。
【0012】
本開示の実施例によれば、前記電子機器確定方法は、当該電子機器を前記候補電子機器として確定する前に、当該電子機器に対応する画像の第1のヒストグラムを計算することと、予め設定されたテンプレート画像を計算して得られる少なくとも1つの予め設定されたヒストグラムを取得することと、前記第1のヒストグラムと前記少なくとも1つの予め設定されたヒストグラムの各々との第2の類似度を計算し、少なくとも1つの第2の類似度を取得することと、前記少なくとも1つの第1の類似度に第1の類似度閾値を満たす類似度が存在し、かつ、前記少なくとも1つの第2の類似度に第2の類似度閾値を満たす類似度が存在する場合に、当該電子機器を前記候補電子機器として確定することと、をさらに含む。
【0013】
本開示の実施例によれば、前記電子機器確定方法は、前記第1の電子機器によって制御可能な第2の電子機器を確定した後、前記第2の電子機器は、ユーザ音声情報を受信し、前記ユーザ音声情報に応答することをさらに含む。
【0014】
本開示の他面は、第1の電子機器により操作体による第1の動作を識別し、識別結果を取得する第1の取得装置と、前記識別結果に基づいて、前記第1の電子機器によって制御可能な第2の電子機器を確定する第1の確定装置と、を含む電子機器確定システムを提供している。
【0015】
本開示の実施例によれば、前記第1の確定装置は、前記第1の電子機器によって制御可能な少なくとも1つの候補電子機器を確定する第1の確定手段と、座標原点を確定する第2の確定手段と、前記少なくとも1つの候補電子機器の各々に対応する、前記座標原点を始点として自身位置を終点とする少なくとも1つの第1の位置ベクトルを確定する第3の確定手段と、前記座標原点を始点として前記操作体が第2の動作を行った後に存在する位置を終点とする第2の位置ベクトルを確定する第4の確定手段と、前記少なくとも1つの第1の位置ベクトル及び前記第2の位置ベクトルに基づいて、前記少なくとも1つの候補電子機器から前記第2の電子機器を確定する第5の確定手段と、を含む。
【0016】
本開示の実施例によれば、前記第5の確定手段は、前記少なくとも1つの第1の位置ベクトルの各々と同一の座標軸とがなす少なくとも1つの第1の角度を確定する第1の確定サブ手段と、前記第2の位置ベクトルと前記同一の座標軸とがなす第2の角度を確定する第2の確定サブ手段と、前記少なくとも1つの第1の角度の各々と前記第2の角度との角度差を計算し、対応する少なくとも1つの角度差を取得する計算サブ手段と、前記少なくとも1つの角度差に予め設定された角度以下の角度差が存在する場合に、前記少なくとも1つの候補電子機器のうち前記予め設定された角度以下の角度差に対応する電子機器を前記第2の電子機器として確定する第3の確定サブ手段と、を含む。
【0017】
本開示の実施例によれば、前記電子機器確定システムは、前記少なくとも1つの候補電子機器のうち前記予め設定された角度以下の角度差に対応する電子機器を前記第2の電子機器として確定する前に、前記対応する電子機器の名称情報を出力する出力装置と、前記操作体が前記名称情報に対して確認操作を行った場合に、前記対応する電子機器を前記第2の電子機器として確定する第2の確定装置と、をさらに含む。
【0018】
本開示の実施例によれば、前記第1の確定手段が、前記第1の電子機器によって制御可能な少なくとも1つの候補電子機器を確定する過程において、目標領域における各電子機器に対して、当該電子機器の画像を取得し、当該電子機器の画像の第1の積分グラフを計算し、前記第1の電子機器によって制御可能な電子機器により得られる画像である予め設定されたテンプレート画像を計算して得られる少なくとも1つの予め設定された積分グラフを取得し、前記第1の積分グラフと前記少なくとも1つの予め設定された積分グラフの各々との第1の類似度を計算し、少なくとも1つの第1の類似度を取得し、前記少なくとも1つの第1の類似度に第1の類似度閾値を満たす類似度が存在する場合に、当該電子機器を前記候補電子機器として確定する。
【0019】
本開示の実施例によれば、前記電子機器確定システムは、当該電子機器を前記候補電子機器として確定する前に、当該電子機器に対応する画像の第1のヒストグラムを計算する第1の計算装置と、予め設定されたテンプレート画像を計算して得られる少なくとも1つの予め設定されたヒストグラムを取得する第2の取得装置と、前記第1のヒストグラムと前記少なくとも1つの予め設定されたヒストグラムの各々との第2の類似度を計算し、少なくとも1つの第2の類似度を取得する第2の計算装置と、前記少なくとも1つの第1の類似度に第1の類似度閾値を満たす類似度が存在し、かつ、前記少なくとも1つの第2の類似度に第2の類似度閾値を満たす類似度が存在する場合に、当該電子機器を前記候補電子機器として確定する第3の確定装置と、をさらに含む。
【0020】
本開示の他面は、操作体による第1の動作に用いる収集装置と、前記第1の動作を識別して識別結果を取得する識別装置と、前記識別結果に基づいて、制御可能な第2の電子機器を確定する処理装置と、を含む電子機器確定装置を提供している。
【0021】
本開示の実施例によれば、電子機器確定装置は、前記制御可能な第2の電子機器に信号を送信するための信号送信装置をさらに含む。
【0022】
本開示の他面は、少なくとも1つの第1の電子機器と、少なくとも1つの第2の電子機器と、を含み、前記少なくとも1つの第1の電子機器は、操作体による第1の動作を識別して識別結果を取得し、前記識別結果に基づいて前記第1の電子機器によって制御可能な第2の電子機器を確定する電子機器確定システムを提供している。
【0023】
本開示の他面は、1つまたは複数のプロセッサと、1つまたは複数のプログラムを記憶するためのコンピュータ読み取り可能な記憶媒体と、を含み、前記1つまたは複数のプログラムが前記1つまたは複数のプロセッサにより実行される際に、前記1つまたは複数のプロセッサに、前記実施例のいずれかに記載の電子機器確定方法を実現させるコンピュータシステムを提供している。
【0024】
本開示の他面は、プロセッサによって実行されたときに、前記プロセッサに前記実施例のいずれかに記載の電子機器確定方法を実現させる実行可能な命令が記憶されたコンピュータ読み取り可能な記憶媒体を提供している。
【0025】
本開示の実施例によれば、第1の電子機器によって、操作体による第1の動作を識別する識別結果に基づいて、第1の電子機器によって制御可能な第2の電子機器を確定する技術手段を採用するため、従来の音声操作方式が意味理解が不正確になるという欠点、距離と環境騒音に対する要求が高く、使用シーンが限定されるという技術問題を少なくとも部分的に解決することができ、使用シーンに対する限定が小さく、より自然な方式でユーザが第2の電子機器を確定することに支援するという技術効果を実現することができる。
【図面の簡単な説明】
【0026】
以下、本開示の実施例を、図面を参照して説明することにより、本開示の上記及び他の目的、特徴及び利点は、より明らかになるであろう。
図1図1は、本開示の実施例による電子機器確定方法及びシステムの応用状況を概略的に示している。
図2図2は本開示の実施例による電子機器確定方法のフローチャートを概略的に示している。
図3A図3Aは、本開示の実施例による第2の電子機器を確定するためのフローチャートを概略的に示している。
図3B図3Bは、本開示の別の実施例による第2の電子機器を確定するためのフローチャートを概略的に示している。
図3C図3Cは、本開示の別の実施例による電子機器確定方法のフローチャートを概略的に示している。
図3D図3Dは、本開示の実施例による候補電子機器を確定するためのフローチャートを概略的に示している。
図3E図3Eは、本開示の別の実施例による電子機器確定方法のフローチャートを概略的に示している。
図3F図3Fは本開示の実施例に係る第1の電子機器が両眼撮像図であることを概略的に示している。
図3G図3Gは本開示の実施例による第2の電子機器を確定するための図を概略的に示している。
図4図4は本開示の実施例による電子機器確定システムのブロック図を概略的に示している。
図5A図5Aは、本開示の実施例による第1の確定装置のブロック図を概略的に示している。
図5B図5Bは、本開示の実施例による第5の確定手段のブロック図を概略的に示している。
図5C図5Cは、本開示の別の実施例による電子機器確定システムのブロック図を概略的に示している。
図5D図5Dは、本開示の別の実施例による電子機器確定システムのブロック図を概略的に示している。
図6図6は、本開示の実施例による電子機器確定方法を実現するのに適したコンピュータシステムのブロック図を概略的に示している。
【発明を実施するための形態】
【0027】
以下、本開示の実施の形態について図面を参照して説明する。しかしながら、これらの説明は例示的なものであり、本開示の範囲を限定するものではないことを理解されたい。また、以下の説明において、本開示の概念を不必要に混乱することを避けるように、公知構造及び技術に対する説明は省略する。
【0028】
ここで使用される用語は、具体的な実施例を説明するためのものに過ぎず、本開示を限定することを意図しない。ここで使用される「備える」、「含む」などの用語は、記載される特徴、ステップ、操作、および/または部品の存在を示すが、1つまたは複数の他の特徴、ステップ、操作、または部品の存在または追加を除外しない。
【0029】
ここで使用される全ての用語(技術的及び科学的用語を含む)は、別途定義されない限り、当業者によって一般的に理解される意味を有する。ここで使用される用語は、本明細書の文脈と一致する意味を有すると解釈されるべきであり、理想的または過度に形式的に解釈されるべきではないことに留意すべきである。
【0030】
「A、B及びCなどのうちの少なくとも1つ」に類似する表現を使用する場合に、一般的にはその表現の意味が当業者によって通常に理解されるように解釈されるべきである(例えば、「A、B及びCのうちの少なくとも1つを有するシステム」は、Aを単独で有するシステム、Bを単独で有するシステム、Cを単独で有するシステム、A及びBを有するシステム、A及びCを有するシステム、B及びCを有するシステム、及び/又はA、B、Cを有するシステムなどを含むが、これらに限定されない)。「A、B又はCなどのうちの少なくとも1つ」に類似する表現を使用する場合に、一般的には、その表現の意味が当業者によって通常に理解されるように解釈されるべきである(例えば、「A、B又はCのうちの少なくとも1つを有するシステム」は、Aを単独で有するシステム、Bを単独で有するシステム、Cを単独で有するシステム、AとBを有するシステム、AとCを有するシステム、BとCを有するシステム、及び/又はA、B、Cを有するシステムなどを含むが、これらに限定されない)。当業者は、明細書、特許請求の範囲、または図面のいずれにおいても、実質的に任意の2つ以上の選択可能な項目を表す連詞および/または語句が、これらの項目のうちの1つ、これらの項目のうちのいずれか1つ、または項目の両方を含む可能性を示すものとして理解されるべきであることをさらに理解するであろう。例えば、「AまたはB」という語句は、「A」または「B」、または「AおよびB」を含むという可能性があると理解されるべきである。
【0031】
本開示の実施例は、操作体による第1の動作を第1の電子機器により識別して識別結果を取得することと、識別結果に基づいて、第1の電子機器により制御可能な第2の電子機器を確定することと、を含める電子機器確定方法を提供する。
【0032】
図1は、本開示の実施例による電子機器確定方法およびシステムの応用シーンを概略的に示す。なお、図1は、当業者が本開示の技術内容を理解しやすいように、本開示の実施例を適用可能な適用シーンの一例に過ぎず、本開示の実施例が他の装置、システム、環境又はシーンに使用され得ないことを意味するものではない。
【0033】
本開示の実施例の応用シーンにおいて、図1に示すように、第1の電子機器がカメラ101であり、操作体が手102であり、第2の電子機器がテレビ103であるとする。ユーザが手102で第1の動作を行った後、カメラ101は、手102による第1の動作を識別し、識別結果を取得し、当該カメラ101は、当該識別結果に基づいて、カメラ101が制御可能なテレビ103を確定することができる。さらに、カメラ101は、たとえば、テレビ103の電源をオンにしたり、オフにしたりするなどにより、テレビ103を制御することも可能である。
【0034】
言い換えれば、本開示の実施例の応用シーンでは、第1の電子機器により、操作体による第1の動作を識別する識別結果に基づいて、第1の電子機器により制御可能な第2の電子機器を確定し、これにより、従来の音声操作方式では意味理解が不正確になるという欠点を解決することができるとともに、距離と環境騒音に対する要求が高く使用シーンが限定されるという欠点を解決することができる。
【0035】
図2は、本開示の実施例による電子機器確定方法のフローチャートを概略的に示す。
図2に示すように、当該電子機器確定方法は、ステップS201及びステップS202を含んでよい。
【0036】
ステップS201において、第1の電子機器によって、操作体による第1の動作を識別し、識別結果を取得する。
【0037】
ステップS202において、識別結果に基づいて、第1の電子機器によって制御可能な第2の電子機器を確定する。
【0038】
本開示に提供される電子機器確定方法は、第1の電子機器に適用されてもよく、当該第1の電子機器は、携帯電話、デスクトップコンピュータ、ラップトップ、タブレット、カメラなどを含んでもよいが、これらに限定されず、当該第1の電子機器は、第2の電子機器と通信することができ、たとえば、第2の電子機器を制御するなど。
【0039】
本開示の実施例によれば、当該第1の電子機器は、識別機能を有することができる。具体的には、当該第1の電子機器は、シーンにおける少なくとも1つの電子機器を識別し、当該少なくとも1つの電子機器から、第1の電子機器によって制御可能な少なくとも1つの候補電子機器を識別し、第1の電子機器によって制御可能な少なくとも1つの候補電子機器は、第2の電子機器を含むことができる。
【0040】
本開示の実施例において、当該第1の電子機器は、操作体による第1の動作を識別し、識別結果を取得してもよい。そのうち、該第1の電子機器と該操作体は接触しなく、且つ該第1の動作は、該操作体が、該操作体自身と該第1の電子機器が共に所在する空間内で実行することができる。
【0041】
本開示の実施例によれば、前記第1の電子機器の識別結果が、ある電子機器が候補第2の電子機器であることを示す場合に、前記第1の電子機器により、前記候補第2の電子機器に二次確認情報を送信し、当該二次確認情報の受信に応答して、前記候補第2の電子機器が操作体に、例えば、音響光学的形態で提示することができ、このとき、前記第1の電子機器が操作体の動作を再度受信し(例えば、前記第1の電子機器がこの音響光学的形態の提示を検出したときに操作体の動作を収集したり、前記第1の電子機器が二次確認情報を送信してから設定時間閾値に達したときに操作体の動作を収集したり)、操作体の動作が「確認」情報を表していれば、例えば√動作であれば、前記候補第2の電子機器を前記第2の電子機器とする。
【0042】
なお、上記操作体は、ユーザの肢体、手、足等を含んでもよいし、ユーザにより操作される物体を含んでもよい。相応的には、当該操作体による第1の動作は、ユーザの肢体、手、足等による動作であってもよいし、ユーザにより操作される物体による動作であってもよい。
【0043】
以下、第1の電子機器が手による動作を識別する態様を、操作体が手である場合を例に詳しく説明する。
【0044】
本開示の実施例によれば、手の動作を識別する前に、ジェスチャを識別することができ、例えば、肌色に基づくジェスチャ分割方法を用いてジェスチャを識別することができる。具体的には、当該肌色に基づくジェスチャ分割方法は、肌色と背景色との相違を利用して区別し、ジェスチャの特有のエッジ特性(たとえば、手の輪郭)を利用して更に区別することにより、ジェスチャを識別して確定する。さらに、ジェスチャを確定した後、第1の電子機器(例えば、カメラ)は、ミーンシフト(Meanshift)アルゴリズムを用いて手の動きを追跡し、手の動き軌跡から操作命令を判断することができる。
【0045】
本開示の実施例によれば、当該第1の電子機器は、当該操作体による第1の動作を識別した後、識別結果を得ることができる。そのうち、該識別結果は、該第1の動作に対応する操作指令を含むことができ、且つ該識別結果は、識別された該第1の動作の動き軌跡に基づいて得られるものであってもよく、識別された該第1の動作の最終的な呈示姿勢に基づいて得られるものであってもよく、ここでは限定しない。さらに、第1の電子機器は、この識別結果を取得し、この識別結果に基づいて第1の電子機器によって制御可能な第2の電子機器を確定することができる。
【0046】
本開示の実施例によれば、第2の電子機器を確定した後、第1の電子機器は、識別結果に基づいて第2の電子機器を制御することもできる。例えば、第1の動作が操作体が空中で描く円形である場合に、当該第1の動作は、第1の電子機器に第2の電子機器を確定させて第2の電子機器をスリープに制御させることができる。第1の動作が操作体が空中に描く「X」字状である場合に、当該第1の動作は、第1の電子機器に第2の電子機器を確定させて第2の電子機器に音量を増加させることができる。
【0047】
なお、本開示の実施例において、第1の電子機器をマスター電子機器とし、第2の電子機器をスレーブ電子機器とすることができる。ここで、本開示の実施例に係る第1の電子機器は、電子機器(例えば、第2の電子機器)を制御して動作させてもよく、自体を動作させてもよい。本開示の実施例に係る第2の電子機器は、第1の電子機器によって制御されてもよく、自分が動作してもよく、例えば、音楽を定時再生してもよい。
【0048】
本開示の実施例と異なり、従来、使用者が接触的な方式(たとえば、タッチ操作)により制御端末に確認情報を送信し、制御端末がその確認情報に基づいて被制御機器を確定している。しかしながら、接触的な方式は、より良いユーザ体験を提供することができない。また、他の係る技術では、非接触的な方式(たとえば、音声操作)で遠隔操作して被制御機器を確定する技術も提供されている。しかし、従来の音声識別方式は、意味理解が不正確になるという短所があるだけでなく、距離と環境騒音に対する要求が高く、使用シーンが制限されるという問題点がある。また、他の係る技術においても、ジェスチャ識別技術が提供されているが、現在のジェスチャ識別技術は、体感ゲームやVR機器制御など、ある特定の利用シーンにのみ適用されており、ユーザと単一の被操作機器との両者のインタラクションに限定されており、第3種の機器とのインタラクションに関連することはできない。
【0049】
本開示の実施例によれば、第1の電子機器が操作体による第1の動作を識別した識別結果に基づいて、第1の電子機器により制御可能な第2の電子機器を確定することにより、使用シーンの制限が小さく且つより自然な方式でユーザに第2の電子機器を確定させることができ、従来の音声操作方式に意味理解が不正確になるという欠点だけでなく、距離と環境騒音に対する要求が高く、使用シーンが限定されるという欠点を解決することができる。
【0050】
なお、本開示の実施例は、動作操作モードと音声操作モードとを組み合わせてもよく、それにより、本開示は、より多くのシーンに適用可能となる。
【0051】
一実施例では、動作モードと休止モードとを有するスマートスピーカーを例として説明する。前記第1の電子機器が操作体の動作により前記第2の電子機器がスマートスピーカーであることを確認し、該スマートスピーカーをウェイクアップさせると(スマートスピーカーが休止モードから動作モードに変化する)、操作体は、スマートスピーカーと音声インタラクションを行うことができ、これにより、確認された第2の電子機器の正確性を保証することができるとともに、第2の電子機器の正常使用に影響を与えない。
【0052】
別の実施例では、音声などでどの電子機器が第2の電子機器であるかを特定するのに不便な場合に、操作体の動作によって第2の電子機器を確定してもよい。例えば、室内に音声インタラクションが可能な2台のスマートエアコンが作動している場合に、操作体が「温度を25度に設定する」という音声を発すれば、どのスマートエアコンが当該操作を実行するかを確定するのが不便であり、この場合、2台のスマートエアコンは、操作体に音響光学的形態で確認を促すことができ、例えば、操作体が温度パラメータを新たに設置したいスマートエアコンに指を向け、前記第1の電子機器は、操作体の動作に基づいて対応なスマートエアコンを確定して温度パラメータを新たに設置し、情報をスマートエアコンに送信する。
【0053】
別の実施例では、依然としてスマートスピーカーを例に説明するが、前記第1の電子機器の識別結果がスマートスピーカーを候補第2の電子機器であることを示す場合に、前記第1の電子機器により、前記候補第2の電子機器に二次確認情報を送信してもよく;当該二次確認情報の受信に応答して、前記スマートスピーカーは、操作体に音響光学提示を送信し、例えば、「DingDongを起こしたいですか」という音声情報を送信し、このとき、前記スマートスピーカーは、待機モードに入り、操作体の二次確認情報を受信し、たとえば、操作体から「はい」という音声情報を発すれば、このとき、スマートスピーカーは、自身が前記第2の電子機器であると確定し、前記第1の電子機器に情報を送信することができる。これにより、動作操作と音声操作等を組み合わせ、ユーザ体験を向上させることができる。
【0054】
図3A図3Gを参照して、図2に示す方法を具体的な実施例を組み合わせてさらに説明する。
図3Aは、本開示の実施例による、第2の電子機器を確定するためのフローチャートを概略的に示す。
【0055】
図3Aに示すように、第1の電子機器によって制御可能な被制御電子機器を確定することは、ステップS301~ステップS305を含み、ここで:
ステップS301において、第1の電子機器によって操作可能な少なくとも1つの候補電子機器を確定する。
ステップS302において、座標原点を確定する。
ステップS303において、少なくとも1つの候補電子機器において、各候補電子機器に対応する、座標原点を始点とし自身位置を終点とする少なくとも1つの第1の位置ベクトルを確定する。
ステップS304において、座標原点を始点とし、操作体が第2の動作を行った後に存在する位置を終点とする第2の位置ベクトルを確定する。
ステップS305において、少なくとも1つの第1の位置ベクトル及び第2の位置ベクトルに基づいて、少なくとも1つの候補電子機器から第2の電子機器を確定する。
【0056】
本開示の実施例では、第2の電子機器を確定する前に、第1の電子機器によって操作可能な少なくとも1つの候補電子機器を確定し、この少なくとも1つの候補電子機器から第2の電子機器をさらに確定することができる。
【0057】
なお、前記第1の動作及び前記第2の動作を取得する電子機器は、ジェスチャ識別に使用され得る様々なセンサを含み、カメラ、レーザレーダ、近接センサ、及び赤外線センサなどを含むが、これらに限定されない、カメラは、単眼、両眼などを含める。
【0058】
本開示の実施例によれば、第1の電子機器は、識別された少なくとも1つの候補電子機器と操作体に基づいて、3次元座標系を構築し、当該3次元座標系の原点を確定することができる。各候補電子機器の自身位置とこの座標原点との間には一定の距離があるので、座標原点を始点として各候補電子機器の自身位置を終点とする第1の位置ベクトルを確定することができ、前記少なくとも1つの候補電子機器において各候補電子機器に対応する少なくとも1つの第1の位置ベクトルを得ることができる。同様に、操作体が第2動作を行った後に存在する位置も当該座標原点との間には一定の距離があるので、座標原点を始点として操作体が第2動作を行った後に存在する位置を終点とする第2の位置ベクトルを確定することができる。そして、該少なくとも1つの第1の位置ベクトル及び該第2の位置ベクトルに基づいて、上記した少なくとも1つの候補電子機器から第2の電子機器を確定することができる。
【0059】
なお、本開示の実施例における操作体による第2の動作は、ユーザの肢体、手、足等による動作であってもよいし、ユーザが操作した物体による動作であってもよい。例えば、操作体が手である場合に、当該操作体による第2の動作は、手が被制御電子機器に向けられる動作であることができる。また、第2の動作は、第1の動作と同じ動作であってもよく、すなわち、第1の動作と第2の動作は、両方とも、第2の電子機器を確定するためのものであってもよい。第2の動作は、第1の動作と異なるものであってもよく、たとえば、第1の動作は、第1の電子機器が第2の電子機器を制御するように指示するためのものであり、第2の動作は、第1の電子機器が第2の電子機器を確定するように指示するためのものであってもよい。
【0060】
本開示の実施例によれば、少なくとも1つの第1の位置ベクトル及び第2の位置ベクトルに基づいて、少なくとも1つの候補電子機器から第2の電子機器を確定することにより、第2の電子機器を確定する正確度を向上させるとともに、ユーザ体験を向上させることができる。
【0061】
図3Bは、本開示の別の実施例による、第2の電子機器を確定するためのフローチャートを概略的に示している。
【0062】
図3Bに示すように、少なくとも1つの候補電子機器から第2の電子機器を確定することは、ステップS401~ステップS404を含み、ここで:
ステップS401において、少なくとも1つの第1の位置ベクトルにおける各位置ベクトルと同一の座標軸とがなす少なくとも1つの第1の角度を確定する。
ステップS402において、第2の位置ベクトルと同一の座標軸とがなす第2の角度を確定する。
ステップS403において、少なくとも1つの第1の角度における各角度と第2の角度との角度差を計算し、対応的な少なくとも1つの角度差を取得する。
ステップS404において、少なくとも1つの角度差のうち予め設定された角度以下の角度差が存在する場合に、少なくとも1つの候補電子機器のうち、予め設定された角度以下の角度差に対応する電子機器を第2の電子機器として確定する。
【0063】
本開示の実施例において、確定された少なくとも1つの第1の位置ベクトルに基づいて、各第1の位置ベクトルと、例えばx軸、y軸、z軸などのある座標軸とがなす少なくとも1つの第1の角度を確定することができる。確定された第2の位置ベクトルに基づいて、当該第2の位置ベクトルとある座標軸とがなす第2の角度を特定することもできる。なお、当該第1の角度及び当該第2の角度は、それぞれ、第1の位置ベクトル及び第2の位置ベクトルと同一の座標軸とがなす角度であると理解すべきである。
【0064】
本開示の実施例によれば、少なくとも1つの第1の角度の各角度と第2の角度との角度差を別々に計算し、少なくとも1つの角度差を取得することができる。上記した少なくとも1つの角度差における各角度差を予め設定された角度と比較し、少なくとも1つの角度差に当該予め設定された角度以下の角度差がある場合に、当該予め設定された角度以下の角度差に対応する候補電子機器を確定し、当該候補電子機器を第2の電子機器として確定することができる。
【0065】
本開示の実施例によれば、少なくとも1つの候補電子機器のうち予め設定された角度以下の角度差に対応する電子機器を第2の電子機器として確定することにより、第2の電子機器を確定する正確度をさらに向上させることができる。
【0066】
図3Cは、本開示の別の実施例による、電子機器確定方法のフローチャートを概略的に示している。
【0067】
図3Cに示すように、前記電子機器確定方法は、ステップS501及びステップS502をさらに含み、ここで:
ステップS501において、少なくとも1つの候補電子機器のうち予め設定された角度以下の角度差に対応する電子機器を第2の電子機器として確定する前に、対応する電子機器の名称情報を出力する。
ステップS502において、操作体が名称情報に対して確定操作を行った場合に、対応する電子機器を第2の電子機器として確定する。
【0068】
本開示の実施例において、少なくとも1つの候補電子機器のうち予め設定された角度以下の角度差に対応する電子機器がユーザが確定したい第2の電子機器であることをさらに保証するために、当該対応する電子機器を第2の電子機器として確定する前に、当該対応する電子機器の名称情報を出力することができる。具体的には、当該名称情報を音声で報知してもよく、ディスプレイを通じて当該名称情報を表示してもよく、ホログラム投影方式で当該名称情報を表示してもよい。
【0069】
本開示の実施例によれば、ユーザは、第1の電子機器が出力した名称情報に基づいて該当の操作を実行することができ、この名称情報が、ユーザが第1の電子機器によって確定したい第2の電子機器に対応する名称情報であれば、ユーザは、この名称情報に対する確認操作を第1の電子機器にフィードバックすることができ、第1の電子機器がこの確認操作を受信した後、この対応する電子機器を第2の電子機器として確定することができる。ここで、当該確認操作は、操作体による動作であり、第1の電子機器が当該確認操作を受信することは、当該操作体による動作を識別することによることができる。
【0070】
本開示の実施例によれば、操作体による名称情報に対する確認操作を受信した場合に、少なくとも1つの候補電子機器のうち予め設定された角度以下の角度差に対応する電子機器を第2の電子機器として確定し、ユーザが確定したい第2の電子機器の正確性をさらに向上させることができる。
【0071】
選択的な実施例として、第1の電子機器によって制御可能な少なくとも1つの候補電子機器を確定する過程において、目標領域内の各電子機器に対して、当該電子機器の画像を取得し、当該電子機器の画像の第1の積分グラフを計算し、少なくとも1つの予め設定された積分グラフを取得し、ただし、予め設定された積分グラフは、予め設定されたテンプレート画像を計算して得られるものであり、予め設定されたテンプレート画像は、第1の電子機器によって制御可能な電子機器により得られるものであり、第1の積分グラフと少なくとも1つの予め設定された積分グラフの各々との第1の類似度を計算し、少なくとも1つの第1の類似度を取得し、少なくとも1つの第1の類似度に第1の類似度閾値を満たす類似度がある場合に、当該電子機器を候補電子機器として確定する。
【0072】
図3Dは、本開示の実施例による、候補電子機器を確定するためのフローチャートを概略的に示している。
【0073】
図3Dに示すように、第1の電子機器によって制御可能な少なくとも1つの候補電子機器を確定する過程で、目標領域内の各電子機器に対してステップS601~ステップS605を実行し、ここで、
ステップS601において、当該電子機器の画像を取得する。
ステップS602において、当該電子機器の画像の第1積分グラフを計算する。
ステップS603において、第1の電子機器によって制御可能な電子機器によって得られる予め設定されたテンプレート画像を計算して得られる少なくとも1つの予め設定された積分グラフを取得する。
ステップS604において、第1の積分グラフと少なくとも1つの予め設定された積分グラフの各々との第1の類似度を計算し、少なくとも1つの第1の類似度を取得する。
ステップS605において、少なくとも1つの第1の類似度に第1の類似度閾値を満たす類似度がある場合に、当該電子機器を候補電子機器として確定する。
【0074】
本開示の実施例では、目標領域は、第1の電子機器が識別可能な領域を含んでもよく、例えば、第1の電子機器がカメラである場合に、当該目標領域は、当該カメラが走査可能な領域を含んでもよい。
【0075】
本開示の実施形態によれば、第1の電子機器は、目標領域内の一部の電子機器を識別してもよく、目標領域内の全ての電子機器を識別してもよい。ここで、目標領域内の電子機器は、第1の電子機器によって制御可能な電子機器を含んでもよく、第1の電子機器によって制御不可能な電子機器を含んでもよい。
【0076】
本開示の実施例によれば、上記の各電子機器について、当該第1の電子機器は、当該電子機器の画像を取得することができ、画像は、第1の電子機器が当該電子機器を走査することによって得られた画像であってもよい。当該電子機器の画像の第1の積分グラフを計算し、第1の積分グラフは、第1の方向の積分グラフを含んでもよいし、第1の方向の積分グラフおよび第1の色の積分グラフを含んでもよい。
【0077】
本開示の実施例において、マスタ電子機器に予め記憶された少なくとも1つの予め設定された積分グラフが取得されてもよく、当該予め設定された積分グラフは、予め設定されたテンプレート画像を計算して得られてもよく、当該予め設定された積分グラフは、予め設定された方向の積分グラフを含んでもよく、予め設定された方向の積分グラフ及び予め設定された色の積分グラフを含んでもよい。前記予め設定されたテンプレート画像は、第1の電子機器に予め記憶されてもよく、第1の電子機器によって制御可能な電子機器から得られる画像であってもよく、例えば、第1の電子機器が第1の電子機器によって制御可能な電子機器を走査して得られたものであってもよい。
【0078】
さらに、前記第1の積分グラフと少なくとも1つの予め設定された積分グラフのそれぞれとの第1の類似度を計算し、少なくとも1つの第1の類似度を取得する。具体的には、第1の方向の積分グラフと、少なくとも1つの予め設定された方向の積分グラフの各々との第3の類似度を計算してもよく、第1の方向の積分グラフと少なくとも1つの予め設定された方向の積分グラフの各々との第3の類似度、及び第1の色の積分グラフと少なくとも1つの予め設定された色の積分グラフの各々との第4の類似度を計算してもよい。
【0079】
少なくとも一つの第1の類似度に第1の類似度閾値を満たす類似度が存在するか否かを検出することは、少なくとも一つの第3の類似度に第3の類似度閾値を満たす類似度が存在するか否かを検出することであってもよく、少なくとも1つの第3の類似度に第3の類似度閾値を満たす類似度が存在するか否か、及び、少なくとも1つの第4の類似度に第4の類似度閾値を満たす類似度が存在するか否かを検出することであってもよい。
【0080】
少なくとも1つの第1の類似度に第1の類似度閾値を満たす類似度が存在する場合に、当該電子機器を候補電子機器として確定する。言い換えれば、少なくとも1つの第3の類似度に第3の類似度閾値を満たす類似度が存在する場合に、当該電子機器を候補電子機器として確定してもよく、少なくとも1つの第3の類似度に第3の類似度閾値を満たす類似度が存在し、少なくとも1つの第4の類似度に第4の類似度閾値を満たす類似度が存在する場合に、当該電子機器を候補電子機器として特定してもよい。
【0081】
本開示の実施例によれば、少なくとも1つの第1の類似度に第1の類似度閾値を満たす類似度が存在する場合に、当該電子機器を候補電子機器として確定し、さらに、第1の電子機器が当該少なくとも1つの候補電子機器からユーザが確定したい第2の電子機器を確定することができるように、少なくとも1つの候補電子機器を得ることができる。
【0082】
図3Eは、本開示の別の実施例による、電子機器確定方法のフローチャートを概略的に示している。
【0083】
図3Eに示すように、当該電子機器確定方法は、さらに、操作S701~操作S704を含んでもよく、ここで:
ステップS701において、電子機器を候補電子機器として確定する前に、電子機器に対応する画像の第1のヒストグラムを計算する。
ステップS702において、予め設定されたテンプレート画像を計算して得られる少なくとも1つの予め設定されたヒストグラムを取得する。
ステップS703において、第1のヒストグラムと少なくとも1つの予め設定されたヒストグラムの各々との第2の類似度を計算し、少なくとも1つの第2の類似度を取得する。
ステップS704において、少なくとも1つの第1の類似度に第1の類似度閾値を満たす類似度が存在し、少なくとも1つの第2の類似度に第2の類似度閾値を満たす類似度も存在する場合に、当該電子機器を候補電子機器として確定する。
【0084】
本開示の実施例において、確定された候補電子機器が第1の電子機器によって制御可能な電子機器である正確性をさらに保証するために、当該電子機器を候補電子機器として確定する前に、当該電子機器に対応する画像の第1のヒストグラムをさらに計算してもよい。ここで、該第1のヒストグラムは、第1の方向のヒストグラムを含んでもよく、第1の方向のヒストグラムと第1の色のヒストグラムを含んでもよい。
【0085】
本開示の実施形態によれば、第1の電子機器に予め記憶された少なくとも1つの予め設定されたヒストグラムを取得することができ、予め設定されたヒストグラムは、予め設定されたテンプレート画像を計算して得られるものであってもよく、予め設定されたヒストグラムは、予め設定された方向のヒストグラムを含んでもよく、予め設定された方向のヒストグラム及び予め設定された色のヒストグラムを含んでもよい。
【0086】
さらに、前記第1のヒストグラムと少なくとも1つの予め設定されたヒストグラムの各々との第1の類似度を計算し、少なくとも1つの第1の類似度を得ることができる。具体的には、第1の方向のヒストグラムと少なくとも1つの予め設定された方向ヒストグラムのそれぞれとの第5の類似度を計算してもよく、第1の方向のヒストグラムと少なくとも1つの予め設定された方向のヒストグラムの各々との第5の類似度、及び第1の色のヒストグラムと少なくとも1つの予め設定された色のヒストグラムの各々との第6の類似度も計算することができる。
【0087】
少なくとも一つの第2の類似度に第2の類似度閾値を満たす類似度が存在するか否かを検出することは、少なくとも一つの第5の類似度に第5の類似度閾値を満たす類似度が存在するか否かを検出することであってもよく、少なくとも1つの第5の類似度に第5の類似度閾値を満たす類似度が存在するか否か、及び、少なくとも1つの第6の類似度に第6の類似度閾値を満たす類似度が存在するか否かを検出することであってもよい。
【0088】
さらに、少なくとも1つの第1の類似度に第1の類似度閾値を満たす類似度が存在し、少なくとも1つの第2の類似度に第2の類似度閾値を満たす類似度が存在する場合に、当該電子機器を候補電子機器として確定する。言い換えれば、少なくとも1つの第3の類似度に第3の類似度閾値を満たす類似度が存在し、少なくとも1つの第5の類似度に第5の類似度閾値を満たす類似度が存在する場合に、当該電子機器を候補電子機器として確定してもよく、少なくとも1つの第3の類似度に第3の類似度閾値を満たす類似度が存在し、少なくとも1つの第4の類似度に第4の類似度閾値を満たす類似度が存在し、少なくとも1つの第5の類似度に第5の類似度閾値を満たす類似度が存在し、少なくとも1つの第6の類似度に第6の類似度閾値を満たす類似度が存在する場合に、当該電子機器を候補電子機器として確定してもよい。
【0089】
以下、第1の電子機器がカメラであることを例として、本開示の実施例を説明する。
第1の電子機器がカメラであると仮定すると、カメラに、カメラによって制御可能な全ての電子機器の異なる角度の画像(予め設定されたテンプレート画像とも呼ばれる)情報が記憶される。また、カメラは、目標領域内の電子機器を走査することができ、カメラによって取得される目標領域内の電子機器の画像は、予処理画像と呼ばれることができる。そのうち、カメラは、類似性推奨アルゴリズムにより目標領域内の電子機器を識別し、且つ短時間で一群の候補枠集合を確定することができる。これを基に、統計マッチング方法によって、予処理画像の第1の積分グラフと予め設定されたテンプレート画像の予め設定された積分グラフとの類似度比較を行い、物体識別機能を実現する。具体的なステップは以下の通りである:
a.予処理画像の第1の方向の積分グラフおよび第1の色の積分グラフを、予め設定されたテンプレート画像の予め設定された方向の積分グラフおよび予め設定された色の積分グラフと比較する;
b.類似性推薦アルゴリズムにより、類似画像の候補枠集合を取得し、各候補枠の第1の方向のヒストグラム及び第1の色のヒストグラムを計算し、該候補枠は、上記実施例における少なくとも1つの類似度のうち、第1の類似度閾値を満たす類似度に対応する電子機器の画像であることができる;
c.各候補枠における第1のヒストグラムと、予め設定されたテンプレート画像の予め設定されたヒストグラムとの第2の類似度を計算し、第2の類似度が第2の類似度閾値に達すると、マッチングが成功したと判断する。
【0090】
なお、上記実施例に基づいて、撮影画面における第1の電子機器によって制御可能な全ての電子機器を識別することができると理解すべきである。
【0091】
本開示の実施例によれば、第1の類似度が第1の類似度閾値を満たし、かつ第2の類似度が第2の類似度閾値を満たす場合に、当該電子機器を候補電子機器の1つとして確定し、確定された各候補電子機器の正確率を向上させることができる。
【0092】
図3Fは、本開示の実施例による、第1の電子機器が両眼カメラである概略図を概略的に示している。
【0093】
図3Fに示すように、第1の電子機器がカメラを含んでもよいと仮定し、当該カメラは、両眼カメラ104を含んでもよく、当該両眼カメラ104は、画面内の少なくとも1つの候補電子機器と操作体による第1の動作(例えば、ユーザのジェスチャ)と操作体による第1の動作の奥行き情報とを識別することにより、全く新しいインタラクション方式を実現して、ユーザがシーン内の他の機器、例えば、第2の電子機器を制御することに支援することができる。
【0094】
図3Gは本開示の実施例による、第2の電子機器を確定するための概略図を概略的に示している。
【0095】
なお、操作体と少なくとも1つの候補電子機器が、第1の電子機器(例えばカメラ)が走査した画面(目標領域ともいう)にあるとき、当該第1の電子機器は、操作体の特定動作(例えば特定ジェスチャ)を識別することにより、第1の電子機器の動作制御機能(例えばジェスチャ制御機能)を起動することができる。当該第1の電子機器は、操作体の動作及び画面における第1の電子機器により操作可能な少なくとも1つの候補電子機器を識別し、且つ該動作の最終的な表示姿勢がある電子機器を指す場合に、第1の電子機器は、該電子機器の名称情報をフィードバックし、該名称情報がユーザの希望に符合すると、該電子機器を第2の電子機器として確定し、且つユーザは、操作体の第1の動作により第1の電子機器に該第2の電子機器を制御させ、例えば、ジェスチャスライド制御を行うことができる。
【0096】
本開示の実施例において、図3Gに示すように、第1の電子機器が両眼カメラ104であると仮定すると、当該両眼カメラ104は、シーン105内の物体(少なくとも1つの被制御装置を含む)及びユーザ106の奥行き情報を取得し、それにより3次元座標系を確立することができる。両眼カメラ104が、ユーザ106が装置操作のジェスチャの開始を検出すると、ユーザ106の頸がユーザ106の肩の位置と一致していると仮定して、ユーザ106の頸の位置を起点として3次元座標系を確立することができる。ユーザ106の正面前方がx軸正方向であり、両眼カメラ104に近づく方向がy軸正方向であり、奥行き情報を記録するためのものであり、上方がz軸正方向である。
【0097】
3次元座標が作成された後、両眼カメラ104が、ユーザ106のジェスチャの指す被制御電子機器を確定するステップは、以下の通りである:
a.3次元座標系に基づいて、シーン105内の少なくとも1つの候補電子機器の各々の位置座標を計算して、位置ベクトルを記録して、少なくとも1つの第1の位置ベクトルを取得する;
b.両眼カメラ104がユーザ106の起動ジェスチャを検出したとき、ユーザ106の手の位置に対する追跡を開始し、その後、手が変位してある位置に留まっているとき、両眼カメラ104は、そのときの手の第2の位置ベクトルを記録し、これをαとする;
c.少なくとも1つの第1の位置ベクトルの各々を第2の位置ベクトルαと比較し、例えば、少なくとも1つの第1の位置ベクトルの各々と座標軸との第1の角度を確定して、少なくとも1つの第1の角度を取得し、第2の位置ベクトルと当該座標軸との第2の角度を確定して、少なくとも1つの第1の角度の各々を第2の角度と比較する;
d.少なくとも1つの第1の角度に第2の角度と近接又は一致する角度が存在する場合に、双眼カメラ104によって音声で第2の角度と近接又は一致する角度に対応する電子機器の名称情報を提示することができる;
e.ユーザ106が前記名前情報に対して確認ジェスチャを行った後、少なくとも1つの候補電子機器のうち、第2の角度と近接又は一致する角度に対応する電子機器を被制御電子機器として確認することができ、双眼カメラ104は、ユーザ106による第1の動作を識別する識別結果に従って、被制御電子機器を操作することができ、当該識別結果は、起動、停止、ギア増加、ギア減少などを含む操作命令を識別するために使用することができる。
【0098】
本開示の実施例で提供される両眼カメラ装置は、画像識別技術及びジェスチャ識別技術を利用して、シーン内の他の装置を自動識別し、関連識別データを保存した後、ユーザのジェスチャ動作を識別することができ、ジェスチャを利用して家庭内の他のスマート装置を制御するという目的を達成することができる、全く新しいスマートホーム制御方式を提供する。
【0099】
さらに、本開示の実施例は、現在の音声操作の距離および背景雑音に対する高い要求という欠点を補い、シーン制限が小さく、より自然な方法で、ユーザが家庭内の様々なデバイスを操作することに支援する。
【0100】
図4は、本開示の実施例による電子機器確定システムのブロック図を概略的に示している。
【0101】
図4に示すように、当該電子機器確定システムは、第1の取得装置410及び第1の確定装置420を含んでもよく、ここで:
第1の取得装置410は、第1の電子機器によって、操作体による第1の動作を識別し、識別結果を取得する。
第1の確定装置420は、識別結果に基づいて、第1の電子機器によって制御可能な第2の電子機器を確定する。
【0102】
本開示の実施例によれば、マスター電子機器が、操作体による第1の動作を識別する識別結果に基づいて、被制御電子機器を制御することで、使用シーンの制限が小さく、より自然な方式でユーザが被制御電子機器を操作することに支援することができ、現在の音声操作方式に意味理解が不正確になるだけでなく、距離と環境騒音に対する要求が高く、使用シーンが制限されるという欠点を解決することができる。
【0103】
図5Aは、本開示の実施例による、第1の確定装置のブロック図を概略的に示している。
【0104】
図5Aに示すように、当該第1の確定装置420は、第1の確定手段421、第2の確定手段422、第3の確定手段423、第4の確定手段424、及び第5の確定手段425を含むことができ、ここで:
第1の確定手段421は、第1の電子機器によって制御可能な少なくとも1つの候補電子機器を確定する。
第2の確定手段422は、座標原点を確定する。
第3の確定手段423は、少なくとも1つの候補電子機器の各々に対応する座標原点を始点として自身位置を終点とする少なくとも1つの第1の位置ベクトルを確定する。
第4の確定手段424は、座標原点を始点として操作体が第2の動作を行った後に存在する位置を終点とする第2の位置ベクトルを確定する。
第5の確定手段425は、少なくとも1つの第1の位置ベクトル及び第2の位置ベクトルに基づいて、少なくとも1つの候補電子機器から第2の電子機器を確定する。
【0105】
本開示の実施例によれば、少なくとも1つの第1の位置ベクトル及び第2の位置ベクトルに基づいて、少なくとも1つの候補電子機器から被制御電子機器を確定し、当該被制御電子機器に対して制御動作を実行させることにより、制御の正確性を向上させるとともに、ユーザ体験を向上させることができる。
【0106】
図5Bは、本開示の実施例による第5の確定手段のブロック図を概略的に示している。
【0107】
図5Bに示すように、当該第5の確定手段425は、第1の確定サブ手段4251、第2の確定サブ手段4252、計算サブ手段4253、及び第3の確定サブ手段4254を含むことができ、ここで:
第1の確定サブ手段4251は、少なくとも1つの第1の位置ベクトルの各々と同一の座標軸とがなす少なくとも1つの第1の角度を確定する。
第2の確定サブ手段4252は、第2の位置ベクトルと同一の座標軸とがなす第2の角度を確定する。
計算サブ手段4253は、少なくとも1つの第1の角度の各々と第2の角度との角度差を計算して、対応する少なくとも1つの角度差を取得する。
第3の確定サブ手段4254は、少なくとも1つの角度差に予め設定された角度以下の角度差が存在する場合に、少なくとも1つの候補電子機器のうち予め設定された角度以下の角度差に対応する電子機器を第2の電子機器として確定する。
【0108】
本開示の実施例によれば、少なくとも1つの候補電子機器のうち、予め設定された角度以下の角度差に対応する電子機器を被制御電子機器として確定することにより、被制御電子機器を確定する正確性をさらに向上させることができる。
【0109】
図5Cは、本開示の別の実施例による、電子機器確定システムのブロック図を概略的に示している。
【0110】
図5Cに示すように、電子機器確定システム400は、出力装置510と、第2の確定装置520とをさらに含むことができ、ここで:
出力装置510は、少なくとも1つの候補電子機器のうち予め設定された角度以下の角度差に対応する電子機器を第2の電子機器として確定する前に、対応する電子機器の名称情報を出力する。
第2の確定装置520は、操作体が名称情報に対して確認操作を行った場合に、対応する電子機器を第2の電子機器として確定する。
【0111】
本開示の実施例によれば、操作体が名称情報に対して確認操作を行ったことを受信した場合に、少なくとも1つの候補電子機器のうち、予め設定された角度以下の角度差に対応する電子機器を被制御電子機器として確定し、ユーザがマスタ電子機器で操作したい被制御電子機器をより正確に確定することができる。
【0112】
選択的な実施例として、第1の確定手段が第1の電子機器によって操作可能な少なくとも1つの候補電子機器を確定する過程に、目標領域内の各電子機器について、当該電子機器の画像を取得し、当該電子機器の画像の第1の積分グラフを計算し、少なくとも1つの予め設定された積分グラフを取得し、予め設定された積分グラフは、予め設定されたテンプレート画像を計算して得られるものであり、予め設定されたテンプレート画像は、第1の電子機器によって操作可能な電子機器によって取得された画像であり、第1の積分グラフと少なくとも1つの予め設定された積分グラフの各々との第1の類似度を計算して、少なくとも1つの第1の類似度を取得し、少なくとも1つの第1の類似度に第1の類似度閾値を満たす第1の類似度が存在する場合に、当該電子機器を候補電子機器として確定する。
【0113】
本開示の実施例によれば、少なくとも1つの第1の類似度に第1の類似度閾値を満たす類似度が存在する場合に、当該電子機器を候補電子機器として確定し、さらに、少なくとも1つの候補電子機器を取得し、マスター電子機器が当該少なくとも1つの候補電子機器からユーザが操作したい被制御電子機器を確定することができる。
【0114】
図5Dは、本開示の別の実施例による電子機器確定システムのブロック図を概略的に示している。
【0115】
図5Dに示すように、当該電子機器確定システム400は、第1の計算装置610、第2の取得装置620、第2の計算装置630及び第3の確定装置640をさらに含むことができ、ここで:
第1の計算装置610は、当該電子機器を候補電子機器として確定する前に、当該電子機器に対応する画像の第1のヒストグラムを計算する。
第2の取得装置620は、予め設定されたテンプレート画像を計算して得られる少なくとも1つの予め設定されたヒストグラムを取得する。
第2の計算装置630は、第1のヒストグラムと少なくとも1つの予め設定されたヒストグラムの各々との第2の類似度を計算し、少なくとも1つの第2の類似度を取得する。
第3の確定装置640は、少なくとも1つの第1の類似度に第1の類似度閾値を満たす類似度が存在し、かつ少なくとも1つの第2の類似度に第2の類似度閾値を満たす類似度が存在する場合に、当該電子機器を候補電子機器として確定する。
【0116】
本開示の実施例によれば、第1の類似度が第1の類似度閾値を満たし、かつ第2の類似度が第2の類似度閾値を満たす場合に、当該電子機器を候補電子機器の1つとして確定し、確定された各候補電子機器の正確率を向上させることができる。
【0117】
第1の取得装置410、第1の確定装置420、出力装置510、第2の確定装置520、第1の計算装置610、第2の取得装置620、第2の計算装置630、第3の確定装置640、第1の確定手段421、第2の確定手段422、第3の確定手段423、第4の確定手段424、第5の確定手段425、第1の確定サブ手段4251、第2の確定サブ手段4252、計算サブ手段4253、及び第3の確定サブ手段4254は、1つの装置/手段/サブ手段に組み込まれてもよく、又は、装置/手段/サブ手段のいずれかが複数の装置/手段/サブ手段に分割されてもよいことは理解される。あるいは、デバイス/手段/サブ手段の1つ以上の少なくとも一部の機能は、他のデバイス/手段/サブ手段の少なくとも一部の機能と組み合わせて、1つの装置/手段/サブ手段において実現されてもよい。本開示の実施例によれば、第1の取得装置410、第1の確定装置420、出力装置510、第2の確定装置520、第1の計算装置610、第2の取得装置620、第2の計算装置630、第3の確定装置640、第1の確定手段421、第2の確定手段422、第3の確定手段423、第4の確定手段424、第5の確定手段425、第1の確定サブ手段4251、第2の確定サブ手段4252、計算サブ手段4253、及び第3の確定サブ手段4254のうちの少なくとも1つは、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)、システムオンチップ、基板上システム、パッケージ上システム、特定用途向け集積回路(ASIC)などのハードウェア回路として、又は回路を集積又はパッケージ化する他の合理的な方式等ハードウェア又はファームウェアで、又はソフトウェア、ハードウェア、及びファームウェアの3つの実現態様の適切な組み合わせで、少なくとも部分的に実現されることができる。あるいは、第1の取得手段410、第1の確定装置420、出力手段510、第2の確定手段520、第1の計算手段610、第2の取得手段620、第2の計算手段630、第3の確定手段640、第1の確定手段421、第2の確定手段422、第3の確定手段423、第4の確定手段424、第5の確定手段425、第1の確定サブ手段4251、第2の確定サブ手段4252、計算サブ手段4253、及び第3の確定サブ手段4254のうちの少なくとも1つは、コンピュータプログラム装置/手段/サブ手段として少なくとも部分的に実現されてもよく、当該プログラムがコンピュータによって実行される場合に、対応する装置/手段/サブ手段の機能が実行されてもよい。
【0118】
本開示の他面は、操作体による第1の動作に用いる収集装置と、前記第1の動作を識別して識別結果を取得する識別装置と、前記識別結果に基づいて、制御可能な第2の電子機器を確定する処理装置とを備える電子機器確定装置を提供している。
【0119】
本開示の実施例によれば、上記電子機器確定装置は、前記制御可能な第2の電子機器に信号を送信する信号送信装置をさらに備える。
【0120】
本開示の他面は、操作体による第1の動作を識別し、識別結果を取得し、前記識別結果に基づいて、前記第1の電子機器によって制御可能な第2の電子機器を確定するための少なくとも1つの第1の電子機器と、少なくとも1つの第2の電子機器とを含む電子機器確定システムを提供している。
【0121】
本開示の他面によれば、1または複数のプロセッサと、1または複数のプログラムを記憶するコンピュータ読み取り可能な記憶媒体と、を備えるコンピュータシステムであって、前記1または複数のプログラムが前記1または複数のプロセッサにより実行されると、前記1または複数のプロセッサに、上記実施例のいずれかに記載の電子機器制御方法を実現させるコンピュータシステムを提供している。
【0122】
図6は、本開示の実施例による電子機器確定方法を実現するのに適したコンピュータシステムのブロック図を概略的に示している。図6に示すコンピュータシステムは例示に過ぎず、本開示の実施例の機能及び使用範囲を制限しない。
【0123】
図6に示すように、本開示の実施例によるコンピュータシステム700は、リードオンリーメモリ(ROM)702に記憶されたプログラム、または記憶部分708からランダムアクセスメモリ(RAM)703にロードされたプログラムに従って、様々な適切な動作および処理を実行することができるプロセッサ701を含む。プロセッサ701は、例えば、汎用マイクロプロセッサ(例えば、CPU)、命令セットプロセッサ、および/または関連チップセット、および/または専用マイクロプロセッサ(例えば、専用集積回路(ASIC))などを含み得る。プロセッサ701は、バッファ用途向けのオンボードメモリを含み得る。プロセッサ701は、本開示の実施例による方法フローの異なる動作を実行するための単一の処理手段又は複数の処理手段を含んでもよい。
【0124】
RAM703には、コンピュータシステム700の動作に必要な各種プログラム及びデータが記憶されている。プロセッサ701、ROM702、及びRAM703は、バス704を介して互いに接続されている。プロセッサ701は、ROM702及び/又はRAM703におけるプログラムを実行することにより、上記の様々な動作を実行する。なお、前記プログラムは、ROM702およびRAM703以外の1又は複数のメモリに記憶されていてもよい。プロセッサ701は、前記1または複数のメモリに記憶されたプログラムを実行することによって、上記の様々な動作を実行することもできる。
【0125】
本開示の実施例によれば、コンピュータシステム700は、バス704にも接続された入力/出力(I/O)インタフェース705をさらに含むことができる。コンピュータシステム700は、I/Oインタフェース705に接続された、キーボード、マウスなどを含む入力部分706、ブラウン管(CRT)、液晶ディスプレイ(LCD)など、スピーカなどを含む出力部分707、ハードディスクなどを含む記憶部分708、LANカード、モデムなどのネットワークインタフェースカードを含む通信部分709、のうちの1つ以上をさらに含むことができる。通信部分709は、インターネットなどのネットワークを介しての通信処理を行う。また、ドライブ710も必要に応じてI/Oインタフェース705に接続されている。読み出されたコンピュータプログラムが必要に応じて記憶部分708にインストールされるように、たとえば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブルメディア711が、必要に応じて、ドライブ710に装着される。
【0126】
本開示の実施例によれば、上記したフローチャートを参照して説明される方法は、コンピュータソフトウェアプログラムとして実装され得る。例えば、本開示の実施例は、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータ読み取り可能な媒体に装着されたコンピュータプログラムを含むコンピュータプログラム製品を含む。このような実施例では、当該コンピュータプログラムは、通信部分709を介してネットワークからダウンロードしてインストールすることができ、かつ/又はリムーバブルメディア711からインストールされることができる。このコンピュータプログラムがプロセッサ701によって実行される際に、本開示の実施例のシステムに限定された上記機能が実行される。本開示の実施例によれば、上記したシステム、機器、装置、手段などは、コンピュータプログラムモジュールによって実現されることができる。
【0127】
なお、本開示に示されるコンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体もしくはコンピュータ読み取り可能な記憶媒体、またはこれらの任意の組合せであってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電気、磁気、光、電磁、赤外線、または半導体のシステム、装置、またはデバイス、あるいはそれらの任意の組合せとすることができるが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例示は、1本以上のワイヤを有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROM又はフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスクリードオンリメモリ(CD-ROM)、光記憶デバイス、磁気記憶デバイス、又は上記の任意の適切な組み合わせを含み得るが、これらに限定されない。本開示において、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置、またはデバイスによって使用され、またはそれらと関連して使用され得るプログラムを含む、または記憶する、任意の有形媒体であり得る。本開示において、コンピュータ読み取り可能な信号媒体は、ベースバンドで又は搬送波の一部として伝搬されるデータ信号を含み、コンピュータ読み取り可能なプログラムコードが装着されている。このような伝搬データ信号は、電磁信号、光信号、又は上記の任意の適切な組み合わせを含むが、これらに限定されない様々な形態をとり得る。コンピュータ読み取り可能な信号媒体は、命令実行システム、装置、又はデバイスによって使用され又はそれらと関連した使用されるプログラムを伝送、伝播、又は伝送することができるコンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよい。コンピュータ読み取り可能な媒体に含まれるプログラムコードは、ワイヤレス、電気配線、光ケーブル、RFなど、または上記の任意の適切な組み合わせを含むがこれらに限定されない、任意の適切な媒体を用いて送信され得る。本開示の実施例によれば、コンピュータ読み取り可能な媒体は、上記のROM702及び/又はRAM703、並びに/或いはROM702及びRAM703以外の1つ以上のメモリを含み得る。
【0128】
図面におけるフローチャートおよびブロック図は、本開示の様々な実施例による、システム、方法、およびコンピュータプログラム製品の実現可能なアーキテクチャ、機能、および操作を示している。この点に関して、フローチャート又はブロック図における各ブロックは、指定された論理機能を実施するための1つ又は複数の実行可能な命令を含む装置、セグメント、又はコードの一部を表すことができる。いくつかの代替的な実現では、ブロックに記された機能は、図面に示す順序とは異なる順序で生じ得ることにも留意すべきである。例えば、連続して示される2つのブロックは、実際には、機能に応じて、基本的に並列に実行されてもよいし、逆順で実行されてもよい。ブロック図またはフローチャート図の各ブロック、およびブロック図またはフローチャート図のブロックの組合せは、所定の機能または操作を実行する専用ハードウェアベースのシステムで実現されてもよく、または専用ハードウェアとコンピュータ命令との組合せで実現されてもよいことにも留意されたい。
【0129】
他面として、本開示は、プロセッサによって実行されたときに、プロセッサに、上記実施例のいずれかに記載の電子機器確定方法を実施させる実行可能な命令を記憶したコンピュータ読み取り可能な媒体をさらに提供し、このコンピュータ読み取り可能な媒体は、上記実施例に記載のデバイスに含まれてもよく、装置に組み込まれずに単独で存在していてもよい。前記コンピュータ読み取り可能な媒体は、一つ以上のプログラムが記録されており、前記一つ以上のプログラムが一つの当該機器によって実行されると、当該機器に、第1の電子機器を介して操作体による第1の動作を識別して識別結果を取得し、識別結果に基づいて、第1の電子機器によって制御可能な第2の電子機器を確定される。
【0130】
以上、本開示の実施例について説明した。しかしながら、これらの実施例は、説明するためのものであり、本開示の範囲を限定するものではない。以上、各実施例をそれぞれ説明したが、各実施例における各手段を適宜組み合わせて用いることができないというわけではない。本開示の範囲は、添付の特許請求の範囲及びその均等物によって限定される。本開示の範囲から逸脱することなく、当業者は、様々な代替および修正を行え、これらの代替および修正は本開示の範囲内に属すべきである。
図1
図2
図3A
図3B
図3C
図3D
図3E
図3F
図3G
図4
図5A
図5B
図5C
図5D
図6