(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-06
(54)【発明の名称】遠隔制御対象物のためのシステムおよび方法
(51)【国際特許分類】
G08C 17/02 20060101AFI20240130BHJP
A63H 30/02 20060101ALI20240130BHJP
A63H 30/04 20060101ALI20240130BHJP
G08C 19/00 20060101ALI20240130BHJP
H04Q 9/00 20060101ALI20240130BHJP
【FI】
G08C17/02
A63H30/02 A
A63H30/04 A
G08C19/00 U
H04Q9/00 301Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023538047
(86)(22)【出願日】2021-12-17
(85)【翻訳文提出日】2023-08-03
(86)【国際出願番号】 EP2021086373
(87)【国際公開番号】W WO2022129454
(87)【国際公開日】2022-06-23
(32)【優先日】2020-12-18
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】523231130
【氏名又は名称】オーグメンテッド・ロボティクス・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング
【氏名又は名称原語表記】AUGMENTED ROBOTICS GMBH
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】ニシュケ,トニー
(72)【発明者】
【氏名】メラン,エフゲニ
(72)【発明者】
【氏名】ベスキ,パトリック・フィン・アルブレヒト
【テーマコード(参考)】
2C150
2F073
5K048
【Fターム(参考)】
2C150CA08
2C150CA09
2C150DK02
2C150EF15
2F073AA11
2F073AA16
2F073AA31
2F073AB01
2F073AB04
2F073BB01
2F073BC02
2F073BC04
2F073CC01
2F073CC03
2F073CC05
2F073CC12
2F073CC14
2F073CD05
2F073CD11
2F073DD01
2F073DE02
2F073DE13
2F073EE16
2F073FF01
2F073FG01
2F073FG02
2F073FG11
5K048AA13
5K048BA01
5K048DA01
5K048DB01
5K048DC01
5K048EB02
5K048FC05
5K048GC05
5K048HA01
5K048HA02
(57)【要約】
遠隔制御可能な対象物(RCO)を制御するためのシステムであって、少なくとも1つのRCOに関する遠隔制御情報を維持するように構成されたデータベースであって、遠隔制御情報は、RCOの少なくとも1つの遠隔制御コマンドを含む、データベースと、遠隔制御コマンドに含まれる少なくとも1つの遠隔制御信号を遠隔制御インターフェースを介して少なくとも1つのRCOに送信するように構成された遠隔制御信号送信ユニットと、データベースに動作可能に接続された第1のコントローラであって、データベースからRCOの前記遠隔制御情報を取得するように構成され、第1の通信インターフェースを介して第2のコントローラに遠隔制御情報を送信するように構成されている、第1のコントローラと、を備え、第2のコントローラは、遠隔制御送信ユニットに動作可能に接続され、第1の通信インターフェースを介して第1のコントローラから遠隔制御情報を受信するように構成され、遠隔制御情報に基づいて少なくとも1つの遠隔制御信号を遠隔制御インターフェースを介してRCOに送信するように構成されている、システム。
【特許請求の範囲】
【請求項1】
遠隔制御可能な対象物(RCO)を制御するためのシステムであって、
少なくとも1つのRCOに関する遠隔制御情報を維持するように構成されたデータベースであって、前記遠隔制御情報は、前記RCOの少なくとも1つの遠隔制御コマンドを含む、データベースと、
前記遠隔制御コマンドに含まれる少なくとも1つの遠隔制御信号を遠隔制御インターフェースを介して少なくとも1つのRCOに送信するように構成された遠隔制御信号送信ユニットと、
前記データベースに動作可能に接続された第1のコントローラであって、前記データベースからRCOの前記遠隔制御情報を取得するように構成され、第1の通信インターフェースを介して第2のコントローラに遠隔制御情報を送信するように構成されている、第1のコントローラと、を備え、
前記第2のコントローラは、前記遠隔制御送信ユニットに動作可能に接続され、前記第1の通信インターフェースを介して前記第1のコントローラから前記遠隔制御情報を受信するように構成され、前記遠隔制御情報に基づいて少なくとも1つの遠隔制御信号を前記遠隔制御インターフェースを介して前記RCOに送信するように構成されている、システム。
【請求項2】
前記システムは、少なくとも1つのRCOを識別するように構成された識別手段と、前記RCOの動作を検出するように構成された動作検証手段とをさらに備え、
前記第1のコントローラは前記識別手段に動作可能に接続され、前記第2のコントローラは前記動作検証手段に動作可能に接続され、
初期化段階において、前記第1のコントローラは、
a)前記識別手段を介して少なくとも1つの候補RCOを識別し、
b)前記データベースから前記候補RCOの前記遠隔制御情報を取得し、
c)前記候補遠隔制御情報またはそれに含まれる少なくとも1つの候補遠隔制御コマンドを前記第2のコントローラに送信するように構成され、
前記初期化段階において、前記第2のコントローラは、
d)前記候補遠隔制御コマンドに基づいて少なくとも1つの遠隔制御信号を前記遠隔制御送信ユニットを介して前記RCOに送信し、
e)前記候補遠隔制御コマンドに応じた前記RCOの動作を、前記動作検証手段を介して検証し、
f)好ましくは、検証された動作に関する情報を前記第1のコントローラに送信するように構成されている、
請求項1に記載のシステム。
【請求項3】
ヒューリスティック探索における前記初期化段階において、前記第2のコントローラは、その後、すべての考えられる遠隔制御信号を前記遠隔制御送信ユニットを介して前記RCOに送信するように構成され、前記動作検証手段を介して前記RCOの動作を検証し、好ましくは、検証された動作に関する情報を前記第1のコントローラに送信するようにさらに構成されている、
請求項2に記載のシステム。
【請求項4】
前記データベースおよび前記第1のコントローラに接続された機械学習システムをさらに備え、前記機械学習システムは、候補RCOを識別するための訓練済みモデルを維持するように構成されている、
請求項2または3に記載のシステム。
【請求項5】
動作段階において、前記第1のコントローラは、
a)ユーザから駆動コマンド入力を受信し、
b1)前記駆動コマンドに対応する1つまたは複数の遠隔制御コマンドを決定し、
前記遠隔制御コマンドを前記第2のコントローラに送信し、または
b2)前記駆動コマンドを前記第2のコントローラに送信するように構成され、前記第2のコントローラは、前記駆動コマンドに対応する1つまたは複数の遠隔制御コマンドをするように構成され、および
前記動作段階において、前記第2のコントローラは、
c)前記遠隔制御コマンドに対応する少なくとも1つの遠隔制御信号を前記遠隔制御送信ユニットを介して前記RCOに送信するように構成されている、
請求項1~4のいずれか1項に記載のシステム。
【請求項6】
前記第1のコントローラユニットを備え、かつ好ましくは前記識別手段を備える第1のユニットと、
前記遠隔制御信号送信ユニットを備え、好ましくは前記動作検証手段を備える第2のユニットと、をさらに備え、
前記第1のユニットと前記第2のユニットとは、前記第1の通信インターフェースを介して接続され、前記第1の通信インターフェースは、規格化された通信インターフェースである、
請求項1~5のいずれか1項に記載のシステム。
【請求項7】
前記第1のユニットは、ユーザデバイス、好ましくはスマートユーザデバイスに設けられるかもしくは組み込まれ、および/または
前記第2のユニットは、前記遠隔制御可能な対象物に設けられるかもしくは組み込まれるのに適している、
請求項1~6のいずれか1項に記載のシステム。
【請求項8】
前記遠隔制御信号は無線制御信号である、および/または
前記規格化された通信インターフェースは、WiFi接続またはBluetooth(登録商標)接続である、
請求項1~7のいずれか1項に記載のシステム。
【請求項9】
前記遠隔制御可能な対象物の識別手段は、カメラ、好ましくは前記ユーザデバイスの一体型カメラである、請求項1~8のいずれか1項に記載のシステム。
【請求項10】
前記動作検証手段は慣性測定ユニットである、請求項1~9のいずれか1項に記載のシステム。
【請求項11】
前記第1のコントローラユニット、前記識別手段、および前記動作検証手段を備える第1のユニットと、
前記遠隔制御信号送信ユニットを備える第2のユニットと、をさらに備え、
前記識別手段および前記動作検証手段は、カメラの画像を使用し、
好ましくは、前記第1のユニットは、ユーザデバイス、好ましくはスマートユーザデバイス内に形成され、前記カメラは、前記スマートデバイスの単一のカメラであり、
前記第1のユニットと前記第2のユニットとは、前記第1の通信インターフェースを介して接続され、前記第1の通信インターフェースは、規格化された通信インターフェースである、
請求項1~5のいずれか1項に記載のシステム。
【請求項12】
請求項1~11のいずれか1項に記載の遠隔制御可能な対象物を制御するためのシステムの使用方法であって、
前記第1のコントローラにおいて、前記データベースからRCOの前記遠隔制御情報を取得し、第1の通信インターフェースを介して前記第2のコントローラに遠隔制御情報を送信するステップと、
前記第2のコントローラにおいて、前記第1の通信インターフェースを介して前記第1のコントローラから前記遠隔制御情報を受信し、前記遠隔制御情報に基づいて少なくとも1つの遠隔制御信号を前記遠隔制御インターフェースを介して前記RCOに送信するステップと、を含む、方法。
【請求項13】
初期化段階において、
前記第1のコントローラにおいて、
a)前記識別手段を介して少なくとも1つの候補RCOを識別するステップと、
b)前記データベースから前記候補RCOの前記遠隔制御情報を取得するステップと、
c)前記候補遠隔制御情報またはそれに含まれる少なくとも1つの候補遠隔制御コマンドを前記第2のコントローラに送信するステップと、
前記初期化段階において、前記第2のコントローラにおいて
d)前記候補遠隔制御コマンドに基づいて少なくとも1つの遠隔制御信号を前記遠隔制御送信ユニットを介して前記RCOに送信するステップと、
e)前記候補遠隔制御コマンドに応じた前記RCOの動作を、前記動作検証手段を介して検証するステップと、
f)好ましくは、検証された動作に関する情報を前記第1のコントローラに送信するステップと、をさらに含む、
請求項12に記載の方法。
【請求項14】
動作段階において、前記第1のコントローラにおいて、
a)ユーザから駆動コマンド入力を受信するステップと、
b1)前記駆動コマンドに対応する1つまたは複数の遠隔制御コマンドを決定し、
前記遠隔制御コマンドを第2のコントローラに送信するステップ、または
b2)前記駆動コマンドを前記第2のコントローラに送信するステップであって、前記第2のコントローラは、前記駆動コマンドに対応する1つまたは複数の遠隔制御コマンドをするように構成されている、ステップ、および
前記動作段階において、前記第2のコントローラにおいて、
c)前記遠隔制御コマンドに対応する少なくとも1つの遠隔制御信号を前記遠隔制御送信ユニットを介して前記RCOに送信するステップと、をさらに含む、
請求項12または13のいずれか1項に記載の方法。
【請求項15】
第1のコントローラに請求項12~14のいずれか1項に記載の方法のステップを実行させる命令、および/または第2のコントローラに請求項12~14のいずれか1項に記載の方法のステップを実行させる命令を含むコンピュータプログラム製品。
【請求項16】
請求項15に記載の前記コンピュータプログラムを記憶したコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子機器の分野に関し、特に、遠隔制御対象物のためのシステムおよび方法に関する。
【背景技術】
【0002】
遠隔制御対象物(RCO)は、多くの異なる利用分野で使用されている。そのような遠隔制御対象物の例は、ドローン、ロボット、および無線制御(RC)玩具である。用途の例は、ドローンベースの監視、遠隔制御レスキューロボット、または単にRC玩具による娯楽である。
【0003】
典型的には、遠隔制御対象物の移動は、コントローラユニットへの駆動コマンドのユーザ入力を介して制御される。コントローラユニットでは、駆動コマンドは遠隔制御信号に変換され、遠隔制御信号はその後、好ましくは無線でRCOに送信される。RCOにおいて、制御信号は受信機ユニットで受信され、RCOの1つまたは複数の作動手段のための1つまたは複数の信号に変換され、RCOは遠隔制御信号に従って特定の方法で反応する。
【0004】
しかしながら、遠隔制御信号は規格化されていない。コントローラユニットは、通常、受信機ユニットとマッチしていなければならない。さらに、遠隔制御信号は、多くの場合、符号化され、および/または異なる物理送信チャネルまたは方法を使用する。したがって、異なる製造業者の異なるRCOをシステムに統合すること、あるいは損失または誤動作の場合に元のコントローラを交換することは事実上不可能である。
【0005】
そのため、汎用遠隔制御が必要となる。元のコントローラユニットが紛失または破損した場合、汎用遠隔制御により、ユーザはRCOを再び制御することができる。特に、汎用遠隔制御では、ユーザは、交換コントローラユニットがもはや製造されていない古い玩具などのレガシーRCOを使用することができる。さらに、汎用遠隔制御は、複雑なゲーム環境への上述のRCOの統合を可能にし、したがってユーザ体験が改善される。
【0006】
異なるRCOは、異なる遠隔制御コマンドを使用することができる。違いは、周波数チャネル、信号の構造、および変調のタイプに関する。したがって、本発明の目的は、RCOの正しいRCコマンドを識別することである。
【発明の概要】
【発明が解決しようとする課題】
【0007】
遠隔制御コマンドは、デジタルまたはアナログ遠隔制御信号に基づくことができる。一般に、遠隔制御信号の正確な構造は、未知のRCOについては知られていない。したがって、本発明の目的は、自動化された技術プロセスに基づいて未知のRCOの遠隔制御信号の構造を決定することである。
【課題を解決するための手段】
【0008】
上記の目的は、独立請求項の主題によって達成される。従属請求項は、本発明のさらなる態様に関する。
【0009】
本発明の一態様によれば、遠隔制御可能な対象物(RCO)を制御するためのシステムが提供され、システムは、少なくとも1つのRCOに関する遠隔制御情報を維持するように構成されたデータベースであって、遠隔制御情報はRCOの少なくとも1つの遠隔制御コマンドを含む、データベースと、遠隔制御コマンドに含まれる少なくとも1つの遠隔制御信号を遠隔制御インターフェースを介して少なくとも1つのRCOに送信するように構成された遠隔制御信号送信ユニットと、データベースに動作可能に接続された第1のコントローラと、を備える。第1のコントローラは、データベースからRCOの遠隔制御情報を取得するように構成され、第1の通信インターフェースを介して第2のコントローラに遠隔制御情報を送信するように構成されている。第2のコントローラは、遠隔制御送信ユニットに動作可能に接続され、第1の通信インターフェースを介して第1のコントローラから遠隔制御情報を受信するように構成され、遠隔制御情報に基づいて少なくとも1つの遠隔制御信号を遠隔制御インターフェースを介してRCOに送信するように構成されている。
【0010】
本発明の一実施形態では、システムは、少なくとも1つのRCOを識別するように構成された識別手段と、RCOの動作を検出するように構成された動作検証手段とをさらに備える。第1のコントローラは識別手段に動作可能に接続され、第2のコントローラは動作検証手段に動作可能に接続され、
初期化段階において、第1のコントローラは、
a)識別手段を介して少なくとも1つの候補RCOを識別し、
b)データベースから候補RCOの遠隔制御情報を取得し、
c)候補遠隔制御情報またはそれに含まれる少なくとも1つの候補遠隔制御コマンドを第2のコントローラに送信するように構成され、
初期化段階において、第2のコントローラは、
d)候補遠隔制御コマンドに基づいて少なくとも1つの遠隔制御信号を遠隔制御送信ユニットを介してRCOに送信し、
e)候補遠隔制御コマンドに応じたRCOの動作を、動作検証手段を介して検証し、
f)好ましくは、検証された動作に関する情報を第1のコントローラに送信するように構成されている。
【0011】
本発明の一実施形態では、ヒューリスティック探索における初期化段階において、第2のコントローラは、その後、すべての考えられる遠隔制御信号を遠隔制御送信ユニットを介してRCOに送信するように構成され、動作検証手段を介してRCOの動作を検証し、好ましくは、検証された動作に関する情報を第1のコントローラに送信するようにさらに構成されている。
【0012】
本発明の一実施形態では、システムは、データベースおよび第1のコントローラに接続された機械学習システムをさらに備え、機械学習システムは、候補RCOを識別するための訓練済みモデルを維持するように構成されている。
【0013】
本発明の一実施形態では、動作段階において、第1のコントローラは、
a)ユーザから駆動コマンド入力を受信し、
b1)駆動コマンドに対応する1つまたは複数の遠隔制御コマンドを決定し、遠隔制御コマンドを第2のコントローラに送信し、または
b2)駆動コマンドを第2のコントローラに送信するように構成され、第2のコントローラは、駆動コマンドに対応する1つまたは複数の遠隔制御コマンドをするように構成され、および
動作段階において、第2のコントローラは、
c)遠隔制御コマンドに対応する少なくとも1つの遠隔制御信号を遠隔制御送信ユニットを介してRCOに送信するように構成されている。
【0014】
本発明の一実施形態では、システムは、第1のコントローラユニットを備え、かつ好ましくは識別手段を備える第1のユニットと、遠隔制御信号送信ユニットを備え、好ましくは動作検証手段を備える第2のユニットと、をさらに備える。第1のユニットと第2のユニットは第1の通信インターフェースを介して接続され、第1の通信インターフェースは規格化された通信インターフェースである。
【0015】
本発明の一実施形態では、第1のユニットは、ユーザデバイス、好ましくはスマートユーザデバイスに設けられるかもしくは組み込まれ、および/または第2のユニットは、遠隔制御可能な対象物に設けられるかもしくは組み込まれるのに適している。
【0016】
本発明の一実施形態では、遠隔制御信号は無線制御信号である、および/または、規格化された通信インターフェースは、WiFi接続またはBluetooth(登録商標)接続である。
【0017】
本発明の一実施形態では、遠隔制御可能な対象物の識別手段は、カメラ、好ましくはユーザデバイスの一体型カメラである。
【0018】
本発明の一実施形態では、動作検証手段は慣性測定ユニットである。
本発明の一実施形態では、システムは、第1のコントローラユニット、識別手段、および動作検証手段を備える第1のユニットと、遠隔制御信号送信ユニットを備える第2のユニットと、をさらに備える。識別手段および動作検証手段は、カメラの画像を使用する。好ましくは、第1のユニットは、ユーザデバイス、好ましくはスマートユーザデバイスに形成され、カメラは、スマートデバイスの単一のカメラである。第1のユニットと第2のユニットは第1の通信インターフェースを介して接続され、第1の通信インターフェースは規格化された通信インターフェースである。
【0019】
本発明の一態様によれば、前述の態様および実施形態のいずれか1つによる遠隔制御可能な対象物を制御するためのシステムの使用方法が提供され、方法は、第1のコントローラにおいて、データベースからRCOの遠隔制御情報を取得し、第1の通信インターフェースを介して第2のコントローラに遠隔制御情報を送信するステップと、第2のコントローラにおいて、第1の通信インターフェースを介して第1のコントローラから遠隔制御情報を受信し、遠隔制御情報に基づいて少なくとも1つの遠隔制御信号を遠隔制御インターフェースを介してRCOに送信するステップと、を含む。
【0020】
本発明の一実施形態では、本方法は、初期化段階において、第1のコントローラにおいて、
a)識別手段を介して少なくとも1つの候補RCOを識別するステップと、
b)データベースから候補RCOの遠隔制御情報を取得するステップと、
c)候補遠隔制御情報またはそれに含まれる少なくとも1つの候補遠隔制御コマンドを第2のコントローラに送信するステップと、
初期化段階において、第2のコントローラにおいて、
d)候補遠隔制御コマンドに基づいて少なくとも1つの遠隔制御信号を遠隔制御送信ユニットを介してRCOに送信するステップと、
e)候補遠隔制御コマンドに応じたRCOの動作を、動作検証手段を介して検証するステップと、
f)好ましくは、検証された動作に関する情報を第1のコントローラに送信するステップと、をさらに含む。
【0021】
本発明の一実施形態では、本方法は、動作段階において、第1のコントローラにおいて、
a)ユーザから駆動コマンド入力の受信するステップと、
b1)駆動コマンドに対応する1つまたは複数の遠隔制御コマンドを決定し、
遠隔制御コマンドを第2のコントローラに送信するステップ、または
b2)駆動コマンドを前記第2のコントローラに送信するステップであって、第2のコントローラは、駆動コマンドに対応する1つまたは複数の遠隔制御コマンドをするように構成されている、ステップ、および
動作段階において、第2のコントローラにおいて、
c)遠隔制御コマンドに対応する少なくとも1つの遠隔制御信号を遠隔制御送信ユニットを介してRCOに送信するステップと、をさらに含む。
【0022】
本発明の一態様によれば、第1のコントローラに、前述の態様および実施形態のいずれか1つの方法のステップを実行させる、および/または第2のコントローラに、前述の態様および実施形態のいずれか1つの方法のステップを実行させる命令を含むコンピュータプログラム製品が提供される。
【0023】
本発明の一態様によれば、前述の態様のコンピュータプログラムを記憶したコンピュータ可読媒体が提供される。
【0024】
以下、本発明をRC玩具の観点から説明する。しかしながら、これは本発明の好ましい実施形態にすぎず、本発明の範囲を限定するものではないことが当業者には明らかである。特に、本発明のさらなる実施形態は、RCOの上記の詳細なさらなる例およびそれらのそれぞれの用途に関する。
【0025】
本発明の一般的な態様は、以下で第2のコントローラとも呼ばれる、本発明による電子機器モジュールがRCOに取り付けられ、前記モジュールが遠隔制御インターフェースを介してRCOと通信することである。ユーザは、ユーザコントローラに駆動コマンドを入力する。ユーザコントローラは、第1の通信インターフェースを介して1つまたは複数の対応する遠隔制御コマンドをモジュールに送信する。ユーザコントローラは、好ましくは、スマートフォンまたはタブレットなどのスマートデバイスであり、第1の通信インターフェースは、好ましくは、無線ネットワークプロトコル、例えばWiFiに基づくか、または2.402GHz~2.480GHzの工業、科学、および医療用無線帯域の短波長UHF電波、例えばBluetooth(登録商標)を使用する規格化されたインターフェースであることが好ましい。すなわち、IEEE802.11規格ファミリーまたはIEEE802.15.1規格を使用することが好ましい。以下、WiFiおよびBluetoothという用語を使用する。
【0026】
本発明のさらなる一般的な態様は、本発明による電子機器モジュールが、好ましくはRCOに取り付けられるように構成され、リチウムポリマー電池などの独立したエネルギー源をさらに備えることである。あるいは、電子機器モジュールは、RCOのエネルギー源に接続されてもよい。電子モジュールは、好ましくは、ベルクロ(登録商標)テープ、取り外し可能な接着剤、永久接着剤、磁石またはねじなどの適切な取り付け手段によって、RCOに取り付けられるかまたはRCOに挿入される。
【0027】
本発明のさらなる一般的な態様は、無線制御された玩具のためのユニバーサルスマートフォンに基づく制御を提供することである。制御は、RC玩具に取り付けられた装置(以下、第2のユニットともいう)に基づく。装置は、好ましくは、それ自体のエネルギーサブシステム、好ましくはリチウムポリマー電池を備える。ユーザは、スマートフォンを使用して、規格化された通信インターフェースを介して装置に接続し、駆動コマンドをスマートフォンに入力する。
【0028】
装置は、駆動コマンドを遠隔制御信号として、好ましくはRC互換周波数でRC玩具に転送するように構成されている。これにより、ユーザは、スマートフォンへの入力を介してRC玩具を制御することができる。
【0029】
本発明のさらなる一般的な態様では、RC玩具は、ユーザのスマートデバイスでユーザによって撮影される。スマートデバイス上では、画像分類のための訓練済みの機械学習システム、好ましくはニューラルネットワークを備えるシステムが動作する。このシステム、好ましくはネットワークは、RC玩具を識別しようと試み、データベースから最も可能性の高い候補および対応する遠隔制御情報を提供する。以下、機械学習システムという用語は、ニューラルネットワークという用語を包含する。
【0030】
図面の簡単な説明
本発明の上述の目的、利点および特徴、ならびに他のものは、添付の図面と併せて考慮すると、本発明の特定の好ましい実施形態の以下の詳細な説明からより容易に理解されるであろう。
【図面の簡単な説明】
【0031】
【
図1】本発明の一実施形態による方法およびシステムを示す。
【
図2】本発明の一実施形態による方法およびシステムを示す。
【
図3】ヒューリスティック手法に基づく本発明の一実施形態による方法およびシステムを示す。
【
図4a】本発明の実施形態による方法のフローチャートを示す。
図4は、理解度を向上するために、
図4a、
図4b、および
図4cの3つの部分図に分割されている。
【
図4b】本発明の実施形態による方法のフローチャートを示す。
図4は、理解度を向上するために、
図4a、
図4b、および
図4cの3つの部分図に分割されている。
【
図4c】本発明の実施形態による方法のフローチャートを示す。
図4は、理解度を向上するために、
図4a、
図4b、および
図4cの3つの部分図に分割されている。
【
図5】本発明の一実施形態による第2のコントローラのブロック図を示す。
【発明を実施するための形態】
【0032】
図面の詳細な説明
以下、本発明の実施形態について説明する。すべての記載された実施形態のいくつかの態様は、特に明記されない限りまたは当業者に明らかでない限り、いくつかの他の実施形態にも見られ得ることに留意されたい。しかしながら、了解度を高めるために、各態様は、最初に言及されたときにのみ詳細に説明され、同じ態様の繰り返しの説明は省略される。
【0033】
この説明全体を通して、異なる信号が送信および受信される。すべての使用される用語は、それらの通常の意味に基づいて当業者によって解釈されるべきであるが、以下の用語は、以下の定義に基づいて使用される。
【0034】
i)遠隔制御情報という用語。本発明によるデータベースは、遠隔制御対象物に関する遠隔制御情報を維持する。第1のコントローラは、データベースから遠隔制御情報を取得する。
【0035】
ii)データベースに情報を維持するという用語。この用語は、データベースに関するデータ処理のすべてのステップ、すなわち、データベースに情報を送信するステップ、データベースから情報を受信するステップ、データベース内の情報を更新するステップ、データベース内の情報を削除するステップなどを包含する。
【0036】
iii)遠隔制御コマンドという用語。RCOの遠隔制御情報は、RCOのための1つまたは複数の遠隔制御コマンド、例えば、前進コマンド、後退コマンド、左コマンド、右コマンドを含む。好ましくは、1つまたは複数の遠隔制御コマンドは、規格化されたインターフェースを介して第1のユニットから第2のユニットに送信される。
【0037】
iv)駆動コマンドという用語。ユーザは、第1のユニットに駆動コマンドを入力する。本発明の一実施形態では、第1のユニットは、ユーザによって入力された駆動コマンドに対応する1つまたは複数の遠隔制御コマンドを決定し、遠隔制御コマンドを第2のユニットに送信する。本発明の代替の実施形態では、ユーザによって入力された駆動コマンドは第2のユニットに送信され、第2のユニットは対応する遠隔制御コマンドを決定する。
【0038】
v)遠隔制御信号という用語。遠隔制御コマンドは、少なくとも1つの遠隔制御信号を含む。遠隔制御信号送信ユニットは、遠隔制御コマンドに対応する前記遠隔制御信号をRCOに送信し、好ましくは遠隔制御信号は無線信号である。好ましくは、遠隔制御コマンドは、周波数帯域および変調タイプなどの遠隔制御信号に関する情報をさらに含む。
【0039】
vi)遠隔制御シーケンスという用語。遠隔制御信号は、アナログ信号であってもデジタル信号であってもよい。デジタル信号の場合、遠隔制御信号は、好ましくは遠隔制御シーケンスを含む。すなわち、遠隔制御信号を形成する一連のデジタル制御信号である。
【0040】
vii)候補遠隔制御信号の用語リスト。未知のRCO識別の場合、機械学習システム、好ましくはニューラルネットワークが候補RCOのリストを生成する。これにより、1つまたは複数の候補遠隔制御情報が取得される。候補RCOの前記候補遠隔制御情報に基づいて、第1のユニットは、候補遠隔制御コマンドのリストおよび/または候補遠隔制御信号のリストを決定する。
【0041】
viii)マッチという用語。初期化段階において、候補遠隔制御信号がRCOの遠隔制御信号とマッチする場合、RCOは移動を実行する。移動は、慣性測定ユニット(IMU)によって検出される。マッチする遠隔制御信号をマッチと定義する。好ましくは、マッチは、第1のユニットを介してデータベースに報告される。さらに、マッチは、RCOを識別するために、機械学習システム、好ましくはニューラルネットワークの訓練済みモデルを更新するために使用される。
【0042】
ix)ヒューリスティックマッチという用語。初期化段階でマッチが見つからない場合、ヒューリスティックモードが使用される。ヒューリスティックモードでは、すべての考えられる遠隔制御信号が試行錯誤によって順次チェックされる。試行された遠隔制御信号がRCOの遠隔制御信号である場合、移動が検出される。このヒットはヒューリスティックマッチとして定義される。好ましくは、ヒューリスティックマッチは、第1のユニットを介してデータベースに報告される。さらに、ヒューリスティックマッチは、RCOを識別するために、機械学習システムの訓練済みモデル、好ましくはニューラルネットワークを更新するために使用される。
【0043】
本発明の好ましい実施形態では、スマートデバイスが使用される。スマートデバイスという用語は、異なるユーザ機器デバイスを包含する。好ましい実施形態は、スマートフォン、タブレットデバイスまたはラップトップコンピュータなどのスマートデバイスに関する。スマートデバイスは、通常、少なくとも1つの入力手段、フレキシブルコンピューティング手段、記憶手段、および異なる通信手段を提供する。
【0044】
好ましい実施形態では、第1のユニット、すなわち第1のコントローラおよび識別手段は、スマートデバイスにまたはスマートデバイス内に設けられる。この「に設けられる」という用語は、デバイスの電子機器に物理的に統合されること、および/またはスマートデバイスのハードウェアプラットフォーム上のソフトウェアとして実装されることを包含する。特に、本発明によれば、スマートデバイスの入力手段はユーザの駆動コマンドを入力するために使用され、スマートデバイスのカメラデバイスは識別手段の一部として使用され、スマートデバイスのネットワーク接続機能はデータベースに接続するために使用され、スマートデバイスの第1の通信インターフェースは本発明による第2のユニットに接続するために使用される。
【0045】
スマートデバイスと第2のユニットとの間の通信インターフェースの種類は、規格化された通信インターフェースであることが好ましい。好ましい実施形態では、ほとんどのスマートデバイスによってサポートされるインターフェースが使用され、最も好ましくは、WiFi、Bluetooth、ZigBee(登録商標)、IR、LoRaWAN、UMTS、LTE、または5Gインターフェースのうちの1つが使用される。
【0046】
本発明の一実施形態では、ユーザは、スマートデバイスのカメラでRCOの写真をキャプチャする。スマートデバイスでは、画像分類のための訓練された機械学習システム、好ましくはニューラルネットワークが識別手段として動作する。このネットワークはRCOを識別しようと試み、好ましくは、ネットワークはRCOの製造元および/またはモデルを決定する。識別結果に基づいて、最も可能性の高いRCO候補の遠隔制御情報がデータベースから取得される。
【0047】
本発明の一実施形態では、候補遠隔制御コマンドのリストは、取得された候補遠隔制御情報に基づいて生成される。本発明によれば、初期化段階では、特定のRCOに対して1つまたは複数の遠隔制御コマンドを検証する必要がある。
【0048】
すなわち、候補遠隔制御コマンドのリストから、特定の遠隔制御コマンドを分離して検証する必要がある。この目的のために、候補遠隔制御コマンドのリストは、好ましくはWiFiおよび/またはBluetoothを介して、第1のユニット、好ましくはスマートデバイスから第2のユニットに送信される。第2のユニットは、候補遠隔制御コマンドごとに1つまたは複数の対応する候補遠隔制御信号を決定する。第2のユニットは、その後、遠隔制御信号送信ユニットを介して候補遠隔制御信号の各々をRCOに送信する。
【0049】
候補遠隔制御信号がRCOの遠隔制御信号とマッチする場合、RCOは遠隔制御信号を解釈し、対応する動作を実行する。本発明の一実施形態では、第2のユニットは、RCOの加速方向および/または向きを検出する慣性測定ユニット(IMU)を備える。IMUから得られた情報に基づいて、第2のコントローラは、移動のタイプ、好ましくは前進、後退、左、および右の移動のうちの1つを導出する。次いで、移動のタイプは、遠隔制御コマンドに自動的に関連付けられ、マッチと呼ばれる。
【0050】
言い換えると、本発明によれば、特定の遠隔制御信号は、IMUとのマッチの検出に基づいて識別および検証される。
【0051】
好ましい実施形態では、識別および検証された遠隔制御信号は、第2のユニットから第1のユニット、好ましくはスマートデバイスに送信される。マッチは、データベースに提出され、好ましくは機械学習システム、好ましくはニューラルネットワークをさらに訓練するために、識別手段を最適化するために使用される。
【0052】
本発明の一実施形態では、候補遠隔制御信号のリストにマッチが見つからない場合、第2のユニットはヒューリスティックモードに切り替わる。ヒューリスティックモードでは、第2のユニットは、すべての遠隔制御信号、好ましくはそれらの任意の考えられる組み合わせを試みる。
【0053】
RC玩具の場合、好ましくは27から40MHzの周波数範囲が使用される。代替的または追加的に、35、36、49、72、および75MHz/付近の他の既知のRC周波数または帯域が使用されてもよい。この範囲では、主に振幅変調が使用される。27MHzおよび40MHzの振幅変調では、好ましくはオンオフ変調が使用される。これにより、短時間で第1のヒューリスティックマッチを見つけることができる。ヒューリスティックマッチが見つかった場合、RCモデルは遠隔制御信号を受信し、対応する移動を実行する。上述したように、第2のユニットは、加速度を検出し、移動のタイプを決定する。その後、移動のタイプは、遠隔制御コマンドに自動的に関連付けられる。第1の遠隔制御コマンドが識別されている。好ましくは、これは、すべての基本動作タイプが識別されるまで繰り返される。
【0054】
本発明の好ましい実施形態では、移動タイプについて取得されたヒューリスティックマッチは、スマートデバイスからデータベースに提出される新しい遠隔制御情報を形成する。次いで、遠隔制御情報は、識別手段を改善するために使用される。
【0055】
本発明の一般的な概念は、無線制御された玩具のためのユニバーサルスマートフォンに基づく制御を提供することである。制御は、RC玩具に取り付けられた装置に基づく。モジュールは、好ましくは、それ自体のエネルギーサブシステム、好ましくはリチウムポリマー電池を備える。ユーザは、スマートフォンを使用して、規格化された通信インターフェースを介して装置に接続し、駆動コマンドをスマートフォンに入力する。
【0056】
装置は、駆動コマンドを遠隔制御信号として、好ましくはRC互換周波数でRC玩具に転送するように構成されている。これにより、ユーザは、スマートフォンへの入力を介してRC玩具を制御することができる。
【0057】
図1は、本発明の一実施形態による方法およびシステムを示す。第1のステップ201において、RCO101の写真がスマートデバイス100のカメラで撮影される。スマートデバイス上で、画像分類202が実行される。代替的または追加的に、画像分類は、少なくとも部分的に外部サーバ上で実行され、スマートデバイスおよび外部サーバは、スマートデバイスの通信インターフェースを介して接続される。分類結果に基づいて、遠隔制御情報203に対する1つまたは複数の要求がデータベース300に送信される。データベース300は、スマートデバイス上に設けられてもよい。しかしながら、外部サーバ上の中央データベース300が好ましい。この要求に基づいて、少なくとも1つの候補遠隔制御情報204がスマートデバイス100に返信される。
【0058】
図2は、本発明の一実施形態による方法およびシステムを示す。上述したように、少なくとも1つの候補RCOは、機械学習システムの訓練済みモデルによって決定される。したがって、第1のユニット100は、好ましくはスマートデバイス100上で、データベース300から1つまたは複数の候補遠隔制御情報を取得する。
【0059】
本発明の一実施形態では、第1のコントローラは、候補遠隔制御コマンドのリストを決定し、前記リスト205を第2のコントローラ400に送信する。第2のコントローラは、遠隔制御送信ユニット402と、慣性測定ユニット401とを備える。次に、第2のコントローラ400は、候補制御コマンドを処理する。候補制御コマンドに基づいて、遠隔制御送信ユニット402が構成される。すなわち、送信パラメータが設定される。前記パラメータは、チャネル情報、ボーレート、周波数、パルスレート、変調、周波数拡散方法、およびビット情報のうちの1つまたは複数を含むことができる。次に、候補遠隔制御コマンドに基づいて遠隔制御信号206がRCO101に送信される。
【0060】
遠隔制御信号がRCO101によって知られている場合、RCO101は信号を解釈し、動作207を実行する。本発明の一実施形態では、移動207が実行される。IMU401は、移動207を検出する。第2のコントローラ400は、検出された移動207を処理し、検証された遠隔制御コマンド208を第1のユニット100に送信する。
【0061】
代替の実施形態では、第1のユニットにおいて、候補遠隔制御コマンドのリストに基づいて候補遠隔制御信号のリストが決定される。次いで、候補遠隔制御信号の前記リストが第2のユニットに送信される。これにより、第2のユニットの計算労力が低減される。したがって、プロセスの残りのステップが適合される、すなわち、遠隔制御信号が第1のコントローラで処理され、前記信号を処理するすべてのステップも第2のコントローラによって実行される。
【0062】
図3は、本発明の一実施形態による方法およびシステムを示す。加えて、または上述の機械学習手法の代替として、システムは、遠隔制御コマンドのヒューリスティック探索を実行することができる。
【0063】
第2のコントローラ400は、考えられるすべての遠隔制御信号を体系的に試験する(501)。すなわち、遠隔送信ユニットのすべての異なる構成およびすべての既知の遠隔制御信号が試験される(501)。遠隔制御信号がRCO101によって知られている場合、RCO101は信号を解釈し、動作502を実行する。本発明の一実施形態では、移動502が実行される。IMU401は、移動502を検出する。第2のユニット400は、検出された移動502を処理し、検証された遠隔制御コマンド209を第1のユニット100に送信する。第1のユニット100はそれに応じてデータベース300を更新する(210)。
【0064】
本発明の好ましい実施形態では、ヒューリスティック探索が完了した後に、検証された遠隔制御コマンドの完全なセットが第1のユニットに送信される。追加的または代替的に、ヒューリスティック探索を停止させ、検証された遠隔制御コマンドを第1のユニットに送信させる終了基準を定義することができる。そのような基準は、予め設定された時間または所定数の検証された遠隔制御コマンドであってもよい。
【0065】
好ましい実施形態では、機械学習およびヒューリスティック手法は互いに補完する。すなわち、RCOの識別が失敗した場合、および/またはマッチが見つからなかった場合、すなわち遠隔制御コマンドを検証することができなかった場合、ヒューリスティック手法が使用される。さらに、ヒューリスティックマッチが発見された後、結果は、データベース300を更新し、識別手段を改善するために使用される。好ましくは、画像分類202のための機械学習システム、好ましくはニューラルネットワークの訓練済みモデルは、ヒューリスティックマッチに基づいて最適化される。中央データベース300が使用される場合、ヒューリスティック探索は、未知のRCOに対して一度だけ実行される必要がある。RCOがすでに知られている2回目は、例えば異なる色またはカスタマイズされた外観のために、機械学習システム、好ましくはニューラルネットワークによって認識されない場合がある。しかしながら、基本的に同じRCOをさらに数回初期化した後、機械学習システム、好ましくはニューラルネットワークは、データベース300内のRCOおよび対応する遠隔制御情報を識別することができる。
【0066】
図4は、本発明の実施形態による方法のフローチャートを示す。
図4は、理解度を向上するために、
図4a、
図4b、および
図4cの3つの部分図に分割されている。前記部分図の内容は、それぞれデルタ印および丸印で接続されていると理解される。
【0067】
ステップ01において、ユーザは、自分のスマートデバイス100で無線制御車両101の写真を撮る。次に、ユーザは、ステップ02において、好ましくは車両の受信アンテナの近傍で、第2のユニット400を車両101に取り付ける。ステップ01からの写真は、ステップ03において、ニューラル画像分類ネットワーク202によって処理される。このネットワーク202は、無線制御車両タイプを分類しようと試み、最も可能性の高いタイプの結果を返す。
【0068】
以下のデータベース照会ステップ04において、遠隔制御情報がデータベース300からアクセスされ、ステップ05においてユーザのスマートデバイスにロードされる。遠隔制御情報および/またはその中に含まれる遠隔制御コマンドは、ステップ06において、WiFiまたはBluetoothなどの規格化されたインターフェースを介してモジュールに送信される。遠隔制御コマンドから、ステップ07において、モジュール400は遠隔制御信号、好ましくは無線信号を生成する。適切なチャネル、変調、および周波数拡散方法は、遠隔制御コマンドに従って設定される。
【0069】
モジュール400は統合IMU401を備え、これはステップ08において起動され、システムレベル、すなわちモジュール400および車両101で発生する移動を待つ。ステップ09において、IMU401は、好ましくは、移動が記録された、または移動が記録されなかったという結果のうちの一方を返す。移動が記録されるとすぐに、IMU401は移動のタイプを分析する。8つの基本移動タイプ、すなわち、前進、後退、左、右、左前進、右前進、左後退、および右後退の間で区別がなされる。車両に送信された遠隔制御コマンドは、ステップ10のコマンドによってトリガされたそれぞれの移動に自動的に関連付けられる。
【0070】
IMU401によって移動が検出されない場合、ステップ13において、従来の周波数チャネルおよび変調タイプで新しい遠隔制御コマンドを生成するヒューリスティックアルゴリズムが開始する。生成された各コマンドは、移動が検出されるまでステップ06、07、08および09を経る。マッチしたコマンドは、ステップ11において、WiFiまたはBluetoothなどの規格化された無線インターフェースを介してスマートデバイス100に返送される。
【0071】
コマンドはステップ01で作成された写真とマッチングされ、ニューラル画像分類ネットワークは新しいデータセットによって強化される。RCO101とマッチする新しい無線コマンドは、ステップ12においてデータベース300に記憶される。
【0072】
図5は、本発明の一実施形態による第2のコントローラ400のブロック図を示す。第2のコントローラは、RCOに取り付けられるように構成されたデバイスに含まれる。第2のコントローラ400は、エネルギーサブシステム500と、主電子機器ユニット600とを備える。本発明の一実施形態では、エネルギーサブシステム500は、バッテリ501、好ましくはリチウムポリマーバッテリを備える。追加的または代替的に、第2のコントローラは、RCOから電力を供給されるようにRCOに結合されてもよい。
【0073】
本発明の一実施形態では、エネルギーサブシステムは、電圧変換器ユニットに接続された電池保護ユニットに接続された負荷スイッチを備える。エネルギーサブシステムは、好ましくはバスを介して、より好ましくは3.3ボルトバスを介して、後続の主電子機器600に均一な電圧を確実に提供するように構成されている。
【0074】
本発明の一実施形態では、主電子機器モジュール600は、中央処理装置701、好ましくはマイクロコントローラを備える。中央処理装置は、好ましくは、Wifiおよび/またはBluetoothアンテナ611に接続され、好ましくは、アンテナ611は、同じマイクロコントローラに統合される。
【0075】
中央処理装置701は、IMU620と通信し、好ましくはシリアルインターフェース、より好ましくはI2Cインターフェースを介してIMU620と通信する。IMU620は、第2のコントローラが取り付けられたRCOの移動を検出するように構成されている。
【0076】
本発明の一実施形態では、第2のコントローラは、少なくとも1つの移動センサと汎用プロセッサとを備える。汎用プロセッサは、好ましくは中央処理装置である。少なくとも1つの移動センサからのデータは、汎用プロセッサで処理されて移動を検出し、特に第2のコントローラ、したがって遠隔制御対象物の移動を定性化し定量化する。移動検出は、好ましくは、1つまたは複数の閾値、好ましくは加速の持続時間の閾値に基づく。汎用プロセッサはまた、好ましくは、外挿された移動データを決定する。これにより、RCOの移動方向を決定することができる。
【0077】
本発明の好ましい実施形態では、IMUは、一体型加速度計およびジャイロスコープを有する。さらに、IMUは、移動データを処理するように構成されたデジタルモーションプロセッサ(DMP)を備える。DMPは、移動を検出するために使用される。この目的のために、移動が登録される時点の加速度および加速の持続時間のそれぞれの閾値を設定することができる。さらに、DMPは、外挿された移動データを提供する。これにより、RCOの移動方向を決定することができる。
【0078】
本発明の一実施形態では、中央処理装置701はエネルギーサブシステム500とさらに通信し、好ましくはGPIOインターフェースを介してエネルギーサブシステムと通信する。
【0079】
本発明の一実施形態では、中央処理装置701は送信サブシステム800とさらに通信し、好ましくはSPIインターフェースを介して送信サブシステムと通信する。送信サブシステム800は、各々が対応するアンテナを有する、1つまたは複数の送信機または送受信機を備える。好ましい実施形態では、送信サブシステムは、MHz送信機801および2.4GHz送受信機802を備える。
【0080】
本発明の一実施形態では、主電子機器モジュール600は、第2のコントローラの状態に関する様々な情報を示すための信号LED630をさらに備える。
【0081】
好ましい実施形態では、第2のコントローラはプリント回路基板上に形成される。
上記のシステムおよび方法は、異なるRCOおよび異なるスマートデバイスに対して異なる方法で実施することができることは当業者には明らかである。以下の実施形態は、実施のためのさらなる詳細を提供する。
【0082】
実施形態では、第1および第2のコントローラに記憶される情報は、実装に応じて異なり得る。一般に、処理は、スマートデバイス上で、または第2のユニットのコントローラ内で実行することができる。計算コストが高い処理はスマートデバイス上で実行され、送信ハードウェア固有の処理は第2のコントローラ上で実行されることが好ましい。
【0083】
本発明の実施形態では、遠隔制御信号は単一の信号であってもよいが、複雑な信号であってもよく、特に遠隔制御信号は無線制御値の行列であってもよい。
【0084】
本発明の実施形態では、ヒューリスティック探索のパラメータは、信号タイプ、すなわちデジタルまたはアナログの情報、周波数帯域またはチャネル情報、ボーレート、変調、周波数拡散方法およびビット情報のうちの1つまたは複数を含むことができる。
【0085】
本発明の実施形態では、特にデジタル遠隔制御信号に関する実施形態では、パラメータ空間は、完全なヒューリスティック探索には大きすぎる可能性がある。既知の参照コマンドに基づく適合探索を使用することが好ましい。対照的に、アナログ信号の場合、パラメータ空間ははるかに小さく、数分以内にすべての考えられるコマンドを試験することができる。デジタル信号の場合、既知の参照コマンドとの組み合わせは、処理時間を数秒に短縮する。参照コマンドを介して第1のコマンドがマッチングされた後、唯一の未知のパラメータはビット情報であり、これはヒューリスティックにはるかに高速にマッチングすることができる。
【0086】
あるいは、上述のシステムおよび方法の実施形態は、ユーザのビューに基づいて説明することができる。ユーザは、スマートデバイスでRCOの写真を撮る。第1のコントローラ、好ましくはスマートデバイス上のアプリは、RCOを識別し、適切な遠隔制御情報を求めるデータベース要求を実行する。
【0087】
受信された遠隔制御情報は、規格化された通信インターフェース、好ましくはWiFiまたはBluetoothインターフェースを介して、スマートデバイスから第2のユニットに送信される。第2のコントローラは、そこに含まれる遠隔制御情報および/または遠隔制御コマンドに基づいて遠隔制御信号を生成する。第2のコントローラは、遠隔制御信号をRCOに送信する。
【0088】
RCOが移動する場合、移動が第2のユニットによって検出され、遠隔制御コマンドが検証される。検証されたコマンドは、スマートデバイス、すなわち第1のコントローラに返される。第1のコントローラは、検証されたコマンドをデータベースに送信し、前記データベースを拡張する。これにより、機械学習システム、好ましくはニューラルネットワークが改善される。
【0089】
RCOが移動しない場合、第2のコントローラは、移動が検出されるまで経験に基づく推測を実行する非学習ヒューリスティックを開始する。ヒューリスティックマッチは、第1のコントローラに返される。第1のコントローラは、検証されたコマンドをデータベースに送信し、前記データベースを拡張する。これにより、機械学習システム、好ましくはニューラルネットワークが改善される。好ましくは、画像認識が改善される。このプロセスはすべての移動方向について実行され、成功した推測の後に探索が加速される。
【0090】
検証は、移動方向に基づいて行うことが好ましい。しかしながら、追加的または代替的に、検証はまた、加速度に基づいて、より好ましくは測定された加速度データに基づく移動の品質推定値に基づいて実行される。これにより、好ましくは振幅変調信号において時折観測される擬似整合遠隔制御コマンドの誤った検証が防止される。そのような擬似整合の信号は、RCOを一方向、例えば前方に不均一に移動させるが、移動は一定ではなく、したがって加速度データは擬似整合を識別することを可能にする。好ましい実施形態では、検証は、前記加速度データを測定するIMUに基づいて行われる。
【0091】
RCOの遠隔制御コマンドが初期化段階で、すなわちRCOの識別および/またはヒューリスティック手法のいずれかによって知られるとすぐに、コマンドは、第2のコントローラに記憶される。
【0092】
追加的または代替的に、ユーザは、探索空間を制限するために、製造元、モデル、製品名、ブランド名、またはRCOのシリアル番号やEANなどの製品識別子を入力することができる。RCOがユーザ入力を介して識別される場合、対応する遠隔制御情報が本発明によるデータベースから受信され、遠隔制御コマンドが本発明による方法を介して検証される。
【0093】
動作段階では、ユーザは、スマートデバイスに駆動コマンドを入力する。第1のコントローラは、好ましくは所定のフォーマットに基づいて、前記駆動コマンドを第2のコントローラに送信することが好ましい。第2のコントローラは、ユーザの駆動コマンドに基づいて対応する遠隔制御信号を生成する。動作段階では、データベース照会が実行されないことが好ましい。これは、レイテンシの増加を回避し、それによってユーザ体験を減らすという利点を有する。
【0094】
本発明の一実施形態では、3D測位方法と汎用遠隔制御方法とが組み合わされる。3D測位方法は、参照により本明細書に組み込まれる、「Method and System for determining a three dimensional Position」という名称の特許出願、すなわち、本出願と共に出願された代理人文献AD2570 EPに詳細に記載されている。
【0095】
システムは、カメラおよび第2のコントローラを有するスマートデバイスを備える。第2のコントローラは、標準化されたインターフェースを介してスマートデバイスに接続される。第2のコントローラは、遠隔制御信号を遠隔制御対象物体に送信するように構成される。好ましい実施形態では、第2のコントローラは、スマートデバイスのポートに取り付けられるように構成され、かつ遠隔制御信号を遠隔制御対象物体に送信するようにさらに構成されたドングル型デバイスに設けられる。
【0096】
初期化段階では、スマートデバイスのカメラは、コンピュータビジョンアルゴリズムを介して遠隔制御対象物体を識別するために使用される。好ましくは、スマートデバイスはデータベースに接続され、コンピュータビジョンアルゴリズムは、データベースからのデータを利用して遠隔制御対象物体を識別する機械学習アルゴリズムである。
【0097】
遠隔制御対象物体が識別された場合、対応する遠隔制御情報がデータベースから受信され、遠隔制御情報に含まれる遠隔制御コマンドが3D測位方法を介して検証される。
【0098】
すなわち、スマートデバイスから第2のコントローラに遠隔制御コマンドが送信される。第2のコントローラは、対応する遠隔制御信号を生成し、遠隔制御信号を遠隔制御対象物体に送信する。あるいは、遠隔制御信号はスマートデバイスにおいて既に生成されており、第2のコントローラは、標準化されたインターフェースを介してスマートデバイスから遠隔制御信号を受信し、信号を遠隔制御対象物体に送信するだけである。
【0099】
遠隔制御コマンドを検証するために、スマートデバイスのカメラを使用して、移動を検出する、すなわち遠隔制御対象物体の位置の変化を検出する。言い換えると、スマートデバイスのカメラを行動検証手段として用いる。
【0100】
続いて、カメラから複数の画像が取得される。画像に基づいて、および拡張現実アルゴリズムに基づいて、画像内の空間の3Dマップが計算され、1つまたは複数の平面が3Dマップ内で識別される。3Dマップ内のカメラの3D位置は、スマートデバイスの位置決めユニットに基づいて決定される。追加的または代替的に、データベースから事前に計算された3Dマップが使用されてもよい。追加的または代替的に、3Dマップ内のカメラの3D位置は、画像に基づいて計算される。
【0101】
さらに、画像およびコンピュータビジョンアルゴリズムに基づいて、画像内の遠隔制御対象物の複数の2D位置が決定される。2D位置の各々に基づいて、対応する3D位置が計算される。
【0102】
それぞれの3D位置は以下のように決定される。カメラの位置を起点とし、3Dマップ内の平面への遠隔制御対象物体の投影の2D位置を指すベクトルが3Dマップ内で計算される。3D位置は、前記ベクトルと3Dマップ内の前記平面との交差を決定することから計算される。各2D位置について、3D位置が計算される。
【0103】
複数の3D位置は、遠隔制御対象物の軌道を定義する。軌道は、遠隔制御対象物体の移動を示す。移動は、遠隔制御コマンドを検証するために使用される。
【0104】
遠隔制御対象物体を識別できない場合、遠隔制御コマンドのヒューリスティック探索が実行される。同じカメラベースの移動検証方法が、遠隔制御対象物体の移動を識別するために使用される。
【0105】
動作段階では、ユーザは、スマートデバイスに駆動コマンドを入力する。スマートデバイスは、好ましくは所定のフォーマットに基づいて、前記駆動コマンドを第2のコントローラに送信することが好ましい。第2のコントローラは、ユーザの駆動コマンドに基づいて対応する遠隔制御信号を生成する。
【0106】
図6は、本発明の一実施形態による方法およびシステムを示す。この実施形態では、統合カメラを備えたスマートデバイス100が使用される。RCO101は、カメラ入力に基づいて識別される。スマートデバイス100には、動作確認手段を持たない第2のコントローラ400が接続されている。好ましくは、第2のコントローラ400は、物理インターフェース、すなわちプラグインまたは有線接続を介して、より好ましくはUSBまたはLightningインターフェースを介してスマートデバイス100に接続される。
【0107】
上述したように、第2のコントローラ400は、RCO101に遠隔制御信号を送信するように構成されている。RCOは、スマートデバイス100のカメラの視野内にある。スマートデバイス100は、上述したように、3D測位方法に基づいてRCO101の移動208を検出するように構成されている。
【0108】
本明細書で説明および例示されたものは、いくつかの変形形態と共に本発明の実施形態である。本明細書で使用される用語、説明および図は、例示のみを目的として記載されており、限定を意味するものではない。当業者であれば、すべての用語が特に断りのない限り最も広義かつ合理的な意味で用いられる以下の特許請求の範囲およびその均等物によって定義されることが意図されている本発明の精神および範囲内で多くの変形が可能であることを認識するであろう。
【国際調査報告】