IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ シェンツェン・ヴォックステック・カンパニー・リミテッドの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-09-21
(54)【発明の名称】端末制御システム及び方法
(51)【国際特許分類】
   G06F 3/01 20060101AFI20230913BHJP
   A61B 5/11 20060101ALI20230913BHJP
【FI】
G06F3/01 510
A61B5/11
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022562834
(86)(22)【出願日】2021-08-11
(85)【翻訳文提出日】2022-10-14
(86)【国際出願番号】 CN2021112094
(87)【国際公開番号】W WO2023015490
(87)【国際公開日】2023-02-16
(81)【指定国・地域】
(71)【出願人】
【識別番号】521080118
【氏名又は名称】シェンツェン・ショックス・カンパニー・リミテッド
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】袁 永▲帥▼
(72)【発明者】
【氏名】▲デン▼ 文俊
(72)【発明者】
【氏名】周 文兵
(72)【発明者】
【氏名】黄 雨佳
(72)【発明者】
【氏名】廖 ▲風▼云
(72)【発明者】
【氏名】▲齊▼ 心
【テーマコード(参考)】
4C038
5E555
【Fターム(参考)】
4C038VA04
4C038VA15
4C038VB01
5E555AA62
5E555AA76
5E555BA17
5E555BA38
5E555BB38
5E555BC04
5E555CA41
5E555CB66
5E555CB69
5E555DA31
5E555DD06
5E555DD08
5E555EA25
5E555FA00
(57)【要約】
本願の実施例は、システム及び方法を開示し、該システムは、コンピュータ命令を記憶する少なくとも1つの記憶装置と、少なくとも1つの記憶装置と通信する少なくとも1つのプロセッサと、を含み、少なくとも1つのプロセッサは、記憶されたコンピュータ命令を実行する場合、システムに、少なくとも1つのセンサ装置のセンサ信号を取得させ、センサ信号の信号特徴を識別させ、信号特徴に基づいて、少なくとも1つのセンサ装置に関連するターゲットオブジェクトの動作を決定させる。
【特許請求の範囲】
【請求項1】
コンピュータ命令を記憶するように構成された記憶装置と、
前記記憶装置と通信するプロセッサと、を含むシステムであって、
前記プロセッサは、前記コンピュータ命令を実行する場合、前記システムに、
少なくとも1つのセンサ装置のセンサ信号を取得させ、
前記センサ信号の信号特徴を識別させ、
前記信号特徴に基づいて、前記少なくとも1つのセンサ装置に関連するターゲットオブジェクトの動作を決定させる、システム。
【請求項2】
前記少なくとも1つのセンサ装置は、振動センサ装置を含む、請求項1に記載のシステム。
【請求項3】
前記信号特徴は、振動ピークの数、信号強度、隣接する振動ピークの間隔時間、周波数成分、信号継続時間のうちの1つ又は複数の組み合わせを含む、請求項2に記載のシステム。
【請求項4】
前記振動センサ装置は、固体媒体を介して振動受け領域に接続され、かつ前記振動受け領域に入力された振動信号を受信する、請求項2又は3に記載のシステム。
【請求項5】
前記振動信号は、前記振動受け領域を叩き、タッピングするか又は擦る方法で前記振動受け領域に入力される、請求項4に記載のシステム。
【請求項6】
前記振動センサ装置は、接着、嵌め込み、溶接、リベット接合、ねじ接続のうちの少なくとも1つの方法で前記固体媒体に固定的に接続され得る、請求項4に記載のシステム。
【請求項7】
前記振動センサ装置は、前記固体媒体における振幅が大きい位置に設置される、請求項4~6のいずれか一項に記載のシステム。
【請求項8】
前記信号特徴に基づいて、前記少なくとも1つのセンサ装置に関連するターゲットオブジェクトの動作を決定することは、
前記信号特徴がプリセット特徴を満たすか否かを判断することと、
前記信号特徴がプリセット特徴を満たすことに応答して、前記プリセット特徴に対応する前記ターゲットオブジェクトの動作を決定することと、を含む、請求項4~7のいずれか一項に記載のシステム。
【請求項9】
前記信号特徴がプリセット特徴を満たすか否かを判断することは、
機械学習モデルであるプリセット特徴条件識別モデルに基づいて、前記信号特徴がプリセット特徴を満たすか否かを判定することを含む、請求項8に記載のシステム。
【請求項10】
前記ターゲットオブジェクトの動作は、端末装置を第1の状態から第2の状態に切り替えることを含む、請求項4~9のいずれか一項に記載のシステム。
【請求項11】
前記少なくとも1つのセンサ装置のセンサ信号を取得することは、
前記少なくとも1つのセンサ装置の第1のセンサ信号を取得することと、
前記第1のセンサ信号が信号閾値よりも大きいか否かを判断することと、
前記第1のセンサ信号が前記信号閾値よりも大きいことに応答して、前記第1のセンサ信号後の閾値時間範囲内の信号を前記センサ信号として取得することと、を含む、請求項1に記載のシステム。
【請求項12】
前記振動センサ装置は、ユーザの身体部位に密着するウェアラブルデバイスに設置され、前記ウェアラブルデバイスにより前記ユーザの身体活動による振動信号を受信する、請求項2又は3に記載のシステム。
【請求項13】
前記振動センサ装置は、ユーザの身体部位に密着して、前記ユーザの身体活動による振動信号を受信する、請求項2又は3に記載のシステム。
【請求項14】
前記身体活動は、咳、くしゃみ、いびき、あくび又は転倒を含む、請求項12又は13に記載のシステム。
【請求項15】
前記信号特徴に基づいて、前記少なくとも1つのセンサ装置に関連するターゲットオブジェクトの動作を決定することは、
前記信号特徴に基づいて、前記ユーザの生理的状態を決定することと、
前記ユーザの前記生理的状態に基づいて、前記生理的状態に対応する前記ターゲットオブジェクトの動作を決定することと、を含む、請求項12~14のいずれか一項に記載のシステム。
【請求項16】
前記信号特徴に基づいて、前記ユーザの生理的状態を決定することは、
前記信号特徴がプリセット特徴を満たすか否かを判断することと、
前記信号特徴が前記プリセット特徴を満たすことに応答して、前記プリセット特徴に対応する前記生理的状態を決定することと、を含む、請求項15に記載のシステム。
【請求項17】
前記ターゲットオブジェクトの動作は、移動端末が健康状態を記録するか又は早期警報を発することを含む、請求項12~16のいずれか一項に記載のシステム。
【請求項18】
前記振動センサ装置の応答周波数が2KHz~4.5KHzである、請求項12に記載のシステム。
【請求項19】
前記振動センサ装置の感度が-35dBV/(m/s)~-15dBV/(m/s)である、請求項12に記載のシステム。
【請求項20】
前記少なくとも1つのセンサ装置は、動作センサ装置をさらに含む、請求項12~19のいずれか一項に記載のシステム。
【請求項21】
前記信号特徴に基づいて、前記少なくとも1つのセンサ装置に関連するターゲットオブジェクトの動作を決定することは、
前記信号特徴に基づいて、前記ユーザが転倒したか否か及びその身体姿勢を決定することと、
前記ユーザが転倒したか否か及びその身体姿勢に基づいて、前記ターゲットオブジェクトの対応する動作を決定することと、を含む、請求項20に記載のシステム。
【請求項22】
前記ユーザが転倒したか否か及びその身体姿勢に基づいて、前記ターゲットオブジェクトの対応する動作を決定することは、
前記ユーザが転倒し、かつ身体姿勢が静止状態にあると判断すると、前記ユーザが危険な状態にあると判定し、かつ移動端末が救助要請を実行する動作を決定することを含む、請求項21に記載のシステム。
【請求項23】
前記少なくとも1つのセンサ装置は、生理的パラメータセンサ装置をさらに含む、請求項20に記載のシステム。
【請求項24】
前記信号特徴に基づいて、前記少なくとも1つのセンサ装置に関連するターゲットオブジェクトの動作を決定することは、
前記信号特徴に基づいて、前記ユーザが転倒したか否かとその身体姿勢及び生理的パラメータを決定することと、
前記ユーザが転倒したか否かとその身体姿勢及び生理的パラメータに基づいて、前記ターゲットオブジェクトの対応する動作を決定することと、を含む、請求項21に記載のシステム。
【請求項25】
前記ユーザが転倒したか否かとその身体姿勢及び生理的パラメータに基づいて、前記ターゲットオブジェクトの対応する動作を決定することは、
前記ユーザが転倒し、かつ身体姿勢が静止状態にあるか又は生理的パラメータがプリセット閾値を超えると判断すると、前記ユーザが危険な状態にあると判定し、かつ移動端末が救助要請を実行する動作を決定することを含む、請求項24に記載のシステム。
【請求項26】
前記生理的パラメータは、心拍数、血圧又は血糖のうちの少なくとも1つを含む、請求項25に記載のシステム。
【請求項27】
前記身体活動は、歯の衝突を含む、請求項12又は13に記載のシステム。
【請求項28】
前記少なくとも1つのセンサ装置は、特定の位置に設置された振動センサ装置を含む、請求項27に記載のシステム。
【請求項29】
前記センサ信号の信号特徴を識別することは、
前記センサ信号の振動ピークの数、隣接する振動ピークの間隔時間及び信号継続時間を識別することを含む、請求項28に記載のシステム。
【請求項30】
前記少なくとも1つのセンサ装置は、それぞれ異なる位置に設置された振動センサ装置を含む、請求項27に記載のシステム。
【請求項31】
前記信号特徴は、前記異なる位置にある振動センサ装置のセンサ信号の位相差をさらに含み、前記センサ信号の位相差は、振動信号の位置を特定するために用いられる、請求項30に記載のシステム。
【請求項32】
前記センサ信号の信号特徴を識別することは、
前記センサ信号の振動ピークの数、隣接する振動ピークの間隔時間、信号継続時間及び前記振動信号の位相差を識別することを含む、請求項31に記載のシステム。
【請求項33】
前記ターゲットオブジェクトの動作は、端末装置を第1の状態から第2の状態に切り替えることを含む、請求項27~32のいずれか一項に記載のシステム。
【請求項34】
前記少なくとも1つのセンサ装置のセンサ信号を取得することは、
前記少なくとも1つのセンサ装置の第2のセンサ信号を取得することと、
前記第2のセンサ信号の周波数がプリセット周波数閾値よりも低いか否かを判断することと、
前記第2のセンサ信号の周波数がプリセット周波数閾値よりも低いことに応答して、前記第2のセンサ信号が誤トリガ信号であると判定することと、を含む、請求項27~33のいずれか一項に記載のシステム。
【請求項35】
前記少なくとも1つのセンサ装置は、オーディオ入力装置を含み、前記少なくとも1つのセンサ装置のセンサ信号を取得することは、
前記少なくとも1つのセンサ装置の第3のセンサ信号を取得することと、
前記オーディオ入力装置が同時にユーザの音声情報を受信したか否かを判断することと、
前記オーディオ入力装置がユーザの音声情報を受信したことに応答して、前記第3のセンサ信号が誤トリガ信号であると判定することと、を含む、請求項27~33のいずれか一項に記載のシステム。
【請求項36】
前記少なくとも1つのセンサ装置のセンサ信号を取得することは、
前記少なくとも1つのセンサ装置の第4のセンサ信号を取得することと、
誤トリガ識別モデルに基づいて、前記第4のセンサ信号が誤トリガ信号であるか否かを判断することと、
前記第4のセンサ信号が誤トリガ信号ではないことに応答して、前記第4のセンサ信号後の閾値時間範囲内の信号を前記センサ信号として取得することと、を含む、請求項27~33のいずれか一項に記載のシステム。
【請求項37】
前記誤トリガ識別モデルは機械学習モデルである、請求項36に記載のシステム。
【請求項38】
少なくとも1つのセンサ装置のセンサ信号を取得することと、
前記センサ信号の信号特徴を識別することと、
前記信号特徴に基づいて、前記少なくとも1つのセンサ装置に関連するターゲットオブジェクトの動作を決定することと、を含む、方法。
【請求項39】
前記少なくとも1つのセンサ装置は、振動センサ装置を含む、請求項38に記載の方法。
【請求項40】
前記信号特徴は、振動ピークの数、信号強度、隣接する振動ピークの間隔時間、周波数成分、信号継続時間のうちの1つ又は複数の組み合わせを含む、請求項39に記載の方法。
【請求項41】
前記振動センサ装置は、固体媒体を介して振動受け領域に接続され、かつ前記振動受け領域に入力された振動信号を受信する、請求項39又は40に記載の方法。
【請求項42】
前記振動信号は、前記振動受け領域を叩き、タッピングするか又は擦る方法で前記振動受け領域に入力される、請求項41に記載の方法。
【請求項43】
前記振動センサ装置は、接着、嵌め込み、溶接、リベット接合、ねじ接続のうちの少なくとも1つの方法で前記固体媒体に固定的に接続され得る、請求項41に記載の方法。
【請求項44】
前記振動センサ装置は、前記固体媒体における振幅が大きい位置に設置される、請求項41~43のいずれか一項に記載の方法。
【請求項45】
前記信号特徴に基づいて、前記少なくとも1つのセンサ装置に関連するターゲットオブジェクトの動作を決定することは、
前記信号特徴がプリセット特徴を満たすか否かを判断することと、
前記信号特徴がプリセット特徴を満たすことに応答して、前記プリセット特徴に対応する前記ターゲットオブジェクトの動作を決定することと、を含む、請求項41~44のいずれか一項に記載の方法。
【請求項46】
前記信号特徴がプリセット特徴を満たすか否かを判断することは、
機械学習モデルであるプリセット特徴条件識別モデルに基づいて、前記信号特徴がプリセット特徴を満たすか否かを判定することを含む、請求項45に記載の方法。
【請求項47】
前記ターゲットオブジェクトの動作は、端末装置を第1の状態から第2の状態に切り替えることを含む、請求項41~46のいずれか一項に記載の方法。
【請求項48】
前記少なくとも1つのセンサ装置のセンサ信号を取得することは、
前記少なくとも1つのセンサ装置の第1のセンサ信号を取得することと、
前記第1のセンサ信号が信号閾値よりも大きいか否かを判断することと、
前記第1のセンサ信号が前記信号閾値よりも大きいことに応答して、前記第1のセンサ信号後の閾値時間範囲内の信号を前記センサ信号として取得することと、を含む、請求項38に記載の方法。
【請求項49】
前記振動センサ装置は、ユーザの身体部位に密着するウェアラブルデバイスに設置され、前記ウェアラブルデバイスにより前記ユーザの身体活動による振動信号を受信する、請求項39又は40に記載の方法。
【請求項50】
前記振動センサ装置は、ユーザの身体部位に密着して、前記ユーザの身体活動による振動信号を受信する、請求項39又は40に記載の方法。
【請求項51】
前記身体活動は、咳、くしゃみ、いびき、あくび又は転倒を含む、請求項49又は50に記載の方法。
【請求項52】
前記信号特徴に基づいて、前記少なくとも1つのセンサ装置に関連するターゲットオブジェクトの動作を決定することは、
前記信号特徴に基づいて、前記ユーザの生理的状態を決定することと、
前記ユーザの前記生理的状態に基づいて、前記生理的状態に対応する前記ターゲットオブジェクトの動作を決定することと、を含む、請求項49~51のいずれか一項に記載の方法。
【請求項53】
前記信号特徴に基づいて、前記ユーザの生理的状態を決定することは、
前記信号特徴がプリセット特徴を満たすか否かを判断することと、
前記信号特徴が前記プリセット特徴を満たすことに応答して、前記プリセット特徴に対応する前記生理的状態を決定することと、を含む、請求項52に記載の方法。
【請求項54】
前記ターゲットオブジェクトの動作は、移動端末が健康状態を記録するか又は早期警報を発することを含む、請求項49~53のいずれか一項に記載の方法。
【請求項55】
前記振動センサ装置の応答周波数が2KHz~4.5KHzである、請求項49に記載の方法。
【請求項56】
前記振動センサ装置の感度が-35dBV/(m/s)~-15dBV/(m/s)である、請求項49に記載の方法。
【請求項57】
前記少なくとも1つのセンサ装置は、動作センサ装置をさらに含む、請求項49~56のいずれか一項に記載の方法。
【請求項58】
前記信号特徴に基づいて、前記少なくとも1つのセンサ装置に関連するターゲットオブジェクトの動作を決定することは、
前記信号特徴に基づいて、前記ユーザが転倒したか否か及びその身体姿勢を決定することと、
前記ユーザが転倒したか否か及びその身体姿勢に基づいて、前記ターゲットオブジェクトの対応する動作を決定することと、を含む、請求項57に記載の方法。
【請求項59】
前記ユーザが転倒したか否か及びその身体姿勢に基づいて、前記ターゲットオブジェクトの対応する動作を決定することは、
前記ユーザが転倒し、かつ身体姿勢が静止状態にあると判断すると、前記ユーザが危険な状態にあると判定し、かつ移動端末が救助要請を実行する動作を決定することを含む、請求項58に記載の方法。
【請求項60】
前記少なくとも1つのセンサ装置は、生理的パラメータセンサ装置をさらに含む、請求項57に記載の方法。
【請求項61】
前記信号特徴に基づいて、前記少なくとも1つのセンサ装置に関連するターゲットオブジェクトの動作を決定することは、
前記信号特徴に基づいて、前記ユーザが転倒したか否かとその身体姿勢及び生理的パラメータを決定することと、
前記ユーザが転倒したか否かとその身体姿勢及び生理的パラメータに基づいて、前記ターゲットオブジェクトの対応する動作を決定することと、を含む、請求項58に記載の方法。
【請求項62】
前記ユーザが転倒したか否かとその身体姿勢及び生理的パラメータに基づいて、前記ターゲットオブジェクトの対応する動作を決定することは、
前記ユーザが転倒し、かつ身体姿勢が静止状態にあるか又は生理的パラメータがプリセット閾値を超えると判断すると、前記ユーザが危険な状態にあると判定し、かつ移動端末が救助要請を実行する動作を決定することを含む、請求項61に記載の方法。
【請求項63】
前記生理的パラメータは、心拍数、血圧又は血糖のうちの少なくとも1つを含む、請求項62に記載の方法。
【請求項64】
前記身体活動は、歯の衝突を含む、請求項49又は50に記載の方法。
【請求項65】
前記少なくとも1つのセンサ装置は、特定の位置に設置された振動センサ装置を含む、請求項64に記載の方法。
【請求項66】
前記センサ信号の信号特徴を識別することは、
前記センサ信号の振動ピークの数、隣接する振動ピークの間隔時間及び信号継続時間を識別することを含む、請求項65に記載の方法。
【請求項67】
前記少なくとも1つのセンサ装置は、それぞれ異なる位置に設置された振動センサ装置を含む、請求項64に記載の方法。
【請求項68】
前記信号特徴は、前記異なる位置にある振動センサ装置のセンサ信号の位相差をさらに含み、前記センサ信号の位相差は、振動信号の位置を特定するために用いられる、請求項67に記載の方法。
【請求項69】
前記センサ信号の信号特徴を識別することは、
前記センサ信号の振動ピークの数、隣接する振動ピークの間隔時間、信号継続時間及び前記振動信号の位相差を識別することを含む、請求項68に記載の方法。
【請求項70】
前記ターゲットオブジェクトの動作は、端末装置を第1の状態から第2の状態に切り替えることを含む、請求項64~69のいずれか一項に記載の方法。
【請求項71】
前記少なくとも1つのセンサ装置のセンサ信号を取得することは、
前記少なくとも1つのセンサ装置の第2のセンサ信号を取得することと、
前記第2のセンサ信号の周波数がプリセット周波数閾値よりも低いか否かを判断することと、
前記第2のセンサ信号の周波数がプリセット周波数閾値よりも低いことに応答して、前記第2のセンサ信号が誤トリガ信号であると判定することと、を含む、請求項64~70のいずれか一項に記載の方法。
【請求項72】
前記少なくとも1つのセンサ装置は、オーディオ入力装置を含み、前記少なくとも1つのセンサ装置のセンサ信号を取得することは、
前記少なくとも1つのセンサ装置の第3のセンサ信号を取得することと、
前記オーディオ入力装置が同時にユーザの音声情報を受信したか否かを判断することと、
前記オーディオ入力装置がユーザの音声情報を受信したことに応答して、前記第3のセンサ信号が誤トリガ信号であると判定することと、を含む、請求項64~70のいずれか一項に記載の方法。
【請求項73】
前記少なくとも1つのセンサ装置のセンサ信号を取得することは、
前記少なくとも1つのセンサ装置の第4のセンサ信号を取得することと、
誤トリガ識別モデルに基づいて、前記第4のセンサ信号が誤トリガ信号であるか否かを判断することと、
前記第4のセンサ信号が誤トリガ信号ではないことに応答して、前記第4のセンサ信号後の閾値時間範囲内の信号を前記センサ信号として取得することと、を含む、請求項64~70のいずれか一項に記載の方法。
【請求項74】
前記誤トリガ識別モデルは機械学習モデルである、請求項73に記載の方法。
【請求項75】
コンピュータ命令を含み、
少なくとも1つのプロセッサにより実行されると、前記コンピュータ命令は、前記少なくとも1つのプロセッサに
少なくとも1つのセンサ装置のセンサ信号を取得させ、
前記センサ信号の信号特徴を識別させ、
前記信号特徴に基づいて、前記少なくとも1つのセンサ装置に関連するターゲットオブジェクトの動作を決定させることができる、非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書は、センサの分野に関し、特に、センサ装置が収集したセンサ信号に基づいて端末装置を制御するシステム及び方法に関する。
【背景技術】
【0002】
ますます多くのスマート端末装置が日常生活に登場し、スマート端末装置を効率的かつ容易に制御することはユーザ体験を向上させることに有益である。一般的に使用されるヒューマンコンピュータインタラクションは、音声対話の方法で、又は端末装置に設置されたエンティティ構造を手動で操作することにより実現されるが、ノイズが高く、環境輝度が低いか又はユーザに対して操作が不便であるなどのいくつかの場合において、音声対話又はパネルにおける手動操作により端末装置を操作することは、特定の困難や問題を伴う可能性がある。
【0003】
本明細書は、ターゲットオブジェクトの動作を決定する方法を提供することにより、決定されたターゲットオブジェクトの動作の正確性を向上させることで、ターゲットオブジェクトの動作をよりユーザの要望に合わせることができる。
【発明の概要】
【0004】
本願のいくつかの実施例に係るシステムは、コンピュータ命令を記憶するように構成された記憶装置と、前記記憶装置と通信するプロセッサと、を含み、前記プロセッサは、記憶された前記コンピュータ命令を実行する場合、前記システムに、少なくとも1つのセンサ装置のセンサ信号を取得させ、前記センサ信号の信号特徴を識別させ、前記信号特徴に基づいて、前記少なくとも1つのセンサ装置に関連するターゲットオブジェクトの動作を決定させる。
【0005】
いくつかの実施例において、前記少なくとも1つのセンサ装置は、振動センサ装置を含む。
【0006】
いくつかの実施例において、前記信号特徴は、振動ピークの数、信号強度、隣接する振動ピークの間隔時間、周波数成分、信号継続時間のうちの1つ又は複数の組み合わせを含む。
【0007】
いくつかの実施例において、前記振動センサ装置は、固体媒体を介して振動受け領域に接続され、かつ前記振動受け領域に入力された振動信号を受信する。
【0008】
いくつかの実施例において、前記振動信号は、前記振動受け領域を叩き、タッピングするか又は擦る方法で前記振動受け領域に入力される。
【0009】
いくつかの実施例において、前記振動センサ装置は、接着、嵌め込み、溶接、リベット接合、ねじ接続のうちの少なくとも1つの方法で前記固体媒体に固定的に接続され得る。
【0010】
いくつかの実施例において、前記振動センサ装置は、前記固体媒体における振幅が大きい位置に設置される。
【0011】
いくつかの実施例において、前記信号特徴に基づいて、前記少なくとも1つのセンサ装置に関連するターゲットオブジェクトの動作を決定することは、前記信号特徴がプリセット特徴を満たすか否かを判断することと、前記信号特徴がプリセット特徴を満たすことに応答して、前記プリセット特徴に対応する前記ターゲットオブジェクトの動作を決定することと、を含む。
【0012】
いくつかの実施例において、前記信号特徴がプリセット特徴を満たすか否かを判断することは、機械学習モデルであるプリセット特徴条件識別モデルに基づいて、前記信号特徴がプリセット特徴を満たすか否かを判定することを含む。
【0013】
いくつかの実施例において、前記ターゲットオブジェクトの動作は、端末装置を第1の状態から第2の状態に切り替えることを含む。
【0014】
いくつかの実施例において、前記少なくとも1つのセンサ装置のセンサ信号を取得することは、前記少なくとも1つのセンサ装置の第1のセンサ信号を取得することと、前記第1のセンサ信号が信号閾値よりも大きいか否かを判断することと、前記第1のセンサ信号が前記信号閾値よりも大きいことに応答して、前記第1のセンサ信号後の閾値時間範囲内の信号を前記センサ信号として取得することと、を含む。
【0015】
いくつかの実施例において、前記振動センサ装置は、ユーザの身体部位に密着するウェアラブルデバイスに設置され、前記ウェアラブルデバイスにより前記ユーザの身体活動による振動信号を受信する。
【0016】
いくつかの実施例において、前記振動センサ装置は、ユーザの身体部位に密着して、前記ユーザの身体活動による振動信号を受信する。
【0017】
いくつかの実施例において、前記身体活動は、咳、くしゃみ、いびき、あくび又は転倒を含む。
【0018】
いくつかの実施例において、前記信号特徴に基づいて、前記少なくとも1つのセンサ装置に関連するターゲットオブジェクトの動作を決定することは、前記信号特徴に基づいて、前記ユーザの生理的状態を決定することと、前記ユーザの前記生理的状態に基づいて、前記生理的状態に対応する前記ターゲットオブジェクトの動作を決定することと、を含む。
【0019】
いくつかの実施例において、前記信号特徴に基づいて、前記ユーザの生理的状態を決定することは、前記信号特徴がプリセット特徴を満たすか否かを判断することと、前記信号特徴が前記プリセット特徴を満たすことに応答して、前記プリセット特徴に対応する前記生理的状態を決定することと、を含む。
【0020】
いくつかの実施例において、前記ターゲットオブジェクトの動作は、移動端末が健康状態を記録するか又は早期警報を発することを含む。
【0021】
いくつかの実施例において、前記振動センサ装置の応答周波数が2KHz~4.5KHzである。
【0022】
いくつかの実施例において、前記振動センサ装置の感度が-35dBV/(m/s)~-15dBV/(m/s)である。
【0023】
いくつかの実施例において、前記少なくとも1つのセンサ装置は、動作センサ装置をさらに含む。
【0024】
いくつかの実施例において、前記信号特徴に基づいて、前記少なくとも1つのセンサ装置に関連するターゲットオブジェクトの動作を決定することは、前記信号特徴に基づいて、前記ユーザが転倒したか否か及びその身体姿勢を決定することと、前記ユーザが転倒したか否か及びその身体姿勢に基づいて、前記ターゲットオブジェクトの対応する動作を決定することと、を含む。
【0025】
いくつかの実施例において、前記ユーザが転倒したか否か及びその身体姿勢に基づいて、前記ターゲットオブジェクトの対応する動作を決定することは、前記ユーザが転倒し、かつ身体姿勢が静止状態にあると判断すると、前記ユーザが危険な状態にあると判定し、かつ移動端末が救助要請を実行する動作を決定することを含む。
【0026】
いくつかの実施例において、前記少なくとも1つのセンサ装置は、生理的パラメータセンサ装置をさらに含む。
【0027】
いくつかの実施例において、前記信号特徴に基づいて、前記少なくとも1つのセンサ装置に関連するターゲットオブジェクトの動作を決定することは、前記信号特徴に基づいて、前記ユーザが転倒したか否かとその身体姿勢及び生理的パラメータを決定することと、前記ユーザが転倒したか否かとその身体姿勢及び生理的パラメータに基づいて、前記ターゲットオブジェクトの対応する動作を決定することと、を含む。
【0028】
いくつかの実施例において、前記ユーザが転倒したか否かとその身体姿勢及び生理的パラメータに基づいて、前記ターゲットオブジェクトの対応する動作を決定することは、前記ユーザが転倒し、かつ身体姿勢が静止状態にあるか又は生理的パラメータがプリセット閾値を超えると判断すると、前記ユーザが危険な状態にあると判定し、かつ移動端末が救助要請を実行する動作を決定することを含む。
【0029】
いくつかの実施例において、前記生理的パラメータは、心拍数、血圧又は血糖のうちの少なくとも1つを含む。
【0030】
いくつかの実施例において、前記身体活動は、歯の衝突を含む。
【0031】
いくつかの実施例において、前記少なくとも1つのセンサ装置は、特定の位置に設置された振動センサ装置を含む。
【0032】
いくつかの実施例において、前記センサ信号の信号特徴を識別することは、前記センサ信号の振動ピークの数、隣接する振動ピークの間隔時間及び信号継続時間を識別することを含む。
【0033】
いくつかの実施例において、前記少なくとも1つのセンサ装置は、それぞれ異なる位置に設置された振動センサ装置を含む。
【0034】
いくつかの実施例において、前記信号特徴は、前記異なる位置にある振動センサ装置のセンサ信号の位相差をさらに含み、前記センサ信号の位相差は、振動信号の位置を特定するために用いられる。
【0035】
いくつかの実施例において、前記センサ信号の信号特徴を識別することは、前記センサ信号の振動ピークの数、隣接する振動ピークの間隔時間、信号継続時間及び前記振動信号の位相差を識別することを含む。
【0036】
いくつかの実施例において、前記ターゲットオブジェクトの動作は、端末装置を第1の状態から第2の状態に切り替えることを含む。
【0037】
いくつかの実施例において、前記少なくとも1つのセンサ装置のセンサ信号を取得することは、前記少なくとも1つのセンサ装置の第2のセンサ信号を取得することと、前記第2のセンサ信号の周波数がプリセット周波数閾値よりも低いか否かを判断することと、前記第2のセンサ信号の周波数がプリセット周波数閾値よりも低いことに応答して、前記第2のセンサ信号が誤トリガ信号であると判定することと、を含む。
【0038】
いくつかの実施例において、前記少なくとも1つのセンサ装置は、オーディオ入力装置を含み、前記少なくとも1つのセンサ装置のセンサ信号を取得することは、前記少なくとも1つのセンサ装置の第3のセンサ信号を取得することと、前記オーディオ入力装置が同時にユーザの音声情報を受信したか否かを判断することと、前記オーディオ入力装置がユーザの音声情報を受信したことに応答して、前記第3のセンサ信号が誤トリガ信号であると判定することと、を含む。
【0039】
いくつかの実施例において、前記少なくとも1つのセンサ装置のセンサ信号を取得することは、前記少なくとも1つのセンサ装置の第4のセンサ信号を取得することと、誤トリガ識別モデルに基づいて、前記第4のセンサ信号が誤トリガ信号であるか否かを判断することと、前記第4のセンサ信号が誤トリガ信号ではないことに応答して、前記第4のセンサ信号後の閾値時間範囲内の信号を前記センサ信号として取得することと、を含む。
【0040】
いくつかの実施例において、前記誤トリガ識別モデルは機械学習モデルである。
【0041】
本願のいくつかの実施例に係る方法は、少なくとも1つのセンサ装置のセンサ信号を取得することと、前記センサ信号の信号特徴を識別することと、前記信号特徴に基づいて、前記少なくとも1つのセンサ装置に関連するターゲットオブジェクトの動作を決定することと、を含む。
【0042】
本願のいくつかの実施例に係る非一時的なコンピュータ可読媒体は、コンピュータ命令を含み、少なくとも1つのプロセッサにより実行されると、前記コンピュータ命令は、前記少なくとも1つのプロセッサに少なくとも1つのセンサ装置のセンサ信号を取得させ、前記センサ信号の信号特徴を識別させ、前記信号特徴に基づいて、前記少なくとも1つのセンサ装置に関連するターゲットオブジェクトの動作を決定させることができる。
【0043】
例示的な実施例の方式で本明細書をさらに説明し、これらの例示的な実施例を図面により詳細に説明する。これらの実施例は、限定的なものではなく、これらの実施例において、同じ番号は同様の構造を表す。
【図面の簡単な説明】
【0044】
図1】本願のいくつかの実施例に係るターゲットオブジェクト制御システムの応用シーンの概略図である。
図2】本願のいくつかの実施例に係るターゲットオブジェクト制御方法の例示的なフローチャートである。
図3】本願のいくつかの実施例に係るターゲットオブジェクト制御システムの例示的なブロック図である。
図4】本願のいくつかの実施例に係るターゲットオブジェクト制御方法の例示的なフローチャートである。
図5A】本願のいくつかの実施例に係るユーザの様々な操作による振動信号の信号特徴スペクトルである。
図5B】本願のいくつかの実施例に係るユーザの様々な操作による振動信号の信号特徴スペクトルである。
図5C】本願のいくつかの実施例に係るユーザの様々な操作による振動信号の信号特徴スペクトルである。
図5D】本願のいくつかの実施例に係るユーザの様々な操作による振動信号の信号特徴スペクトルである。
図6】本願のいくつかの実施例に係る、端末装置が設置された室内環境の概略図である。
図7】本願のいくつかの実施例に係る、室内環境にあるランプを制御する例示的なフローチャートである。
図8】本願のいくつかの実施例に係る、端末装置が設置された車内環境の概略図である。
図9】本願のいくつかの実施例に係る、車内の端末装置を制御する例示的なフローチャートである。
図10】本願のいくつかの実施例に係る、端末装置が設置されたテーブル面環境の概略図である。
図11】本願のいくつかの実施例に係るターゲットオブジェクト制御方法の例示的なフローチャートである。
図12A】本願のいくつかの実施例に係る、異なる身体活動に対応する振動センサ信号の信号特徴スペクトルの概略図である。
図12B】本願のいくつかの実施例に係る、異なる身体活動に対応する振動センサ信号の信号特徴スペクトルの概略図である。
図12C】本願のいくつかの実施例に係る、異なる身体活動に対応する振動センサ信号の信号特徴スペクトルの概略図である。
図12D】本願のいくつかの実施例に係る、異なる身体活動に対応する振動センサ信号の信号特徴スペクトルの概略図である。
図12E】本願のいくつかの実施例に係る、異なる身体活動に対応する振動センサ信号の信号特徴スペクトルの概略図である。
図13】本願のいくつかの実施例に係るユーザの身体活動の振動センサ信号の周波数曲線の概略図である。
図14】本願のいくつかの実施例に係る、ターゲットオブジェクト制御システムがウェアラブルデバイスに適用される概略図である。
図15】本願のいくつかの実施例に係る、ユーザの身体活動による振動信号に基づいて、ターゲットオブジェクトの動作を決定する例示的なフローチャートである。
図16】本願のいくつかの実施例に係る、ターゲットオブジェクト制御システムがウェアラブルデバイスに適用される概略図である。
図17】ユーザの身体活動による振動信号に基づいて、ターゲットオブジェクトの動作を決定する例示的なフローチャートである。
図18】ユーザの身体活動による振動信号に基づいて、ターゲットオブジェクトの動作を決定する例示的なフローチャートである。
図19】本願のいくつかの実施例に係る、ターゲットオブジェクト制御システムがウェアラブルデバイスに適用される概略図である。
図20】本願のいくつかの実施例に係るターゲットオブジェクト制御方法の例示的なフローチャートである。
図21】本願のいくつかの実施例に係る振動信号の伝達の概略図である。
図22】本願のいくつかの実施例に係る、ターゲットオブジェクト制御システムがウェアラブルデバイスに適用される概略図である。
図23】本願のいくつかの実施例に係る、ユーザの歯の衝突に対応するセンサ信号の信号特徴スペクトルである。
図24】本願のいくつかの実施例に係る、ターゲットオブジェクト制御システムがウェアラブルデバイスに適用される概略図である。
【発明を実施するための形態】
【0045】
本明細書の実施例の技術的解決手段をより明確に説明するために、以下、実施例の説明に必要な図面を簡単に説明する。明らかに、以下に説明される図面は、単に本明細書の例又は実施例の一部に過ぎず、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて本明細書を他の類似するシナリオに応用することができる。これらの例示的な実施例は、当業者が本発明をよりよく理解して実施することを可能にするためのものに過ぎず、いかなる方法で本発明の範囲を限定するものではないことが理解されよう。特に言語環境から明らかではないか又は明記しない限り、図面において同じ符号は同じ構造又は操作を表す。
【0046】
本明細書及び特許請求の範囲に示すように、文脈が明確に別段の指示をしない限り、「1つ」、「1個」、「1種」及び/又は「該」などの用語は、特に単数形を指すものではなく、複数形を含んでもよい。一般的には、用語「含む」及び「含有」は、明確に特定されたステップ及び要素のみを含むように提示し、これらのステップ及び要素は、排他的な羅列ではなく、方法又は設備は、また他のステップ又は要素を含む可能性がある。用語「基づく」は、「少なくとも部分的に基づく」ことを表す。用語「1つの実施例」は、「少なくとも1つの実施例」を表し、用語「他の実施例」は、「少なくとも1つの他の実施例」を表す。その他の用語の関連定義については後述する。
【0047】
本明細書のいくつかの実施例は、ターゲットオブジェクトの動作を決定する方法を提供する。該方法は、少なくとも1つのセンサ装置によりセンサ信号を取得し、該センサ信号は、センサ装置が外部信号を取得してから生成したものである。いくつかの実施例において、外部信号は、振動信号又は振動信号と他のタイプの信号との組み合わせを含んでもよい。他のタイプの信号は、音響信号、光信号、電気信号などを含んでもよい。振動信号が固体媒体を介して伝達されるため、音声干渉、ひいては高いノイズのある環境でも、該振動信号は依然としてセンサ装置により正確かつ効果的に収集され得る。上記センサ信号の信号特徴を識別することにより、上記信号特徴に基づいて、上記少なくとも1つのセンサ装置に関連するターゲットオブジェクトの動作を決定することにより、ターゲットオブジェクトへの操作がより正確かつ便利になる。該ターゲットオブジェクトは、センサ装置と接続/通信して、様々な機能を実行するための端末装置を意味してもよい。
【0048】
図1は、本願のいくつかの実施例に係るターゲットオブジェクト制御システムの応用シーンの概略図である。説明の便宜上、ターゲットオブジェクト制御システム100はシステム100と略称されてもよい。システム100は、センサ装置110、処理装置120、端末装置130(又はターゲットオブジェクトと呼ばれる)及び記憶装置140を含んでもよい。いくつかの実施例において、システム100は、センサ装置110が収集したセンサ信号の信号特徴を識別し、かつ上記信号特徴に基づいて端末装置が実行しようとする動作を決定してもよい。該システム100の各アセンブリは、有線又は無線で互いに接続されてもよい。
【0049】
いくつかの実施例において、有線接続は、金属ケーブル、光ケーブル、又は金属ケーブルと光ケーブルとの混合ケーブル、例えば、同軸ケーブル、通信ケーブル、フレキシブルケーブル、スパイラルケーブル、非金属シースケーブル、金属シースケーブル、多芯ケーブル、ツイストペアケーブル、フラットケーブル、シールドケーブル、電気通信ケーブル、ツイナックスケーブル、平行二芯線、及びツイストペア線による接続を含むが、これらに限定されない。上述した例は、説明を容易にするためのものに過ぎず、有線接続の媒体は、他のタイプの媒体、例えば、他の電気信号又は光信号などの伝送キャリアであってもよい。
【0050】
無線接続は、無線通信、自由空間光通信、音響通信、及び電磁誘導などを含むが、これらに限定されない。無線通信は、IEEE302.11シリーズ規格、IEEE302.15シリーズ規格(例えば、ブルートゥース(登録商標)技術及びジグビー技術など)、第1世代移動通信技術、第2世代移動通信技術(例えば、FDMA、TDMA、SDMA、CDMA及びSSMAなど)、汎用パケット無線サービス技術、第3世代移動通信技術(例えば、CDMA2000、WCDMA(登録商標)、TD-SCDMA及びWiMAXなど)、第4世代移動通信技術(例えば、TD-LTE及びFDD-LTEなど)、衛星通信(例えば、GPS技術など)、近距離無線通信(NFC)、及び他のISM帯域(例えば、2.4GHzなど)で動作する技術を含むが、これらに限定されず、自由空間光通信は、可視光、赤外線信号などを含むが、これらに限定されず、音響通信は、音波、超音波信号などを含むが、これらに限定されず、電磁誘導は、近距離無線通信技術などを含むが、これらに限定されない。上述した例は、説明を容易にするためのものに過ぎず、無線接続の媒体は、他のタイプの媒体、例えば、Z-wave技術、他の有料民間無線周波数帯域又は軍用無線周波数帯域などであってもよい。
【0051】
センサ装置110は、外部信号を収集し、かつ外部信号に基づいてセンサ信号(例えば、電気信号)を生成してもよい。外部信号は、機械的振動信号(振動信号と呼ばれてもよい)、音響信号、光信号、電気信号などを含んでもよい。いくつかの実施例において、上記外部信号は、ユーザに由来するか又はユーザによって特定の方法で入力され、ユーザ信号と呼ばれてもよい。センサ装置110は、圧力センサ装置、振動センサ装置、触覚センサ装置、オーディオ入力装置、光センサ装置などのうちの1種以上を含んでもよいが、これらに限定されない。いくつかの実施例において、センサ装置110は、少なくとも、振動信号を収集するための振動センサ装置を含んでもよい。いくつかの実施例において、ユーザがセンサ装置110に信号を入力することにより、センサ装置は、対応するセンサ信号を生成してもよい。例示的には、センサ装置110は、ユーザが(例えば、ドアへの叩き、歯の衝突などの方法で)入力した振動信号を収集してもよい。振動信号が伝達中にほとんど環境ノイズの影響を受けないため、振動信号がセンサ装置110により正確かつ効果的に収集されることを保証することができる。
【0052】
処理装置120は、センサ装置110、記憶装置140又はシステム100の他の部材から取得したデータ及び/又は情報を処理してもよい。例えば、処理装置120は、センサ装置110から取得したセンサ信号を処理し、かつ該センサ信号の信号特徴を決定することができる。いくつかの実施例において、処理装置120は、単一のサーバ又はサーバ群であってもよい。サーバ群は、集中型又は分散型であってもよい。いくつかの実施例において、処理装置120は、ローカル又はリモートであってもよい。例えば、処理装置120は、センサ装置110、端末装置130及び/又は記憶装置140から情報及び/又はデータにアクセスしてもよい。また例えば、処理装置120は、センサ装置110、端末装置130及び/又は記憶装置140に直接接続されて情報及び/又はデータにアクセスしてもよい。いくつかの実施例において、処理装置120は、1つ以上のサブプロセッサ(例えば、ワンチッププロセッサ又はマルチコアマルチチッププロセッサ)を含んでもよい。単に例として、プロセッサは、中央処理装置(CPU)、特定用途向け集積回路(ASIC)、特定用途向け命令セットプロセッサ(ASIP)、グラフィックプロセッサ(GPU)、物理プロセッサ(PPU)、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルな論理回路(PLD)、コントローラ、マイクロコントローラユニット、縮小命令セットコンピュータ(RISC)、マイクロプロセッサなど又は以上の任意の組み合わせを含んでもよい。いくつかの実施例において、処理装置120はチップであってもよい。上記チップは、センサ装置110内に設置されてもよい。いくつかの具体的な実施例において、処理装置120は、センサ装置110自体のプロセッサ(例えば、センサ装置110のチップ)であってもよく、振動信号をピックアップして収集することができるだけでなく、センサ装置110が生成したセンサ信号を処理することもできる。
【0053】
記憶装置140は、データ、命令及び/又は任意の他の情報、例えば、上記センサ信号及びセンサ信号の信号特徴情報などを記憶してもよい。いくつかの実施例において、記憶装置140は、センサ装置110及び/又は処理装置120から取得したデータを記憶してもよい。いくつかの実施例において、記憶装置140は、処理装置120が実行するデータ及び/又は命令、又は処理装置120が本願に説明された例示的な方法を実施するためのデータ及び/又は命令を記憶してもよい。いくつかの実施例において、記憶装置140は、大容量メモリ、リムーバブルメモリ、揮発性読み書きメモリ、リードオンリーメモリ(ROM)など又はそれらの任意の組み合わせを含んでもよい。いくつかの実施例において、記憶装置140は、クラウドプラットフォームで実装されてもよい。
【0054】
いくつかの実施例において、記憶装置140は、システム100のうちの少なくとも1つの他のアセンブリ(例えば、処理装置120)と通信してもよい。システム100のうちの少なくとも1つのアセンブリは、記憶装置140に記憶されたデータ(例えば、信号特徴)にアクセスしてもよい。いくつかの実施例において、記憶装置140は、処理装置120の一部であってもよい。
【0055】
いくつかの実施例において、端末装置130は、モバイルデバイス、タブレットコンピュータ、ラップトップコンピュータ、自動車内蔵装置、スマートホームデバイスなどのうちの1種又はそれらの任意の組み合わせを含んでもよい。いくつかの実施例において、モバイルデバイスは、ウェアラブルデバイス、スマートモバイルデバイス、仮想現実装置、拡張現実装置、スマートトイ、スマートスピーカなど又はそれらの任意の組み合わせを含んでもよい。いくつかの実施例において、ウェアラブルデバイスは、スマートブレスレット、スマートフットウェア、スマートメガネ、スマートヘルメット、スマートウォッチ、スマート衣類、スマートバックパック、スマートアクセサリーなど又はそれらの任意の組み合わせを含んでもよい。いくつかの実施例において、スマートモバイルデバイスは、スマートフォン、パーソナルデジタルアシスタント(PDA)、ゲーム装置、ナビゲーション装置、POS装置など又はそれらの任意の組み合わせを含んでもよい。いくつかの実施例において、仮想現実装置及び/又は拡張現実装置は、仮想現実ヘルメット、仮想現実メガネ、仮想現実アイマスク、拡張現実ヘルメット、拡張現実メガネ、拡張現実アイマスクなど又は上記例の任意の組み合わせを含んでもよい。いくつかの実施例において、自動車内蔵装置は、車載電話、車載マルチメディア、ブルートゥース、ナビゲーションなどを含む。いくつかの実施例において、スマートホームデバイスは、スマート照明装置(例えば、ランプ)、スマート電気機器の制御装置、スマート監視装置、スマートテレビ、スマートカメラ、インターホンなど又はそれらの任意の組み合わせを含んでもよい。
【0056】
図2は、本願のいくつかの実施例に係るターゲットオブジェクト制御方法の例示的なフローチャートである。具体的には、ターゲットオブジェクト制御方法200は、ターゲットオブジェクト制御システム100(例えば、処理装置120)により実行されてもよい。例えば、ターゲットオブジェクト制御方法200は、プログラム又は命令の形態で記憶装置(例えば、処理装置120の内蔵型記憶ユニット又は記憶装置140)に記憶されてもよく、ターゲットオブジェクト制御システム100(例えば、処理装置120)が該プログラム又は命令を実行する場合、ターゲットオブジェクト制御方法200を実行することができる。以下に示すフローの動作は、説明のためのものに過ぎない。いくつかの実施例において、方法200は、1つ以上の説明されない付加的な動作及び/又は示されない1つ以上の動作によって実行されてもよい。また、図2に示し以下に説明する方法200の動作の順序は限定されない。
【0057】
ステップ210では、処理装置120は、少なくとも1つのセンサ装置110のセンサ信号を取得してもよい。いくつかの実施例において、ステップ210は、センサ信号取得モジュール310により実行される。
【0058】
センサ信号は、センサ装置110が外部信号を受信してから外部信号に基づいて生成した信号である。例えば、センサ信号は、センサ装置110が、受信した振動信号に基づいて生成した電気信号であってもよい。いくつかの実施例において、外部信号は、機械的振動信号(又は振動信号と呼ばれる)又は振動信号と他のタイプの信号との組み合わせを含んでもよい。他のタイプの信号は、光信号、音響信号、電気信号などを含んでもよい。センサ装置110は、振動センサ装置、圧力センサ装置、触覚センサ装置、オーディオ入力装置、光センサ装置などのうちの1種以上を含んでもよいが、これらに限定されない。例示的には、センサ装置110は、振動信号を収集するために、少なくとも振動センサ装置を含んでもよい。いくつかの実施例において、ユーザの身体活動、ユーザの歯の衝突、又は特定領域(例えば、振動受け領域)での特定の操作(例えば、叩き、タッピング、擦りなど)の実行により振動信号を生成する。センサ装置110は、上記振動信号を受信し、かつ上記振動信号に基づいて対応するセンサ信号を生成してもよい。
【0059】
ステップ220では、処理装置120は、センサ信号の信号特徴を識別してもよい。いくつかの実施例において、ステップ220は、信号特徴識別モジュール320により実行されてもよい。
【0060】
信号特徴は、信号特性を示す関連情報を意味してもよい。いくつかの実施例において、処理装置120は、センサ信号に対して時間領域処理及び/又は周波数領域処理を行うことにより、上記センサ信号の信号特徴を識別してもよい。振動信号に対応するセンサ信号の信号特徴は、振動ピークの個数、信号強度、隣接する振動ピークの間隔時間、周波数成分、信号継続時間などのうちの1つ又は複数の組み合わせを含んでもよいが、これらに限定されない。
【0061】
振動ピークの個数は、振幅がプリセット振幅よりも大きい振動ピークの数を意味する。振動ピークの個数は、外部信号の数特徴(例えば、ユーザが叩く回数、歯を衝突させる回数、特定の身体活動の回数など)を示すことができる。信号強度は、信号の強さを意味する。信号強度は、外部信号の強度特徴(例えば、ユーザの叩き、タッピングの強さ)を示すことができる。ユーザの叩き、タッピングの強さが大きいほど、生成した振動信号の信号強度が大きくなる。隣接する振動ピークの間隔時間は、振動ピークのうちの2つの隣接する振動ピークの時間間隔を意味する。いくつかの実施例において、隣接する振動ピークの間隔時間は、外部信号の密度特徴(例えば、ユーザが叩き、タッピングし、歯を衝突させる間隔時間、隣接する身体活動の時間間隔など)を示すことができる。信号の周波数成分は、センサ信号における各周波数の割合に関する情報を意味する。上記各周波数の割合に関する情報は、例えば、高周波信号、中高周波信号、中間周波信号、中低周波信号、低周波信号などの割合を含む。本明細書における高周波、中高周波、中間周波、中低周波及び/又は低周波は、人為的に定義されてもよく、例えば、高周波信号は、周波数が4000Hzよりも大きい信号であってもよい。中高周波信号は、周波数が2500Hz~5000Hzの範囲内にある信号であってもよい。中間周波信号は、周波数が1000Hz~4000Hzの範囲内にある信号であってもよい。中低周波信号は、周波数が600Hz~2000Hzの範囲内にある信号であってもよい。低周波信号は、周波数が20Hz~1000Hzの範囲内にある信号であってもよい。信号継続時間は、センサ信号全体の継続時間又はセンサ信号の単一の振動ピークの継続時間を意味してもよい。例えば、センサ信号全体は、3つの振動ピークを含んでもよく、センサ信号全体の継続時間は3秒である。
【0062】
いくつかの実施例において、処理装置120は、センサ信号に対して時間領域処理及び/又は周波数領域処理を行うことにより、センサ信号の信号特徴スペクトルを決定して、センサ信号の信号特徴を決定してもよい。センサ信号の信号特徴を識別することに関するより多くの詳細については、図4の実施例を参照することができ、ここでは説明を省略する。
【0063】
ステップ230では、処理装置120は、信号特徴に基づいて、少なくとも1つのセンサ装置110に関連するターゲットオブジェクトの動作を決定することができる。いくつかの実施例において、ステップ230は、動作決定モジュール330により実行されてもよい。
【0064】
ターゲットオブジェクトは、特定の機能を実行するための端末装置130を意味する。例えば、電話をかけるためのモバイルデバイス(例えば、スマートフォン、スマートウォッチなど)である。また例えば、音楽を再生するためのオーディオ装置(例えば、ヘッドホン、車載スピーカ、ブルートゥーススピーカなど)である。さらに例えば、照明用の照明装置(例えば、室内電球、車両用ランプなど)である。なお、上記列挙された端末装置130は、例示的なものに過ぎず、端末装置130は、ユーザが求める機能を実行する任意の装置であってもよい。ターゲットオブジェクトが少なくとも1つのセンサ装置110に関連することは、端末装置130が、センサ装置110のセンサ信号の特定の信号特徴に応答して、特定の機能を実行するために用いられると理解されてもよい。いくつかの実施例において、上記ターゲットオブジェクトは、処理装置120と通信接続されてもよい。いくつかの実施例において、通信接続の方法は、有線接続又は無線接続を含んでもよい。例えば、ケーブルを介して有線接続される。また例えば、ブルートゥース装置により無線接続される。ターゲットオブジェクトの動作は、端末装置130の機能、例えば、音楽を再生/一時停止させ、電話をかけ/切り、照明をオン/オフにするなどを意味してもよい。信号特徴に基づいて、ターゲットオブジェクトの動作を決定することに関するより多くの詳細については、図4図10の実施例を参照することができ、ここでは説明を省略する。
【0065】
いくつかの実施例において、処理装置120は、上記信号特徴に基づいて、ユーザの生理的状態を決定してもよい。さらに、処理装置120は、ユーザの生理的状態に基づいて、該生理的状態に対応するターゲットオブジェクトの動作を決定してもよい。いくつかの実施例において、処理装置120は、信号特徴に基づいて、ユーザが転倒したか否か及びその身体姿勢を決定し、ユーザが転倒したか否か及びその身体姿勢に基づいて、ターゲットオブジェクトの対応する動作を決定してもよい。いくつかの実施例において、処理装置120は、信号特徴に基づいて、ユーザが転倒したか否かとその身体姿勢及び生理的パラメータを決定し、ユーザが転倒したか否かについての判断とその身体姿勢及び生理的パラメータに基づいて、ターゲットオブジェクトの対応する動作を決定してもよい。信号特徴に基づいて、ユーザの生理的状態を決定することに関するより多くの詳細については、図11図18の実施例を参照することができ、ここでは説明を省略する。
【0066】
いくつかの実施例において、処理装置120は、センサ信号を取得する場合、誤トリガ防止処理を行ってもよい。例示的には、処理装置120は、少なくとも1つのセンサ装置110のセンサ信号をリアルタイムに又は間欠的に取得してもよい。処理装置120は、センサ信号(第1のセンサ信号とも呼ばれる)を取得した場合、第1のセンサ信号の信号強度が信号閾値よりも大きいか否かを判断することができる。第1のセンサ信号の信号強度が上記信号閾値よりも小さい場合、処理装置120は、上記第1のセンサ信号が誤トリガ信号であると判定することができる。第1のセンサ信号の信号強度が上記信号閾値よりも大きいと、処理装置120は、第1のセンサ信号後の閾値時間範囲内の信号をセンサ信号として取得することができる。少なくとも1つのセンサ装置110のセンサ信号を取得することに関するより多くの詳細については、本明細書の他の箇所の説明を参照することができ、ここでは説明を省略する。
【0067】
図3は、本願のいくつかの実施例に係るターゲットオブジェクト制御システムの例示的なブロック図である。図3に示すように、該ターゲットオブジェクト制御システム300は、センサ信号取得モジュール310、信号特徴識別モジュール320及び動作決定モジュール330を含んでもよい。いくつかの実施例において、該ターゲットオブジェクト制御システム300は、図1に示すターゲットオブジェクト制御システム100(例えば、処理装置120)により実装されてもよい。
【0068】
いくつかの実施例において、センサ信号取得モジュール310は、振動センサ装置のセンサ信号を取得するために用いられてもよい。いくつかの実施例において、センサ信号取得モジュール310はまた、少なくとも1つのセンサ装置110のセンサ信号を取得するために用いられてもよい。
【0069】
いくつかの実施例において、信号特徴識別モジュール320は、振動センサ信号の信号特徴を識別するために用いられてもよい。いくつかの実施例において、信号特徴識別モジュール320はまた、センサ信号の信号特徴を識別するために用いられてもよい。
【0070】
いくつかの実施例において、動作決定モジュール330は、信号特徴に基づいて、少なくとも1つのセンサ装置110に関連するターゲットオブジェクトの動作を決定するために用いられてもよい。いくつかの実施例において、動作決定モジュール330はまた、信号特徴に基づいて、ユーザの生理的状態を決定するために用いられてもよい。いくつかの実施例において、動作決定モジュール330は、さらに、ユーザの生理的状態に基づいて、少なくとも1つのセンサ装置110に関連するターゲットオブジェクトの動作を決定するために用いられてもよい。
【0071】
なお、ターゲットオブジェクト制御システム300及びその装置/モジュールに対する上述した説明は、説明を容易にするためのものに過ぎず、本願を列挙された実施例の範囲内に限定することができない。当業者であれば、該システムの原理を理解した後、この原理から逸脱することなく、様々な装置/モジュールを任意に組み合わせたり、サブシステムを形成して他の装置/モジュールに接続したりできることが理解されよう。例えば、図3に示す信号特徴識別モジュール320及び動作決定モジュール330は、1つの装置(例えば、処理装置120)の異なるモジュールであってもよく、上記2つ以上のモジュールの機能を実現する1つのモジュールであってもよい。また例えば、各モジュールは、それぞれの記憶モジュールを有してもよい。さらに例えば、各モジュールは、1つの記憶モジュールを共用してもよい。このような変形は、いずれも本願の保護範囲内にある。
【0072】
図4は、本願のいくつかの実施例に係るターゲットオブジェクト制御方法の例示的なフローチャートである。具体的には、ターゲットオブジェクト制御方法400は、ターゲットオブジェクト制御システム100(例えば、処理装置120)により実行されてもよい。例えば、ターゲットオブジェクト制御方法400は、プログラム又は命令の形態で記憶装置(例えば、処理装置120の内蔵型記憶ユニット又は記憶装置140)に記憶されてもよく、ターゲットオブジェクト制御システム100(例えば、処理装置120)が該プログラム又は命令を実行する場合、ターゲットオブジェクト制御方法400を実行することができる。以下に示すフローの動作は、説明のためのものに過ぎない。いくつかの実施例において、方法400は、1つ以上の説明されない付加的な動作及び/又は示されない1つ以上の動作によって実行されてもよい。また、図4に示し以下に説明する方法400の動作の順序は限定されない。いくつかの実施例において、方法400は、スマートホーム、スマートカー、スマート工場、スマートスピーカ、スマートトイなどの分野に適用されてもよい。
【0073】
ステップ410では、処理装置120は、振動センサ装置のセンサ信号を取得してもよい。いくつかの実施例において、ステップ410は、センサ信号取得モジュール310により実行される。
【0074】
上記振動センサ装置は、振動信号を収集してもよい。例えば、上記振動センサ装置は、骨伝導を音声の主な伝搬方法の1つとするマイクロフォン(骨伝導マイクロフォンとも呼ばれる)、加速度計などであってもよい。いくつかの実施例において、振動センサ装置は、特定領域の振動信号を収集してもよい。該特定領域は、人為的に設定された、振動信号を受信するための領域であり、振動受け領域と呼ばれてもよい。いくつかの実施例において、振動センサ装置は、振動受け領域の振動信号を取得し、かつ対応するセンサ信号を生成してもよい。振動信号を取得して生成したセンサ信号は、振動センサ信号とも呼ばれる。上記振動センサ信号は、例えば、電気信号であってもよい。
【0075】
いくつかの実施例において、振動センサ装置は、振動信号の伝達を容易にするために、所定の硬度を有するハウジングを含んでもよい。例示的には、振動センサ装置のハウジングを振動受け領域としてもよく、ユーザがハウジングにおいて特定の操作(例えば、叩き、タッピング又は擦りなどの操作のうちの1種又は複数種の組み合わせ)を行うことにより特定の振動信号を生成してもよい。該特定の振動信号は、特定の動作命令に対応する。
【0076】
機械的振動が固体に伝播する場合の損失が小さいため、振動受け領域は、振動センサ装置のある位置(例えば、振動センサ装置のハウジング)に設定される必要がない。いくつかの実施例において、振動受け領域は、機械的振動を効果的に伝達できる位置に設定されてもよい。いくつかの実施例において、振動受け領域は、固体媒体に設定されてもよい。上記固体媒体は、金属(例えば、ステンレス鋼、アルミニウム合金など)、非金属(例えば、木材、プラスチックなど)などであってもよい。振動センサ装置は、上記固体媒体を介して振動受け領域に接続され、かつ上記振動受け領域に入力された振動信号を受信する。振動受け領域に入力された振動信号は、該固体媒体を介して振動センサ装置に伝達されてもよい。いくつかの実施例において、振動受け領域は、上記固体媒体における選択された領域であってもよい。例えば、図6に示す実施例において、振動センサ装置は、ドア610及び/又はヘッドボード630に設置されてもよい。また例えば、図8に示す実施例において、振動センサ装置は、ステアリングホイール820に設置されてもよい。
【0077】
いくつかの実施例において、振動センサ装置は、上記固体媒体に固定的に接続されてもよい。上記固定接続の方法は、振動センサ装置と固体媒体との良好で強固な接触を保証することにより、振動信号を固体媒体から振動センサ装置に正確かつ効果的に伝達するために、接着、嵌め込み、溶接、リベット接合、ねじ接続、スナップ接続などを含んでもよいが、これらに限定されない。例えば、図6に示す実施例において、少なくとも1つの振動センサ装置は、ドア610に接着されてもよく、少なくとも1つの振動センサ装置は、ヘッドボード630に接着されてもよく、ねじで側壁に接続されてもよい。また例えば、図8に示す実施例において、少なくとも1つの振動センサ装置は、ステアリングホイール820内に嵌め込まれてもよい。いくつかの具体的な実施例において、振動センサ装置は、接着方法で上記固体媒体に接続されてもよく、接続が容易で迅速であるだけでなく、取り外しやすい。いくつかの場合において、振動センサ装置は、固体媒体(例えば、室内環境600におけるドア610及び側壁、車内環境800におけるステアリングホイール820など)に嵌め込まれるか又は接着されてもよい。機械的振動が固体媒体に伝播する場合の損失が小さく、距離が遠い場合でも依然として十分に大きい信号強度を有するため、信号入力領域(すなわち、振動受け領域)を効果的に拡大することができる。振動信号を広い範囲内で入力することができるため、ユーザが操作パネル又はボタンを探す手間を省き、ユーザの使用体験を向上させる。いくつかの場合において、特に暗い環境において、ユーザがランプ640を操作するために暗闇の中を歩き(例えば、室内環境600において、ユーザがランプ640のスイッチを探すために、側壁におけるスイッチが設置された位置まで歩く必要がある)、テーブルや椅子にぶつかるなどの状況の発生を回避することができる。
【0078】
いくつかの実施例において、振動センサ装置は、固体媒体の任意の箇所に設置されてもよい。図6に示すドア610を例として、例示的な取付位置は、ドア610のドアフレーム、ドア610のドアハンドル、ドア610の底部、ドア610の中央部などを含んでもよい。いくつかの実施例において、振動センサ装置は、固体媒体における振動の振幅が大きい位置に設置されてもよい。例えば、ユーザがドア610を叩く時、ドア610の中央部に近接する位置での振幅が一般的に大きく、振動センサ装置が受信した振動信号がより強い。
【0079】
例示的には、振動センサ装置はドア610に接着されてもよく、ドア610の上半分領域は、振動受け領域とされてもよい。ユーザがドア610の上半分領域(すなわち、振動受け領域)において特定の操作を行うことにより生成された振動信号は、ドア610を介して、ドア610に接続された振動センサ装置に伝達されてもよい。
【0080】
いくつかの実施例において、振動受け領域は、固体媒体の少なくとも一部であってもよい。いくつかの実施例において、振動受け領域は、ユーザが容易に操作する(例えば、叩き、タッピングするか又は擦る)位置に位置してもよい。例えば、図6に示す室内環境600において、固体媒体は、ドア610であってもよく、振動受け領域は、ドア610の室内環境600から離れる表面であってもよい。また例えば、室内環境600において、ドア610の上半分領域は、振動受け領域とされてもよい。いくつかの実施例において、振動受け領域は、任意の位置、形状及び/又は大きさを有してもよい。例えば、固体媒体は、ヘッドボード630であってもよく、振動受け領域は、ヘッドボード630又はその特定領域(例えば、ヘッドボード630の右側領域、左側領域など)であってもよい。また例えば、固体媒体がヘッドボード630である場合、ヘッドボード630のユーザに向かう表面全体は、いずれも振動受け領域とされてもよい。
【0081】
いくつかの実施例において、振動受け領域は、固体媒体に設置された独立した構造であってもよい。例えば、振動受け領域は、ドア610の表面に設置された振動受け面であってもよい。振動受け面は、剛性の高いシート状物体又は板状物体など、例えば、鉄片、鋼板などであってもよい。いくつかの実施例において、振動受け面は、固体媒体と取り外し可能に接続されてもよい。いくつかの実施例において、振動受け面は、ユーザの要望に応じて固体媒体の任意の位置に取り付けられてもよい。例えば、図6に示す実施例において、ユーザが、通常、ベッド620の右側領域にいるため、振動受け面は、ヘッドボード630の右側領域に設置されてもよい。
【0082】
また、いくつかの実施例において、振動受け領域は、振動センサ装置の一部であってもよく、前述した実施例に記載の振動センサ装置のハウジングは、振動受け領域とされてもよい。
【0083】
ユーザが特定の操作を行って振動信号を入力する際に怪我をすることを回避するために、いくつかの実施例において、振動センサ装置の外部パッケージ(例えば、センサ装置の外部ケース)及び/又は振動受け領域には鋭利な角がないようにする必要がある。例えば、振動センサ装置の外部パッケージの表面を円弧面に設定してもよい。いくつかの実施例において、振動センサ装置の取付位置については、ユーザが常に特定の操作を行う位置を避けるべきである。例示的には、ベッド620の右側に寝ているユーザが、一般的にヘッドボード630の右側縁部に対して叩き、タッピング及び/又は擦りなどの操作を行うため、振動センサ装置をヘッドボード630の内部に嵌め込むか又は振動センサ装置をヘッドボード630の右側から離れる位置(例えば、ヘッドボード630の頂部領域、右側領域など)に設置することにより、ユーザが特定の操作を行う際に振動センサ装置の外部パッケージに触れないようにする。
【0084】
いくつかの実施例において、振動センサ装置は、その内部に設置された電池により給電されてもよく、例示的な電池のタイプは、リチウム電池、水素燃料電池、アルカリ亜鉛マンガン電池、ニッケルカドミウム電池、水素ニッケル電池などを含んでもよい。いくつかの実施例において、振動センサ装置は、外部電源により給電されてもよい。例えば、振動センサ装置は、電源線又は無線充電モジュールを利用して外部電源に接続されて、外部電源により給電されてもよい。上記外部電源は、例えば、携帯充電器、家庭用電気などであってもよい。
【0085】
振動センサ装置は、所定の体積を有する。いくつかの実施例において、振動センサ装置の体積は、1mm~10cmの間にあってもよい。いくつかの実施例において、振動センサ装置の体積は、0.5mm~20cmの間にあってもよい。いくつかの実施例において、振動センサ装置の体積は、1.5mm~5cmの間にあってもよい。いくつかの実施例において、振動センサ装置の体積は、2mm~1cmの間にあってもよい。
【0086】
いくつかの実施例において、振動センサ装置が、ユーザにより入力された振動信号を完全かつ明確に収集することができるために、振動センサ装置の感度も所定の要件を満たす必要がある。感度は、センサ装置が動作している場合の特定の信号に対する応答の大きさとして理解されてもよい。いくつかの実施例において、振動センサ装置の感度は、-50dBV/(m/s)~-10dBV/(m/s)の間にあってもよい。いくつかの実施例において、振動センサ装置の感度は、-35dBV/(m/s)~-15dBV/(m/s)の間にあってもよい。いくつかの実施例において、振動センサ装置の感度は、-30dBV/(m/s)~-15dBV/(m/s)の間にあってもよい。いくつかの実施例において、振動センサ装置の感度は、-25dBV/(m/s)~-20dBV/(m/s)の間にあってもよい。
【0087】
ステップ420では、処理装置120は、振動センサ信号の信号特徴を識別してもよい。いくつかの実施例において、ステップ420は、信号特徴識別モジュール320により実行されてもよい。
【0088】
いくつかの実施例において、処理装置120は、振動センサ信号を処理(例えば、時間領域処理及び/又は周波数領域処理など)して、振動センサ信号を信号特徴スペクトルとして出力してもよい。処理装置120は、信号特徴スペクトルに基づいて、センサ信号の信号特徴を識別してもよい。例えば、処理装置120は、信号特徴スペクトルから振動ピークの個数、信号の周波数成分などの関連情報を読み取ってもよい。いくつかの実施例において、処理装置120は、直接的に、振動センサ装置により収集された振動信号の関連データ/情報に基づいて、信号特徴を識別してもよい。例えば、処理装置120は、2つの振動ピークを取得する時間に基づいて、2つの隣接する振動ピークの間隔時間を計算してもよい。
【0089】
いくつかの実施例において、処理装置120は、センサ信号の少なくとも1種の信号特徴、例えば、振動ピークの数、信号強度、隣接する振動ピークの間隔時間、周波数成分、信号継続時間のうちの少なくとも1種を識別してもよい。例えば、処理装置120は、3つの振動ピークがあることをセンサ信号の信号特徴として識別してもよい。また例えば、処理装置120は、振動ピークの個数及び隣接する振動ピークの間隔時間を同時に識別してもよい。例示的には、処理装置120は、2s以内に3つの振動ピークがあり、最初の2回の振動ピークの間隔時間が短く(例えば、0.1s、0.2s、0.3s、0.4s、0.5sなど)、最後の2回の振動ピークの間隔時間が長い(例えば、1.1s、1.2s、1.3s、1.4s、1.5sなど)ことをセンサ信号の信号特徴として識別してもよい。また例えば、処理装置120は、センサ信号の周波数成分、信号強度、信号継続時間を同時に識別してもよい。例示的には、処理装置120は、中高周波信号成分が多く(例えば、中高周波信号の割合が70%よりも大きい)、振動の振幅(すなわち、信号強度)が小さく、信号継続時間が短く(例えば、信号が1秒だけ継続する)、生成された振動ピークが鋭いことをセンサ信号の信号特徴として識別する。
【0090】
いくつかの実施例において、処理装置120は、特徴抽出モデルに基づいて、振動センサ信号の信号特徴を識別してもよい。処理装置120は、センサ信号を上記特徴抽出モデルに入力してもよい。上記特徴抽出モデルの出力は、上記振動センサ信号の少なくとも1種の信号特徴(例えば、振動ピークの数、信号強度、隣接する振動ピークの間隔時間、周波数成分、信号継続時間のうちの少なくとも1種)を含んでもよい。いくつかの実施例において、上記特徴抽出モデルは、機械学習モデルであってもよい。上記特徴抽出モデルは、トレーニングされた機械学習モデルであってもよい。該機械学習モデルは、様々なモデル及び構造、例えば、ディープニューラルネットワークモデル、再帰型ニューラルネットワークモデル、カスタムのモデル構造などを含んでもよく、本明細書において限定されない。
【0091】
いくつかの実施例において、特徴抽出モデルをトレーニングする場合、ラベル(又は標識と呼ばれる)付きの複数の振動センサ信号をトレーニングデータとして使用して、勾配降下などの一般的な方法でトレーニングすることにより、モデルのパラメータを学習してもよい。いくつかの実施例において、特徴抽出モデルは、別の装置又はモジュールにおいてトレーニングされてもよい。
【0092】
ステップ430では、処理装置120は、信号特徴に基づいて、少なくとも1つのセンサ装置110に関連するターゲットオブジェクトの動作を決定することができる。いくつかの実施例において、ステップ430は、動作決定モジュール330により実行されてもよい。
【0093】
いくつかの実施例において、処理装置120は、ターゲットオブジェクトを制御して上記動作を実行するための動作命令をさらに決定してもよい。動作命令は、ターゲットオブジェクト(例えば、端末装置130)に、対応する動作を実行することを指示してもよい。例えば、図6に示す実施例において、動作命令は、ランプ640をオン又はオフにすることを指示してもよい。本実施例において、ユーザが特定の動作を行うことにより特定の振動信号を生成してもよい。振動センサ装置は、これらの振動信号を収集して対応するセンサ信号を生成して処理装置120により処理してもよい。処理装置120は、ターゲットオブジェクトの動作を決定することにより、ターゲットオブジェクトを制御してもよい。音声対話による方法に比べて、環境におけるノイズの振動信号に対する影響が非常に小さく、ノイズの高い環境においても、振動信号は、依然として振動センサ装置により完全かつ効果的に収集され得る。これにより、処理装置120によって決定されたターゲットオブジェクトの動作又は動作命令がより正確になる。
【0094】
いくつかの実施例において、処理装置120は、識別された信号特徴が複数のプリセット特徴条件のうちの少なくとも1つを満たすか否かを判断してもよい。上記プリセット特徴条件は、予め設定された1種の特徴又は複数種の特徴の組み合わせを含む。いくつかの実施例において、処理装置120は、ターゲットオブジェクトの特定の動作に対応する信号特徴をプリセット特徴条件としてもよい。いくつかの実施例において、各プリセット特徴条件は、ターゲットオブジェクトの1つの特定の動作及び/又はターゲットオブジェクトを制御して上記特定の動作を実行するための命令に対応してもよい。例示的には、プリセット特徴条件は、1s以内に振動ピークが3回現れ、隣接する振動ピーク間の間隔時間が等しいか又はほぼ等しい(例えば、差が0.3s、0.5s、0.8sなどの閾値範囲内にある)ことであってもよい。該プリセット特徴条件は、ユーザが1s以内に同じ又はほぼ同じ時間間隔で振動受け領域を3回叩くか又はタッピングすることを示す。また例えば、2s以内に振動ピークが3回現れ(ユーザが3s以内に3回叩き、タッピングすることを示す)、最初の2回の振動ピークの間隔時間が短く(例えば、0.5s)、最後の2回の振動ピークの間隔時間が長く(例えば、2s)、あるいは、最初の2回の振動ピークの間隔時間が長く(例えば、2s)、最後の2回の振動ピークの間隔時間が短い(例えば、0.5s)。各プリセット特徴条件は、ターゲットオブジェクトの異なる動作又は動作命令に対応してもよい。例えば、プリセット特徴条件は、1s以内に振動ピークが2回現れることに対応する動作命令が、ランプ(例えば、図6に示すランプ640)をオン又はオフにすることである。また例えば、プリセット特徴条件は、3s以内に振動ピークが3回現れ、最初の2回の振動ピークの間隔時間が短く、最後の2回の振動ピークの間隔時間が長いことに対応する動作命令が、ランプ640のモードを暖色光モードにすることである。プリセット特徴条件は、3s以内に振動ピークが3回現れ、最初の2回の振動ピークの間隔時間が長く、最後の2回の振動ピークの間隔時間が短いことに対応する動作命令が、ランプ640のモードを冷色光モードにすることである。
【0095】
いくつかの実施例において、ユーザは、必要に応じてプリセット特徴条件及び対応するターゲットオブジェクトに対応する動作又は動作命令を自ら設定してもよい。例えば、ユーザは、実装を容易にするために、一般的な動作に対応するプリセット特徴条件を、簡略化されたプリセット特徴条件(例えば、少ない信号特徴を含む)に設定してもよい。例えば、ユーザは、ランプ640をオンにする動作に対応するプリセット特徴条件を1s以内に2つの振動ピークがあるように設定することにより、毎回室内環境600に入る時にランプ640を迅速にオンにすることができる。
【0096】
いくつかの実施例において、プリセット特徴条件は、ユーザの記憶及び操作を容易にするために、1種の信号特徴のみを含んでもよい。いくつかの実施例において、プリセット特徴条件は、異なる信号特徴の組み合わせにより複雑な操作を実現すると共に、誤操作を回避することができるために、複数種の信号特徴の組み合わせであってもよい。いくつかの具体的な実施例において、プリセット特徴条件は、信号強度及び振動ピークの個数を含んでもよい。例えば、1s以内に2つの振動ピークが現れ、前者の振動ピークのピーク値が小さく、後者の振動ピークのピーク値が大きいこと、及び、前者の振動ピークのピーク値が大きく、後者の振動ピークのピーク値が小さいことは、それぞれ2種の異なる動作命令に対応してもよい。
【0097】
いくつかの具体的な実施例において、ユーザが異なる部位で固体媒体を叩き、タッピングする場合、固体媒体において異なる振動信号(例えば、周波数成分、継続時間及び/又は信号強度が異なる振動信号)を生成する。それに応じて、振動センサ装置が生成した振動センサ信号も異なる(例えば、周波数成分、継続時間及び/又は信号強度が異なる振動センサ信号)。このとき、周波数成分、継続時間及び/又は信号強度を組み合わせてより多くのプリセット特徴条件を形成することにより、より複雑な動作に対応する。
【0098】
図5A図5Dは、本願のいくつかの実施例に係るユーザの様々な操作による振動信号の信号特徴スペクトルである。図5A図5Dは、それぞれ爪による叩き、単一の指による叩き、複数の指による叩き、手のひらによるタッピングにより生成された振動センサ信号の信号特徴スペクトルを例示的に順次示す。図から分かるように、爪による叩き、単一の指による叩き、複数の指による叩き、手のひらによるタッピングに対応する振動センサ信号はいずれも異なる。例えば、爪が硬いため、センサ信号における中高周波信号分が多く、振動の振幅が一般的に小さく、単一の振動ピークの継続時間が短く、生成された振動ピークが鋭い。また例えば、単一の指による叩きは、一般的に爪による叩きよりも強力であり、皮膚組織の緩衝により、センサ信号に低周波又は中低周波信号成分が増加し、信号継続時間も長くなる。さらに例えば、複数の指で叩く場合、一般的に複数の指節が同時に固体媒体の表面に接触しないため、間隔が非常に小さい複数の振動ピークが発生する。さらに例えば、手のひらには指節よりも多くの筋肉組織があり、タッピングするときに緩衝が大きく、かつ固体媒体の表面との接触面積がより大きいため、手のひらによるタッピングにより生成された振動信号における中低周波信号成分がより多く、信号継続時間がより長い。いくつかの実施例において、ユーザが異なるツールで叩き、タッピングし、擦ることにより、異なる信号特徴を有する振動センサ信号を生成し、より多くの動作命令に対応し、より複雑な操作を実現してもよい。例えば、キー、携帯電話、カップ、手袋などの物体で固体媒体を叩く時に、異なる信号特徴を有する振動信号を生成する。いくつかの場合において、ユーザは、異なるツールで複雑な装置操作を実現すると共に、誤トリガを回避することができる。例示的には、図6に示す室内環境600において、ユーザは、キーで1s以内にドア610を3回叩くことによりランプ640をオフ又はオンにし、指で1s以内にドア610を3回叩くことによりランプ640のモードを暖色光モードにして、誤操作を効果的に回避することができる。
【0099】
いくつかの実施例において、処理装置120は、センサ信号の信号特徴とプリセット特徴条件との違いに基づいて、信号特徴がプリセット特徴条件を満たすか否かを判定してもよい。例示的には、プリセット特徴条件は、1s以内に2つの振動ピークが現れ、2回目の振動ピークの強度が1回目の振動ピークの強度よりも低い(すなわち、1s以内に2回叩き、前者の叩き強度が高く、後者の叩き強度が低い)ことであってもよい。処理装置120は、収集されたセンサ信号の1s以内に現れる振動ピークの個数を決定し、2つの振動ピークでなければ、プリセット特徴条件を満たさないと判断することができる。2つの振動ピークであれば、処理装置120は、続いてセンサ信号の2つの振動ピークの強度を決定し、2回目の振動ピークの信号強度が1回目の振動ピークの信号強度よりも低いか否かを判定し、低くなければ、プリセット特徴条件を満たさないと判断し、低ければ、プリセット特徴条件を満たすと判断することができる。
【0100】
いくつかの実施例において、処理装置120は、センサ信号の信号特徴スペクトル及びプリセット特徴条件の信号特徴スペクトルに基づいて、信号特徴がプリセット特徴条件を満たすか否かを判定してもよい。例えば、処理装置120は、センサ信号の信号特徴スペクトルをプリセット特徴条件の信号特徴スペクトルと比較し、両者の信号特徴スペクトルにおける信号曲線が重なるか又はほぼ重なると、信号特徴がプリセット特徴条件を満たすと判断することができる。
【0101】
いくつかの実施例において、処理装置120は、プリセット特徴条件識別モデルに基づいて、信号特徴がプリセット特徴条件を満たすか否かを判定してもよい。信号特徴がプリセット特徴条件を満たすと、処理装置120は、信号特徴に対応する動作又は動作命令を決定することができる。
【0102】
いくつかの実施例において、プリセット特徴条件識別モデルは、機械学習モデルであってもよい。いくつかの実施例において、処理装置120は、振動センサ装置により収集されたセンサ信号の信号特徴スペクトルを機械学習モデルの入力データとしてもよい。機械学習モデルにより、信号特徴がプリセット特徴条件を満たすか否かの結果を取得してもよい。いくつかの実施例において、プリセット特徴条件識別モデルは、トレーニングされた機械学習モデルであってもよい。該プリセット特徴条件識別モデルのトレーニングプロセスは、特徴抽出モデルのトレーニングプロセスと同じであるか又は類似する。
【0103】
処理装置120は、トレーニングされたプリセット特徴条件識別モデルを利用してセンサ信号の信号特徴スペクトル画像を処理し、信号特徴スペクトルにおける信号特徴がプリセット特徴条件を満たすか否かを判定してもよい。いくつかの実施例において、プリセット特徴条件識別モデルは、ニューラルネットワークモデル、ロジスティック回帰モデル、サポートベクターマシンなどを含んでもよい。例示的には、ニューラルネットワークモデルを例として、ニューラルネットワークモデルは、複数の層、例えば、入力層、1つ以上の畳み込み層、1つ以上の非線形活性化層、1つ以上のプーリング層、1つ以上の全結合層及び/又は出力層を含んでもよい。ニューラルネットワークモデルは、入力層で信号特徴スペクトルを取得し、中間層を利用して視覚的特徴又はスタイルを抽出し及び/又は画像から視覚的特徴又はスタイルを区別し、かつ出力層で特徴点の特徴又はスタイルを有する信号特徴スペクトルを出力してもよい。例えば、特徴識別子又は特徴ベクトルで識別された特徴点をマークしてもよい。いくつかの実施例において、識別された特徴点は、代表的な信号特徴点、例えば、振動ピークの最高点及び最低点、振動ピークの終了点及び開始点などであってもよい。
【0104】
いくつかの実施例において、信号特徴がプリセット特徴条件を満たすと、処理装置120は、プリセット特徴条件に対応するターゲットオブジェクトの動作を決定してもよい。
【0105】
いくつかの場合において、ユーザは、不用意に又は不可避的に特定の動作を行って振動信号を生成して、ターゲットオブジェクトが誤った動作(例えば、端末装置130を第1の状態から第2の状態に切り替える)を実行することが多い。例えば、図6に示す室内環境600を例として、ユーザがベッド620に寝ているときにその手部又は頭部がヘッドボード630に誤って触れて振動信号を生成する可能性がある。該振動信号が、ヘッドボード630に設置された振動センサ装置により収集されて、対応するセンサ信号を生成する可能性がある。例示的には、該センサ信号の信号特徴が、ちょうど動作命令がランプ640をオンにすることであるプリセット特徴条件を満たすと、処理装置120は、ランプ640を誤ってオンにするように操作し、ユーザの睡眠に影響を与え、これは、ある程度で、ユーザの使用体験を低下させる。
【0106】
したがって、上記状況の発生を回避するために、いくつかの実施例において、処理装置120は、振動センサ装置から取得されたセンサ信号を選別してもよい。処理装置120は、少なくとも1つの振動センサ装置のセンサ信号をリアルタイムに又は間欠的に取得してもよい。処理装置120は、センサ信号(第1のセンサ信号とも呼ばれる)を取得する場合、第1のセンサ信号後の閾値時間範囲(例えば、1s、2s、3s、5s、10s、15sなど)内の信号をセンサ信号として保留してもよい。いくつかの実施例において、処理装置120は、第1のセンサ信号が信号閾値よりも大きいか否かを判定してもよい。信号閾値は、センサ信号が、ユーザが誤って触れることにより生成されたものであるか、ユーザが意図した動作により生成されたものであるかを判断するためのパラメータであってもよい。いくつかの実施例において、信号閾値は、信号強度閾値であってもよい。いくつかの実施例において、信号強度閾値は、2dB~10dBの範囲内にあってもよい。いくつかの実施例において、信号強度閾値は、4dB~8dBの範囲内にあってもよい。いくつかの実施例において、信号強度閾値は、6dBであってもよい。例示的には、第1のセンサ信号が信号強度閾値よりも大きいと、第1のセンサ信号が、ユーザが意図した動作により生成されたものであると考えられてもよい。したがって、処理装置120は、第1のセンサ信号後の所定の時間範囲(例えば、閾値時間範囲)内の信号をセンサ信号としてもよい。信号強度が信号強度閾値よりも小さいと、第1のセンサ信号が、ユーザが誤って触れることにより生成されたものであると考えられるため、処理されなくてもよい。
【0107】
他の応用シーンにおいて、ユーザがペットの猫を飼っている可能性があり、ペットの猫がドア610を引っ掻いて振動信号を生成する可能性があり、該振動信号は、振動センサ装置により収集されて対応するセンサ信号を生成する。例示的には、該センサ信号の信号特徴がちょうどプリセット特徴条件を満たし、かつプリセット特徴条件に対応する動作命令がランプ640をオン又はオフにすることであると、ランプ640を誤ってオン又はオフにすることを引き起こす。したがって、いくつかの実施例において、処理装置120は、振動信号を入力する対象が、ユーザであるか又はユーザが指定し動作命令を下すことができる特定の対象であるか否かを判断することにより、誤操作を防止してもよい。いくつかの実施例において、処理装置120は、振動信号を入力する対象に関連する情報に基づいて、振動信号を入力する対象がユーザ又は動作命令を下すことができる特定の対象であるか否かを判定してもよい。例えば、カメラにより振動信号を入力する対象の輪郭画像を取得し、輪郭画像に基づいて、振動信号を入力する対象がユーザ自体又は動作命令を下すことができる特定の対象であるか否かを判断することができる。処理装置120は、振動信号を入力する対象がユーザ又は動作命令を下すことができる特定の対象ではないと判定すると、何も動作しなくてもよい。
【0108】
図6は、本願のいくつかの実施例に係る、端末装置が設置された室内環境の概略図である。本実施例に記載の技術は、家庭、住宅又はホテルを参照して説明されるが、当業者であれば、これらの技術により実現された特徴、プロセス、アルゴリズム及びメカニズムが他の環境、例えば、オフィス、倉庫、ガレージ又は他の環境に容易に適用されてもよいことを理解する。
【0109】
いくつかの実施例において、室内環境600は、住宅、家庭環境、ホテルのうちの一部であってもよい。例えば、室内環境600は、ユーザ住宅の寝室、リビングルームであってもよい。例えば、室内環境600は、ユーザがチェックインしたホテルの1つの部屋であってもよい。いくつかの実施例において、室内環境600に1つ以上の端末装置130(例えば、ランプ640)が配置されてもよい。1つ以上の端末装置130は、処理装置120により制御されてもよい。
【0110】
いくつかの例示的な応用シーンにおいて、室内環境600の入口にドア610が取り付けられる。室内環境600の側壁又は頂部にランプ640(例えば、電球、照明器具、ランプなど)が取り付けられる。室内のランプ640に近接する側壁にランプ640のスイッチが設置され、ユーザは、スイッチにより室内のランプ640をオフ又はオンにすることを制御してもよい。室内環境600の床と側壁との接続箇所にベッド620が取り付けられ、ベッド620がヘッドボード630を含む。また、ドア610及びヘッドボード630にいずれもセンサ装置110(例えば、振動センサ装置)が物理的に接続(例えば、接着)される。振動センサ装置は、ユーザが入力した振動信号を収集してもよい。処理装置120は、センサ信号の信号特徴を識別し、かつ信号特徴がプリセット特徴条件を満たすか否かを判断してもよい。処理装置120は、信号特徴がプリセット特徴条件を満たすと判定すると、ターゲットオブジェクト(例えば、ランプ640のスイッチ)に動作命令を送信して、対応する動作(例えば、ランプ640のオン、オフ、色温度調整、輝度調整など)を実行するようにターゲットオブジェクトを制御することができる。
【0111】
例示的には、ユーザは、夜に室内環境600に入る場合(例えば、ユーザが夜に退社して帰宅してリビングルーム又は寝室に入る)、ランプ640をオンにする必要がある可能性がある。ドア610に振動センサ装置が設置される。ユーザは、ドア610を叩き、タッピングし、擦るという方法で、振動信号を入力することができる。振動信号に基づいて生成されたセンサ信号の信号特徴がプリセット特徴条件を満たすことにより、ランプ640を制御(例えば、点灯)する。側壁まで歩いてスイッチをオンにする場合よりも便利かつ安全である。いくつかの実施例において、ドア610における特定領域は、振動受け領域とされてもよい。例えば、ドアハンドルを振動受け領域としてもよく、ユーザがドア610を開くときに上記振動受け領域を叩き、タッピングし、擦ることにより、点灯の動作命令を下してもよい。また例えば、ドア610の表面は、振動受け領域とされてもよい。振動センサ装置は、ドア610の表面における上記振動受け領域に接続され、かつ上記振動受け領域に入力された振動信号を受信する。振動センサ装置は、例えば、ドア610の中央部、ドア610の縁部などの位置に設置されてもよい。いくつかの実施例において、ユーザが叩くか又はタッピングするとき、ドア610の中央部には振幅が大きいため、振動センサ装置は、ドア610の中央部に設置されてもよい(例えば、嵌め込まれるか又は接着される)。
【0112】
いくつかの実施例において、ドア610の室内環境600とは反対の表面における特定領域は、振動受け領域とされてもよい。例えば、振動受け領域がドア610の室内環境600とは反対の表面の上側に位置することにより、ユーザは、手部で特定の操作を行って振動信号を入力してもよい。また例えば、振動受け領域がドア610の室内環境600とは反対の表面の下側に位置することにより、ユーザは、足でドア610を蹴って振動信号を入力してもよい。
【0113】
図7は、本願のいくつかの実施例に係る、室内環境にあるランプを制御する例示的なフローチャートである。本実施例において、ユーザがヘッドボード630を連続的に3回叩くと、ヘッドボード630に設置されるか又はヘッドボード630に機械的に接続された振動センサ装置は、振動信号を受信して対応するセンサ信号を生成することができる。処理装置120(例えば、振動センサ装置のチップ)は、センサ信号に対して特徴識別を行って、センサ信号が、1s以内に時間間隔が0.5s未満の3つの振動ピークを有するか否かを判断することができる。そうであれば、このときのランプ640のオンオフ状態を判断し続ける。ランプ640がオン状態(すなわち、第1の状態)にあると、ランプ640をオフにするという命令を下し、ランプ640をオフ状態(すなわち、第2の状態)に調整する。ランプ640がオフ状態(すなわち、第2の状態)にあると、ランプ640をオンにするという命令を下し、ランプ640をオン状態(すなわち、第1の状態)に調整する。処理装置120は、センサ信号が1s以内に3つの振動ピークを有さないか又は隣接する振動ピークの時間間隔が0.5sを超えると判定すると、何も動作しない。
【0114】
ユーザが夜に起きるとき、スイッチが枕元に設置されないと、暗闇の中でスイッチを探す必要があり、転倒するか又はぶつかるリスクがある可能性がある。ヘッドボード630に振動センサ装置を取り付けると、ヘッドボード630において特定の操作を行うことによりランプ640を操作することにより、安全性を向上させるだけでなく、利便性も向上させることができる。
【0115】
いくつかの実施例において、ベッド620の周りに複数のスイッチ及びボタンが設置され、例えば、室内環境600がホテルの1つの部屋である場合、一般的にはベッド620のヘッドボード630の近傍にターゲットオブジェクト(例えば、ランプ640)を制御するための複数のスイッチが設置される。ユーザが特定のターゲットオブジェクトを制御しようとするときに特定のスイッチを探す必要がある。ヘッドボード630に振動センサ装置を取り付けると、簡単な叩き、タッピング又は擦りの組み合わせによりターゲットオブジェクトを制御することができる(例えば、特定の操作によりランプ640をオフにする)。
【0116】
いくつかの実施例において、室内環境600の配置形態は、図6に示す形態に限定されなくてもよい。例示的には、室内環境600には他のターゲットオブジェクト、例えば、スマートテレビ、カーテン、エアコンなどがさらに配置されてもよい。ユーザは、システム100により上記他のターゲットオブジェクトを制御してもよい。例えば、室内環境600の側壁にカーテンが設置されてもよく、ユーザはシステム100によりカーテンを操作してもよい。例示的には、1s以内に同じ時間間隔又はほぼ同じ時間間隔でヘッドボード630を叩くことによりカーテンの開閉を制御する。
【0117】
図8は、本願のいくつかの実施例に係る、端末装置が設置された車内環境の概略図である。いくつかの実施例において、車内環境800は、1つ以上の端末装置(例えば、車載エアコン、車載スピーカ、ウィンドウなど)を含んでもよい。1つ以上の端末装置は、システム100によって制御されてもよい。
【0118】
いくつかの例示的な応用シーンにおいて、副操縦士収納ボックス810にセンサユニット(例えば、振動センサ装置)が設置される。振動センサ装置は、助手席側の車載エアコンに関連してもよい。ユーザは、システム100により助手席側の車載エアコンを制御してもよい。例えば、ユーザは、副操縦士収納ボックス810の表面を連続的に叩くか又はタッピングすることができ、振動センサ装置は、叩き又はタッピングによる振動信号を受信してからセンサ信号を生成する。システム100は、上記センサ信号の信号特徴を識別し、かつ上記信号特徴がプリセット特徴条件を満たすか否かを判定してもよい。例えば、上記プリセット特徴条件は、車載エアコンをオン/オフにするという動作に対応する。上記信号特徴が上記プリセット特徴条件を満たすと、システム100は、助手席側の車載エアコンのオン/オフを制御することができる。
【0119】
いくつかの例示的な応用シーンにおいて、ステアリングホイール820に少なくとも1つのセンサユニット(例えば、振動センサ装置)が物理的に接続される。振動センサ装置は、車載エアコン、車載スピーカ、ウィンドウなどの端末装置に関連してもよい。同様に、ユーザは、システム100により車載エアコン、車載スピーカ、ウィンドウなどを制御することができる。
【0120】
図9は、本願のいくつかの実施例に係る、車内の端末装置を制御する例示的なフローチャートである。本実施例において、運転者がステアリングホイール820を連続的に3回叩くと、ステアリングホイール820に設置された振動センサ装置は、該振動信号を収集してセンサ信号を生成してもよい。システム100は、該センサ信号の信号特徴を識別し、かつプリセット特徴条件を満たすか否かを判断することができる。例として、システム100は、該センサ信号が2s以内に同じ時間間隔又はほぼ同じ時間間隔を有する3つの振動ピーク(すなわち、振動ピークの数が3つであり、かつ隣接する2つの振動ピークの時間間隔が同じであるか又はほぼ同じである)を有するか否かを識別してもよい。そうでなければ(すなわち、該センサ信号の信号特徴がプリセット特徴条件を満たさない)、動作しない。そうであれば(すなわち、該信号の信号特徴がプリセット特徴条件を満たす)、車載エアコンの現在の状態を取得する。車載エアコンがオン状態(すなわち、第1の状態)にあると、車載エアコンをオフにするという命令を下して、車載エアコンをオフ状態(すなわち、第2の状態)に調整する。車載エアコンがオフ状態にあると、車載エアコンをオンにするという命令を下して、車載エアコンをオン状態に調整する。別の例として、システム100は、該信号が2s以内に時間間隔が等しくない3つの振動ピーク(例えば、1回目の振動ピークと2回目の振動ピークとの時間間隔が1sであり、2回目の振動ピークと3回目の振動ピークとの時間間隔は2sである)を有するか否かを識別してもよい。そうでなければ(すなわち、該センサ信号の信号特徴がプリセット特徴条件を満たさない)、動作しない。そうであれば(すなわち、該信号の信号特徴がプリセット特徴条件を満たす)、車載スピーカの現在の状態を取得する。車載スピーカがオン状態にあると、車載スピーカをオフにするという命令を下す。車載スピーカがオフ状態にあると、車載スピーカをオンにするという命令を下す。
【0121】
いくつかの実施例において、車内環境800の配置形態は、図8に示す形態に限定されなくてもよい。例示的には、車内環境800には他のターゲットオブジェクト、例えば、サンルーフ、シートヒータなどがさらに設置されてもよい。いくつかの具体的な実施例において、車内環境800のルーフにサンルーフが設置されてもよく、ユーザはシステム100によりサンルーフを制御してもよい。例えば、1s以内に同じ時間間隔又はほぼ同じ時間間隔でステアリングホイール820を4回叩くことによりサンルーフの開閉を制御する。
【0122】
車両の走行中に、ユーザ(例えば、運転手)が車載エアコン、車載スピーカを調整する可能性があり、車両のボタン、スイッチなどに対する操作は、運転手の注意力を分散させて、交通安全事故を引き起こす可能性がある。音声対話が上記問題をある程度で回避することができるが、タイヤノイズ、音楽音及び対話は、音声対話を大きく干渉する。音声対話の制御方法に比べて、車内の特定の位置(例えば、ステアリングホイール820)に振動センサ装置を設置することにより、運転手は、振動受け領域(例えば、ステアリングホイール820の任意の位置)を叩き、タッピングし、擦ることにより、走行の正面前方から目を離さずに、車載エアコン、車載スピーカ、サンルーフなどのターゲットオブジェクトを操作するという目的を達成することができるため、車両走行の安全性を向上させることができる。
【0123】
図10は、本願のいくつかの実施例に係る、端末装置が設置されたテーブル面環境の概略図である。テーブル面環境1000は、1つ以上の端末装置を含んでもよい。端末装置は、1種以上のオフィス、娯楽装置であってもよい。
【0124】
いくつかの例示的な応用シーンにおいて、テーブル面環境1000は、テーブル1010及び椅子1020を含む。テーブル1010及び/又は椅子1020にセンサユニット(例えば、テーブル1010に設置された第1の振動センサ装置及び椅子1020に設置された第2の振動センサ装置)が設置されてもよい。例示的には、第1の振動センサ装置はテーブル1010の表面に設置されてもよく、第2の振動センサ装置は椅子1020の肘掛けに設置されてもよい。いくつかの実施例において、ユーザは、振動受け領域(例えば、テーブル1010の表面及び/又は椅子1020の肘掛けの任意の位置)で特定の操作を行って、振動センサ装置に特定の振動信号を入力することにより、上記1種以上のオフィス、娯楽装置の動作又は動作命令を決定してもよい。例えば、ユーザがテーブル1010のテーブル面を単一の指で叩き、それに対応する振動センサ信号がプリセット特徴条件を満たすと、対応する娯楽装置(例えば、楽器)は、ユーザの指で叩くリズムに合わせて曲を作成して外部オーディオ出力装置により再生してもよい。このようにして、ユーザのストレスを効果的に解消することができる。また例えば、ユーザが椅子1020の肘掛けをタッピングし、それに対応する振動センサ信号がプリセット特徴条件を満たすと、関連するマッサージ装置はユーザの背部をマッサージしてもよい。
【0125】
いくつかの実施例において、テーブル面環境1000の配置形態は、図10に示す形態に限定されなくてもよい。例示的には、テーブル面環境1000は、他の端末装置、例えば、ユーザが押圧することができるおもちゃなどをさらに含んでもよい。いくつかの具体的な実施例において、上記おもちゃは、振動センサ装置を含んでもよい。ユーザがおもちゃを押圧するとき、振動センサ装置は、振動信号を収集し、かつ触覚フィードバックを生成してもよい。例えば、1s以内におもちゃを3回押圧することにより、おもちゃを連続的に振動させて手をマッサージすることができる。
【0126】
いくつかの実施例において、システム100は、さらに他の使用シーン、例えば、スマート工場、スマートオーディオ装置に適用されてもよい。いくつかの例示的な応用シーンにおいて、スマート工場は、組立ライン搬送装置、ロボットアーム、及び一般的に使用される領域に取り付けられたセンサユニット(例えば、振動センサ装置)を含んでもよい。一般的には、工場環境が騒がしく、さらにひどいノイズで満たされ、音声対話に比べて、ユーザは、操作しやすい領域において特定の叩き、タッピング、擦りなどの操作を行うことにより振動信号を入力することで、組立ライン搬送装置、ロボットアームなどの装置を制御するか又は同僚と交流し、ノイズの干渉を受けず、機器や装置をより便利に操作するか又は交流することができる。例示的には、ユーザが3s以内に同じ時間間隔又はほぼ同じ時間間隔で叩き、それにより生成された振動信号に対応する動作命令は、組立ライン搬送装置を制御して作業を開始することである。いくつかの実施例において、振動センサ装置が、ロボットアーム及び組立ライン搬送装置から離れる領域に設置されて、ロボットアーム及び組立ライン搬送装置の動作による振動が、ユーザにより入力された振動信号に影響を与えることを防止してもよい。
【0127】
いくつかの例示的な応用シーンにおいて、システム100は、スマートオーディオ装置(例えば、スマートスピーカ)に適用されてもよい。例示的には、スマートスピーカは、それに設置された(例えば、接着された)振動センサ装置を含んでもよい。スマートスピーカ自体は、端末装置として、振動センサ装置と(例えば、ブルートゥース接続の方法で)通信してもよい。いくつかの実施例において、ユーザは、スマートスピーカにおいて特定の叩き、タッピング、擦りなどの操作を行うことによりスマートスピーカを操作してもよい。例えば、ユーザが手のひらでスマートスピーカのハウジングをタッピングすると、振動センサ装置は、手のひらによるタッピングにより生成された振動信号を収集してセンサ信号を生成し、システム100は、その信号特徴を識別してから信号特徴をプリセット特徴条件と比較してもよい。比較結果に基づいて、センサ信号に対応する動作又は動作命令が、次の曲を再生することであると判定する。スマートスピーカの対話方法が音声対話である場合が多く、触覚情報の欠落は、ユーザの対話体験を低下させる可能性がある。スマートスピーカのハウジングに振動センサ装置を設置することにより、ユーザとスマートスピーカとの間の触覚対話を確立し、対話体験を向上させることができる。
【0128】
いくつかの実施例において、ターゲットオブジェクト制御システム100は、ユーザの身体活動(例えば、咳、くしゃみ、いびき、あくび、転倒など)を監視して分析することにより、ユーザの生理的状態をより正確に判断してもよい。例示的には、システム100は、センサ装置110により、ユーザの身体活動の信号を正確かつ効果的に収集して、かつ信号に基づいて対応するセンサ信号を生成することができる。システム100は、上記センサ信号の信号特徴を識別し、上記信号特徴に基づいてユーザの生理的状態を判断し、最後にユーザの生理的状態に基づいてユーザの健康状態をより正確に判断することができる。センサ装置110は、振動センサ装置であってもよい。いくつかの実施例において、センサ装置110は、心拍数測定部材、血糖測定部材、血圧測定部材、血中脂質測定部材などをさらに含んでもよい。いくつかの実施例において、システム100は、ユーザの生理的状態に基づいて、ターゲットオブジェクト(例えば、端末装置130)の動作又は動作命令を決定してもよい。上記動作命令は、上記ターゲットオブジェクトを制御して対応する機能を実行することにより、ユーザに、より包括的な健康保護を提供するために用いられてもよい。例示的な機能は、ユーザの健康状態を記録し、健康早期警報を発し、援助要請を発することなどを含んでもよい。
【0129】
図11は、本願のいくつかの実施例に係るターゲットオブジェクト制御方法の例示的なフローチャートである。具体的には、ターゲットオブジェクト制御方法1100は、ターゲットオブジェクト制御システム100(例えば、処理装置120)により実行されてもよい。例えば、ターゲットオブジェクト制御方法1100は、プログラム又は命令の形態で記憶装置(例えば、処理装置120の内蔵型記憶ユニット又は記憶装置140)に記憶されてもよく、ターゲットオブジェクト制御システム100(例えば、処理装置120)が該プログラム又は命令を実行する場合、ターゲットオブジェクト制御方法1100を実行することができる。以下に示すフローの動作は、説明のためのものに過ぎない。いくつかの実施例において、方法1100は、1つ以上の説明されない付加的な動作及び/又は示されない1つ以上の動作によって実行されてもよい。また、図11に示し以下に説明する方法1100の動作の順序は限定されない。いくつかの実施例において、方法1100は、人間の健康監視などの分野に適用されてもよい。
【0130】
ステップ1110では、処理装置120は、少なくとも1つのセンサ装置のセンサ信号を取得してもよい。いくつかの実施例において、ステップ1110は、センサ信号取得モジュール310により実行される。
【0131】
上記少なくとも1つのセンサ装置は、振動センサ装置を含んでもよい。振動センサ装置は、振動信号を収集してもよい。例えば、上記振動センサ装置は、骨伝導を音声の主な伝搬方法の1つとするマイクロフォン、加速度計などであってもよい。いくつかの実施例において、上記振動センサ装置は、ウェアラブルデバイスに設置されてもよい。例示的なウェアラブルデバイスは、スマートブレスレット、スマートフットウェア、スマートメガネ、スマートヘルメット、スマートウォッチ、スマート衣類、スマートバックパック、スマートアクセサリーなど又はそれらの任意の組み合わせを含んでもよい。ユーザが上記ウェアラブルデバイスを着用すると、上記ウェアラブルデバイスは、ユーザの身体部位(例えば、頭部、頸部、耳部など)に密着してもよい。上記振動センサ装置は、上記ウェアラブルデバイスにより上記ユーザの身体活動による振動信号を受信する。いくつかの実施例において、上記振動センサ装置は、独立した装置であってもよい。上記振動センサ装置は、ユーザの身体部位に直接密着して、上記ユーザの身体活動による振動信号を受信してもよい。
【0132】
振動センサ装置は、ユーザの身体部位に直接接触してもよく、ウェアラブルデバイスによりユーザの身体部位に間接接触してもよい。ユーザの身体活動、例えば、咳、くしゃみ、いびき、あくび、震え、ぶつかり、転倒などは、振動信号を生成してもよい。上記振動信号は、ユーザの骨格又は筋肉を介して振動センサ装置に伝達される。振動センサ装置は、上記振動信号を取得し、かつセンサ信号を生成してもよい。振動センサ装置は、処理装置120に接続される。処理装置120は、振動センサ装置が生成したセンサ信号を取得してもよい。
【0133】
ステップ1120では、処理装置120は、センサ信号の信号特徴を識別してもよい。いくつかの実施例において、ステップ1120は、信号特徴識別モジュール320により実行されてもよい。いくつかの実施例において、ステップ1120は、フロー400におけるステップ420と同じであるか又は類似してもよい。
【0134】
いくつかの実施例において、処理装置120は、振動センサ信号を処理(例えば、時間領域処理及び/又は周波数領域処理など)して、振動センサ信号を信号特徴スペクトルとして出力してもよい。処理装置120は、信号特徴スペクトルに基づいて、センサ信号の信号特徴を識別してもよい。例えば、処理装置120は、信号特徴スペクトルから振動ピークの個数、信号の周波数成分などの関連情報を読み取ってもよい。いくつかの実施例において、処理装置120は、直接的に、振動センサ装置により収集された振動信号の関連データ/情報に基づいて信号特徴を識別してもよい。例えば、処理装置120は、2つの振動ピークを取得する時間に基づいて、2つの隣接する振動ピークの間隔時間を計算してもよい。
【0135】
いくつかの実施例において、処理装置120は、センサ信号の少なくとも1種の信号特徴、例えば、振動ピークの数、信号強度、隣接する振動ピークの間隔時間、周波数成分、信号継続時間のうちの少なくとも1種を識別してもよい。ユーザの異なる身体活動、例えば、咳、くしゃみ、いびき、あくび、震え、ぶつかり、転倒は、異なる振動信号(例えば、周波数成分、隣接する振動ピークの間隔時間、継続時間及び/又は信号強度が異なる振動信号)を生成する。それに応じて、振動センサ装置が生成した振動センサ信号も異なる(例えば、周波数成分、隣接する振動ピークの間隔時間、継続時間及び/又は信号強度が異なる振動センサ信号)。例えば、ユーザがくしゃみをするとき、信号特徴スペクトルにおける高周波信号成分が多く、かつ振動ピークの継続時間が長く、ユーザがあくびをするとき、信号特徴スペクトルにおける高周波信号成分が多く、かつ一般的に明らかな振動ピークが発生しない。異なる身体活動に対応するセンサ信号の信号特徴に関するより多くの詳細については、本願の他の部分の説明、例えば、図12A図12Eを参照することができ、ここでは説明を省略する。
【0136】
ステップ1130では、処理装置120は、信号特徴に基づいて、ユーザの生理的状態を決定することができる。いくつかの実施例において、ステップ1130は、動作決定モジュール330により実行されてもよい。
【0137】
本明細書において、上記生理的状態は、ユーザの身体の状態を意味する。ユーザの各身体活動は、対応する生理的状態を有する。ユーザの生理的状態は、危険な生理的状態と非危険な生理的状態に分けられてもよい。非危険な生理的状態は、咳状態、くしゃみ状態、いびき状態、あくび状態などを含んでもよい。危険な生理的状態は、震え状態、ぶつかり状態、転倒状態などを含んでもよい。処理装置120は、振動センサ装置が生成したセンサ信号を分析処理することにより、上記信号特徴を決定し、次に上記信号特徴に基づいて、ユーザの生理的状態を決定してもよい。
【0138】
いくつかの実施例において、処理装置120は、識別された信号特徴が複数のプリセット特徴条件のうちの少なくとも1つを満たすか否かを判断してもよい。上記プリセット特徴条件は、予め設定された1種の特徴又は複数種の特徴の組み合わせを含む。いくつかの実施例において、処理装置120は、生理的状態に対応する信号特徴をプリセット特徴条件としてもよい。いくつかの実施例において、各プリセット特徴条件は、ユーザの1つの生理的状態に対応してもよい。例えば、プリセット特徴条件は、閾値時間(例えば、5s、8s、10s、15sなど)以内に間隔が小さい2つ以上の振動ピークが現れることであってもよい。また例えば、プリセット特徴条件は、信号特徴スペクトルにおける高周波信号成分が多く、かつ明らかな振動ピークがないことであってもよい。また例えば、プリセット特徴条件は、信号特徴スペクトルにおける中低周波信号成分が多いことである。各プリセット特徴条件は、異なる生理的状態に対応してもよい。例えば、10s以内に間隔が小さい2つ以上の振動ピークが現れるというプリセット特徴条件に対応する生理的状態は咳状態である。また例えば、信号特徴スペクトルにおける高周波信号成分の割合が60%であり、かつ明らかな振動ピークがないというプリセット特徴条件に対応する生理的状態はあくび状態である。また例えば、信号特徴スペクトルにおける中低周波信号成分の割合が70%であるというプリセット特徴条件に対応する生理的状態は転倒状態である。
【0139】
いくつかの実施例において、各生理的状態に対応するプリセット特徴条件は、複数のユーザの実際の身体活動によるセンサ信号の信号特徴に基づいて決定されてもよい。例えば、複数のユーザがあくびをするときに振動センサ装置が生成した振動センサ信号の信号特徴を抽出することにより、あくび状態に対応するプリセット特徴条件を決定することができる。いくつかの実施例において、処理装置120は、プリセット特徴条件決定モデルを利用して、抽出された信号特徴に基づいて各生理的状態のプリセット特徴条件を決定してもよい。上記プリセット特徴条件決定モデルは、例えば、機械学習モデルであってもよい。いくつかの実施例において、プリセット特徴条件決定モデルは、トレーニングされた機械学習モデルであってもよい。該プリセット特徴条件決定モデルのトレーニングプロセスは、特徴抽出モデルのトレーニングプロセスと同じであるか又は類似する。
【0140】
いくつかの実施例において、処理装置120は、センサ信号の信号特徴とプリセット特徴条件との違いに基づいて、信号特徴がプリセット特徴条件を満たすか否かを判定してもよい。例示的には、プリセット特徴条件は、5s以内に3つ以上の振動ピークが現れることを含んでもよい。処理装置120は、収集されたセンサ信号における5s以内に現れる振動ピークの個数を決定し、2つの振動ピークしか現れないと、プリセット特徴条件を満たさない。いくつかの実施例において、処理装置120は、センサ信号の信号特徴スペクトル及びプリセット特徴条件の信号特徴スペクトルに基づいて、信号特徴がプリセット特徴条件を満たすか否かを判定してもよい。例えば、処理装置120は、センサ信号の信号特徴スペクトルをプリセット特徴条件の信号特徴スペクトルと比較し、両者の信号特徴スペクトルにおける信号曲線が重なるか又はほぼ重なると、信号特徴がプリセット特徴条件を満たすと判断することができる。いくつかの実施例において、処理装置120は、プリセット特徴条件識別モデルに基づいて、信号特徴がプリセット特徴条件を満たすか否かを判定してもよい。信号特徴がプリセット特徴条件を満たすと、処理装置120は、上記プリセット特徴条件に対応する生理的状態をユーザの生理的状態として決定してもよい。
【0141】
ステップ1140では、処理装置120は、ユーザの生理的状態に基づいて、少なくとも1つのセンサ装置110に関連するターゲットオブジェクトの動作を決定することができる。いくつかの実施例において、ステップ1140は、動作決定モジュール330により実行されてもよい。いくつかの実施例において、処理装置120は、ターゲットオブジェクトを制御して上記動作を実行するための動作命令をさらに決定してもよい。動作命令は、ターゲットオブジェクト(例えば、スマートウェアラブルデバイス、端末装置130など)に、対応する動作を実行することを指示してもよい。
【0142】
いくつかの実施例において、処理装置120は、生理的状態が危険な生理的状態であるか否かに基づいて、ターゲットオブジェクトの動作を決定してもよい。いくつかの実施例において、生理的状態が危険な生理的状態であり、例えば、ユーザが転倒状態にある場合、処理装置120は、端末装置130(例えば、移動端末)を制御して、音声問い合わせ(例えば、「危険に遭遇しているか否か?」、「助けが必要であるか否か?」)、早期警報(例えば、移動端末(例えば、携帯電話)を用いて予め記憶された連絡先に早期警報を発する)、外部支援の要請(例えば、警察機関、病院に支援要請をする)のうちの1つ以上の動作を行ってもよい。いくつかの実施例において、生理的状態が非危険な生理的状態であり、例えば、ユーザがあくびをする場合、処理装置120は、センサ信号の関連情報を記録してもよい。センサ信号の関連情報は、センサ信号が現れる頻度(身体活動の頻度を示すために用いられる)、センサ信号の信号特徴(身体活動のタイプを示すために用いられる)、センサ信号が現れる時間(身体活動の具体的な時点又は期間を示すために用いられる)などを含んでもよい。いくつかの実施例において、処理装置120は、記録された信号特徴に基づいて、ユーザの健康状態を評価してもよい。例示的には、いびきの頻度が頻度閾値を超える場合、処理装置120は、ユーザの咽喉が病気にかかっている可能性があると判断することができる。ユーザの鼻すすり、くしゃみの頻度が頻度閾値を超える場合、処理装置120は、ユーザが風邪をひいている可能性があると判断することができる。いくつかの実施例において、処理装置120は、ユーザが閲覧するために、ユーザの健康状態についての評価を記録し及び/又は端末装置130(例えば、携帯電話)に送信してもよい。
【0143】
いくつかの実施例において、処理装置120は、ユーザの関連情報に基づいて、ターゲットオブジェクトの動作を決定してもよい。ユーザの関連情報は、ユーザの病歴、年齢、各生理的パラメータ(例えば、血圧、血糖、心拍数など)を含んでもよい。いくつかの実施例において、ユーザの関連情報は、ユーザが端末装置130により入力する(例えば、処理装置120と通信する移動端末により入力する)ものであってもよい。いくつかの実施例において、上記少なくとも1つのセンサ装置は、心拍数測定部材、血圧測定部材、血糖測定部材などのうちの少なくとも1つをさらに含んでもよい。ユーザの各生理的パラメータ(例えば、血圧、血糖、心拍数など)は、上記少なくとも1つのセンサ装置により取得されてもよい。例示的には、処理装置120は、ユーザの生理的状態が転倒状態であると判定した場合、ユーザの年齢を取得し、例えば、ユーザの年齢が80歳であると、端末装置130(例えば、移動端末)を直接制御して早期警報を発してもよい。また例えば、ユーザの年齢が20歳であると、処理装置120は、端末装置130(例えば、移動端末)を制御して音声問い合わせをしてもよい。いくつかの場合において、若者に比べて、中高齢者の転倒による健康上の危険性がより高い可能性があるため、家族や友人に直ちに早期警報を発して、ユーザを助ける必要がある可能性がある。
【0144】
図12A図12Eは、本願のいくつかの実施例に係る、異なる身体活動に対応する振動センサ信号の信号特徴スペクトルの概略図である。図12A図12Eは、それぞれユーザの咳、あくび、くしゃみ、いびき及び転倒時に生成された振動センサ信号の信号特徴スペクトルを例示的に示す。図12A図12Eから分かるように、異なる身体活動による振動センサ信号は、いずれも異なる信号特徴を有する。図12Aに示すように、ユーザが咳をするとき、一般的に咳を数回するため、間隔が小さい複数の振動ピークが現れる。図12Bに示すように、ユーザがあくびをするとき、信号特徴スペクトルにおける高周波信号成分が多く、かつ一般的に明らかな振動ピークが発生しない。図12Cに示すように、ユーザがくしゃみをするとき、信号特徴スペクトルにおける高周波信号成分が多く、かつ振動ピークの継続時間が長い。図12Dに示すように、ユーザがいびきをかくとき、信号特徴スペクトルにおける高周波信号成分が多くなり、かつ集中する。図12Eに示すように、ユーザが転倒したとき、信号特徴スペクトルにおける低周波信号成分がより多い。
【0145】
図13は、本願のいくつかの実施例に係るユーザの身体活動の振動センサ信号の周波数曲線の概略図である。図13に示すように、いくつかの実施例において、ユーザの身体活動(例えば、咳、くしゃみなど)により生成された振動信号の周波数は、基本的に5kHzよりも低い(fでの周波数が5kHzである)。したがって、振動センサ装置の共振周波数(すなわち、固有周波数)は5kHzより小さい必要がある。いくつかの実施例において、振動センサ装置の固有周波数は0.5kHz~5kHzの間にあってもよい。いくつかの実施例において、振動センサ装置の固有周波数は0.8kHz~5kHzの間にあってもよい。いくつかの実施例において、振動センサ装置の固有周波数は1kHz~5kHzの間にあってもよい。いくつかの実施例において、振動センサ装置の固有周波数は1.25kHz~4.75kHzの間にあってもよい。いくつかの実施例において、振動センサ装置の固有周波数は1.5kHz~4.5kHzの間にあってもよい。いくつかの実施例において、振動センサ装置の固有周波数は2kHz~4.5kHzの間にあってもよい。取得された振動信号がより正確になるように、振動センサ装置の感度をできるだけ高くする必要がある。いくつかの実施例において、振動センサ装置の感度は、-50dBV/(m/s)~-10dBV/(m/s)の間にあってもよい。いくつかの実施例において、振動センサ装置の感度は、-35dBV/(m/s)~-15dBV/(m/s)の間にあってもよい。いくつかの実施例において、振動センサ装置の感度は、-30dBV/(m/s)~-15dBV/(m/s)の間にあってもよい。いくつかの実施例において、振動センサ装置の感度は、-25dBV/(m/s)~-20dBV/(m/s)の間にあってもよい。
【0146】
図14は、本願のいくつかの実施例に係る、ターゲットオブジェクト制御システムがウェアラブルデバイスに適用される概略図である。例示的には、ウェアラブルデバイスは、イヤホン1400であってもよい。ターゲットオブジェクト制御システム100の1つ以上の部材又はユニットは、イヤホン1400に集積されてもよい。
【0147】
いくつかの実施例において、イヤホン1400は、オーディオ出力機能のみを有し、例えば、スピーカであってもよい。いくつかの実施例において、イヤホン1400は、オーディオ出力及び入力機能を有し、例えば、オーディオ入力及び出力可能なイヤホンであってもよい。いくつかの実施例において、イヤホン1400は、補聴器であってもよい。いくつかの実施例において、イヤホン1400は、骨伝導を音声の主な伝搬方法の1つとするイヤホン又は空気伝導を音声の主な伝搬方法の1つとするイヤホンであってもよい。いくつかの実施例において、イヤホン1400は、ヘッドホン(例えば、モノラルヘッドホン、バイノーラルヘッドホン)、耳掛け式イヤホン、インイヤーイヤホンなどであってもよい。
【0148】
いくつかの実施例において、イヤホン1400はインイヤーイヤホンであってもよい。イヤホン1400にセンサ装置1410が設置される。センサ装置1410は、ユーザの身体活動による振動信号を収集するための振動センサ装置であってもよい。いくつかの実施例において、振動センサ装置は、イヤホンに内蔵された、骨伝導を音声の主な伝搬方法の1つとするマイクロフォンであってもよい。いくつかの実施例において、振動センサ装置は、微小電気機械(MEMS)加速度計であってもよい。振動センサ装置1410は、イヤホン1400によりユーザの身体活動による振動信号を受信してもよい。ユーザがイヤホン1400を着用するとき、イヤホン1400は、ユーザの身体部位(例えば、耳部)に密着し、上記振動信号は、イヤホン1400を介して振動センサ装置に正確に伝達することができる。いくつかの実施例において、振動センサ装置とイヤホン1400との接続剛性を向上させることにより、振動信号の伝達中の損失を低減することで、振動信号が振動センサ装置により正確かつ完全に収集され得る。いくつかの実施例において、振動センサ装置は、イヤホン1400のユーザと接触するハウジングに固定的に接続されてもよい。ハウジングが一般的に所定の硬度を有するため、振動信号の伝達中の損失を低減することができる。固定接続の方法は、嵌め込み、ねじ接続、リベット接合、溶接、接着などを含んでもよいが、これらに限定されない。いくつかの実施例において、振動センサ装置の取り外しを容易にするために、振動センサ装置は、イヤホン1400に接着方法で接続されてもよい。
【0149】
いくつかの実施例において、振動センサ装置は、ユーザの身体部位(例えば、耳部)に直接密着してもよい。例えば、ユーザがイヤホン1400を着用するとき、振動センサ装置は、イヤホン1400のハウジングに設置されて、ユーザの耳部に直接接触してもよい。ユーザの身体活動による振動信号が、イヤホン1400の1つ以上の部分(例えば、ハウジング)による伝達を必要とせずに振動センサ装置により直接収集されてもよいため、振動信号の伝達中の損失を低減する。
【0150】
いくつかの実施例において、ウェアラブルデバイス(例えば、スマートイヤホン、スマートメガネ、スマートヘルメットなど)が合理的な全体寸法を有することを保証するために、振動センサ装置の体積が所定の要件を満たすことも求められる。いくつかの実施例において、振動センサ装置の体積は、1mm~10cmの間にあってもよい。いくつかの実施例において、振動センサ装置の体積は、0.5mm~20cmの間にあってもよい。いくつかの実施例において、振動センサ装置の体積は、1.5mm~5cmの間にあってもよい。いくつかの実施例において、振動センサ装置の体積は、2mm~1cmの間にあってもよい。
【0151】
図15は、本願のいくつかの実施例に係る、ユーザの身体活動による振動信号に基づいて、ターゲットオブジェクトの動作を決定する例示的なフローチャートである。本実施例において、イヤホン1400を装着しているユーザの身体活動による振動信号は、イヤホン1400に固定的に接続された振動センサ装置に伝達される。振動センサ装置は、該振動信号を受信してから対応する振動センサ信号を生成する。処理装置120は、振動センサ装置が生成したセンサ信号を取得し、かつセンサ信号の信号特徴を識別してもよい。いくつかの実施例において、処理装置120は、信号特徴が複数のプリセット特徴条件のうちの少なくとも1つを満たすか否かを判断してもよい。例示的には、プリセット特徴条件は、咳状態、あくび状態、くしゃみ状態、鼻すすり状態、いびき状態、転倒状態などに対応する1種の信号特徴又は複数種の信号特徴の組み合わせであってもよい。いくつかの実施例において、センサ信号の信号特徴がいずれのプリセット特徴条件も満たさないと、処理装置120は動作しない。いくつかの実施例において、センサ信号の信号特徴がそのうちの1つのプリセット特徴条件を満たすと、処理装置120は、上記プリセット特徴条件に対応する生理的状態を決定してもよい。処理装置120は、該プリセット特徴条件に対応する生理的状態が転倒、ぶつかりなどの危険な生理的状態であるか否かをさらに決定してもよい。いくつかの実施例において、生理的状態が転倒である場合、処理装置120は、ターゲットオブジェクトの危険な生理的状態に対応する動作を決定してもよい。例えば、ターゲットオブジェクトは、イヤホン1400及びイヤホン1400と通信する他の装置を含んでもよい。例示的には、イヤホン1400と通信する他の装置は、移動端末、例えば、携帯電話であってもよい。いくつかの実施例において、処理装置120は、イヤホン1400に動作命令を送信することにより、イヤホン1400がユーザに、「危険に遭遇しているか否か?「助けが必要であるか否か?」という音声問い合わせを送信してもよい。ユーザは、音声問い合わせに応答することにより、処理装置120に後続の動作を実行させてもよい。例えば、ユーザが「助けが必要である」という音声を返信する(例えば、イヤホンが音声入力機能を有する)と、処理装置120は、移動端末を制御して予め記憶された連絡先に早期警報を発するか又は外部支援を要請してもよい。いくつかの実施例において、処理装置120は、所定の時間範囲(例えば、10s、20s、30sなど)以内にユーザ応答を検出しないと、予め記憶された連絡先に早期警報を発するか又は外部支援を要請してもよい。いくつかの実施例において、生理的状態が非危険な生理的状態(例えば、咳状態、あくび状態など)である場合、処理装置120は、後続のユーザの健康状態の評価のために、該センサ信号の関連情報を記録してもよい。
【0152】
図16は、本願のいくつかの実施例に係る、ターゲットオブジェクト制御システムがウェアラブルデバイスに適用される概略図である。例示的には、ウェアラブルデバイスは、イヤホン1600(例えば、耳掛け式イヤホン)を含んでもよい。ターゲットオブジェクト制御システム100の1つ以上の部材又はユニットは、イヤホン1600に集積されてもよく、イヤホン1600と通信接続されてもよい。
【0153】
いくつかの例示的な応用シーンにおいて、センサ装置1610は、イヤホン1600に設置されてもよい。センサ装置1610は、イヤホン1600のユーザの身体活動(例えば、転倒時に衝撃を受ける)による振動信号を収集するための振動センサ装置を含んでもよい。例示的な振動センサ装置1610は、MEMS加速度計、骨伝導を音声の主な伝搬方法の1つとするマイクロフォンなどであってもよい。いくつかの実施例において、上記骨伝導を音声の主な伝搬方法の1つとするマイクロフォンは、イヤホン1600自体の素子であってもよい。例えば、イヤホン1600は、骨伝導を音声の主な伝搬方法の1つとするマイクロフォンを含むイヤホンであってもよい。いくつかの実施例において、処理装置120(例えば、イヤホン1600の信号処理ユニット)は、センサ装置1610が生成した振動センサ信号に基づいて、ユーザの生理的状態を判断してもよい。いくつかの実施例において、処理装置120は、ユーザの生理的状態に基づいてターゲットオブジェクトの動作を決定してもよい。ターゲットオブジェクトは、システム100の端末装置130を意味してもよい。いくつかの実施例において、該ターゲットオブジェクトは、イヤホン1600及びイヤホン1600と通信するスマート端末を含んでもよい。例示的なスマート端末は、携帯電話、タブレットコンピュータ、ブレスレットなどであってもよい。
【0154】
他のいくつかの例示的な応用シーンにおいて、センサ装置1610は、振動センサ装置及び動作センサ装置を含んでもよい。動作センサ装置は、ユーザの身体姿勢に関連する動作信号を収集してもよい。例示的な動作センサ装置は、三軸ジャイロスコープ、三軸加速度計、三軸電子コンパスなどを含んでもよいが、これらに限定されない。三軸ジャイロスコープを例として、三軸ジャイロスコープは、イヤホン1600の姿勢角に関連する情報/データ(例えば、3つの直交軸の角速度)を収集して対応するセンサ信号を生成してもよい。姿勢角は、ピッチ角(すなわち、イヤホン1600と水平面との夾角)、ヨー角及びロール角を含んでもよい。処理装置120は、上記センサ信号を処理して、その信号特徴を決定してもよい。処理装置120は、上記信号特徴に基づいて、ユーザの身体姿勢を決定してもよい。上記身体姿勢は、例えば、腹臥位、仰臥位、身体が所定の角度で傾斜することなどの静止状態、又は、ゆっくりと立ち上がることなどの運動状態を含んでもよい。いくつかの実施例において、三軸ジャイロスコープ自体のプロセッサ(例えば、チップ)は、そのセンサ信号に基づいてユーザの身体姿勢を決定することもできる。いくつかの実施例において、処理装置120は、ユーザの身体姿勢が静止状態(例えば、腹臥位、仰臥位、身体が所定の角度で傾斜すること)にある場合と運動状態(例えば、ゆっくりと立ち上がること)にある場合とに対応する複数の信号特徴に基づいて、プリセット特徴条件を決定してもよい。センサ信号の信号特徴がプリセット特徴条件を満たすか否かを判断することにより、ユーザの身体姿勢を決定する。例えば、センサ信号の信号特徴が、身体姿勢が静止状態(例えば、腹臥位)にある場合に対応するプリセット特徴条件を満たすと、ユーザの身体姿勢が静止状態(例えば、腹臥位)にあると判定することができる。
【0155】
いくつかの実施例において、処理装置120は、振動センサ装置が生成したセンサ信号の信号特徴に基づいて、ユーザが転倒状態にあるか否かを判定してもよい。処理装置120は、動作センサ装置が生成したセンサ信号の信号特徴に基づいて、ユーザの身体姿勢を決定してもよい。振動センサ装置及び動作センサ装置が生成したセンサ信号に基づいて、ユーザが転倒したか否か及びユーザの身体姿勢を決定してもよい。いくつかの実施例において、処理装置120は、ユーザが転倒状態にあるか否か及びユーザの身体姿勢に基づいて、ユーザの生理的状態を決定してもよい。例示的には、ユーザの生理的状態は、危険な状態と非危険な状態に分けられてもよい。ユーザが転倒状態にあり、かつ所定の時間閾値(例えば、10秒、20秒、30秒、1分間など)以内にユーザの身体姿勢が静止状態(例えば、仰臥位)にある場合、ユーザが危険な状態にあり、助けが必要であることを決定する。また例えば、ユーザが転倒状態にないか又はユーザが転倒状態にあるが、その身体姿勢が運動状態(例えば、ゆっくりと立ち上がること)にある場合、ユーザが非危険な状態にあり、助けが必要ではないことを決定する。
【0156】
いくつかの実施例において、処理装置120は、ユーザの生理的状態に基づいてターゲットオブジェクトの動作を決定してもよい。例えば、処理装置120は、ユーザが転倒状態にあり、かつ閾値時間以内にユーザの身体姿勢が静止状態(例えば、仰臥位)にあると判断した場合、ユーザが危険な状態にあると判定し、かつイヤホン1600と通信接続された移動端末(例えば、携帯電話)が、予め記憶された連絡先に早期警報を発するか又は外部支援を要請することを決定することができる。また例えば、処理装置120は、ユーザが転倒状態にないか又はユーザが転倒状態にあるが、ユーザの身体姿勢が運動状態(例えば、ゆっくりと立ち上がること、ゆっくりと座ることなど)にあると判断した場合、ユーザが非危険な状態にあると判定し、かつ、後続のユーザの健康状態の評価のために、イヤホン1600と通信接続された移動端末が該センサ信号の関連情報を記録することを決定することができる。
【0157】
いくつかの実施例において、イヤホン1600は、生理的パラメータセンサ装置をさらに含んでもよい。例示的な生理的パラメータセンサ装置は、心拍数測定部材、血圧測定部材、血糖測定部材などである。生理的パラメータセンサ装置は、ユーザの血管拡張、胸腔の動き、血液成分などを検知又は分析し、かつセンサ信号を生成するために用いられてもよい。処理装置120は、上記センサ信号の信号特徴を識別し、かつユーザの生理的パラメータを決定してもよい。例示的な生理的パラメータは、心拍数、血圧、血糖などを含んでもよい。例示的には、生理的パラメータセンサ装置は、ユーザの身体部位(例えば、手首、上腕、頭部など)の脈拍信号を取得して、処理装置120により脈拍信号に基づいてユーザの血圧状況を決定する光電センサユニットを含んでもよい。いくつかの実施例において、生理的パラメータセンサ装置自体のプロセッサ(例えば、チップ)は、上記センサ信号に基づいて、ユーザの生理的パラメータを決定することもできる。
【0158】
処理装置120は、振動センサ装置、動作センサ装置及び/又は生理的パラメータセンサ装置が生成したセンサ信号に基づいて、ユーザが転倒したか否か及びその身体姿勢及び/又は生理的パラメータを決定してもよい。いくつかの実施例において、処理装置120は、ユーザが転倒状態にあるか否か及びユーザの身体姿勢及び/又は生理的パラメータに基づいて、ユーザの生理的状態を決定してもよい。例示的には、ユーザの生理的状態は、危険な生理的状態と非危険な生理的状態に分けられてもよい。ユーザが転倒状態にあり、かつ所定の時間閾値(例えば、10秒、20秒、30秒、1分間など)以内にユーザの身体姿勢が静止状態(例えば、仰臥位)にあり、そして、生理的パラメータがその閾値を超える(例えば、心拍数がプリセット心拍数閾値よりも低く、血糖がプリセット血糖閾値よりも低く、血圧がプリセット血圧閾値よりも高い)場合、ユーザが危険な生理的状態にあり、助けが必要であることを決定する。心拍数がプリセット心拍数閾値よりも低く、血糖がプリセット血糖閾値よりも低く、及び/又は、血圧がプリセット血圧閾値よりも高いことは、正常な人体の心拍数、血糖及び/又は血圧に基づいて決定されてもよい。例示的には、プリセット心拍数閾値は、100回/分、120回/分、140回/分、160回/分などであってもよい。また例えば、ユーザが転倒状態にないか又はユーザが転倒状態にあるが、その身体姿勢が運動状態(例えば、ゆっくりと立ち上がること)にあるか又は各生理的パラメータが閾値範囲内にある場合、ユーザが非危険な生理的状態にあり、助けが必要ではないことを決定する。
【0159】
ユーザが転倒したか否かという単一の条件に基づいて判断する場合に比べて、ユーザの身体姿勢及び/又は生理的パラメータに基づいてユーザの生理的状態を判断することは、より正確かつ効果的であり、最終的に決定されたターゲットオブジェクトの動作もより実際の状況に合致する。
【0160】
図17は、ユーザの身体活動による振動信号に基づいて、ターゲットオブジェクトの動作を決定する例示的なフローチャートである。本実施例は、ウェアラブルデバイス(例えば、イヤホン1600)に設置された振動センサ装置及び動作センサ装置に基づいてターゲットオブジェクトの動作を決定するプロセスを示す。例示的には、振動センサ装置はMEMS加速度計(加速度計と略称される)であってもよく、動作センサ装置は三軸ジャイロスコープであってもよい。本実施例において、イヤホン1600を着用しているユーザの身体活動(例えば、ぶつかり、転倒など)による振動信号は、イヤホン1600に固定的に接続されたMEMS加速度計に伝達される。MEMS加速度計は、該振動信号を収集してから対応するセンサ信号を生成する。また、三軸ジャイロスコープは、ユーザの身体の姿勢角に関連する情報/データを収集する。いくつかの実施例において、処理装置120(例えば、イヤホン1600の信号処理ユニット)は、MEMS加速度計が振動信号を収集してから生成したセンサ信号を処理し、センサ信号の信号特徴を識別することにより、ユーザが転倒したか否かを判定してもよい。例えば、処理装置120は、上記センサ信号に基づいて、加速度分析を行うことにより、ユーザが転倒したか否かを判定することができる。処理装置120は、三軸ジャイロスコープが信号を収集してから生成したセンサ信号を処理し、センサ信号の信号特徴を識別することにより、ユーザの身体姿勢を決定してもよい。例えば、処理装置120は、上記センサ信号に基づいて、身体姿勢分析を行うことにより、ユーザの身体姿勢を決定することができる。
【0161】
いくつかの実施例において、処理装置120は、ユーザが転倒したか否か及びユーザの身体姿勢に基づいて、早期警報をトリガするか否かを判断してもよい。前述したように、処理装置120は、ユーザが転倒状態にあり、かつ閾値時間以内にユーザの身体姿勢が静止状態にあると判断した場合、ユーザが危険な状態にあると判定し、かつ移動端末(例えば、携帯電話)が、予め記憶された連絡先に早期警報を発するか又は外部支援を要請することを決定することができる。
【0162】
図18は、ユーザの身体活動による振動信号に基づいて、ターゲットオブジェクトの動作を決定する例示的なフローチャートである。本実施例は、ウェアラブルデバイス(例えば、イヤホン1600)に設置された振動センサ装置、動作センサ装置及び生理的パラメータセンサ装置に基づいてターゲットオブジェクトの動作を決定するプロセスを示す。例示的には、振動センサ装置は加速度計であってもよく、動作センサ装置は三軸ジャイロスコープであってもよく、生理的パラメータセンサ装置は心拍数測定部材であってもよい。本実施例において、イヤホン1600を着用しているユーザの身体活動(例えば、ぶつかり、転倒など)による振動信号は、イヤホン1600に固定的に接続されたMEMS加速度計に伝達される。MEMS加速度計は、該振動信号を収集してから対応するセンサ信号を生成する。三軸ジャイロスコープは、ユーザの身体の姿勢角に関連する情報/データを収集してもよい。また、心拍数測定部材は、ユーザの心拍数に関する情報/データを収集してもよい。いくつかの実施例において、処理装置120(例えば、イヤホン1600の信号処理ユニット)は、MEMS加速度計が振動信号を収集してから生成したセンサ信号を処理し、センサ信号の信号特徴を識別することにより、ユーザが転倒したか否かを判定してもよい。例えば、処理装置120は、上記センサ信号に基づいて、加速度分析を行うことにより、ユーザが転倒したか否かを判定することができる。処理装置120は、三軸ジャイロスコープが信号を収集してから生成したセンサ信号を処理し、センサ信号の信号特徴を識別することにより、ユーザの身体姿勢を決定してもよい。例えば、処理装置120は、上記センサ信号に基づいて、身体姿勢分析を行うことにより、ユーザの身体姿勢を決定することができる。処理装置120は、心拍数測定部材が信号を収集してから生成したセンサ信号を処理し、センサ信号の信号特徴を識別することにより、ユーザの心拍数を決定してもよい。例えば、処理装置120(例えば、心拍数測定部材の処理ユニット(例えば、チップ))は、上記センサ信号に基づいて、心拍数値の分析を行うことにより、ユーザの心拍数状況を決定することができる。
【0163】
いくつかの実施例において、処理装置120は、ユーザが転倒したか否か、ユーザの身体姿勢及びユーザの心拍数状況に基づいて、早期警報をトリガするか否かを判断してもよい。例えば、処理装置120は、ユーザが転倒状態にあり、かつ閾値時間以内にユーザの身体姿勢が静止状態にあり、及び/又は、ユーザの生理的パラメータがプリセット閾値を超える(例えば、拡張期血圧がプリセット拡張期血圧閾値(例えば、140mmHg、160mmHg、180mmHgなど)を超える)と判断した場合、ユーザが危険な状態にあると判定し、かつ移動端末が、予め記憶された連絡先に早期警報を発するか又は外部支援を要請することを決定することができる。
【0164】
いくつかの場合において、身体活動のみに基づくユーザ状態の確認に比べて、ユーザが転倒したか否か、ユーザの身体姿勢及びユーザの生理的パラメータなどの情報に基づくユーザの状態の確認は、その確認結果がより正確であり、最終的に決定されたターゲットオブジェクトの動作がより実際に合致し、ユーザの身体の健康状態を効果的に監視することができる。
【0165】
図19は、本願のいくつかの実施例に係る、ターゲットオブジェクト制御システムがウェアラブルデバイスに適用される概略図である。ターゲットオブジェクト制御システム100のセンサ装置110は、振動センサ装置を含んでもよい。上記振動センサ装置は、上記ウェアラブルデバイスに(例えば、接着、スナップ接続などで)集積されるか又は設置される。上記振動センサ装置は、特定の位置に設置されてもよい。上記特定の位置は、ユーザの身体活動により生成され、ユーザの骨格又は筋肉を介して伝達される振動信号をより完全かつ明確に受信できる位置であってもよい。例示的な特定の位置は、ユーザの鼻筋、耳部、口部、喉部などを含んでもよい。いくつかの実施例において、振動センサ装置の設置位置は、ウェアラブルデバイスのタイプに関連する。例えば、ウェアラブルデバイスがメガネである場合、振動センサ装置は、メガネの鼻パッドに設置されてもよく、テンプルの耳と接触する位置に設置されてもよい。また例えば、ウェアラブルデバイスがイヤホンである場合、振動センサ装置は、ユーザの耳部に配置されてもよい。いくつかの実施例において、上記少なくとも1つの振動センサ装置は、ある位置に設置された単一の振動センサ装置又は異なる位置に設置された複数の振動センサ装置を含んでもよい。
【0166】
例示的には、ウェアラブルデバイスは、イヤホン1900(例えば、インイヤーイヤホン)を含んでもよい。ターゲットオブジェクト制御システム100の1つ以上の部材又はユニットは、イヤホン1900に集積されてもよく、イヤホン1900と通信接続されてもよい。例えば、イヤホン1900に振動センサ装置1910が設置される。振動センサ装置1910は、ユーザの身体活動による振動信号を収集するために、イヤホン1900に(例えば、接着、スナップ接続などで)集積又は設置されてもよい。いくつかの実施例において、振動センサ装置は、イヤホンに内蔵された、骨伝導を音声の主な伝搬方法の1つとするマイクロフォンであってもよい。いくつかの実施例において、振動センサ装置は、微小電気機械(MEMS)加速度計であってもよい。また例えば、処理装置120(例えば、携帯電話又はコンピュータ)は、イヤホン1900及びセンサ装置110と通信接続されてもよい。センサ装置1910は、振動センサ装置であってもよい。
【0167】
振動センサ装置1910は、イヤホン1900によりユーザの身体活動による振動信号を受信してもよい。ユーザがイヤホン1900を着用するとき、イヤホン1900は、ユーザの身体部位(例えば、耳部)に密着し、上記振動信号は、イヤホン1900を介して振動センサ装置に正確に伝達することができる。いくつかの実施例において、振動センサ装置は、ユーザの身体部位(例えば、耳部)に直接密着してもよい。ユーザの身体活動による振動信号は、イヤホン1900を介さずに振動センサ装置により直接収集されてもよい。本実施例において、ユーザの身体活動は、ユーザの歯の衝突又は摩擦を意味してもよい。ユーザは、歯を衝突させるか又は摩擦させることにより、振動信号を生成する。該振動信号は、ユーザの骨格又は顔の筋肉を介して振動センサ装置に伝達される。
【0168】
いくつかの実施例において、イヤホン1900は、ユーザの片側の耳部に装着されてもよい。例えば、イヤホン1900は、単一のスピーカを有するブルートゥースイヤホンであり、ユーザの左側又は右側の耳部に装着されてもよい。このとき、振動センサ装置1910は、ユーザの左側又は右側の耳部に伝達された振動信号を収集してもよい。いくつかの実施例において、イヤホン1900は、ユーザの両側の耳部に装着されてもよい。例えば、イヤホン1900は、2つのスピーカを有するヘッドホン、耳掛け式イヤホン、インイヤーイヤホンなどであってもよく、2つのスピーカは、それぞれユーザの左側及び右側の耳部に装着される。このとき、振動センサ装置1910は、それぞれユーザの左側及び右側の耳部に伝達された振動信号を収集する2つの振動センサ装置を含んでもよい。
【0169】
いくつかの実施例において、処理装置120は、振動センサ装置1910が生成した振動センサ信号を受信し、かつ上記振動センサ信号の信号特徴を識別してもよい。処理装置120は、上記信号特徴に基づいてターゲットオブジェクトの動作、例えば、ターゲットオブジェクトを第1の状態から第2の状態に切り替えることを決定してもよい。上記ターゲットオブジェクトは、イヤホン1900又は端末装置130(例えば、モバイルデバイス(例えば、スマートウェアラブルデバイス)、タブレットコンピュータ、ラップトップコンピュータ、自動車内蔵装置(例えば、車載システム、エアコン、車両用ランプ、ワイパーなど)、スマートホームデバイス(例えば、ランプ、テレビ、カーテンなど)などのうちの1種又はそれらの任意の組み合わせであってもよい。処理装置120が振動センサ信号に基づいてターゲットオブジェクトの動作を決定することに関する詳細については、本願の図21及びその説明を参照することができる。
【0170】
ボタン、操作パネルなどにより端末装置(例えば、ウェアラブルデバイス)を制御する方法に比べて、歯の衝突によりウェアラブルデバイス及び他の端末装置に動作命令を下すことは、ユーザに両手を自由にすることができ、いくつかの場合(例えば、運転、自転車乗り、暗い環境)においてより安全になる。また、音声信号を送信することにより端末装置を制御する方法に比べて、歯の衝突により端末装置に動作命令を下すことは、より目立たなくなり、周りの人にとって邪魔にならず、ユーザの個人情報の秘匿化にも役立つ。
【0171】
図20は、本願のいくつかの実施例に係るターゲットオブジェクト制御方法の例示的なフローチャートである。ユーザの身体活動(例えば、歯の衝突)による振動信号は、ユーザの顔の骨格又は筋肉を介して振動センサ装置1910に伝達される。上記振動信号の伝達プロセスについては、図21を参照することができる。図21に示すように、ユーザの歯の衝突により衝突点Pで振動信号を生成し、振動信号をユーザの顔の骨格を介して振動センサ装置1910に伝達してもよく、振動信号をP点から振動センサ装置1910に伝達する経路は、図中の振動伝達経路Aに示すとおりである。
【0172】
振動センサ装置1910は、振動信号を収集してから対応する振動センサ信号を生成してもよい。処理装置120は、上記振動センサ信号を受信した後、上記振動センサ信号を処理して、上記振動センサ信号の信号特徴を識別してもよい。上記信号特徴は、振動センサ装置が生成した振動センサ信号の振動ピークの数、隣接する振動ピークの間隔時間、信号強度、周波数成分及び/又は信号継続時間を含んでもよい。振動センサ信号の振動ピークの数は、歯の衝突の回数を示すことができる。振動センサ信号の隣接する振動ピークの間隔時間は、衝突の速さを示すことができる。振動センサ信号の信号強度は、歯の衝突の強さを示すことができる。振動センサ信号の周波数成分は、歯の間にまだ他の物体(例えば、食物)があるか否かを示すことができる。他の物体があると、低周波成分が増加する。振動センサ信号の信号継続時間は、振動センサ信号全体の継続時間又は単一の振動ピークの継続時間を示す。
【0173】
いくつかの実施例において、処理装置120は、センサ信号の信号特徴が複数のプリセット特徴条件のうちの1つを満たすか否かを判断してもよい。各プリセット特徴条件は、ターゲットオブジェクトの少なくとも1つの動作又はターゲットオブジェクトを制御して上記動作を実行するための命令に対応する。いくつかの実施例において、処理装置120は、特定の衝突動作の組み合わせに対応する信号特徴をプリセット特徴条件としてもよい。例えば、2回の連続的な衝突(振動ピークの間隔時間Δtが第1の衝突間隔閾値t0よりも小さい)に対応する信号特徴をプリセット特徴条件としてもよい。上記プリセット特徴条件は、イヤホン1900のオン/オフ動作に対応してもよい。また例えば、2回のゆっくりとした衝突(振動ピークの間隔時間Δtが第1の衝突間隔閾値t0よりも大きく、かつ第2の衝突間隔閾値t1よりも小さい)に対応する信号特徴をプリセット特徴条件としてもよい。上記プリセット特徴条件は、イヤホン1900の再生/一時停止動作に対応してもよい。
【0174】
センサ信号の信号特徴がそのうちの1つのプリセット特徴条件を満たすと、処理装置120は、センサ信号に対応するターゲットオブジェクトの動作を決定してもよい。例えば、信号特徴が2回の連続的な衝突のプリセット特徴条件を満たすと、処理装置120は、イヤホン1900を制御してオン/オフ動作を実行してもよい。処理装置120は、イヤホン1900の状態を検出することができ、イヤホン1900がオン状態(すなわち、第1の状態)にある場合、イヤホン1900をオフ状態(すなわち、第2の状態)に調整することを決定してもよい。イヤホン1900がオフ状態にある場合、イヤホン1900をオン状態に調整することを決定してもよい。
【0175】
いくつかの実施例において、振動センサ装置が、ある特定の位置に設置された振動センサ装置のみを含む(例えば、図22において、イヤホン1900の右側部分のみに振動センサ装置が設置される)場合、信号特徴は、振動センサ装置が生成した振動センサ信号の振動ピークの数、隣接する振動ピークの間隔時間、及び/又は信号継続時間を含む。いくつかの実施例において、センサユニットが、異なる位置に設置された振動センサ装置を含む(例えば、図24において、イヤホン1900の左側及び右側部分にそれぞれ振動センサ装置1920及び1910が設置される)場合、センサ信号の信号特徴は、異なる位置にある振動センサ装置のセンサ信号の位相差をさらに含む。上記位相差は、振動源(すなわち、歯の衝突点P)の位置を特定するために用いられてもよい。例示的には、図24に示すように、衝突点Pが右側にある場合、衝突点Pと異なる位置にある振動センサ装置との間の距離が異なるため、振動伝達経路(例えば、衝突点Pから左側の振動センサ装置1920までの振動伝達経路Bと衝突点Pから右側の振動センサ装置1910までの振動伝達経路A)の長さが異なり、右側の振動センサ装置1910が振動信号を取り込んだ後、左側の振動センサ装置1920が振動信号を取り込み、2つの振動センサ装置1910及び1920が収集した振動信号に位相差がある。上記位相差に基づいて、振動伝達経路Bと振動伝達経路Aとの差を決定することができ、振動センサ装置1910及び1920の位置が固定されるため、衝突点Pの位置(例えば、左側、右側、中間など)を決定することができる。
【0176】
いくつかの場合において、振動源(すなわち、歯の衝突点P)の位置を特定することにより、ユーザは、衝突点Pの位置、衝突の回数及び/又は衝突の間隔時間などを変更することにより、より多くのタイプ、より複雑な歯の衝突動作を組み合わせて、より多く、より複雑なターゲットオブジェクトの動作又は動作命令に対応することができる。
【0177】
いくつかの場合において、ユーザは、不用意に又は不可避的に歯の衝突動作を行う可能性がある。例えば、ユーザは、食事をしているとき、歯の衝突動作を行う可能性がある。例えば、ユーザは、話しているとき、歯の衝突動作を行う可能性がある。さらに例えば、ユーザは、震え、くしゃみなどの身体活動を行い、外部衝撃(例えば、衝突)を受けるとき、歯の衝突動作を行う可能性がある。以上の状況は、ターゲットオブジェクトの動作をトリガする可能性がある(すなわち、誤トリガ)。いくつかの実施例において、処理装置120は、センサ信号を選別又は識別することにより、誤トリガ状況の発生を回避してもよい。
【0178】
処理装置120は、少なくとも1つの振動センサ装置の振動センサ信号をリアルタイムに又は間欠的に取得してもよい。振動センサ信号(ここで第2のセンサ信号とも呼ばれる)を取得すると、処理装置120は、第2のセンサ信号の関連情報、例えば、周波数、信号強度などを取得してもよい。処理装置120は、第2のセンサ信号の関連情報に基づいて、第2のセンサ信号が誤トリガ信号であるか否かを判定してもよい。例示的には、処理装置120は、第2のセンサ信号の周波数に基づいて、第2のセンサ信号が誤トリガ信号であるか否かを判定してもよい。例えば、第2のセンサ信号の周波数がプリセット周波数閾値よりも低いと、第2のセンサ信号が誤トリガ信号であると判定することができる。第2のセンサ信号の周波数がプリセット周波数閾値よりも低いと、ユーザが食事をしていると考えられてもよい。このときに生成されたセンサ信号を誤トリガ信号として決定することができるため、ターゲットオブジェクトはいかなる動作を行う必要もない。
【0179】
いくつかの実施例において、センサ装置110は、オーディオ入力装置(例えば、マイクロフォン)をさらに含んでもよい。いくつかの実施例において、該マイクロフォンは、ウェアラブルデバイス(例えば、イヤホン1900)自体の素子であってもよい。振動センサ信号(ここで第3のセンサ信号とも呼ばれる)を取得すると、処理装置120は、上記オーディオ入力装置が同時にユーザの音声情報を受信したか否かを判断してもよい。上記オーディオ入力装置がユーザの音声情報を受信した場合、上記第3のセンサ信号が誤トリガ信号であると判定する。このとき、ユーザが他人と会話しているか又は通信装置を利用して通話していると考えられてもよい。このときに生成されたセンサ信号を誤トリガ信号として決定することができるため、ターゲットオブジェクトはいかなる動作を行う必要もない。
【0180】
いくつかの実施例において、振動センサ信号(ここで第4のセンサ信号とも呼ばれる)を取得すると、処理装置120は、誤トリガ識別モデルに基づいて第4のセンサ信号が誤トリガ信号であるか否かを判断してもよい。いくつかの実施例において、誤トリガ識別モデルは機械学習モデルであってもよい。いくつかの実施例において、処理装置120は、第4のセンサ信号を機械学習モデルの入力データとしてもよい。機械学習モデルにより、第4のセンサ信号が誤トリガ信号であるか否かの結果を得ることができる。第4のセンサ信号が誤トリガ信号であると、ターゲットオブジェクトはいかなる動作を行う必要もなく、第4のセンサ信号が誤トリガ信号ではないと、処理装置120は、第4のセンサ信号後の閾値時間範囲(例えば、2s、3s、5s、10sなど)内の信号を上記センサ信号として取得してもよい。いくつかの実施例において、誤トリガ識別モデルは、トレーニングされた機械学習モデルであってもよい。該誤トリガ識別モデルのトレーニングプロセスは、特徴抽出モデルのトレーニングプロセスと同じであるか又は類似する。
【0181】
図22は、本願のいくつかの実施例に係る、ターゲットオブジェクト制御システムがウェアラブルデバイスに適用される概略図である。ターゲットオブジェクト制御システム100の1つ以上の部材又はユニットは、イヤホン1900に集積されてもよく、イヤホン1900と通信接続されてもよい。図22に示すように、イヤホン1900の右側部分に振動センサ装置1910が設置され、左側部分に振動センサ装置が設置されない。ユーザが歯を衝突させると、衝突点Pに振動信号が生成される。上記振動信号は、振動伝達経路Aを介して振動センサ装置1910に伝達されてもよい。振動センサ装置1910は、収集された振動信号に基づいて対応する振動センサ信号を生成する。処理装置120は、振動センサ信号の信号特徴を識別し、かつ信号特徴がプリセット特徴条件を満たすか否かを判断してもよい。いくつかの実施例において、振動センサ信号は、信号特徴スペクトルとして出力されてもよい。処理装置120は、上記信号特徴スペクトルに基づいて、センサ信号の信号特徴を識別してもよい。例えば、処理装置120は、信号特徴スペクトルから振動ピークの個数、信号の周波数成分などの関連情報を読み取ってもよい。図23は、本願のいくつかの実施例に係る、ユーザの歯の衝突に対応するセンサ信号の信号特徴スペクトルである。図23から分かるように、センサ信号は3つの振動ピークを含み、信号収集/生成の時間に基づいて、3つの振動ピークのうちの最初の2つの振動ピークの間隔時間がΔt1であり、3つの振動ピークのうちの最後の2つの振動ピークの間隔時間がΔt2である。
【0182】
いくつかの実施例において、特定の歯の衝突動作に対応する信号特徴をプリセット特徴条件としてもよい。例示的な歯の衝突動作は、(1)2回の連続的な衝突:Δt<t0、(2)2回のゆっくりとした衝突:t1>Δt>t0、(3)3回の連続的な衝突:Δt1<t0、Δt2<t0、(4)3回のゆっくりとした衝突:t1>Δt1>t0、t1>Δt2>t0、(5)2回の連続的な衝突+1回のゆっくりとした衝突:Δt1<t0、t1>Δt2>t0、(6)1回のゆっくりとした衝突+2回の連続的な衝突:t1>Δt1>t0、Δt2<t0という動作を含んでもよい。式中、Δtは2回の隣接する衝突の間隔時間(2つの振動ピークの間隔時間を示すことができる)であり、t0は第1の衝突間隔閾値であり、t1は第2の衝突間隔閾値である。いくつかの実施例において、第1の衝突間隔閾値t0は、0.1s~1sの範囲内にあってもよい。いくつかの実施例において、第1の衝突間隔閾値t0は、0.15s~0.9sの範囲内にあってもよい。いくつかの実施例において、第1の衝突間隔閾値t0は、0.2s~0.8sの範囲内にあってもよい。いくつかの実施例において、第2の衝突間隔閾値t1は、0.8s~5sの範囲内にあってもよい。いくつかの実施例において、第2の衝突間隔閾値t1は、0.9s~4sの範囲内にあってもよい。いくつかの実施例において、第2の衝突間隔閾値t1は、1s~2sの範囲内にあってもよい。
【0183】
上記歯の衝突動作によるセンサ信号の信号特徴は、それぞれターゲットオブジェクトの異なる動作に対応する。例示的な動作は、オン/オフ、再生/一時停止、電話のかけ/切り、音量の増/減、ブルートゥースのオン/オフなどを含む。なお、以上の歯の衝突動作、関連パラメータの値及び対応するターゲットオブジェクトの動作は、例示的なものに過ぎず、本願が保護する範囲を限定するものではない。
【0184】
いくつかの実施例において、ユーザが歯を衝突させることにより生成されたセンサ信号の信号特徴が特定のプリセット特徴条件を満たすと、処理装置120は、上記特定のプリセット特徴条件に対応するターゲットオブジェクトの動作を決定し、かつターゲットオブジェクト(例えば、端末装置、例えば、イヤホン1900、携帯電話など)を制御して対応する動作を実行してもよい。
【0185】
図24は、本願のいくつかの実施例に係る、ターゲットオブジェクト制御システムがウェアラブルデバイスに適用される概略図である。図22に示される実施例とは異なり、本実施例において、イヤホン1900の左側部分及び右側部分はそれぞれ振動センサ装置1920及び1910を含む。振動センサ装置1910及び1920は同じであるか又は類似する。歯の衝突点Pで生成された振動信号は、振動伝達経路Bを介して左側の振動センサ装置1920に伝達され、振動伝達経路Aを介して右側の振動センサ装置1910に伝達される。振動センサ装置1910及び1920はそれぞれセンサ信号a及びセンサ信号bを生成する。処理装置120は、センサ信号a及びセンサ信号bの信号特徴(例えば、センサ信号a/bの振動ピーク、センサ信号a/bの隣接する振動ピークの時間間隔、センサ信号a/bの信号継続時間、及び/又はセンサ信号aとセンサ信号bとの位相差)を識別し、かつ信号特徴がプリセット特徴条件を満たすか否かを判断してもよい。
【0186】
いくつかの実施例において、特定の歯の衝突動作に対応する信号特徴をプリセット特徴条件としてもよい。例示的な歯の衝突動作は、左側の歯、右側の歯又は中間の歯(すなわち、前歯)により、(1)2回の連続的な衝突:Δt<t0、(2)2回のゆっくりとした衝突:t1>Δt>t0、(3)3回の連続的な衝突:Δt1<t0、Δt2<t0、(4)3回のゆっくりとした衝突:t1>Δt1>t0、t1>Δt2>t0、(5)2回の連続的な衝突+1回のゆっくりとした衝突:Δt1<t0、t1>Δt2>t0、(6)1回のゆっくりとした衝突+2回の連続的な衝突:t1>Δt1>t0、Δt2<t0という動作を行うことを含んでもよい。他のいくつかの例において、歯の衝突動作は、左側の歯、右側の歯及び中間の歯の動作の組み合わせにより行われてもよい。例えば、(1)左側(すなわち、左側の歯)での2回の連続的な衝突+右側(すなわち、右側の歯)での1回の衝突:Δt1<t0、t1>Δt2>t0、(2)左側での2回の連続的な衝突+中間(すなわち、中間の歯)での1回の衝突:Δt1<t0、t1>Δt2>t0、(3)右側での2回の連続的な衝突+左側での1回の衝突:Δt1<t0、t1>Δt2>t0、(4)右側での2回の連続的な衝突+中間での1回の衝突:Δt1<t0、t1>Δt2>t0、(5)中間での2回の連続的な衝突+右側での1回の衝突:Δt1<t0、t1>Δt2>t0、(6)中間での2回の連続的な衝突+左側での1回の衝突:Δt1<t0、t1>Δt2>t0、(7)左側での1回の衝突+右側での2回の連続的な衝突:t1>Δt2>t0、Δt2<t0、(8)左側での1回の衝突+中間での2回の連続的な衝突:t1>Δt2>t0、Δt2<t0、(9)右側での1回の衝突+左側での2回の連続的な衝突:t1>Δt2>t0、Δt2<t0、(10)右側での1回の衝突+中間での2回の連続的な衝突:t1>Δt2>t0、Δt2<t0、(11)中間での1回の衝突+右側での2回の連続的な衝突:t1>Δt2>t0、Δt2<t0、(12)中間での1回の衝突+左側での2回の連続的な衝突:t1>Δt2>t0、Δt2<t0である。
【0187】
上記歯の衝突動作によるセンサ信号の信号特徴は、それぞれターゲットオブジェクトの異なる動作に対応する。例示的な動作は、オン/オフ、再生/一時停止、電話のかけ/切り、緊急連絡先への電話のかけ/切り、救急センターへの電話のかけ/切り、音量の増/減、ブルートゥースのオン/オフ、灯光の輝度の向上/低下などを含む。なお、以上の歯の衝突動作及び対応するターゲットオブジェクトの動作は、例示的なものに過ぎず、本願が保護する範囲を限定するものではない。
【0188】
いくつかの実施例において、ユーザが歯を衝突させることにより生成されたセンサ信号の信号特徴が特定のプリセット特徴条件を満たすと、処理装置120は、上記特定のプリセット特徴条件に対応するターゲットオブジェクトの動作を決定し、かつターゲットオブジェクト(例えば、端末装置、例えば、イヤホン1900、携帯電話など)を制御して対応する動作を実行してもよい。
【0189】
上記で基本概念を説明してきたが、当業者にとっては、上記発明の開示は、単なる例として提示されているに過ぎず、本明細書を限定するものではないことは明らかである。本明細書において明確に記載されていないが、当業者は、本明細書に対して様々な変更、改良及び修正を行うことができる。これらの変更、改良及び修正は、本明細書によって示唆されることが意図されておるため、本明細書の例示的な実施例の精神及び範囲内にある。
【0190】
さらに、本明細書の実施例を説明するために、本明細書において特定の用語が使用されている。例えば、「1つの実施例」、「一実施例」、及び/又は「いくつかの実施例」は、本明細書の少なくとも1つの実施例に関連した特定の特徴、構造又は特性を意味する。したがって、本明細書の様々な部分における「一実施例」又は「1つの実施例」又は「1つの代替的な実施例」の2つ以上の言及は、必ずしもすべてが同一の実施例を指すとは限らないことを強調し、理解されたい。また、本明細書の1つ以上の実施例における特定の特徴、構造、又は特性は、適切に組み合わせられてもよい。
【0191】
さらに、当業者には理解されるように、本明細書の各態様は、任意の新規かつ有用なプロセス、機械、製品又は物質の組み合わせ、又はそれらへの任意の新規かつ有用な改善を含むいくつかの特許可能なクラス又はコンテキストで、例示及び説明され得る。よって、本明細書の各態様は、完全にハードウェアによって実行されてもよく、完全にソフトウェア(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)によって実行されてもよく、ハードウェア及びソフトウェアの組み合わせによって実行されてもよい。以上のハードウェア又はソフトウェアは、いずれも「データブロック」、「モジュール」、「エンジン」、「ユニット」、「アセンブリ」又は「システム」と呼ばれてもよい。さらに、本明細書の各態様は、コンピュータ読み取り可能なプログラムコードを含む1つ以上のコンピュータ読み取り可能な媒体に具現化されたコンピュータプログラム製品の形態を取ることができる。
【0192】
さらに、特許請求の範囲に明確に記載されていない限り、本明細書に記載の処理要素又はシーケンスの列挙した順序、英数字の使用、又は他の名称の使用は、本明細書の手順及び方法の順序を限定するものではない。上記開示において、発明の様々な有用な実施例であると現在考えられるものを様々な例を通して説明しているが、そのような詳細は、単にその目的のためであり、添付の特許請求の範囲は、開示される実施例に限定されないが、反対に、本明細書の実施例の趣旨及び範囲内にある全ての修正及び等価な組み合わせをカバーするように意図されることが理解されよう。例えば、上述したシステムアセンブリは、ハードウェアデバイスにより実装されてもよいが、ソフトウェアのみのソリューション、例えば、既存のサーバ又はモバイルデバイスに説明されたシステムをインストールすることにより実装されてもよい。
【0193】
同様に、本明細書の実施例の前述の説明では、本明細書を簡略化して、1つ以上の発明の実施例への理解を助ける目的で、様々な特徴が1つの実施例、図面又はその説明にまとめられることがあることが理解されよう。しかしながら、このような開示方法は、特許請求される主題が各請求項で列挙されるよりも多くの特徴を必要とするという意図を反映するものとして解釈されるべきではない。むしろ、特許請求される主題は、前述の単一の開示された実施例のすべての特徴より少ない場合がある。
【0194】
いくつかの実施例において成分及び属性の数を説明する数字が使用されており、このような実施例を説明するための数字は、いくつかの例において修飾語「約」、「ほぼ」又は「実質的」によって修飾されるものとして理解されよう。特に明記しない限り、「約」、「ほぼ」又は「実質的」は、上記数字が説明する値の±20%の変動が許容されることを示す。よって、いくつかの実施例において、明細書及び特許請求の範囲において使用されている数値パラメータは、いずれも特定の実施例に必要な特性に応じて変化し得る近似値である。いくつかの実施例において、数値データについては、規定された有効桁数を考慮すると共に、通常の丸め手法を適用するべきである。本明細書のいくつかの実施例におけるその範囲を決定するための数値範囲及びデータは近似値であるにもかかわらず、特定の実施例において、このような数値は可能な限り正確に設定される。
【0195】
最後に、本明細書に記載の実施例は、単に本明細書の実施例の原理を説明するものであることが理解されよう。他の変形例も本明細書の範囲内にある可能性がある。したがって、限定するものではなく、例として、本明細書の実施例の代替構成は、本明細書の教示と一致するように見なされてもよい。よって、本明細書の実施例は、本明細書において明確に紹介して説明された実施例に限定されない。
【符号の説明】
【0196】
100 ターゲットオブジェクト制御システム
110 センサ装置
120 処理装置
130 端末装置
140 記憶装置
300 ターゲットオブジェクト制御システム
310 センサ信号取得モジュール
320 信号特徴識別モジュール
330 動作決定モジュール
600 室内環境
610 ドア
620 ベッド
630 ヘッドボード
640 ランプ
800 車内環境
810 副操縦士収納ボックス
820 ステアリングホイール
1000 テーブル面環境
1010 テーブル
1020 椅子
1400 イヤホン
1600 イヤホン
1900 イヤホン
図1
図2
図3
図4
図5A
図5B
図5C
図5D
図6
図7
図8
図9
図10
図11
図12A
図12B
図12C
図12D
図12E
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
【手続補正書】
【提出日】2022-10-14
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
コンピュータ命令を記憶するように構成された記憶装置と、
前記記憶装置と通信するプロセッサと、を含むシステムであって、
前記プロセッサは、前記コンピュータ命令を実行する場合、前記システムに、
少なくとも1つのセンサ装置のセンサ信号を取得させ、
前記センサ信号の信号特徴を識別させ、
前記信号特徴に基づいて、前記少なくとも1つのセンサ装置に関連するターゲットオブジェクトの動作を決定させる、システム。
【請求項2】
前記少なくとも1つのセンサ装置は、振動センサ装置を含む、請求項1に記載のシステム。
【請求項3】
前記信号特徴は、振動ピークの数、信号強度、隣接する振動ピークの間隔時間、周波数成分、信号継続時間のうちの1つ又は複数の組み合わせを含む、請求項2に記載のシステム。
【請求項4】
前記振動センサ装置は、固体媒体を介して振動受け領域に接続され、かつ前記振動受け領域に入力された振動信号を受信する、請求項2又は3に記載のシステム。
【請求項5】
前記振動信号は、前記振動受け領域を叩き、タッピングするか又は擦る方法で前記振動受け領域に入力される、請求項4に記載のシステム。
【請求項6】
前記振動センサ装置は、接着、嵌め込み、溶接、リベット接合、ねじ接続のうちの少なくとも1つの方法で前記固体媒体に固定的に接続され得る、請求項4に記載のシステム。
【請求項7】
前記少なくとも1つのセンサ装置のセンサ信号を取得することは、
前記少なくとも1つのセンサ装置の第1のセンサ信号を取得することと、
前記第1のセンサ信号が信号閾値よりも大きいか否かを判断することと、
前記第1のセンサ信号が前記信号閾値よりも大きいことに応答して、前記第1のセンサ信号後の閾値時間範囲内の信号を前記センサ信号として取得することと、を含む、請求項1に記載のシステム。
【請求項8】
前記振動センサ装置は、ユーザの身体部位に密着するウェアラブルデバイスに設置され、前記ウェアラブルデバイスにより前記ユーザの身体活動による振動信号を受信する、請求項2又は3に記載のシステム。
【請求項9】
前記振動センサ装置は、ユーザの身体部位に密着して、前記ユーザの身体活動による振動信号を受信する、請求項2又は3に記載のシステム。
【請求項10】
前記信号特徴に基づいて、前記少なくとも1つのセンサ装置に関連するターゲットオブジェクトの動作を決定することは、
前記信号特徴に基づいて、前記ユーザの生理的状態を決定することと、
前記ユーザの前記生理的状態に基づいて、前記生理的状態に対応する前記ターゲットオブジェクトの動作を決定することと、を含む、請求項8又は9に記載のシステム。
【国際調査報告】