IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ タクチュアル ラブズ シーオー.の特許一覧

<>
  • 特表-座席アルゴリズム 図1
  • 特表-座席アルゴリズム 図2
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-29
(54)【発明の名称】座席アルゴリズム
(51)【国際特許分類】
   G01V 3/12 20060101AFI20231121BHJP
【FI】
G01V3/12 A
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023526228
(86)(22)【出願日】2021-11-01
(85)【翻訳文提出日】2023-06-27
(86)【国際出願番号】 US2021057498
(87)【国際公開番号】W WO2022094369
(87)【国際公開日】2022-05-05
(31)【優先権主張番号】63/108,343
(32)【優先日】2020-10-31
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】518033495
【氏名又は名称】タクチュアル ラブズ シーオー.
(74)【代理人】
【識別番号】110003797
【氏名又は名称】弁理士法人清原国際特許事務所
(72)【発明者】
【氏名】アイアンサイド,ダニエル
(72)【発明者】
【氏名】モーズリー,ブロン
【テーマコード(参考)】
2G105
【Fターム(参考)】
2G105AA01
2G105BB12
2G105BB13
2G105BB14
2G105DD02
2G105EE02
2G105HH01
2G105HH04
2G105KK01
2G105KK06
(57)【要約】
感知システムは、車両内の乗客および物体の動きと位置とを判定する。感知システムは、自動車座席に動作可能に接続された送信アンテナの群であって、各送信アンテナは、1つの積分期間中に送信される信号と互いに直交する信号を送信するように適合されている、送信アンテナの群、複数の受信アンテナであって、該複数の受信アンテナのそれぞれ1つが、送信信号を受信するように適合されている、複数の受信アンテナ、および、受信された前記送信信号の測定値を判定してヒートマップを作製するように適合されるプロセッサであって、無タッチイベント中にヒートマップの総和が取得されてベースラインヒートマップと比較され、および閾値を超過する場合には新しいベースラインヒートマップが再度較正される、プロセッサを含む。
【選択図】図1
【特許請求の範囲】
【請求項1】
感知システムであって、
自動車座席に動作可能に接続された送信アンテナの群であって、各送信アンテナは、積分期間中に送信される信号と互いに直交する信号を送信するように適合されている、送信アンテナの群、
複数の受信アンテナであって、該複数の受信アンテナのそれぞれ1つが、送信信号を受信するように適合されている、複数の受信アンテナ、および
受信された前記送信信号の測定値を判定してヒートマップを作製するように適合されるプロセッサであって、無タッチイベントの間にヒートマップの総和が取得されてベースラインヒートマップと比較され、閾値を超える場合には新しいベースラインヒートマップが再較正される、プロセッサ
を備える感知システム。
【請求項2】
前記プロセッサは、最小の特異ヒートマップ値を判定するように適合される、請求項1に記載の感知システム。
【請求項3】
ヒートマップの総和は、前記最小の特異ヒートマップ値が判定された後に取得される、請求項2に記載の感知システム。
【請求項4】
前記プロセッサは、前記ヒートマップの総和が近接閾値以下であり、かつ前記最小の特異ヒートマップ値がタッチ閾値よりも大きい場合、前記感知システムが近接状態にあると判定するように適合される、請求項3に記載の感知システム。
【請求項5】
前記閾値は、無タッチイベントでの前記ベースラインヒートマップからの偏差である、請求項1に記載の感知システム。
【請求項6】
前記プロセッサは、前記ヒートマップ内の各ティクセル(tixel)の最小値と最大値を判定して前記ヒートマップをスケーリング(scale)するように適合される、請求項1に記載の感知システム。
【請求項7】
前記プロセッサは、受信導体の最小値および最大値を判定して前記ヒートマップをスケーリングするように適合される、請求項1に記載の感知システム。
【請求項8】
前記プロセッサは、送信導体の最小値および最大値を判定して前記ヒートマップをスケーリングするように適合される、請求項1に記載の感知システム。
【請求項9】
前記プロセッサは、信号利得の領域を判定するように適合される、請求項1に記載の感知システム。
【請求項10】
前記プロセッサは、判定された前記信号利得の領域に基づいて前記ヒートマップを再びスケーリング(rescale)するように適合される、請求項9に記載の感知システム。
【請求項11】
感知を行うための方法であって、
自動車座席に動作可能に接続された送信アンテナの群のそれぞれにおいて、積分期間中に送信される信号と互いに直交する信号を送信する工程、
受信された送信信号の測定値を判定する工程、
無タッチイベントの間にヒートマップの総和を生成する工程、
前記ヒートマップの総和をベースラインヒートマップと比較する工程、および
閾値を超える場合には新しいベースラインヒートマップが再較正される工程
を含む方法。
【請求項12】
最小の特異ヒートマップ値を判定する工程をさらに含む、請求項11に記載の方法。
【請求項13】
ヒートマップの総和は、前記最小の特異ヒートマップ値が判定された後に取得される、請求項12に記載の方法。
【請求項14】
前記ヒートマップの総和が近接閾値以下であり、かつ前記最小の特異ヒートマップ値がタッチ閾値よりも大きい場合、前記感知システムが近接状態にあると判定する工程をさらに含む、請求項13に記載の方法。
【請求項15】
前記閾値は、無タッチイベントでのベースラインヒートマップからの偏差である、請求項11に記載の方法。
【請求項16】
前記ヒートマップ内の各ティクセルの最小値と最大値を判定してヒートマップをスケーリングする工程をさらに含む、請求項11に記載の方法。
【請求項17】
受信導体の最小値と最大値を判定して前記ヒートマップをスケーリングする工程をさらに含む、請求項11に記載の方法。
【請求項18】
送信導体の最小値と最大値を判定して前記ヒートマップをスケーリングする工程をさらに含む、請求項11に記載の方法。
【請求項19】
信号利得の領域を判定する工程をさらに含む、請求項11に記載の方法。
【請求項20】
判定された前記信号利得の領域に基づいて前記ヒートマップを再びスケーリングする工程をさらに含む、請求項19に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、著作権保護の対象となる資料を含む。特許商標庁のファイルまたは記録に現れるため、著作権所有者は、誰による本特許開示の複写に対しても異議を唱えないが、そうでなければ、すべての著作権を保有する。
【0002】
開示されるシステムおよび方法は、概して、感知(sensing)の分野に関し、具体的には、車両環境内の感知を向上させることに関する。
【図面の簡単な説明】
【0003】
本開示の前述のおよび他の目的、特徴、ならびに利点は、添付の図面において例示される実施形態の以下のより詳細な説明から明らかなるが、ここで参照文字は様々な図を通して同じ部分を指す。図面は必ずしも縮尺通りではなく、むしろ、開示された実施形態の原理を説明することに重点が置かれている。
【0004】
図1】車両座席に座っているユーザの処理されたヒートマップ画像を示す。
図2】線-線交差を示す。
【発明を実施するための形態】
【0005】
様々な実施形態において、本開示は、車両内の乗客および物体の移動および位置の判定に感応する感知システムを対象とする。特に、乗員および物体の位置および動きの判定は、行われる測定を精緻化することができる方法およびアルゴリズムを提供することによって強化され得る。感知システムは、送信期間中に複数の信号を送信し、およびフレーム中に感知された信号を使用して、積分期間中の人の動きと位置を表わす異なるヒートマップを作製することができる。様々なアルゴリズムを利用することによって、システムは、乗員または物体の位置と動きをより良好に判定することができる。
【0006】
本開示を通じて、用語「イベント」は、身体または物体の移動および/または位置が判定される期間を説明するために使用され得る。ある実施形態によると、イベントは、例えば10ミリ秒以下のオーダーまたは1ミリ秒未満のオーダーの非常に低いレイテンシーで、検出され、処理され、および/または、下流の計算プロセスに供給され得る。
【0007】
本明細書で使用され、特に特許請求の範囲内で使用されるように、第1および第2などの序数の用語は、それ自体では、順序、時間、または唯一性を暗示することを意図しておらず、むしろ、ある特許請求される構築物を別の構築物から区別するために使用される。文脈が指示するいくつかの使用では、これらの用語は、第1および第2が唯一であることを暗示し得る。例えば、イベントが第1の時間に発生し、別のイベントが第2の時間に発生する場合、第1の時間が第2の時間の前、第2の時間の後、または第2の時間と同時に発生するという含意はない。しかしながら、第2の時間が第1の時間の後であるというさらなる制限が請求において提示される場合、コンテキストは、第1の時間および第2の時間を固有の時間であるように読み取ることを必要とするであろう。同様に、文脈がそのように指示または許容する場合、序数の用語は、特定された2つの請求の構築物が同じ特性のものまたは異なる特性のものであり得るように広く解釈されることが意図される。したがって、例えば、第1と第2の周波数は、さらなる限定がなければ、同じ周波数であり得、例えば、第1の周波数は10Mhzであり、第2の周波数は10Mhzであり、または、異なる周波数であってもよく、例えば、第1の周波数は10Mhzであり、第2の周波数は11Mhzである。文脈は、また別途、例えば、第1の周波数と第2の周波数が互いに周波数直交であるようにさらに限定される場合を指示することもあり、その場合は、それらは同じ周波数ではあり得ない。
【0008】
本出願は、感知システムの様々な実施形態を企図する。本明細書で記載される感知システムは、周波数直交シグナリング技法(例えば、米国特許9,019,224および9,529,476、および米国特許9,811,214を参照、これらすべては参照により本明細書に取り込まれる)とともに使用するのに適している。本明細書で論じられる感知システムは、走査または時分割技法、および/または符号分割技法を含む、他の信号技法とともに使用され得る。本明細書に記載および図示される感知システムは、信号注入(signal infusion)(信号インジェクションとも称される)技法および装置に関して使用するのに好適であることに留意することは的を射ている。信号注入は、信号が人に伝達される技術であり、その信号は、人の上、人の内側、および人を通り抜けて伝わることができる。一実施形態では、注入された信号は、注入対象(例えば、手、指、腕、または人全体)を信号の送信器とする。
【0009】
本開示のシステムおよび方法は、静電容量ベースのセンサ、ならびに、限定されないが、周波数分割多重化(FDM)、符号分割多重化(CDM)、またはFDMおよびCDM方式の両方を組み合わせるハイブリッド変調技法等の直交シグナリングに基づく多重化方式を採用する静電容量ベースのセンサを設計し、製造し、使用することに関する原理をさらに含む。本明細書における周波数への言及は、他の直交信号ベースも指し得る。したがって、本出願は、本発明の出願人らの以前の『Low-Latency Touch Sensitive Device』と題する米国特許9,019,224、および『Fast Multi-Touch Post Processing』と題する米国特許9,158,411を参照により組み込む。これらの出願は、本開示のセンサと密接に関係し、本開示のセンサと関連して使用することができる概念を有するFDM、CDM、またはFDM/CDMハイブリッドタッチセンサを企図する。前述のセンサでは、行導体からの信号が列導体に結合(増加)または分離(減少)され、およびその結果がその列導体から検出されるとき、相互作用が感知される。行導体を順次励起し、かつ列導体における励起信号の結合を測定することによって、センサの静電容量変化を、したがって、センサへの近接性を反映するヒートマップを作製することができる。これらの特許および参照によりそこに組み込まれる特許出願の開示全体は、参照により本明細書に組み込まれる。
【0010】
本出願はまた、米国特許第9,933,880号、第9,019,224号、第9,811,214号、第9,804,721号、第9,710,113号、第9,158,411号、第10,191,579号、第10,386,975号、第10,175,772号、第10,528,201号に開示される高速マルチタッチセンサおよび他のインターフェースで使用される原理を採用する。これらの特許の中の開示、概念、および命名法に精通していることを前提とする。これらの特許および参照によりそこに組み込まれる特許出願の開示全体は、参照により本明細書に組み込まれる。本出願はまた、米国特許出願第15/195,675号、第15/904,953号、第15/905,465号、第15/943,221号、第16/102,185号、第62/540,458号、第62/575,005号、第62/621,117号、第62/619,656号、およびPCT出願公開PCT/US2017/050547に開示される高速マルチタッチセンサおよび他のインターフェースで使用される原理を採用し、その中の開示、概念、および命名法に精通していることを前提とする。これらの特許出願と参照によりそこに組み込まれる特許出願の開示全体は、参照により本明細書に組み込まれる。
【0011】
高速マルチタッチ(FMT)センサの特定の原理は、上述の特許出願に開示されている。直交信号は、複数の送信アンテナ(または導体)へと伝達され得、情報は、複数の受信アンテナ(または導体)に取り付けられた受信器によって受信され得る。一実施形態では、受信器は、サンプリング期間(τ)中に受信アンテナ(または導体)上に存在する信号を「サンプリング」する。一実施形態では、信号(例えば、サンプリングされた信号)は、その後、タッチイベント(例えば、実際のタッチ、ニアタッチ、ホバー、および、送信アンテナ(または導体)と受信アンテナ(または導体)との間の結合における変化を引き起こす、より遠く離れたイベントを含む)を識別するために、信号プロセッサによって解析される。一実施形態では、1つ以上の送信アンテナ(または導体)は、1つ以上の受信アンテナ(または導体)に対して移動することができ、そのような移動は、送信アンテナ(または導体)のうちの少なくとも1つと受信アンテナ(または導体)のうちの少なくとも1つとの間の結合における変化を引き起こす。一実施形態では、1つ以上の送信アンテナ(または導体)は、1つ以上の受信アンテナ(または導体)に対して相対的に固定され、送信される信号および/または複数の信号の環境要因との相互作用は、送信アンテナ(または導体)のうちの少なくとも1つと受信アンテナ(または導体)のうちの少なくとも1つとの間の結合における変化を引き起こす。送信アンテナ(または導体)および受信アンテナ(または導体)は、例えば、交差点がノードを形成して受信信号の処理によって相互作用が検出されるマトリックスを含む、様々な構成で編成され得る。直交信号が周波数直交である一実施形態では、直交周波数間の間隔Δfは、少なくとも測定期間τの逆数であり、測定期間τは、列導体がサンプリングされる期間に等しい。したがって、一実施形態では、列導体で受信される電力は、1キロヘルツ(すなわち、Δf=1/τ)の周波数間隔(Δf)を使用して、1ミリ秒(τ)にわたって測定され得る。
【0012】
一実施形態では、混合信号集積回路の信号プロセッサ(または下流構成要素またはソフトウェア)は、行導体(またはアンテナ)に送信される(または存在する)各周波数直交信号を表す少なくとも1つの値を判定するように適合される。一実施形態では、混合信号集積回路の信号プロセッサ(または下流構成要素またはソフトウェア)は、受信アンテナ(または導体)上に存在する信号に対してフーリエ変換を実行する。一実施形態では、混合信号集積回路は、受信された信号をデジタル化するように適合される。一実施形態では、混合信号集積回路(または下流構成要素またはソフトウェア)は、受信導体またはアンテナ上に存在する信号をデジタル化し、かつデジタル化された情報に対して離散フーリエ変換(DFT)を実行するように適合される。一実施形態では、混合信号集積回路(または下流構成要素またはソフトウェア)は、受信された導体またはアンテナ上に存在する信号をデジタル化し、かつデジタル化された情報に対して高速フーリエ変換(FFT/離散フーリエ変換の一種)を実行するように適合される。
【0013】
DFTは、本質的に、サンプリング期間(例えば、積分期間)中に採取されたデジタルサンプルのシーケンス(例えば、ウィンドウ)を、それが繰り返すかのように扱うことが、本開示の観点で、当業者には明らかであろう。結果として、中心周波数ではない(すなわち、(その逆数が最小周波数間隔を定義する)積分期間の逆数の整数倍ではない)信号は、意図されないが相対的に無実の、他のDFTビンへの小さな値の寄与をもたらし得る。したがって、本明細書で使用する直交という用語は、そのような小さな寄与によって「侵害」されないことも、本開示の観点では、当業者には明らかであろう。言い換えれば、周波数直交という用語が本明細書で使用されるとき、DFTビンへの1つの信号の寄与の実質的にすべてが、他の信号の寄与の実質的にすべてとは異なるDFTビンに行われる場合、2つの信号は周波数直交と見なされる。
【0014】
サンプリングするとき、一実施形態では、受信信号は少なくとも1MHzでサンプリングされる。一実施形態では、受信信号は、少なくとも2MHzでサンプリングされる。一実施形態では、受信信号は、少なくとも4Mhzでサンプリングされる。一実施形態では、受信信号は4.096Mhzでサンプリングされる。一実施形態では、受信信号は、4MHz超でサンプリングされる。kHzサンプリングを達成するために、4.096MHzで、例えば、4096サンプルが採取され得る。そのような実施形態では、積分期間は1ミリ秒であり、これは、周波数間隔が積分期間の逆数以上であるべきであるという制約に従って、1KHzの最小周波数間隔を提供する。(本開示の観点では、例えば、4MHzで4096サンプルを採取すると、ミリ秒よりわずかに長い積分期間をもたらし、kHzサンプリングを達成せず、976.5625Hzの最小周波数間隔をもたらすことが、当業者には明らかであろう。)一実施形態では、周波数間隔は積分期間の逆数に等しい。そのような実施形態では、周波数直交信号範囲の最大周波数は、2MHz未満とされる。そのような実施形態では、周波数直交信号範囲の実用的な最大周波数は、サンプリングレートの約40%未満、または約1.6MHzとされる。一実施形態では、デジタル化された受信信号を情報のビンに変換するためにDFT(FFTであり得る)が使用され、各ビンは、送信アンテナによって送信され得る送信された周波数直交信号の周波数を反映する。一実施形態では、2048個のビンは、1KHz~約2MHzの周波数に対応する。当業者には、本開示の観点では、これらの実施例は単なる例示であることが明らかであろう。システムの必要性に応じて、および上述の制約に従って、サンプルレートを増加または減少させる、積分期間を調整する、周波数範囲を調整する、などのことが可能である。
【0015】
一実施形態では、DFT(FFTであり得る)出力は、送信される各周波数直交信号のためのビンを含む。一実施形態では、それぞれのDFT(FFTであり得る)ビンは、同相(I)および直交(Q)成分を備える。一実施形態では、I成分とQ成分の平方の和が、そのビンの信号強度に対応する測度として使用される。一実施の形態では、I成分とQ成分の平方の和の平方根が、そのビンの信号強度に対応する測度として使用される。
【0016】
車両に関連する送信アンテナ(または導体)および受信アンテナ(または導体)の実装に関するさらなる検討は、米国特許第10,572,088号、米国特許第11,112,905号、および米国特許出願第17/166,326号に見出すことができ、前述の出願の内容の全ては、参照によって本明細書に組み込まれる。
【0017】
一実施形態では、座席の材料は、上記の説明のとおり機能する送信および受信アンテナ(本明細書では導体とも呼ばれる)で形成される感知システムを、中に埋め込まれたかたちで有する。一実施形態では、座席の材料は、上記の説明のとおり機能する送信および受信アンテナで形成される感知システムを、上に設置されたかたちで有する。一実施形態では、座席は、上記の説明のとおり機能する送信および受信アンテナで形成される感知システムを、中に埋め込まれたかたちで、および上に設置されたかたちで、有する。
【0018】
一実施形態では、アンテナは、可撓性基体(非導電性の織物、プラスチック、またはエラストマー材料から作ることができる)上に設置され、座席の材料を形成するように使用される。一実施形態では、アンテナは、可撓性基体内に埋め込まれ、座席の材料を形成するように使用される。一実施形態では、導電糸は、1つ以上の所望の次元への所望の拡張を可能にする方法(例えば、ジグザグ、波型などで)で可撓性材料(例えば、織物)上に設置されるか、またはその中に縫い付けられ、座席を形成するように使用される。一実施形態では、可撓性基体または織物は、交差するジグザグパターン(または、例えば、交差するサイン波パターン)を有して、座席を形成するために使用される。一実施形態では、可撓性基体または織物は、上記で説明されたパターンの1つ、または人々による可撓性の使用に耐えるように適合される別のパターンを有する。1つのそのような実装形態は、感知システムを、織物、皮革などの、自動車の座席を形成する材料内に設置する。一実施形態では、感知システムは、布製の座席内に配置されるか、または座席を形成する。一実施形態では、感知システムは、布製の座席上に配置される。一実施形態では、感知システムは、皮革製の座席上に配置される。一実施形態では、感知システムは、皮革製の座席内に配置されるか、または皮革製の座席を形成する。一実施形態では、感知システムは、皮革製の座席上に配置される。一実施形態では、感知システムは、プラスチック製の座席内に配置されるか、またはプラスチック製の座席を形成する。一実施形態では、感知システムは、プラスチック製の座席上に配置される。一実施形態では、感知システムは、乗客の位置に近接して配置され、および/またはそうでなければ、乗客の位置の近くに動作可能に配置される。
【0019】
車両の座席および構成要素に動作可能に接続された感知システムに関して、送信機は、送信アンテナの各々で固有の周波数直交信号を送信する。受信アンテナは、送信信号を受信し、および/または材料の使用を通して生じ得る容量性相互作用に応答することができる。信号プロセッサは、車両座席に起こっている相互作用を反映するヒートマップまたは他のデータセットを形成するために、受信した信号の測定値を処理し、および測定値を使用する。一実施形態では、送信アンテナの各々および受信アンテナのそれぞれ1つが、送信アンテナまたは受信アンテナのどちらかとして機能する。一実施形態では、少なくとも1つの送信アンテナと複数の受信アンテナがある。一実施形態では、複数の送信アンテナと少なくとも1つの受信アンテナがある。
【0020】
上記で説明した感知システムに関し、感知されるべき様々な特性を判定および増強するために、様々なアルゴリズムおよび技法を使用することができる。いくつかの実施形態では、本明細書に開示されるアルゴリズムは、着座について使用される。いくつかの実施形態では、アルゴリズムは、ハンドルバーについて使用される。いくつかの実施形態では、アルゴリズムは、他の車両または座席を使用する環境内に配置される感知システムのために使用される。
【0021】
一実施形態では、これらのアルゴリズムの多くは、直交周波数分割多重(OFDM)感知とともに使用される。OFDM感知の一実施形態では、複数の周波数直交信号が積分期間中に送信される。受信信号は、離散フーリエ変換(DFT)を使用して処理される。一実施形態では、信号を処理するために高速フーリエ変換(FFT)が使用される。処理された信号は、ヒートマップを作製するために使用される。
【0022】
一実施形態では、アルゴリズムは、ハンドルバーおよび着座用途の両方で使用される。アルゴリズムは、基本的な感知に中核情報を提供し、かつ下流アプリケーションと関連アルゴリズムのためにセンサ安定性をもたらすように適合される。参照として、図1は、座席クッション上のユーザの処理されたヒートマップ画像を示す。左側の画像は変形を示し、より明るく高輝度の領域はより多くの変形を示す。中央の画像は、グレースケールに変換されたヒートマップである。右のヒートマップは、変形および軽いタッチも示すヒートマップである。これらのヒートマップは、以下で説明する方法の結果の例示である。以下で説明する方法は、受信信号の測定結果を取得し、さらなる有意義な情報を生成するために情報を精緻化する。
【0023】
車両に実装されるように適合されたアルゴリズムは、「動的ベースライン」と呼ばれる。動的ベースラインアルゴリズムは、経時的なヒートマップのドリフトの評価を提供する。経時的に生じるヒートマップのドリフトを補償することによって、時間的に進行するにしたがって取得される測定値が改善される。
【0024】
動的ベースラインアルゴリズムを使用して、ヒートマップにおけるドリフトが判定される。ヒートマップ中のドリフトが特定の閾値を超えて発生すると、センサは、ベースラインを再確立し、タッチイベントの感知を改善するために、ヒートマップを再較正するように適合される。生じたドリフトの量は、無タッチイベントを有するヒートマップが、同様に無タッチイベントを反映し得るベースラインヒートマップと比較されるときに判定される。これは、新しいベースラインの確立を可能にする。
【0025】
ベースラインヒートマップの再確立は、「無タッチ(No Touch)」分類「センサモード(Sensormode)」を使用することによって達成することができる。アルゴリズムに関連して言及される名称はある程度任意であり、エンジニアおよびプログラマの選好にしたがって異なる名称が利用され得るが、アルゴリズムによって実装されるステップは、依然として、達成されることが所望される結果を生成するように適合されることを当業者は理解されたい。以下は、動的ベースラインアルゴリズムを表わす擬似コードである。
【0026】
擬似コード:
CLASSIFY if the user is in “Proximity” or “Touch” with sensor(ユーザがセンサと「近接(Proximity)」または「タッチ(Touch)」状態にあるかどうかを分類)
IF NOT(否の場合)
THEN take the summation of the entire heatmap(ヒートマップ全体の総和を取得)
IF the heatmap summation is above or below a set threshold(ヒートマップの総和が設定された閾値より上または下にある場合)
TAKE new baseline(新しいベースラインを取得)
CHECK heatmap again based on a fixed rate(所定のレートに基づいてベースラインを再びチェック)
【0027】
「センサモード(Sensormode)」は、ユーザとセンサとの間の「無タッチ(No Touch)」、「近接(Proximity)」、「タッチ(Touch)」状態の分類である。「無タッチ(No Touch)」および感知されたイベント(「近接」または「タッチ」)の判定は、センサおよびアプリケーションにカスタマイズされるように適合された閾値を通じて達成される。これらのイベントの分類は、上述した動的ベースラインなどのアルゴリズムの実行に使用される。一実施形態では、座席に関して、「センサモード」を介した近接の検出は、座席背もたれと座席クッションに統合されたセンサグリッドによって、座席表面から最大30cmの距離における物体検出が可能である。一実施形態では、座席に関して、「センサモード」による近接の検出は、座席背もたれと座席クッションに統合されたセンサグリッドによって、座席表面から30cmより大きい距離における物体検出が可能である。一実施形態では、座席に関して、「センサモード」による近接の検出は、座席背もたれと座席クッションに統合されたセンサグリッドによって、座席表面から最大60cmの距離における物体検出が可能である。一実施形態では、座席に関して、「センサモード」による近接の検出は、座席背もたれと座席クッションに統合されたセンサグリッドによって、座席表面から最大1mの距離における物体検出が可能である。一実施形態では、座席に関して、「センサモード」による近接検出は調整可能であり、物体検出は、座席背もたれと座席クッションに統合されたセンサグリッドの設定に基づいて、座席表面から10cmから1mまでの範囲であり得る。
【0028】
擬似コード:
FIND the minimum singular heatmap value(最小の特異ヒートマップ値を見つける)
TAKE the summation of the entire heatmap(ヒートマップ全体の総和を取得)
IF the heatmap summation is greater than “Proximity” threshold(ヒートマップの総和が「近接」の閾値よりも大きい場合)
THEN Sensormode is in the “No Touch” state(センサモードは「無タッチ」状態にある)
ELSE IF the heatmap summation is less than or equal to the “Proximity” threshold AND the minimum tixel value is greater than the “Touch” threshold(そうではなく、ヒートマップの総和が「近接」閾値以下であり、かつ最小ティクセル(tixel)値が「タッチ」閾値より大きい場合)
THEN Sensormode is in the “Proximity” state(センサモードは「近接」状態にある)
ELSE(さもなければ)
THEN Sensormode is in the “Touch” state(センサモードは「Touch」状態にある)
CHECK for every frame(すべてのフレームについてチェック)
【0029】
ヒートマップ・ダイナミックレンジ・マッピングは、ヒートマップ信号出力を既知の固定ダイナミックレンジを有する代替スケールへとマッピングする方法である。この方法は、ハンドルバーおよび着座シナリオの両方に適用されるように適合される。本方法は、ヒートマップ値を特定の範囲に再キャストする。「ティクセル(tixel)」は、感知デバイスによって感知され、その後、ヒートマップなどの処理されたディスプレイにおいて表される、各点に与えられる名称である。用語「ティクセル」と「タクセル(taxel)」はしばしば交換可能に使用され、一般に同じ概念を指す。タクセルは、タッチイベントを検出することができるタッチセンシティブデバイスの一部であり、および一般にヒートマップ内のティクセルによって表される。タッチイベントは、タッチセンシティブデバイスにわたって静電容量的に検出することができ、タクセルは、その位置に近接するイベントがタッチイベントをもたらす位置に対応するタッチセンシティブデバイスの部分であることは、理解されるものとする。例えば、タクセルは、送信導体と受信導体とが交差する位置に対応し得る。しかしながら、いくつかの実施形態では、タクセルは、一方の導体に近接するタッチイベントが他方の導体によって判定され得るように、導体が互いに接近する領域を指す。
【0030】
一実施形態では、選択されるスケールは、dB単位のヒートマップ値を8ビット範囲[0,255]にリキャスト(recast)することであり、これは、この範囲が画像処理と互換性があるためである。一実施形態では、ヒートマップ値は[0,1]範囲にリキャストされる。
【0031】
また、8ビット範囲からヒートマップ範囲へのマッピングの判定は、しばしば、アプリケーションに応じて異なる形態をとる。例えば、一実施形態では、グローバルmin(最小値)(複数)とグローバルmax(最大値)(複数)が判定される。ヒートマップ全体にわたる最小および最大のティクセル値を取得する際に、スケーリングが、補間を通して、従って、全ての関連付けられたヒートマップ値に適用される。
【0032】
一実施形態では、受信min(最小値)(複数)と受信max(最大値)(複数)が判定される。ヒートマップにおいて単一の受信線(導体)の値を取得する際に、スケーリングが、補間を通して、従って、全ての関連付けられた特異的RX値に適用される。
【0033】
一実施形態では、送信min(最小値)(複数)および受信max(最大値)(複数)が判定される。ヒートマップにおいて単一の送信線(導体)の値を取得する際に、スケーリングが、補間を通して、従って、全ての関連付けられた特異的送信値に適用される。
【0034】
一実施形態では、固定されたmin(最小値)(複数)およびmax(最大値)(複数)が決定される。ヒートマップ全体は、他の要因によって決定される固定されたminおよびmaxに基づいてスケーリングされる。これらは、ヒートマップ全体、またはRX導体、TX導体、またはシングルティクセルなどの目標領域をスケーリングすることができる。
【0035】
擬似コード:
FIND min and max thresholds based on a particular the (a-d) variants(特定の(a-d)変位に基づいてminおよびmax閾値を見つける)
LOOP through every value in the heatmap(ヒートマップ中の全ての値にわたって繰り返し)
FOR a particular heatmap value,RETURN new value using interpolation of the min and max thresholds(特定のヒートマップ値について、minおよびmax閾値の補間を使用して新しい値を返す)
【0036】
動的ベースライン化および再ベースライン化の適用は、車両座席(あるいはハンドルバー、または情報を入手するために必要とされ得る乗り物内もしくは乗り物上の他の表面)の上またはその付近で生じるタッチイベントから大部分の情報を取得するのに一般的に有用である。ヒータの作動などによる車両内の電気的条件の変化は、車両内の感知に影響を与え得る。上述のアルゴリズムを利用して、得られる情報を改善することができる。
【0037】
状況を改善する別の方法は、タッチ較正の使用による。タッチ較正は、センサグリッド内の個々のティクセルのダイナミックレンジの正規化を通じて行われる。タッチ較正は、複雑なシステムに統合されたセンサを用いて実行され、その結果、等価なタッチ相互作用に対して様々なタッチ応答が起きたと判定されることになる。タッチ較正の実装を通じて、タッチ応答はセンサグリッド全体にわたって「平坦化」される。平坦化とは、同様のタッチイベントが同様の測定応答をもたらし、その結果、異常な応答をもたらすティクセルが1つも存在しないことを意味する。
【0038】
着座環境において、変形検知(「sinking」)は、タッチ較正アルゴリズムを使用して、変形固有のダイナミックレンジを介して、可能にされ、ここで2つのタッチ較正が実装される。軽いタッチ較正は、軽いタッチに対するタッチ応答の較正であって、すなわち、座面と軽く接触しており、かつ座面の変形をもたらさない、タッチ応答である。最大タッチ変形は、座席表面が意図された使用の中でその最大能力で変形すること、すなわち、座席および/またはセンサの損傷または破壊をもたらさずに使用による再現性を有する変形をもたらす、感知されたイベントに対するタッチ応答の較正である。
【0039】
次いで、変形および沈下イベントは、これらの較正イベント間のヒートマップ応答をスケーリングすることによって定量化される。応答は、最終的に、センサおよびその統合によって判定され、その応答は、線形または非線形であり得る。
【0040】
擬似コード:
RECORD and save heatmap tixel values under light touch conditions(軽いタッチ条件下でのヒートマップのティクセル値を記録して保存)
RECORD and save heatmap tixel values under max deformation conditions(最大変形条件下でのヒートマップティクセル値を記録して保存)
IMPORT light touch and max deformation calibrations(軽いタッチおよび最大変形の較正をインポート)
USE variant (#3d) of heatmap dynamic range mapping algorithm previously described with the light touch and max deformation threshold conditions on a per tixel basis.(先にティクセルごとに軽いタッチおよび最大変形閾値条件で記載されたヒートマップ・ダイナミックレンジ・マッピングアルゴリズムの変形(#3d)を使用。)
【0041】
着座のために使用されるアルゴリズム
以下に記載されるアルゴリズムは、座席用途のコンテキストの中で論じられる。しかしながら、アルゴリズムの原理および結果は、適切な環境的コンテキストの中で、ハンドルバー、車輪、および車両ベースの他の用途にさらに適用可能であることを理解されたい。
【0042】
再注入姿勢補償(Re-injection postural compensation)は、ベースライン化後にヒートマップ値を再びスケーリングするために、ヒートマップの領域を信号利得について探索(search)する技法である。着座におけるタッチイベントは、信号損失(ベースライン化後の負の値(dB)によって定量化される)の相対レベルによって特徴付けられ、一方、信号利得(ベースライン化後の正の値(dB)によって定量化される)をもたらすイベントは、ユーザの関連するタッチイベントによって存在している信号と、典型的には非接触位置にある座席センサに再注入して戻る信号との結果である。再注入イベントは、ユーザが座面から離れて姿勢を保持すること、典型的には、ユーザの背中が座席背もたれセンサから完全に離れた姿勢をとることに関連づけられる。結果として、これらのイベントは、ヒートマップのタッチ信号を姿勢と共に変化させる。したがって、信号変動を補償するために、ヒートマップの領域が走査されて信号再注入における変位が発見および追跡される。有意な再注入が位置特定される場合、この因子は存在するヒートマップから減算される。このことは、ヒートマップを新しいベースライン値に効果的にオフセットし、続く検証からヒートマップを安定させることができ、姿勢の変動から分離されたヒートマップをもたらす。
【0043】
再注入補償の変形は、ヒートマップ・ダイナミックレンジ・マッピングにおいて見出されるのと同じ変形を持ち、ヒートマップのサブ領域、RX導体のみ、TX導体のみ、またはシングルティクセルに適用される場合があり、したがって、探索(search)は、ヒートマップ全体にわたって行われないことがあり、ヒートマップの部分に限定されることがある。
【0044】
擬似コード:
SEARCH heatmap for positive signal gain.(正の信号利得についてヒートマップを探索。)探索(Search)は鍵となるセンサ領域に制限することができ、および他のセンサ領域について繰り返されてもよい
FIND maximum signal gain in search area (検索領域内で最大信号利得を見つける)
SUBTRACT maximum signal gain from heatmap.(ヒートマップから最大信号利得を引く。)
【0045】
一実施形態では、物理的位置マッピングは、サブ・ティクセル画像再スケーリングを使用して達成することができる。一実施形態では、一連のアルゴリズムが、線-線交差を使用して、画像からの特異画素座標を座席上の既知の物理的位置にマッピングするように実装される。このアルゴリズムは、画像処理ツールセットによって見出される外形、輪郭、および/または中心などの出力ロケーションを提供して、座席上の物理的ロケーションを反映し、同時にタッチイベントのセンサ分解能を高めるように適合される。
【0046】
一実施形態では、サブ・ティクセル画像再スケーリング(sub-tixel image re-scaling)を実行して、ヒートマップを必要な解像度に「粒状化する」。再スケーリングなしでは、20mmのティクセル間隔を有するセンサは、20mmの最小分解能を達成する。より小さいスケールの分解能をもたらすために、補間されたデータを含むようにヒートマップを再びスケーリングすることは、より小さな有効分解能を達成することができる。例えば、同じ20mmのティクセル間隔のセンサは、ヒートマップを4倍だけ単一方向に再スケーリングすることによって、5mmのデータ間隔を達成することができる。ヒートマップ内の新しい「粒状化された」データはサブ・ティクセルと呼ばれ、それらの値は補間を経て最良に判定される。また、再スケーリングは、典型的には、ヒートマップセンサデータではなく画像に対して実行される。
【0047】
擬似コード:
CONVERT heatmap to image.(ヒートマップを画像に変換。)変換前にヒートマップ・ダイナミックレンジ・マッピングが必要。
RESCALE image to larger image.(画像からより大きな画像へ再スケール。)再スケールサイズは、必要とされる解像度によって判定される。
RECORD original tixel pixel locations in the new rescaled image.(元のティクセル画素位置を再びスケーリングされた画像に記録。)それらの画素位置は、画素位置を座席の物理的な幾何学形状にマッピングするために必要とされる。
【0048】
ティクセル探索方法は、注目画素が物理的な座席幾何学形状にマッピングされることが要求されるときに行われる。注目画素は、OpenCVまたは他のアルゴリズムなどのソフトウェアによって生成され得る。所与の注目画素について、4つのティクセル(およびそれらの関連付けられた画素位置)に対するその位置が、物理的マッピング計算に先立って判定され得る。典型的には、これらのティクセルの位置を見つけるためにバイナリ探索が実行される。
【0049】
擬似コード:
FIND the location of four nearby tixels in relation to the pixel of interest.(注目画素に対する4つの近傍ティクセルの位置を求める。)
【0050】
一実施形態では、物理的マッピングは、線-線交差を使用して達成される。これは、画像からの画素位置を座席表面上の非矩形の物理的位置にマッピングするために使用される幾何学的計算である。ヒートマップ画像は矩形グリッドを含むのに対し、センサの物理的位置は典型的には非矩形であり、したがって、マッピングは四辺形マッピングを考慮しなければならない。これは、以下に示す線-線交差計算で最も効率的に達成される。
【0051】
擬似コード:
RECORD the physical locations of the tixels found from the search.(探索で得られたティクセルの物理的な位置を記録。)
CALCULATE the proportional location by percent of the pixel of interest within locations of tixel rectangular grid segment from the pixel coordinates(画素座標からのティクセル長方形グリッドのセグメントの位置の中で注目画素のパーセントにより比例する位置を計算)
DETERMINE the equivalent points on the physical location grid based on the proportional locations from pixelspace on the quadrilateral line segments. This should yield four points.(四辺形の線セグメント上の画素空間からの比例する位置に基づいて、物理的位置グリッド上の等価の点を判定する。これは4つの点をもたらすはずである。)
【0052】
図2は、これらの計算が基づく線-線交差の図を示す。注目画素の物理的位置は、4つの点に基づいて、以下の線-線交差の式に基づいて計算(CALCULATE)される。
【0053】
点(x1、y1)および(x2、y2)を含むL1と、点(x3、y3)および(x4、y4)を含むL2の2つの線、L1とL2の2次元の交差は、次式によって与えられる:
【0054】
【数1】
【0055】
【数2】
【0056】
【数3】
【0057】
xとyについて。
【0058】
以下の2つの線
【0059】
【数4】
の交点は、
【0060】
【数5】
である。
【0061】
3線座標中の3つの線
【0062】
【数6】
が、
【0063】
次式を満たす場合、それらの3線座標は一致する。
【0064】
【数7】
【0065】
この場合、点は次のとおりである。
【0066】
【数8】
【0067】
以下のデカルト座標における3線
【0068】
【数9】
の係数が、
【0069】
【数10】
を満たす場合、上記3線の座標は一致する。
【0070】
三次元では、代数はより複雑になる。点x1=(x1,y1,z1)とx2=(x2,y2,z2)、およびx3=(x3,y3,z3)とx4=(x4,y4,z4)をそれぞれ含む2つの線の交差もまた、以下の式を同時に解くことによって直接見出すことができる。
【0071】
【数11】
【0072】
4つの点が同一平面上にある(すなわち、それらの線が歪んでいない)という条件で、
【0073】
【数12】
【0074】
x=(x,y,z)として、sとtを消去する。この方程式の組をsについて解くと、次の式を得る。
【0075】
【数13】
【0076】
式中、
【0077】
【数14】
である。
【0078】
次いで、sに入れ戻すことによって交点が直ちに見出され、
【0079】
【数15】
を得る。
【0080】
追加的に次の式を定義することによって、わずかながら、より対称的で簡潔な形態を得ることができる。
【0081】
【数16】
【0082】
【数17】
【0083】
【数18】
【0084】
上記の計算を使用して、画像から座席表面上の非矩形の物理的位置に画素位置をマッピングすることができる。この情報は、座席で起こる活動に関するより細やかな情報を提供することができる。
【0085】
本開示の一態様は、感知システムである。感知システムは、自動車座席に動作可能に接続された送信アンテナの群であって、各送信アンテナは積分期間中に送信される信号と互いに直交する信号を送信するように適合されている、送信アンテナの群と、複数の受信アンテナであって、該複数の受信アンテナのそれぞれ1つが、送信信号を受信するように適合されている、複数の受信アンテナと、受信された送信信号の測定値を判定してヒートマップを作製するように適合されるプロセッサであって、ヒートマップの総和が無タッチイベントの間に取得されてベースラインヒートマップと比較され、閾値を超える場合には新しいベースラインヒートマップが再較正される、プロセッサとを備える。
【0086】
本開示の別の態様は、感知を行うための方法である。本方法は、自動車座席に動作可能に接続された送信アンテナの群のそれぞれにおいて積分期間中に送信される信号と互いに直交する信号を送信する工程、受信された送信信号の測定値を判定する工程、無タッチイベントの間にヒートマップの総和を生成する工程、ヒートマップの総和をベースラインヒートマップと比較する工程、および、閾値を超える場合には新しいベースラインヒートマップが再較正される工程を含む。
【0087】
本発明は、その好ましい実施形態を参照して具体的に図示および説明されたが、形態および詳細における種々の変更が、本発明の精神および範囲から逸脱することなく、その中で行われ得ることが、当業者によって理解されるであろう。
図1
図2
【国際調査報告】