ホーム > 特許ランキング > 株式会社ＮＴＴドコモ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024052163
(43)【公開日】2024-04-11
(54)【発明の名称】操作入力処理装置及び操作入力処理方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20240404BHJP
G06F 3/0338 20130101ALI20240404BHJP
【ＦＩ】
G06F3/01 510
G06F3/0338
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2022158693
(22)【出願日】2022-09-30
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．３ＧＰＰ
(71)【出願人】
【識別番号】392026693
【氏名又は名称】株式会社ＮＴＴドコモ
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100101247
【弁理士】
【氏名又は名称】高橋 俊一
(74)【代理人】
【識別番号】100095500
【弁理士】
【氏名又は名称】伊藤 正和
(74)【代理人】
【識別番号】100169797
【弁理士】
【氏名又は名称】橋本 浩幸
(72)【発明者】
【氏名】原田 篤
(72)【発明者】
【氏名】石川 博規
【テーマコード（参考）】
5B087
5E555
【Ｆターム（参考）】
5B087AA09
5B087AB03
5B087BC26
5B087BC34
5E555AA16
5E555BA38
5E555BB38
5E555BC01
5E555CB20
5E555CB59
5E555CB68
5E555CC01
5E555EA19
5E555EA27
5E555FA00
(57)【要約】
【課題】操作者の荷重移動に基づいて操作対象を操作する場合において、操作の誤判定を低減し、操作対象の操作性を向上し得る操作入力処理装置及び操作入力処理方法を提供する。
【解決手段】操作入力処理装置10は、面的に設けられた複数の検出ポイントを用いて、操作者の身体部位による荷重分布を検出する検出部110と、検出部110によって検出された荷重分布に基づいて、荷重が所定値以上である荷重領域を判定する判定部210と、荷重領域の判定結果に基づいて、荷重領域と対応付けられた信号を出力する出力部220とを備える。判定部210は、検出ポイントの数に応じた次元数の機械学習モデルを用いた荷重分布の学習結果と、検出部によって検出された荷重分布とに基づいて、荷重領域を判定する。
【選択図】図３
【解決手段】操作入力処理装置10は、面的に設けられた複数の検出ポイントを用いて、操作者の身体部位による荷重分布を検出する検出部110と、検出部110によって検出された荷重分布に基づいて、荷重が所定値以上である荷重領域を判定する判定部210と、荷重領域の判定結果に基づいて、荷重領域と対応付けられた信号を出力する出力部220とを備える。判定部210は、検出ポイントの数に応じた次元数の機械学習モデルを用いた荷重分布の学習結果と、検出部によって検出された荷重分布とに基づいて、荷重領域を判定する。
【選択図】図３
【特許請求の範囲】
【請求項1】
面的に設けられた複数の検出ポイントを用いて、操作者の身体部位による荷重分布を検出する検出部と、
前記検出部によって検出された前記荷重分布に基づいて、荷重が所定値以上である荷重領域を判定する判定部と、
前記荷重領域の判定結果に基づいて、前記荷重領域と対応付けられた信号を出力する出力部と
を備え、
前記判定部は、前記検出ポイントの数に応じた次元数の機械学習モデルを用いた前記荷重分布の学習結果と、前記検出部によって検出された前記荷重分布とに基づいて、前記荷重領域を判定する操作入力処理装置。
前記検出部によって検出された前記荷重分布に基づいて、荷重が所定値以上である荷重領域を判定する判定部と、
前記荷重領域の判定結果に基づいて、前記荷重領域と対応付けられた信号を出力する出力部と
を備え、
前記判定部は、前記検出ポイントの数に応じた次元数の機械学習モデルを用いた前記荷重分布の学習結果と、前記検出部によって検出された前記荷重分布とに基づいて、前記荷重領域を判定する操作入力処理装置。
【請求項2】
前記機械学習モデルを用いて前記荷重分布を学習する学習部を備え、
前記学習部は、
前記操作者に対して前記身体部位の荷重移動を指示し、
前記荷重移動に伴って前記検出部によって検出された前記荷重分布を学習する請求項１に記載の操作入力処理装置。
前記学習部は、
前記操作者に対して前記身体部位の荷重移動を指示し、
前記荷重移動に伴って前記検出部によって検出された前記荷重分布を学習する請求項１に記載の操作入力処理装置。
【請求項3】
前記学習部は、通信ネットワークを経由して前記機械学習モデルを取得する請求項２に記載の操作入力処理装置。
【請求項4】
前記学習部は、前記荷重分布をクラス分類問題として取り扱う請求項２に記載の操作入力処理装置。
【請求項5】
処理装置が、面的に設けられた複数の検出ポイントを用いて、操作者の身体部位による荷重分布を検出するステップと、
前記処理装置が、検出された前記荷重分布に基づいて、荷重が所定値以上である荷重領域を判定するステップと、
前記処理装置が、前記荷重領域の判定結果に基づいて、前記荷重領域と対応付けられた信号を出力するステップと
を含み、
前記判定するステップでは、前記検出ポイントの数に応じた次元数の機械学習モデルを用いた前記荷重分布の学習結果と、前記検出するステップにおいて検出された前記荷重分布とに基づいて、前記荷重領域を判定する操作入力処理方法。
前記処理装置が、検出された前記荷重分布に基づいて、荷重が所定値以上である荷重領域を判定するステップと、
前記処理装置が、前記荷重領域の判定結果に基づいて、前記荷重領域と対応付けられた信号を出力するステップと
を含み、
前記判定するステップでは、前記検出ポイントの数に応じた次元数の機械学習モデルを用いた前記荷重分布の学習結果と、前記検出するステップにおいて検出された前記荷重分布とに基づいて、前記荷重領域を判定する操作入力処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、操作者の身体部位による荷重移動に基づく操作入力を処理する操作入力処理装置及び操作入力処理方法に関する。
【背景技術】
【0002】
従来、ゲームコントローラー用などとして、操作者の荷重移動を検出できる入力インターフェイス装置が知られている。例えば、特許文献１に開示されている入力インターフェイス装置は、操作者の足で踏むことができる表面クッション層の裏側に設けられた格子状の電極（検出ポイント）間に生じる静電容量に変化に基づいて、操作者の足裏の荷重分布を検出する。
【0003】
具体的には、当該入力インターフェイス装置は、電極間に生じる静電容量と、操作者の荷重との対応を示すマップに基づいて、操作者の重心位置の変化などを検出する。これにより、足裏の荷重移動（体重移動）によって操作対象（ゲーム機など）を操作できる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2012-7988号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述したような入力インターフェイス装置の場合、面的に設けられている電極間の静電容量の変化に基づいて操作者の荷重移動を検出するため、ボタンなどを手で操作する一般的な入力インターフェイス装置と比較すると、どうしても操作者が意図していない操作として誤判定され易い。また、操作者による当該入力インターフェイス装置上での体重移動には、個人差が大きく、やはり誤判定の要因となる。
【0006】
このような誤判定は、操作対象がゲームなどの仮想空間ではなく、現実空間に存在する場合（例えば、上空を飛行するドローンなど）には、特に問題となる。
【0007】
そこで、以下の開示は、このような状況に鑑みてなされたものであり、操作者の荷重移動に基づいて操作対象を操作する場合において、操作の誤判定を低減し、操作対象の操作性を向上し得る操作入力処理装置及び操作入力処理方法の提供を目的とする。
【課題を解決するための手段】
【0008】
本開示の一態様は、面的に設けられた複数の検出ポイントを用いて、操作者の身体部位による荷重分布を検出する検出部（検出部110）と、前記検出部によって検出された前記荷重分布に基づいて、荷重が所定値以上である荷重領域を判定する判定部（判定部210）と、前記荷重領域の判定結果に基づいて、前記荷重領域と対応付けられた信号を出力する出力部（出力部220）とを備え、前記判定部は、前記検出ポイントの数に応じた次元数の機械学習モデルを用いた前記荷重分布の学習結果と、前記検出部によって検出された前記荷重分布とに基づいて、前記荷重領域を判定する操作入力処理装置（操作入力処理装置10）である。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下、実施形態を図面に基づいて説明する。なお、同一の機能や構成には、同一または類似の符号を付して、その説明を適宜省略する。
【0011】
（１）操作入力処理装置の全体概略構成
図１は、本実施形態に係る操作入力処理装置10の全体概略構成図である。図１に示すように、操作入力処理装置10は、入力インターフェイス100及びハードウェア要素200によって構成できる。
図１は、本実施形態に係る操作入力処理装置10の全体概略構成図である。図１に示すように、操作入力処理装置10は、入力インターフェイス100及びハードウェア要素200によって構成できる。
【0012】
入力インターフェイス100は、操作者60による操作入力を受け付けるインターフェイスである。具体的には、入力インターフェイス100は、操作者60の身体部位による荷重分布を検出できる。操作者60の身体部位は、必ずしも限定されないが、本実施形態では、操作者60の足部、具体的には、足裏による荷重分布の検出を想定する。
【0013】
入力インターフェイス100は、操作者60が両足を載せて直立できる平面状の部分を有する。入力インターフェイス100の具体的な構成については後述する。操作者60は、入力インターフェイス100を両足（または片足）で踏んだ状態において体重を移動させることによって、操作者60が意図する操作を指示する。操作入力処理装置10は、入力インターフェイス100を用いて、操作者60の荷重移動（体重移動）に伴う時系列の荷重分布のデータ（操作情報と呼ばれてもよい）を検出し、ドローン50に対する制御信号を送信できる。
【0014】
これにより、操作者60は、手ぶら（ハンズフリー）の状態で操作対象であるドローン50を操作できる。入力インターフェイス100は、手で操作される一般的なコントローラーの代用となる。
【0015】
ハードウェア要素200は、操作入力処理装置10のソフトウェア（プログラムなど）処理を実行可能なコンピュータなどの計算機によって構成される。ハードウェア要素200の具体的な構成例については、図１１を参照されたい。また、ハードウェア要素200によって実現される操作入力処理装置10の機能ブロック構成については後述する。
【0016】
ハードウェア要素200は、通信ネットワーク20と接続されてよい。通信ネットワーク20は、有線及び無線による通信ネットワークを含んでよく、3rd Generation Partnership Project（3GPP）によって規定される移動通信ネットワークが含まれてもよい。
【0017】
通信ネットワーク20には、人間拡張基盤（Human augmentation platform）30（以下、HAPF30）が接続されてよい。HAPF30は、人間拡張に関する各種機能を提供できる。人間拡張には、大きく分けて、「身体能力の拡張」、「存在の拡張」、「知覚の拡張」及び「認知能力の拡張」がある。HAPF30は、このような拡張を実現する機能を提供できる。
【0018】
また、通信ネットワーク20には、無線信号を送受信する無線基地局40が含まれてよい。本実施形態では、操作入力処理装置10は、無線基地局40を介してドローン50と通信を実行することができ、ドローン50を遠隔操作（制御）できる。
【0019】
【0020】
図２に示すように、入力インターフェイス100は、格子状に配置された複数の電極によって構成される。具体的には、入力インターフェイス100は、横方向に沿って配置された複数の横電極101と、縦方向に沿って配置された複数の縦電極102とを備える。
【0021】
複数の横電極101は、隣接する横電極101と所定の間隔を隔てて平行になるように配置される。横電極101には、配線101aが接続される。
【0022】
複数の縦電極102は、隣接する縦電極102と所定の間隔を隔てて平行になるように沿って配置される。縦電極102は、横電極101と直交する方向に沿って配置される。縦電極102には、配線102aが接続される。
【0023】
なお、このような入力インターフェイス100の構造は、例えば、特開2012-7988号公報に開示されている構造と同様としてもよい。入力インターフェイス100は、格子状に配置した横電極101と縦電極102との交点における静電容量の変化を検出する。操作入力処理装置10は、入力インターフェイス100から出力された静電容量に変化に基づいて、電極の各交点の圧力を検出できる。
【0024】
横電極101及び縦電極102のサイズ及び数は、特に限定されないが、足形61の領域内に十分な数の交点が含まれるような構成とすることが好ましい。これにより、操作者60の足裏の精密な荷重分布を検出できる。
【0025】
（３）操作入力処理装置10の機能ブロック構成
図３は、操作入力処理装置10の機能ブロック構成図である。図３に示すように、入力インターフェイス100は、検出部110を構成し、ハードウェア要素200は、判定部210、出力部220及び学習部230を構成してよい。
図３は、操作入力処理装置10の機能ブロック構成図である。図３に示すように、入力インターフェイス100は、検出部110を構成し、ハードウェア要素200は、判定部210、出力部220及び学習部230を構成してよい。
【0026】
検出部110は、面的に設けられた複数の検出ポイントを用いて、操作者60の身体部位による荷重分布を検出する。面的に設けられた複数の検出ポイントとは、入力インターフェイス100の電極の交点と対応してよい。
【0027】
複数の検出ポイント（電極の交点）は、入力インターフェイス100の平面上において一定間隔で面的に設けられている。また、上述したように、本実施形態では、操作者60の身体部位は、操作者60の足部を想定する。
【0028】
検出部110は、電極の各交点における静電容量を検出し、検出した静電容量と対応付けられている荷重値を出力できる。つまり、検出部110は、電極の各交点の位置における静電容量の値から足形61の領域内の荷重分布を出力できる。
【0029】
判定部210は、検出部110によって検出された荷重分布に基づいて、荷重が所定値以上である荷重領域を判定する。なお、入力インターフェイス100（検出部110）は、検出した静電容量の値を出力し、ハードウェア要素200（判定部210）側において検出した静電容量と対応付けられている荷重値を取得し、荷重分布を得るようにしてもよい。
【0030】
具体的には、判定部210は、静電容量と対応付けられている荷重値が所定値以上となる領域に基づいて、荷重領域を判定してよい。
【0031】
図４は、操作入力処理装置10による荷重領域の設定例を示す。図４に示すように、足形61の領域内には、複数の電極の交点PE（検出ポイント）が含まれてよい。荷重領域は、左足（及び右足）の体重が掛かる部分（荷重点PLと定義）を基準として設定されてよい。
【0032】
例えば、図４に示すように、４つの荷重領域が設定されてよい。具体的には、前領域AF、後領域AB、左領域AL及び右領域ARが設定される。判定部210は、足形61の領域内に含まれる交点PEの静電容量から得られた荷重分布に基づいて、前領域AF、後領域AB、左領域ALまたは右領域ARの何れかの領域を荷重領域と判定してよい。なお、荷重領域の数は、４つに限定されず、４つよりも多くてもよい（例えば、６つまたは８つ）し、少なくてもよい（例えば、２つ）。また、２つ以上の領域を荷重領域として検出してもよい。
【0033】
判定部210は、荷重領域に判定において機械学習モデルを適用してよい。具体的には、判定部210は、検出ポイント（交点PE）の数に応じた次元数の機械学習モデルを用いた荷重分布の学習結果と、検出部110によって検出された荷重分布とに基づいて、荷重領域を判定できる。
【0034】
ここで、検出ポイント（交点PE）の数は、入力インターフェイス100によって構成される全ての交点PEの数でもよいし、一般的なサイズの足形61の領域内に含まれる検出ポイント（交点PE）の数よりも少し多い数などとしてもよい。検出ポイント（交点PE）の静電容量から得られる荷重分布は、機械学習による「クラス分類問題」として取り扱われてよい。
【0035】
「クラス分類問題」とは、荷重分布データが属するクラスを予測する多クラス分類問題であり、教師あり学習の一種と解釈されてもよい。なお、機械学習モデルを用いた荷重領域の判定例については、後述する。
【0036】
判定部210は、荷重点PLの移動方向及び移動量の検出及び判定に関して、次のような処理を実行してもよい。
【0037】
・（移動方向）：荷重点PL（重心）の移動方向を成分分解して方向を検出し、操作対象の操作量を決定する。移動方向の検出には、デカルト座標系或いは極座標系が用いられてよい。
【0038】
・（移動量）：荷重点PL（重心）の移動方向を成分分解して大きさを検出し、操作対象操作量を決定する。移動量の検出には、荷重分布データの微分値及び／または積分値が用いられ得よい。また、移動量は、正規化されてもよい。
【0039】
また、判定部210は、操作対象（ドローン50）に対する過剰操作の防止、及び誤操作の防止を図る措置を施してもよい。例えば、判定部210は、操作者60のジャンプなどのアクション（通常では発生しにくい荷重変化）が行われたと判定した場合、操作を受け付けなくする（操作からの離脱）ようにしてもよい。
【0040】
出力部220は、荷重領域の判定結果に基づいて、荷重領域と対応付けられた信号を出力する。具体的には、出力部220は、前領域AF、後領域AB、左領域ALまたは右領域ARと対応するドローン50の操作命令（制御信号）を出力できる。
【0041】
【0042】
出力部220は、図５に示すような対応例に基づいて、荷重領域と対応付けられたドローン50の操作命令を出力できる。具体的には、ドローン50の操作命令は、通信ネットワーク20及び無線基地局40を介してドローン50に送信される。
【0043】
学習部230は、機械学習モデルを用いて荷重分布を学習する。具体的には、学習部230は、入力インターフェイス100を介して取得される操作者60の足裏の荷重分布を機械学習によるクラス分類問題として取り扱い、不特定多数の操作者60の荷重分布を対象として、機械学習を実行できる。
【0044】
例えば、学習部230は、足裏の荷重分布の強弱が異なる色またはグラデーションなどによって示された画像データとみなし、それを入力として、荷重領域（例えば、前領域AF）と対応付けられた足裏の荷重分布について、機械学習モデルを用いて学習を実行してよい。或いは、学習部230は、画像データを用いる代わりに、足形61の領域内に含まれる検出ポイント（交点PE）の位置と、当該位置における荷重値（静電容量）とのデータに基づいて、あらかじめ設定された荷重領域（例えば、前領域AF）と対応付けられた足裏の荷重分布について機械学習を実行してもよい。
【0045】
また、学習部230は、操作者60に対して身体部位の荷重移動を指示してもよい。具体的には、学習部230は、入力インターフェイス100に足部を載せている操作者60に対して、前領域AF、後領域AB、左領域ALまたは右領域ARへの荷重移動を指示できる。指示の方法は、指示内容を画面に表示してもよいし、音声による案内でもよい。
【0046】
操作者60は、当該指示（教師情報と呼ばれてもよい）に従って、指示された方向（領域）に荷重を移動させる。学習部230は、操作者60の荷重移動に伴って検出部110によって検出された荷重分布を学習する。
【0047】
学習部230は、通信ネットワーク20を経由して、判定部210及び学習部230における学習に用いられる機械学習モデルを取得してもよい。例えば、学習部230は、HAPF30に保持されている操作入力処理装置10の機械学習モデルをダウンロードしてもよい。
【0048】
（４）操作入力処理装置10の動作
次に、操作入力処理装置10の動作について説明する。具体的には、入力インターフェイス100を介して取得した操作者60の荷重移動の状態に基づいて、ドローン50を遠隔操作する動作について説明する。
次に、操作入力処理装置10の動作について説明する。具体的には、入力インターフェイス100を介して取得した操作者60の荷重移動の状態に基づいて、ドローン50を遠隔操作する動作について説明する。
【0049】
（４．１）動作フロー
（４．１．１）全体動作フロー
図６は、操作入力処理装置10の全体動作フローを示す。図６に示すように、操作入力処理装置10は、操作者60の荷重分布データを取得する（S0）。具体的には、操作入力処理装置10は、入力インターフェイス100を介して操作者60の荷重移動に伴う荷重分布データを取得する。
（４．１．１）全体動作フロー
図６は、操作入力処理装置10の全体動作フローを示す。図６に示すように、操作入力処理装置10は、操作者60の荷重分布データを取得する（S0）。具体的には、操作入力処理装置10は、入力インターフェイス100を介して操作者60の荷重移動に伴う荷重分布データを取得する。
【0050】
操作入力処理装置10は、取得した荷重分布データに基づいて、操作者60の荷重移動（体重移動）に伴う時系列の荷重分布の情報（操作情報）を検出する（S1）。
【0051】
具体的には、操作入力処理装置10は、操作者60の荷重移動（体重移動）に伴う時系列の荷重分布データに基づいて、操作者60が意図している荷重領域（前領域AF、後領域AB、左領域ALまたは右領域AR）を検出する。なお、荷重分布データは、必ずしも時系列ではなく、特定の瞬間の荷重分布であってもよいが、時系列データから得られる微分情報・積分情報などを活用することが期待できるため荷重領域の判定精度向上の観点からは、一定の期間に亘る時系列の荷重分布データを利用することが望ましい。
【0052】
操作入力処理装置10は、検出した荷重領域に基づいて、操作対象（ドローン50）に対する操作命令（制御信号）を出力する（S2）。具体的には、操作入力処理装置10は、通信ネットワーク20及び無線基地局40を介してドローン50に操作命令（図５参照）を送信する。
【0053】
操作入力処理装置10は、操作者60がドローン50の操作から離脱したか否かを判定する（S3）。例えば、操作入力処理装置10は、入力インターフェイス100に対する荷重の有無に基づいて操作者60がドローン50の操作から離脱したか否かを判定してよい。
【0054】
操作入力処理装置10は、ドローン50の操作から離脱した場合には、ドローン50に対する操作命令の出力を停止する。なお、S3は、周期的に繰り返されてもよいし、割り込み処理として実行されてもよい。
【0055】
【0056】
【0057】
操作入力処理装置10は、取得した静電容量のデータに基づいて、操作者60が意図している荷重領域（前領域AF、後領域AB、左領域ALまたは右領域AR）を判定する（S12）。具体的には、操作入力処理装置10は、静電容量のデータと対応付けられた荷重値に基づいて、操作者60が意図している荷重領域を判定する。
【0058】
操作入力処理装置10は、判定した荷重領域に基づいて、操作対象（ドローン50）に対する操作命令（制御信号）を生成し、操作情報として記憶する（S13）。
【0059】
（４．１．３）初期設定フロー
図８は、操作入力処理装置10の初期設定フローを示す。図８に示すように、操作入力処理装置10は、荷重領域判定用のデータが保持されているか否かを判定する（S110）。具体的には、操作入力処理装置10は、事前に機械学習モデルを用いて設定された荷重領域判定用のデータ（機械学習データ）が保持されているか否かを判定する。
図８は、操作入力処理装置10の初期設定フローを示す。図８に示すように、操作入力処理装置10は、荷重領域判定用のデータが保持されているか否かを判定する（S110）。具体的には、操作入力処理装置10は、事前に機械学習モデルを用いて設定された荷重領域判定用のデータ（機械学習データ）が保持されているか否かを判定する。
【0060】
荷重領域判定用のデータが保持されている場合、操作入力処理装置10は、データベースから荷重領域判定用のデータを読み込む（S120）。例えば、操作入力処理装置10は、HAPF30から荷重領域判定用のデータを読み込んでよい。操作入力処理装置10は、荷重領域の判定に用いられる機械学習モデルを読み込んでもよい。
【0061】
荷重領域判定用のデータが保持されていない場合、操作入力処理装置10は、荷重領域判定用の初期設定を実行する（S130）。具体的には、操作入力処理装置10は、操作者60毎に操作命令に対応する荷重領域を決定してよい。例えば、操作入力処理装置10は、図５に示したような対応例を設定してよい。
【0062】
また、当該初期設定では、操作入力処理装置10は、荷重領域の判定に用いられる機械学習モデルを用いて、操作者60個別の荷重領域判定用の初期設定を実行してよい。当該初期設定では、教師情報を含む機械学習モデルが用いられてよい。機械学習モデルを用いた荷重領域の設定例については、後述する。
【0063】
操作入力処理装置10は、何れの操作（荷重移動）も行われていない無操作領域を設定する（S140）。具体的には、操作入力処理装置10は、操作者60が屹立（直立）した状態において、荷重点PL（図４参照）を含む無操作領域を設定する。
【0064】
操作入力処理装置10は、荷重領域の初期設定データ、及び無操作領域のデータをデータベースに格納する（S150）。例えば、操作入力処理装置10は、HAPF30に当該データを格納してよい。
【0065】
（４．２）荷重分布の学習
図９は、機械学習モデルを用いた荷重領域の設定に関するシーケンス例を示す。具体的には、図９は、操作者60が操作入力処理装置10からの指示に基づいて荷重領域を設定するシーケンスを示す。
図９は、機械学習モデルを用いた荷重領域の設定に関するシーケンス例を示す。具体的には、図９は、操作者60が操作入力処理装置10からの指示に基づいて荷重領域を設定するシーケンスを示す。
【0066】
図９に示すように、操作入力処理装置10は、荷重領域を設定するための教師情報を提示、具体的には、操作者60に対する荷重移動を指示する。上述したように、指示の方法は、指示内容を画面に表示（アイコン表示など）してもよいし、音声による案内でもよい。
【0067】
操作者60は、操作入力処理装置10による荷重移動の指示に基づいて、指示された領域（方向）に荷重を移動させる。足形61の領域内の「１」～「４」の数字は、前領域AF、後領域AB、左領域AL、右領域AR（図４参照）にそれぞれ対応する（以下同）。
【0068】
操作入力処理装置10（入力インターフェイス100）は、操作者60の荷重移動に伴う荷重分布の変化（荷重データ）を取得する。なお、荷重データは、荷重分布データと同義と解釈されてもよいが、操作者60が教師情報に基づいて指示された方向に荷重移動を行った結果のデータを意図する。
【0069】
操作入力処理装置10は、教師情報に基づく操作者60の荷重移動に伴う荷重分布の変化について学習する。上述したように、操作入力処理装置10は、足裏の荷重分布の強弱が色またはグラデーションなどによって示された画像データを入力として、荷重領域（例えば、前領域AF）と対応付けられた足裏の荷重分布について、機械学習モデルを用いて学習を実行してよい。
【0070】
このように、操作者60は、教師情報に従って、指示された領域に荷重を移動させる。なお、操作入力処理装置10は、操作者60以外によって事前に学習された機械学習モデルを用いて学習を開始してもよい。この場合、操作入力処理装置10は、HAPF30から機械学習モデルをダウンロードしてもよい。
【0071】
また、操作入力処理装置10は、操作者60に対する直立を指示してよい。操作入力処理装置10は、操作者60が直立した状態における荷重分布に基づいて、何れの操作（荷重移動）も行われていない無操作領域を設定する。
【0072】
図１０は、機械学習モデルを用いた荷重領域の判定例を示す。操作入力処理装置10は、上述したように、操作者60の足裏の荷重分布Dを機械学習による「クラス分類問題」として取り扱い検出できる。
【0073】
図１０に示すように、機械学習モデルは、入力層、中間層及び出力層を有してよい。入力層は、足形61の領域に含まれる1～Nまでの検出ポイント（交点PE、図４参照）に対応する次元数Nの入力（多クラス分類）を有する。
【0074】
中間層は、隠れ層と呼ばれてもよい。中間層は、入力層に入力された荷重データを用いて多様な計算を実行できる。中間層の数は、特に限定されないが、図に示すように一定数（例えば、４層）以上とすることが好ましい。中間層は、入力層によって取り込まれた荷重データを選別し、学習によって扱いやすい状態に変換してよい。中間層は、単純なデータを扱う出力層へ結果を渡してよい。
【0075】
出力層は、中間層から渡されたデータを活性化関数で処理した値を出力する。図１０に示す例では、荷重分布Dに従って、前領域AF（図中の「１」）の領域と対応する出力の値（0.95）が最も大きくなっている。この結果、操作入力処理装置10は、前領域AFに対して荷重されていると判定し、前領域AFと対応する操作命令（制御信号）を出力する。
【0076】
（５）作用・効果
上述した実施形態によれば、以下の作用効果が得られる。具体的には、操作入力処理装置10は、面的に設けられた複数の検出ポイントを用いて、操作者60の身体部位による荷重分布を検出する検出部110と、検出部110によって検出された荷重分布に基づいて、荷重が所定値以上である荷重領域を判定する判定部210と、荷重領域の判定結果に基づいて、荷重領域と対応付けられた信号を出力する出力部220とを備える。判定部210は、検出ポイント（交点PE）の数に応じた次元数の機械学習モデルを用いた荷重分布の学習結果と、検出部110によって検出された荷重分布とに基づいて、荷重領域を判定できる。
上述した実施形態によれば、以下の作用効果が得られる。具体的には、操作入力処理装置10は、面的に設けられた複数の検出ポイントを用いて、操作者60の身体部位による荷重分布を検出する検出部110と、検出部110によって検出された荷重分布に基づいて、荷重が所定値以上である荷重領域を判定する判定部210と、荷重領域の判定結果に基づいて、荷重領域と対応付けられた信号を出力する出力部220とを備える。判定部210は、検出ポイント（交点PE）の数に応じた次元数の機械学習モデルを用いた荷重分布の学習結果と、検出部110によって検出された荷重分布とに基づいて、荷重領域を判定できる。
【0077】
このため、面的に設けられている電極（横電極101と縦電極102）間の静電容量の変化に基づいて操作者60の荷重移動を検出する入力インターフェイス100を用いるような場合でも、検出ポイントの数に応じた次元数の機械学習モデルを用いた荷重分布の学習結果と、検出された荷重分布とに基づいて荷重領域を判定できるため、操作者が意図していない操作として誤判定される可能性を低減できる。特に、操作者60による入力インターフェイス100上での体重移動には、個人差が大きく、誤判定の要因となり易いが、操作入力処理装置10によれば、このような個人差による誤判定の低減できる。
【0078】
すなわち、操作入力処理装置10によれば、操作者60の荷重移動に基づいて操作対象（ドローン50）を操作する場合において、操作の誤判定を低減し、操作対象の操作性を向上し得る。
【0079】
本実施形態では、操作入力処理装置10は、機械学習モデルを用いて荷重分布を学習する学習部230を備えてよい。学習部230は、入力インターフェイス100を介して取得される操作者60の足裏の荷重分布を機械学習によるクラス分類問題として取り扱い、不特定多数の操作者60の荷重分布を対象として、機械学習を実行できる。さらに、学習部230は、操作者60に対して身体部位（足部）の荷重移動を指示し、操作者60の荷重移動に伴って検出部110によって検出された荷重分布を学習できる。このため、入力インターフェイス100を用いた荷重分布について繰り返し学習することが可能となり、高い精度で荷重領域を判定できる。これにより、操作の誤判定を低減し、操作対象の操作性をさらに向上し得る。
【0080】
本実施形態では、学習部230は、通信ネットワーク20を経由して、判定部210及び学習部230における学習に用いられる機械学習モデルを取得してもよい。このため、操作入力処理装置10は、適切な機械学習モデルを迅速に取得でき、高い精度での荷重領域の判定を実現し得る。
【0081】
また、学習部230は、入力インターフェイス100を介して取得される操作者60の足裏の荷重分布を機械学習によるクラス分類問題として取り扱い、不特定多数の操作者60の荷重分布を対象として、機械学習を実行できる。このため、広く知られている機械学習の手法を用いつつ、入力インターフェイス100からの荷重データの出力数（次元数N）に応じた適切な機械学習を適用でき、高い精度での荷重領域の判定を実現し得る。
【0082】
（６）その他の実施形態
以上、実施例に沿って本提案の内容を説明したが、本提案はこれらの記載に限定されるものではなく、種々の変形及び改良が可能であることは、当業者には自明である。
以上、実施例に沿って本提案の内容を説明したが、本提案はこれらの記載に限定されるものではなく、種々の変形及び改良が可能であることは、当業者には自明である。
【0083】
例えば、上述した実施形態では、ハードウェア要素200によって構成される判定部210及び学習部230によって機械学習に関する処理が実現されていたが、当該処理は、HAPF30側において実現されてもよい。
【0084】
また、上述した実施形態では、操作者60の足部、具体的には、足裏による荷重分布の検出を想定したが、操作者60の身体部位であれば、必ずしも足裏に限定されない。例えば、操作者60の臀部による荷重分布の検出を想定してもよい。
【0085】
さらに、上述した実施形態では、操作者60の荷重移動に基づく操作対象としてドローン50を想定したが、操作対象は、ドローン以外の無人航空機（UAV：Uncrewed Aerial Vehicle）であってもよいし、航空機以外の移動体などでも構わない。
【0086】
また、上述した記載において、設定（configure）、アクティブ化（activate）、更新（update）、指示（indicate）、有効化（enable）、指定（specify）、選択（select）、は互いに読み替えられてもよい。同様に、リンクする（link）、関連付ける（associate）、対応する（correspond）、マップする（map）、は互いに読み替えられてもよく、配置する（allocate）、割り当てる（assign）、モニタする（monitor）、マップする（map）、も互いに読み替えられてもよい。
【0087】
さらに、固有（specific）、個別（dedicated）、UE固有、UE個別、は互いに読み替えられてもよい。同様に、共通（common）、共有（shared）、グループ共通（group-common）、ＵＥ共通、ＵＥ共有、は互いに読み替えられてもよい。
【0088】
また、上述した実施形態の説明に用いたブロック構成図（図３）は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的または論理的に結合した１つの装置を用いて実現されてもよいし、物理的または論理的に分離した２つ以上の装置を直接的または間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置または上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
【0089】
機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。例えば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting unit）や送信機（transmitter）と呼称される。何れも、上述したとおり、実現方法は特に限定されない。
【0090】
さらに、上述したハードウェア要素200（判定部210、出力部220及び学習部230）は、本開示の操作入力処理方法の処理を行うコンピュータとして機能してもよい。図１１は、ハードウェア要素200の構成の一例を示す図である。図１１に示すように、ハードウェア要素200は、プロセッサ1001、メモリ1002、ストレージ1003、通信装置1004、入力装置1005、出力装置1006及びバス1007などを含むコンピュータ装置として構成されてもよい。
【0091】
なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。当該装置のハードウェア構成は、図に示した各装置を１つまたは複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
【0092】
判定部210、出力部220及び学習部230の各機能ブロック（図３参照）は、当該コンピュータ装置の何れかのハードウェア要素、または当該ハードウェア要素の組み合わせによって実現される。
【0093】
また、判定部210、出力部220及び学習部230における各機能は、プロセッサ1001、メモリ1002などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ1001が演算を行い、通信装置1004による通信を制御したり、メモリ1002及びストレージ1003におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。
【0094】
プロセッサ1001は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ1001は、周辺装置とのインタフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（CPU）によって構成されてもよい。
【0095】
また、プロセッサ1001は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ1003及び通信装置1004の少なくとも一方からメモリ1002に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。さらに、上述の各種処理は、１つのプロセッサ1001によって実行されてもよいし、２つ以上のプロセッサ1001により同時または逐次に実行されてもよい。プロセッサ1001は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されてもよい。
【0096】
メモリ1002は、コンピュータ読み取り可能な記録媒体であり、例えば、Read Only Memory（ROM）、Erasable Programmable ROM（EPROM）、Electrically Erasable Programmable ROM（EEPROM）、Random Access Memory（RAM）などの少なくとも１つによって構成されてもよい。メモリ1002は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ1002は、本開示の一実施形態に係る方法を実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。
【0097】
ストレージ1003は、コンピュータ読み取り可能な記録媒体であり、例えば、Compact Disc ROM（CD-ROM）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray（登録商標）ディスク）、スマートカード、フラッシュメモリ（例えば、カード、スティック、キードライブ）、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ1003は、補助記憶装置と呼ばれてもよい。上述の記録媒体は、例えば、メモリ1002及びストレージ1003の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。
【0098】
通信装置1004は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
【0099】
通信装置1004は、例えば周波数分割複信（Frequency Division Duplex：FDD）及び時分割複信（Time Division Duplex：TDD）の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。
【0100】
入力装置1005は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置1006は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置1005及び出力装置1006は、一体となった構成（例えば、タッチパネル）であってもよい。
【0101】
また、プロセッサ1001及びメモリ1002などの各装置は、情報を通信するためのバス1007で接続される。バス1007は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
【0102】
さらに、当該装置は、マイクロプロセッサ、デジタル信号プロセッサ（Digital Signal Processor： DSP）、Application Specific Integrated Circuit（ASIC）、Programmable Logic Device（PLD）、Field Programmable Gate Array（FPGA）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部または全てが実現されてもよい。例えば、プロセッサ1001は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。
【0103】
本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【0104】
情報、信号（情報等）は、上位レイヤ（または下位レイヤ）から下位レイヤ（または上位レイヤ）へ出力され得る。複数のネットワークノードを介して入出力されてもよい。
【0105】
入出力された情報は、特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報は、上書き、更新、または追記され得る。出力された情報は削除されてもよい。入力された情報は他の装置へ送信されてもよい。
【0106】
判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
【0107】
本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
【0108】
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
【0109】
また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（Digital Subscriber Line：DSL）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、または他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
【0110】
本開示において説明した情報、信号などは、様々な異なる技術の何れかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、またはこれらの任意の組み合わせによって表されてもよい。
【0111】
なお、本開示において説明した用語及び本開示の理解に必要な用語については、同一のまたは類似する意味を有する用語と置き換えてもよい。例えば、チャネル及びシンボルの少なくとも一方は信号（シグナリング）であってもよい。また、信号はメッセージであってもよい。
【0112】
本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
【0113】
また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。例えば、無線リソースはインデックスによって指示されるものであってもよい。
【0114】
「接続された（connected）」、「結合された(coupled)」という用語、またはこれらのあらゆる変形は、２またはそれ以上の要素間の直接的または間接的なあらゆる接続または結合を意味し、互いに「接続」または「結合」された２つの要素間に１またはそれ以上の中間要素が存在することを含むことができる。要素間の結合または接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１またはそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」または「結合」されると考えることができる。
【0115】
本開示において使用する「第１」、「第２」などの呼称を使用した要素へのいかなる参照も、それらの要素の量または順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。従って、第１及び第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。
【0116】
本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。
【0117】
本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
【0118】
本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)（例えば、テーブル、データベースまたは別のデータ構造での探索）、確認(ascertaining)したことを「判断」「決定」したとみなすことなどを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）したことを「判断」「決定」したとみなすことなどを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などしたことを「判断」「決定」したとみなすことを含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなすことを含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。
【0119】
本開示において、「AとBが異なる」という用語は、AとBが互いに異なる」ことを意味してもよい。なお、当該用語は、「AとBがそれぞれCと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。
【0120】
以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。従って、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
【0121】
（付記）
上述した開示は、以下のように表現されてもよい。
上述した開示は、以下のように表現されてもよい。
【0122】
第１の特徴は、面的に設けられた複数の検出ポイントを用いて、操作者の身体部位による荷重分布を検出する検出部と、前記検出部によって検出された前記荷重分布に基づいて、荷重が所定値以上である荷重領域を判定する判定部と、前記荷重領域の判定結果に基づいて、前記荷重領域と対応付けられた信号を出力する出力部とを備え、前記判定部は、前記検出ポイントの数に応じた次元数の機械学習モデルを用いた前記荷重分布の学習結果と、前記検出部によって検出された前記荷重分布とに基づいて、前記荷重領域を判定する操作入力処理装置。
【0123】
第２の特徴は、第１の特徴において、前記機械学習モデルを用いて前記荷重分布を学習する学習部を備え、前記学習部は、前記操作者に対して前記身体部位の荷重移動を指示し、
前記荷重移動に伴って前記検出部によって検出された前記荷重分布を学習する。
前記荷重移動に伴って前記検出部によって検出された前記荷重分布を学習する。
【0124】
第３の特徴は、第１または第２の特徴において、前記学習部は、通信ネットワークを経由して前記機械学習モデルを取得する。
【0125】
第４の特徴は、第１乃至第３の特徴において、前記学習部は、前記荷重分布をクラス分類問題として取り扱う。
【符号の説明】
【0126】
10 操作入力処理装置
20 通信ネットワーク
30 HAPF
40 無線基地局
50 ドローン
60 操作者
61 足形
100 入力インターフェイス
101 横電極
101a 配線
102 縦電極
102a 配線
110 検出部
200 ハードウェア要素
210 判定部
220 出力部
230 学習部
AB 後領域
AF 前領域
AL 左領域
AR 右領域
D 荷重分布
PE 交点
PL 荷重点
1001 プロセッサ
1002 メモリ
1003 ストレージ
1004 通信装置
1005 入力装置
1006 出力装置
1007 バス
20 通信ネットワーク
30 HAPF
40 無線基地局
50 ドローン
60 操作者
61 足形
100 入力インターフェイス
101 横電極
101a 配線
102 縦電極
102a 配線
110 検出部
200 ハードウェア要素
210 判定部
220 出力部
230 学習部
AB 後領域
AF 前領域
AL 左領域
AR 右領域
D 荷重分布
PE 交点
PL 荷重点
1001 プロセッサ
1002 メモリ
1003 ストレージ
1004 通信装置
1005 入力装置
1006 出力装置
1007 バス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】