特許 7096904 運動軌跡の特徴処理方法、装置、および、コンピュータ記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-28

(45)【発行日】2022-07-06

(54)【発明の名称】運動軌跡の特徴処理方法、装置、および、コンピュータ記憶媒体

(51)【国際特許分類】

   G06F 21/30 20130101AFI20220629BHJP

   G06T 7/20 20170101ALI20220629BHJP

【ＦＩ】

G06F21/30

G06T7/20 300Z

【請求項の数】 17

(21)【出願番号】P 2020554890

(86)(22)【出願日】2019-07-03

(65)【公表番号】

(43)【公表日】2021-05-13

(86)【国際出願番号】 CN2019094475

(87)【国際公開番号】W WO2020011069

(87)【国際公開日】2020-01-16

【審査請求日】2020-10-06

(31)【優先権主張番号】201810756730.2

(32)【優先日】2018-07-11

(33)【優先権主張国・地域又は機関】CN

【早期審査対象出願】

【前置審査】

(73)【特許権者】

【識別番号】513278998

【氏名又は名称】中国▲銀▼▲聯▼股▲ふん▼有限公司

(74)【代理人】

【識別番号】110000338

【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】蒋丹▲に▼

(72)【発明者】

【氏名】何東杰

【審査官】金沢 史明

(56)【参考文献】

【文献】国際公開第２０１７／０６１７５８（ＷＯ，Ａ１）

【文献】特開２０１６－０７１７７７（ＪＰ，Ａ）

【文献】特開２０１７－００４２９８（ＪＰ，Ａ）

【文献】特開２０１５－１３５５３７（ＪＰ，Ａ）

【文献】中国特許出願公開第１０４４６３０８４（ＣＮ，Ａ）

【文献】特開２００７－３３４４６７（ＪＰ，Ａ）

【文献】中国特許出願公開第１０７５０７２８６（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｋ ９／００－ ９／８２

Ｇ０６Ｆ ３／０３－ ３／０４７

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０６Ｆ ２１／３１－２１／４３

Ｈ０４Ｌ ９／３２

(57)【特許請求の範囲】

【請求項1】

クライアント端末は、ユーザ行為による運動軌跡を収集して一連の順序付きポイントセットを取得し、前記順序付きポイントセットにおける各軌跡ポイントには、位置要素と時間要素が含まれ、
前記クライアント端末は、前記位置要素と前記時間要素における情報を利用して、前記運動軌跡を画像に変換し、
前記クライアント端末は、前記画像に対して画像処理を行うことで、前記運動軌跡における１つまたは複数の特徴ベクトルを取得することを含み、
前記位置要素と前記時間要素における情報を利用して、前記運動軌跡を画像に変換することは、
前記順序付きポイントセットにおける各軌跡ポイントの位置要素と時間要素に基づき、前記運動軌跡を描き、描かれた運動軌跡を、少なくとも１つの画像チャネル値で示された画像にマッピングすることを含み、
描かれた運動軌跡のｘ方向の速度、ｙ方向の速度、及び時間を抽出して、［０，２５５］の値の範囲にマッピングして変換することにより、画像を表すためのＲＧＢ画像チャネル値を取得し、
前記画像に対して画像処理を行うことで、前記運動軌跡における１つまたは複数の特徴ベクトルを取得することは、前記画像における各画素のＲＧＢの画像チャネル値を参照し、前記運動軌跡における１つまたは複数の特徴ベクトルを取得することを含む
ことを特徴とする運動軌跡の特徴処理方法。

【請求項2】

前記ユーザ行為による運動軌跡は、マウス運動軌跡、又は、タッチスクリーンによる運動軌跡を含む、ことを特徴とする請求項１に記載の方法。

【請求項3】

前記順序付きポイントセットにおけるn番目のポイントは、［ｘｎ，ｙｎ，ｔｎ］で示され、ただし、ｘｎが横座標であり、ｙｎが縦座標であり、ｔｎが時間である、ことを特徴とする請求項１に記載の方法。

【請求項4】

前記位置要素に基づき、所定の座標軸の領域内に軌跡ポイントを描くとともに、前記時間要素の順序に従って前記軌跡ポイント間の結び線を描くことによって、前記運動軌跡が描かれる、ことを特徴とする請求項１に記載の方法。

【請求項5】

前記位置要素と前記時間要素における情報を利用して、前記運動軌跡を画像に変換することは、
マッピングする前に、描かれた運動軌跡を平滑化して補強することにより、特徴情報を豊かにすることをさらに含む、ことを特徴とする請求項１に記載の方法。

【請求項6】

運動軌跡が通らないポイントのＲＧＢ画像チャネル値を、全部ゼロに設定する、ことを特徴とする請求項１に記載の方法。

【請求項7】

前記１つまたは複数の特徴ベクトルに基づき、マンマシン認識または検証を行うことをさらに含む、ことを特徴とする請求項１に記載の方法。

【請求項8】

操作環境データを取得し、
前記1つまたは複数の特徴ベクトル及び前記操作環境データに基づき、マンマシン認識または検証を行うことをさらに含み、
前記操作環境データは、動作環境に対応する属性情報を符号化してマッピングするためのデータである、ことを特徴とする請求項１に記載の方法。

【請求項9】

ユーザ行為による運動軌跡を収集して一連の順序付きポイントセットを取得するための収集ユニットであって、前記順序付きポイントセットにおける各軌跡ポイントには、位置要素と時間要素が含まれる収集ユニットと、
前記位置要素と前記時間要素における情報を利用して、前記運動軌跡を画像に変換する変換ユニットと、
前記画像に対して画像処理を行うことで、前記運動軌跡における１つまたは複数の特徴ベクトルを取得する処理ユニットとを備え、
前記変換ユニットは、前記順序付きポイントセットにおける各軌跡ポイントの位置要素と時間要素に基づき、前記運動軌跡を描き、描かれた運動軌跡を、少なくとも１つの画像チャネル値で示された画像にマッピングするように構成され、
前記変換ユニットは、描かれた運動軌跡のｘ方向の速度、ｙ方向の速度、及び時間を抽出して、［０，２５５］の値の区間にマッピングして変換することにより、画像を表すためのＲＧＢ画像チャネル値を取得するように構成され、
前記処理ユニットは、前記画像処理において前記画像における各画素のＲＧＢの画像チャネル値を参照し、前記運動軌跡における１つまたは複数の特徴ベクトルを取得するように構成される、
ことを特徴とする運動軌跡の特徴処理装置。

【請求項10】

前記ユーザ行為による運動軌跡は、マウス運動軌跡、又は、タッチスクリーンによる運動軌跡を含む、ことを特徴とする請求項９に記載の装置。

【請求項11】

前記順序付きポイントセットにおけるn番目のポイントは、［ｘｎ，ｙｎ，ｔｎ］で示され、ただし、ｘｎが横座標であり、ｙｎが縦座標であり、ｔｎが時間である、ことを特徴とする請求項９に記載の装置。

【請求項12】

前記変換ユニットは、前記位置要素に基づき、所定の座標軸の領域内に軌跡ポイントを描くとともに、前記時間要素の順序に従って前記軌跡ポイント間の結び線を描くことによって、前記運動軌跡を描くように構成される、ことを特徴とする請求項９に記載の装置。

【請求項13】

前記変換ユニットは、マッピングする前に、描かれた運動軌跡を平滑化して補強することにより、特徴情報を豊かにするように構成される、ことを特徴とする請求項９に記載の装置。

【請求項14】

前記変換ユニットは、さらに、運動軌跡が通らないポイントのＲＧＢ画像チャネル値を、全部ゼロに設定するように構成される、ことを特徴とする請求項９に記載の装置。

【請求項15】

前記１つまたは複数の特徴ベクトルに基づき、マンマシン認識または検証を行うための第1の認識ユニットをさらに備える、ことを特徴とする請求項９に記載の装置。

【請求項16】

操作環境データを取得する取得ユニットと、
前記１つまたは複数の特徴ベクトル及び前記操作環境データに基づき、マンマシン認識または検証を行う第２の認識ユニットとをさらに備え、
前記操作環境データは、動作環境に対応する属性情報を符号化してマッピングするためのデータである、ことを特徴とする請求項９に記載の装置。

【請求項17】

コンピュータ記憶媒体であって、前記媒体がコマンドを含み、前記コマンドが実行されたときに、請求項１～８のいずれか１項に記載の方法をプロセッサに実行させる、コンピュータ記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータデータ処理分野に関し、特に、運動軌跡の特徴処理方法、装置、および、コンピュータ記憶媒体に関する。

【背景技術】

【0002】

人間がマウスを使ったり、スライダーをドラッグしたりするなどの行為による運動軌跡は、固有の生体特性を有し、機械による自動的な操作とは区別されており、マンマシン検証やリスク認識の面での応用価値を有する。

【0003】

従来技術では、特に、マンマシン認識、スライドモジュール検証の分野では、現在の方法は通常、経験に基づいて運動軌跡の特徴抽出ルールを人為的に設定する、または、運動軌跡に対する関数接近や曲線フィッティングを行う。しかし、このような技術案では、以下の問題点が存在する。（1）運動軌跡の特徴抽出ルールが人為的に設定されたので、特徴選定の良し悪しが人間の先行知識に大きく依存し、かつ、ルールが場面との強い関連性を有するため、普及適応性がないこと。（2）運動軌跡が複雑な構造特徴を有するため、従来の方法では、運動学変数（速度、加速度、変位など）の平均値、分散などの離散統計量を用いたことにより、軌跡の特徴が片面で記述されることしかできず、豊かな暗黙情報が表現されにくくなり、モデリングの過程で失われてしまうこと。（3）数近似と曲線フィッティングの方法による効果が不安定であること。適切な曲線タイプをどのように選択するかは定義されにくくなり、フィッティングによる誤差は、異常点の存在により、大きくなる。また、運動軌跡は、必ずしも適切な関数で抽象化されるとは限らず、過剰フィッティングの現象が起こりやすい。

【0004】

本発明の背景部分に開示の上記情報は、本発明の全体的な背景への理解を深めるためのものに過ぎず、当該情報の構成が当業者によって公知された従来技術であることを、認めるもの、または、如何なる形式で暗示するものとして見なされてはならない。

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来技術に存在した1つまたは複数の不備を解消するために、本発明の一態様によれば、クライアント端末は、ユーザ行為による運動軌跡を収集して一連の順序付きポイントセットを取得し、前記順序付きポイントセットにおける各軌跡ポイントには、位置要素と時間要素が含まれ、前記位置要素と前記時間要素における情報を利用して、前記運動軌跡を画像に変換し、前記画像に対して画像処理を行うことで、前記運動軌跡における1つまたは複数の特徴ベクトルを取得することを含む運動軌跡の特徴処理方法を提供する。

【0006】

上記方法では、前記ユーザ行為による運動軌跡は、マウス運動軌跡、又は、タッチスクリーンによる運動軌跡を含む。

【0007】

上記方法では、前記順序付きポイントセットにおけるn番目のポイントは、[x_n, y_n, t_n]で示され、ただし、x_nが横座標であり、y_nが縦座標であり、t_nが時間である。

【0008】

上記方法では、前記位置要素と前記時間要素における情報を利用して、前記運動軌跡を画像に変換することは、前記順序付きポイントセットにおける各軌跡ポイントの位置要素と時間要素に基づき、前記運動軌跡を描き、描かれた運動軌跡を、少なくとも1つの画像チャネル値で示された画像にマッピングすることを含む。

【0009】

上記方法では、前記位置要素に基づき、所定の座標軸の領域内に軌跡ポイントを描くとともに、前記時間要素の順序に従って前記軌跡ポイント間の結び線を描くことによって、前記運動軌跡が描かれる。

【0010】

上記方法では、前記位置要素と前記時間要素における情報を利用して、前記運動軌跡を画像に変換することは、さらに、マッピングする前に、描かれた運動軌跡を平滑化して補強することにより、特徴情報を豊かにすることを含む。

【0011】

上記方法では、描かれた運動軌跡のx方向の速度、y方向の速度、及び時間を抽出して、それらを[0,255]の値の区間にマッピングして変換することにより、画像を表すためのRGB画像チャネル値を取得する。

【0012】

上記方法では、運動軌跡が通らないポイントのRGB画像チャネル値を、全部ゼロに設定する。

【0013】

上記方法では、前記1つまたは複数の特徴ベクトルに基づき、マンマシン認識または検証を行うことをさらに含んでもよい。

【0014】

上記方法では、操作環境データを取得し、前記1つまたは複数の特徴ベクトル及び前記操作環境データに基づき、マンマシン認識または検証を行うことをさらに含んでもよい。

【0015】

本発明の別の態様によれば、ユーザ行為による運動軌跡を収集して一連の順序付きポイントセットを取得するための収集ユニットであって、前記順序付きポイントセットにおける各軌跡ポイントには、位置要素と時間要素が含まれる収集ユニットと、前記位置要素と前記時間要素における情報を利用して、前記運動軌跡を画像に変換する変換ユニットと、前記画像に対して画像処理を行うことで、前記運動軌跡における1つまたは複数の特徴ベクトルを取得する処理ユニットとを備えた運動軌跡の特徴処理装置を提供する。

【0016】

上記装置では、前記ユーザ行為による運動軌跡は、マウス運動軌跡、又は、タッチスクリーンによる運動軌跡を含む。

【0017】

上記装置では、前記順序付きポイントセットにおけるn番目のポイントは、[x_n, y_n, t_n]で示され、ただし、x_nが横座標であり、y_nが縦座標であり、t_nが時間である。

【0018】

上記装置では、前記変換ユニットは、前記順序付きポイントセットにおける各軌跡ポイントの位置要素と時間要素に基づき、前記運動軌跡を描き、描かれた運動軌跡を、少なくとも1つの画像チャネル値で示された画像にマッピングするように構成される。

【0019】

上記装置では、前記変換ユニットは、前記位置要素に基づき、所定の座標軸の領域内に軌跡ポイントを描くとともに、前記時間要素の順序に従って前記軌跡ポイント間の結び線を描くことによって、前記運動軌跡を描くように構成される。

【0020】

上記装置では、前記変換ユニットは、マッピングする前に、描かれた運動軌跡を平滑化して補強することにより、特徴情報を豊かにするように構成される。

【0021】

上記装置では、前記変換ユニットは、描かれた運動軌跡のx方向の速度、y方向の速度、及び時間を抽出して、それらを[0,255]の値の区間にマッピングして変換することにより、画像を表すためのRGB画像チャネル値を取得するように構成される。

【0022】

上記装置では、前記変換ユニットは、さらに、運動軌跡が通らないポイントのRGB画像チャネル値を、全部ゼロに設定するように構成される。

【0023】

上記装置では、前記1つまたは複数の特徴ベクトルに基づき、マンマシン認識または検証を行うための第1の認識ユニットをさらに備えてもよい。

【0024】

上記装置では、操作環境データを取得する取得ユニットと、前記1つまたは複数の特徴ベクトル及び前記操作環境データに基づき、マンマシン認識または検証を行う第2の認識ユニットとをさらに備えてもよい。

【0025】

本発明のさらに別の態様によれば、コンピュータ記憶媒体であって、前記媒体がコマンドを含み、前記コマンドが実行されたときに、上述した方法をプロセッサに実行させる、コンピュータ記憶媒体を提供する。

【0026】

本発明における特徴処理方案は、人間の先行知識に依存しないので、普及適応性が強い。運動軌跡を画像に変換して入力とすることは、運動特徴の抽出ルールを、例えば、ジッタや変位などの特徴を抽出するように、人為的に設定する必要がないので、特徴モデリングの不適切さ、考慮不完全などの問題を回避した。また、本発明における画像に基づく特徴モデリング方法では、運動軌跡のオリジナルな構造情報及び他のルールで記述されにくい非明示な情報が保留されるようになる。従来の機械学習アルゴリズム以外、処理後の特徴は、様々なハイレベル画像処理、深度学習アルゴリズム（例えば、畳み込みニューラルネットワークCNN）に適用できるようになり、軌跡特徴のモデルの適用範囲が拡大された。しかも、本発明における特徴処理方案が採用されたことにより、マンマシン認識または検証を行うときに、攻撃者が規則を発見することが困難となり、ウィンドコントロールエンジンを欺く正常な人間による操作を一括してシミュレートすることができなくなる。

【0027】

本明細書に添付された図面、および、添付図面と共に本発明のいくつかの原理を説明するための後述する具体的な実施の形態によれば、本発明における方法および装置が有する他の特徴や利点は、より具体的で明らかになるか、または理解されやすくなるであろう。

【図面の簡単な説明】

【0028】

【図1】本発明の一実施例における移動軌跡の特徴処理方法を示す。

【図2】本発明の一実施例における移動軌跡の特徴処理装置を示す。

【発明を実施するための形態】

【0029】

以下の説明では、本発明の最適なモードをどのように作り、使用するかを当業者に教示するために、本発明の特定の実施の形態が記述される。発明の原理を教示するために、一般的な方面での内容を簡素化し、または、省略する。当業者が理解すべきなのは、これらの実施の形態からの変形は、本発明の範囲内にある。また、当業者が理解すべきなのは、以下の構成要件が種々の方式で組み合わせられて、本発明の複数の変形を形成することが可能である。それにより、本発明は、以下の特定の実施の形態に限らず、請求項及びこれら請求項の同等物によって限定される。

【0030】

図1は、本発明の一実施例における移動軌跡の特徴処理方法1000を示す。図1に示されるように、ステップ1000は以下のステップを含む。

【0031】

ステップ110：クライアント端末は、ユーザ行為による運動軌跡を収集して一連の順序付きポイントセットを取得し、前記順序付きポイントセットにおける各軌跡ポイントには、位置要素と時間要素が含まれること、
ステップ120：前記位置要素と前記時間要素における情報を利用して、前記運動軌跡を画像に変換すること、および、
ステップ130：前記画像に対して画像処理を行うことで、前記運動軌跡における1つまたは複数の特徴ベクトルを取得すること。

【0032】

本発明に関する上下文脈では、用語である「ユーザ行為による運動軌跡」は、マウス運動軌跡、又は、タッチスクリーンによる運動軌跡を含んでもよい。

【0033】

一実施例では、クライアント端末によって収集された運動軌跡サンプルは、一連の順序付きポイントセットで示される。例えば、[[x,y₁,t₁],[x₂,y₂,t₂],…,[x_n,y_n,t_n]]で示され、ただし、n番目のポイントが[x_n,y_n,t_n]であり、x_nが横座標で、y_nが縦座標で、t_nが時間である。そのうち、時間が処理された相対的な値であり、t₁=0、t_i=t_i-1+Δt(i>1)、Δtがサンプリングされた時間間隔である。軌跡の横座標と縦座標における最大値と最小値を用いて画像の大きさを決定すると、画像の長さがx_max-x_minで、幅がy_max-y_minであり、t₁ t₂…t_nの順に従って各軌跡ポイントを接続する。

【0034】

上記実施例では、軌跡の横座標と縦座標における最大値と最小値を用いて画像の境界を決定するが、他の実施例では、クライアント端末の解像度の大きさに応じて画像の境界を決定し、軌跡の座標値は座標系の設定によって決められてもよい。例えば、ユーザスクリーンの解像度が1600*900であり、画素行列の行と列の割合が4：3の要件に適合したものである。座標系の原点がスクリーンの中心にあるとすると、運動軌跡の座標境界がX[-800,800]、Y[-450,450]となる。また、当業者であれば容易に理解できるように、異なる場面での検証精度の要求またはクライアント端末のハードウェア機器の条件による制限に応じて、軌跡サンプリングの密度を適応的に増加したり、低減したりすることができる。

【0035】

一実施例では、前記位置要素と前記時間要素における情報を利用して、前記運動軌跡を画像に変換することは、前記順序付きポイントセットにおける各軌跡ポイントの位置要素と時間要素に基づき、前記運動軌跡を描き、描かれた運動軌跡を、少なくとも1つの画像チャネル値で示された画像にマッピングする。例えば、所定の座標軸の領域において、運動軌跡サンプリングセットのポイント座標の位置に応じて軌跡ポイントを描くとともに、時間順に従ってポイント間の結び線を描くことによって運動軌跡を描くことができる。最も簡単な場合として、0、1からなる画素点行列を構築し、軌跡が通る画素点が1であり、さもなければ、0となることが考えられる。

【0036】

一実施例では、前記位置要素と前記時間要素における情報を利用して、前記運動軌跡を画像に変換することは、さらに、マッピングする前に、描かれた運動軌跡を平滑化して補強することにより、特徴情報を豊かにする。例えば、簡単な平均化処理、メディアンフィルタ処理、および、ガウス平滑化処理などの方法により、運動軌跡を平滑化して補強することで、特徴情報を豊かにすることが考えられる。処理が行われると、各運動軌跡は、軌跡構造特徴、運動特徴が記憶された一画素行列に変換され、当該行列が各種類のハイレベルアルゴリズムモデルに適用できる。

【0037】

一実施例では、画像チャネルの方式により、運動軌跡を基礎として他の情報を追加する。水平方向と垂直方向における軌跡ポイントの速度、時間を、[0,255]の区間内の整数にマッピングし、各次元の情報が1つの画像チャネル値を示す。必要に応じて、単一チャネルまたは複数チャネル画像を作成し、単一チャネル画像における各画素点が一次元の情報のみを必要とし、すなわち、グレースケール画像となり、3チャネル画像がRGBモデルのもので、すなわち、カラー画像となる。

【0038】

例えば、x方向の速度、y方向の速度、および、時間をRGBチャネル情報として選択する。x方向におけるi番目のポイントの速度近似値は、
v_xi=(x_i+1 -x_i-1)／(t_i+1-t_i-1 )となる。

【0039】

同じ理由により、y方向におけるi番目のポイントの速度近似値は、
v_yi=(y_i+1-y_i-1)／(t_i+1-t_i-1 )となる。

【0040】

min-max標準化の方法により、x方向の速度、y方向の速度、および、時間の値の区間を、[0,1]の区間内にマッピングしてから、正規化された数値に255を乗算して、値の範囲を[0,255]に変換することで、各軌跡ポイントのRGBチャネル値が得られる。軌跡が通らないポイントは、R=G=B=0に設定される。

【0041】

勿論、当業者であれば理解できるように、他の情報をチャネル情報として用いてもよい。上記実施例では、x方向の速度、y方向の速度、および、時間が、RGBチャネル情報として使用される。他の実施例では、x方向の加速度、y方向の加速度、時間（a_xi, a_yi, t_i）、または、速度、加速度、時間（v_i, a_i, t_i）などの他の組み合わせを用い、それを変換処理してからRGBチャネル情報としてもよい。そのうち、x方向におけるi番目のポイントの加速度は、
a_xi=(v_xi-v_x(i-1))／(t_i-t_i-1 )となる。

【0042】

y方向におけるi番目のポイントの加速度は、
a_yi=(v_yi-v_y(i-1))／(t_i-t_i-1)となる。

【0043】

i番目のポイントの加速度は、
a_i=√(a_xi ²+a_yi ²)となる。

【0044】

また、正規化の方法は、min-max標準化アルゴリズム以外、Z-scoreなどの他の標準化方法が用いられてもよい。

【0045】

一実施例では、上記特徴処理方法1000は、前記1つまたは複数の特徴ベクトルに基づき、マンマシン認識または検証を行うことをさらに含んでもよい。別の実施例では、上記特徴処理方法1000は、操作環境データを取得し、前記1つまたは複数の特徴ベクトル及び前記操作環境データに基づき、マンマシン認識または検証を行うことをさらに含んでもよい。

【0046】

マンマシン認識、検証の過程において、ユーザ操作による運動軌跡などの行為特徴以外、操作環境データも一定の価値があるものである。操作環境などの属性情報を符号化してマッピングし、類別情報を数値の形式に符号化して変換して、サンプルの追加特徴とする。一実施例では、種類ごとに1つの数字を与え、例えば、属性操作システムWindows7に0を与え、Ubuntuに1を与えることなどが考えられる。しかし、そのような処理方法では、類別情報を無意識的に順序付けることがある。例えば、上記例では、Ubuntu>Windows7として認識される可能性がある。

【0047】

一実施例では、one-hotの符号化方法を用い、1つの属性をn個の類別特徴に変化してもよい。ただし、nが種類の数である。例えば、操作システムとして、Windows7、Ubuntu、IOS、Androidという4種類があると仮定すると、相応な番号は、x1[Windows7]=1000、x2[Ubuntu]=0100、x3[IOS]=0010、x4[Android]=0001となってもよい。

【0048】

図2は、本発明の一実施例における運動軌跡の特徴処理装置2000を示す。図2に示すように、装置2000は、収集ユニット210、変換ユニット220、および、処理ユニット230を備える。そのうち、収集ユニット210は、ユーザ行為による運動軌跡を収集して一連の順序付きポイントセットを取得するためのものであって、前記順序付きポイントセットにおける各軌跡ポイントには、位置要素と時間要素が含まれる。変換ユニット220は、前記位置要素と前記時間要素における情報を利用して、前記運動軌跡を画像に変換するためのものである。処理ユニット230は、前記画像に対して画像処理を行うことで、前記運動軌跡における1つまたは複数の特徴ベクトルを取得するためのものである。

【0049】

一実施例では、前記変換ユニット230は、前記順序付きポイントセットにおける各軌跡ポイントの位置要素と時間要素に基づき、前記運動軌跡を描き、描かれた運動軌跡を、少なくとも1つの画像チャネル値で示された画像にマッピングするように構成される。別の実施例では、前記変換ユニット220は、前記位置要素に基づき、所定の座標軸の領域内に軌跡ポイントを描くとともに、前記時間要素の順序に従って前記軌跡ポイント間の結び線を描くことによって、前記運動軌跡を描くように構成される。さらに別の実施例では、前記変換ユニット230は、マッピングする前に、描かれた運動軌跡を平滑化して補強することにより、特徴情報を豊かにするように構成される。さらに別の実施例では、前記変換ユニット220は、描かれた運動軌跡のx方向の速度、y方向の速度、及び時間を抽出して、それらを[0,255]の値の区間にマッピングして変換することにより、画像を表すためのRGB画像チャネル値を取得するように構成される。さらに別の実施例では、前記変換ユニットは、さらに、運動軌跡が通らないポイントのRGB画像チャネル値を、全部ゼロに設定するように構成される。

【0050】

一実施例では、上記装置2000では、前記1つまたは複数の特徴ベクトルに基づき、マンマシン認識または検証を行うための第1の認識ユニット（図示されず）をさらに備えてもよい。別の実施例では、上記装置2000では、操作環境データを取得する取得ユニットと、前記1つまたは複数の特徴ベクトル及び前記操作環境データに基づき、マンマシン認識または検証を行う第2の認識ユニットとをさらに備えてもよい。

【0051】

ここに指摘したいのは、以上は、運動軌跡の特徴処理方法及び装置に対し、マンマシン認識または検証を応用場面として、具体的に記述している。当業者であれば理解できるように、上記方法及び装置は、実質的な変化が生じることなく、他のマンマシンインタラクション場面に適用できるものである。

【0052】

当業者であれば分かるように、本発明の実施例は、方法、システム、または、コンピュータプログラム製品として提供されてもよい。そのため、本発明は、ハードウェア、ソフトウェア、または、ハードウェアとソフトウェアの組み合わせの形式が用いられてもよい。しかも、本発明は、1つまたは複数の、コンピュータ利用可能なプログラムコードを含むコンピュータ利用可能な記憶媒体（ディスクメモリと光学メモリなどを含むが、それらに限られないもの）に実施されるコンピュータプログラム製品の形式が用いられてもよい。例えば、それらのコンピュータプログラムコマンドを、汎用的なコンピュータ、専用的なコンピュータ、埋込型プロセッサ、または、他の処理機器を編集可能なプロセッサに提供することにより、指定された操作を実行するコマンドシーケンスを発生させてもよい。

【0053】

以上により、本発明における特徴処理方案は、人間の先行知識に依存しないので、普及適応性が強い。運動軌跡を画像に変換して入力とすることは、運動特徴の抽出ルールを、例えば、ジッタや変位などの特徴を抽出するように、人為的に設定する必要がないので、特徴モデリングの不適切さ、考慮不完全などの問題を回避した。また、本発明における画像に基づく特徴モデリング方法では、運動軌跡のオリジナルな構造情報及び他のルールで記述されにくい非明示な情報が保留されるようになる。従来の機械学習アルゴリズム以外、処理後の特徴は、様々なハイレベル画像処理、深度学習アルゴリズム（例えば、畳み込みニューラルネットワークCNN）に適用できるようになり、軌跡特徴のモデルの適用範囲が拡大された。しかも、本発明における特徴処理方案が採用されたことにより、マンマシン認識または検証を行うときに、攻撃者が規則を発見することが困難となり、ウィンドコントロールエンジンを欺く正常な人間による操作を一括してシミュレートすることができなくなる。

【0054】

上記例では、主に、本発明における運動軌跡の特徴処理方法、装置、および、コンピュータ記憶媒体が説明されている。本発明の幾つかの具体的な実施の形態のみを記述しているが、しかし、当業者であれば分かるように、本発明は、その趣旨や範囲から逸脱しない限り、他の形式で実施されてもよい。そのため、開示の例と実施の形態は、限定的なものではなく、例示的なものとして見なされる。添付の各請求項で定義された本発明の精神や範囲から逸脱しない限り、本発明は、種々の修正や置き換えをカバーできる。

【図1】

【図2】