特許 6019114 ポータブル端末用の歩行者の足取り認識方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6019114

(24)【登録日】2016年10月7日

(45)【発行日】2016年11月2日

(54)【発明の名称】ポータブル端末用の歩行者の足取り認識方法および装置

(51)【国際特許分類】

   G06T 7/20 20060101AFI20161020BHJP

   G06T 1/00 20060101ALI20161020BHJP

   G01C 21/26 20060101ALI20161020BHJP

   H04M 1/00 20060101ALI20161020BHJP

【ＦＩ】

   G06T7/20 Z

   G06T1/00 340A

   G01C21/26 P

   H04M1/00 R

【請求項の数】11

【全頁数】11

(21)【出願番号】特願2014-519492(P2014-519492)

(86)(22)【出願日】2012年6月28日

(65)【公表番号】特表2014-527655(P2014-527655A)

(43)【公表日】2014年10月16日

(86)【国際出願番号】EP2012062612

(87)【国際公開番号】WO2013007532

(87)【国際公開日】20130117

【審査請求日】2015年6月26日

(31)【優先権主張番号】102011079187.6

(32)【優先日】2011年7月14日

(33)【優先権主張国】DE

(73)【特許権者】

【識別番号】391009671

【氏名又は名称】バイエリッシェ モートーレン ウエルケ アクチエンゲゼルシャフト

【氏名又は名称原語表記】ＢＡＹＥＲＩＳＣＨＥ ＭＯＴＯＲＥＮ ＷＥＲＫＥ ＡＫＴＩＥＮＧＥＳＥＬＬＳＣＨＡＦＴ

(74)【代理人】

【識別番号】100091867

【弁理士】

【氏名又は名称】藤田 アキラ

(74)【代理人】

【識別番号】100154612

【弁理士】

【氏名又は名称】今井 秀樹

(72)【発明者】

【氏名】イーザルト カルシュテン

(72)【発明者】

【氏名】グーゼンバウアー ドミニク

(72)【発明者】

【氏名】アウベック フェレンツ

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特開２００４−２５８９３１（ＪＰ，Ａ）

【文献】 特開２００９−２２５２４８（ＪＰ，Ａ）

【文献】 特開２０１１−１２３７３７（ＪＰ，Ａ）

【文献】 特開２００４−２６５４３１（ＪＰ，Ａ）

【文献】 特開２００１−０６０２６９（ＪＰ，Ａ）

【文献】 特開２０１１−０５３９５９（ＪＰ，Ａ）

【文献】 特開２００５−１９６４２３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００６／０１４２９８１（ＵＳ，Ａ１）

【文献】 前田 宏二，歩行者分布の実時間計測と地図生成，ヒューマンインタフェース学会研究報告集，日本，ヒューマンインタフェース学会，２００２年 １月２４日，Vol.4 No.1，P.87-90，[ISSN] 1344-7270

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／６０

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ５／２２２ − ５／２５７

(57)【特許請求の範囲】

【請求項1】

記録ユニット（２０）を有するポータブル端末（１０）用の歩行者の足取り認識方法であって、
‐ 前記記録ユニット（２０）により捕捉された画像列の画像において、前記ポータブル端末（１０）の使用者の足および／または靴および／または脚の少なくとも一部を表している目標物を夫々検出する工程、
‐ 夫々の画像における前記目標物の位置を算出する工程、および、
‐ 前記画像列の少なくとも二枚の画像間の前記目標物の位置変化に応じて、歩行者の足取りを認識する工程
から成る、方法。

【請求項2】

所定のサンプルと夫々の画像との相似性の比較結果に応じて、前記目標物が検出される、請求項１に記載の方法。

【請求項3】

歩行者の少なくとも爪先および／または靴の先端が含まれている、捕捉された複数の画像の内の一枚の画像から切り取られたカット画像に応じて、前記サンプルが算出される、請求項２に記載の方法。

【請求項4】

画像列を対象として前記目標物の位置変化特性を算出して、前記特性に応じて足取りが認識される、請求項１〜３のいずれか一項に記載の方法。

【請求項5】

‐ 画像が複数のカット画像に分割され、その際に前記カット画像は重なり合っていてもかまわず、
‐ 各カット画像を対象として、前記サンプルとの相似性の比較が実行され、さらに、
‐ 前記サンプルとの相似性が最大である画像カットに応じて、前記目標物の位置が算出される、
請求項２〜４のいずれか一項に記載の方法。

【請求項6】

‐ 夫々の画像がピクセルの行列を有しており、
‐ 夫々のカット画像の中心点を表したものである中央ピクセルを対象として、前記サンプルと前記カット画像との相似性に関する度合いを表している比較値が夫々算出され、さらに、
‐ 算出された比較値の算出結果に応じて、前記目標物の位置が算出される、
請求項５に記載の方法。

【請求項7】

‐前記比較値に応じて最大比較値が算出され、さらに、
‐ 前記最大比較値が所定の限界値を下回る場合に、前記サンプルが適合化される、
請求項６に記載の方法。

【請求項8】

‐ 前記画像のピクセルが、所定量の色チャネルに関して、夫々色価を有しており、さらに、
‐ 前記所定量の色チャネルの少なくとも一部については、夫々の色チャネルを対象として比較値が算出される、
請求項６または７に記載の方法。

【請求項9】

前記画像のピクセルが夫々、所定量のグレースケールの中から選ばれるグレースケールを有しており、相似性を比較する前に、
‐ 少なくとも一部のピクセルのグレースケールに応じて、画像の平均グレースケールが算出され、さらに、
‐ 前記平均グレースケールと夫々のピクセルのグレースケールとに応じて、可能性のある二つのグレースケールの内のいずれか一方だけを夫々のピクセルがとることができるようになっている二進画像に、前記画像が変換されることによって、夫々のピクセルが変換後には所定の第１または第２のグレースケールを有している、
請求項６または７に記載の方法。

【請求項10】

記録ユニット（２０）を有するポータブル端末（１０）用の歩行者の足取り認識装置であって、
‐ 前記記録ユニット（２０）により捕捉された画像列の画像において、前記ポータブル端末（１０）の使用者の足および／または靴および／または脚の少なくとも一部を表している目標物を夫々検出して、
‐ 夫々の画像における前記目標物の位置を算出して、
‐ 前記画像列の少なくとも二枚の画像における前記目標物の位置変化に応じて、歩行者の足取りを認識する
ように構成されている、装置。

【請求項11】

請求項１０に記載の装置と記録ユニット（２０）とを有するポータブル端末（１０）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、記録ユニットを有するポータブル端末用の歩行者の足取り認識方法および装置に関する。本発明はさらに、ポータブル端末にも関する。

【背景技術】

【0002】

パーソナルナビゲーションの分野では、測位のために衛星信号を利用するナビゲーション装置が、多くの適用領域において、例えば山歩きや山登りをする人のための、あるいは街中を徒歩で旅行する人のための、携行式の全地球測位システムの受信装置（ＧＰＳ受信装置）として浸透している。しかしながらそのようなナビゲーション装置には、ナビゲーションが申し分なく機能するのが屋外に限られてしまうという短所がある。衛星信号を測位のために利用するようなナビゲーション装置は、建物の中にいる人には不向きであり、このため、大都市の地下街、ショッピングセンター、美術館や博物館、空港、駅、ならびに見知らぬオフィスビルや庁舎の中では、移動情報または位置情報が必要となっても、それがかなえられることはない。そのようなところでは、今日では例えば、インフラの整備に高額のコストが要求される赤外線ビーコンを使用した屋内向け専用システムである、所謂インドアシステムが導入されている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明の課題は、屋内においても高信頼度と低コストで歩行者の足取り認識を可能とする、ポータブル端末用の歩行者の足取り認識方法および装置、ならびにポータブル端末を提示することにある。

【課題を解決するための手段】

【0004】

この課題は、夫々の独立請求項の特徴記載により解決される。夫々の従属請求項には、本発明の有利な展開構成例の特徴が記載される。

【0005】

第１および第２の局面によると、本発明は、記録ユニットを有しているポータブル端末用の歩行者の足取り認識方法およびそれに対応した装置を特色としている。この記録ユニットにより捕捉された一連の画像から成る画像列の中の夫々の画像内の、足および／または靴および／または脚の少なくとも一部を表している目標物が検出される。夫々の画像内の目標物の位置が算出され、画像列の少なくとも二枚の画像間の目標物の位置変化に従属して、歩行者の足取りが認識される。

【0006】

夫々の画像を評価することにより、歩行者の足および／または爪先の出現と消失を認識して、足取り認識および／または歩数計算および／または歩幅推定のために利用することが可能となる。有利なことにもこの足取りの算定は、さらに別のハードウェアコンポーネントとは関係なく、特に歩行者の移動を表している測定データを捕捉するように構成された、さらに別のセンサとは関係なく、実行できるようになっている。それにより端末を低コストで製造することができる。本発明に従った方法は、建物内を移動中の歩行者のためにも、屋外を移動中の歩行者のためにも利用可能である。本発明に従った方法にはさらに、遅速歩行移動時および／または不規則な歩行移動時にも、足取りを高信頼度で認識可能であるという長所を有している。

【0007】

夫々の画像を捕捉する際には、記録ユニットの画像捕捉領域内に、歩行者の歩行方向に位置する所定の領域が一つずつ含まれているように、端末が歩行者に接して配置されるか、または歩行者により保持されるようにすると好適である。端末のこの記録ユニットおよび／またはさらにもう一つの適切に構成されたユニットは、信号、例えば光信号を出力することによって、歩行者に対して記録ユニットの所定の位置を報せるように構成されるとよい。

【0008】

有利な構成形態の一例においては、夫々の画像と所定のサンプルとの相似性の比較結果に従属して目標物が検出されるようになっている。それにより目標物を簡単かつ高信頼度で検出することができる。

【0009】

さらにもう一つの有利な構成形態においては、捕捉された画像の中の一枚の画像から切り取られた、少なくとも歩行者の爪先および／または靴の先端が含まれているカット画像に従属して、このサンプルが算出されるようになっている。それにより、歩行者の足もしくは靴の固有の特徴に対してサンプルを適合化することが可能となり、さらにそれにより目標物検出および／または足取り認識の信頼性を向上することが可能となる。

【0010】

さらにもう一つの有利な構成形態においては、画像列を対象として、目標物の位置変化特性が算出されて、この特性に従属して足取りが認識されるようになっている。それにより有利なことにも歩行者が踏み出す一歩一歩を、極めて簡単にしかも高信頼度で認識することができる。

【0011】

さらにもう一つの有利な構成形態においては、画像が複数のカット画像に分割されるようになっているが、これらのカット画像は重なり合っていてもかまわない。夫々のカット画像について、サンプルとの相似性の比較が実行される。目標物の位置は、サンプルとの相似性が最大であるカット画像に従属して算出される。

【0012】

さらにもう一つの有利な構成形態においては、夫々の画像が画像点（ピクセル）の行列を有している。いずれも夫々のカット画像の中心点を表したものである中央ピクセルの全てを対象として、夫々のカット画像とサンプルとの相似性に関する度合いを表している比較値が一つずつ算出される。夫々の比較値の算出結果に従属して、目標物の位置が算出される。それにより有利なことにも目標物の簡単な検出が可能となる。比較値は例えば、夫々の中央ピクセルを対象としてカット画像とサンプルとの相互相関結果に従属して算出される、相互相関係数を表したものであるとよい。

【0013】

さらにもう一つの有利な構成形態においては、複数の比較値に従属して、一つの最大比較値が算出されて、この最大比較値が所定の限界値を下回る場合に、サンプルが適合化されるようになっている。最大比較値を有効に活用することによって、歩行者の周囲の状況変化を検出することが可能となる。これは、この状況変化に対してサンプルを適合化するために、例えば明るさの状況変化に対してサンプルを適合化するために利用することができる。

【0014】

さらにもう一つの有利な構成形態においては、画像の夫々のピクセルが、所定量の色チャネルに関して、色価を一つずつ有している。この所定量の色チャネルの少なくとも一部については、夫々の色チャネルを対象として比較値が算出される。これは、有利なことにも、カット画像とサンプルとの高信頼度の相似性比較を可能とするものであり、またそれにより、一歩一歩を非常に簡単にしかも高信頼度で認識できるようにするために、一定の寄与を成し得るものである。この場合は夫々の色チャネルが、色空間の一つの基本色を表すことになるが、この基本色は、画像を保存するために利用されるようになっている。例えば赤・青・緑画像（ＲＧＢ画像）は、夫々が赤用、緑用、青用である三つの色チャネルを有している。ＣＹＭＫ画像（シアン・イエロー・マゼンタ・ブラック）は、夫々がシアン、イエロー、マゼンタ、およびブラックの各成分用である四つの色チャネルを有している。

【0015】

さらにもう一つの有利な構成形態においては、画像のピクセルがいずれも、所定量のグレースケールの中から選ばれるグレースケールを一つずつ有している。相似性を比較する前に、少なくとも一部のピクセルのグレースケールに従属して、画像の平均グレースケールが算出されて、この平均グレースケールと夫々のピクセルのグレースケールとに従属して、可能性のある二つのグレースケールの内のいずれか一方だけを夫々のピクセルがとることができるようになっている二進画像に、この画像が変換されることによって、夫々のピクセルが、変換後には予め定められた第１または第２のグレースケールを有するようにしている。それにより有利なことにも目標物を非常に簡単かつ急速に検出することができる。この二進画像では、第１のグレースケールが白色を、第２のグレースケールが黒色を表していると好適である。平均グレースケールを算出するために、例えばその画像に関するグレースケール・ヒストグラムが算出されて、グレースケールの標本分散に従属して平均グレースケールが算出されるとよい。

【0016】

第３の局面によると、本発明は、記録ユニットと第２の局面に従った装置とが備えられたポータブル端末を特色としている。そこでは、第１および第２の局面の有利な構成形態が、この第３の局面にも当てはまるようになっている。
以下では、概略的な図面を参照しながら、本発明の実施例を解説する。

【図面の簡単な説明】

【0017】

【図1】ポータブル端末の例示的なブロック線図である。

【図2】歩行者の足取り認識用プログラムの例示的なフローチャートである。

【図3】ある一つの画像を対象として算出された相関関係マトリックスの期待値パターンを例示的に示したものである。

【図4】画像列の中の目標物の位置変化特性を例示的に示したものである。

【図5】歩行者の移動を検出するために携行される加速度センサの信号特性を例示的に示したものである。

【発明を実施するための形態】

【0018】

全ての図にわたって、構造または機能が同一である要素には、同じ符号が付されている。
図１にはポータブル端末１０が示されている。このポータブル端末１０は、例えばスマートフォンとして、および／またはパーソナル・デジタル・アシスタント（ＰＤＡ：個人用の携帯情報端末）として、および／またはポータブルコンピュータとして構成されている。

【0019】

ポータブル端末１０は、例えば記録ユニット２０と、歩行者の足取り認識装置とも呼べる画像処理ユニット３０とを有している。記録ユニット２０は、例えばデジタルカメラとして構成されている。

【0020】

記録ユニット２０により画像を捕捉して画像処理ユニット３０によりこれを評価するために、記録ユニット２０の画像捕捉領域に歩行者の歩行方向に位置する所定の領域が一つずつ含まれているように、端末１０が歩行者のところに配置されるか、または歩行者により保持されるようにすると好適である。その時々の画像を捕捉するために適した記録ユニット２０の位置は、歩行者が地図を読むために自分の身体の歩行方向前側に保持している地図の保持位置に相当する。

【0021】

画像処理ユニット３０は、例えば一つのプログラムメモリを有している。このプログラムメモリには、例えば歩行者の足取り認識プログラムが記憶されている。このプログラムは、例えばパーソナルナビゲーションのための足取り認識データを提供するために利用されるものである。このプログラムについては、後ほど図２との関係で具体的に解説する。

【0022】

図１に示されるポータブル端末１０はさらに、例えば歩行者用のナビゲーション装置４０を有している。ポータブル端末１０は、例えばナビゲーション装置４０に結合されている少なくとも一つの入力ユニット５０および少なくとも一つの出力ユニット６０を有しているとよい。この少なくとも一つの入力ユニット５０は、例えばルート算出のために利用者が出発地および／または目的地を入力できるようにするための、例えば複数のキー要素を有しているとよい。例えばディスプレイおよび／またはスピーカを有している出力ユニット６０を使用して、利用者には例えば現在位置および／または算出されたルートを報せられるようになっている。

【0023】

ナビゲーション装置４０にはさらに、例えばいずれもナビゲーション装置４０の制御ユニット７８に結合されているＧＰＳモジュール７０、ならびに磁力計７４、ジャイロスコープ７６および／または加速度センサ７２が含まれるとよい。

【0024】

ナビゲーション装置４０の制御ユニット７８は、例えば加速度センサ７２により捕捉された少なくとも一つの測定信号に従属して、歩行者の足取りを検出するように構成されている。

【0025】

ナビゲーション装置４０の制御ユニット７８は、例えば、画像処理ユニット３０により算出されるデータを、ナビゲーション装置４０の制御ユニット７８に向け転送可能であるように、画像処理ユニット３０に結合されている。これらのデータは、有利なことにも、制御ユニット７８により加速度センサ７２の少なくとも一つの測定信号に従属して算出された足取り認識データを検証するために、利用できるようになっている。あるいはその代わりに、またそれにさらに追加して、画像処理ユニット３０により転送されたデータを、歩行者の現在位置、歩行者の歩幅、および／または歩行者の移動方向を算出するために利用することも可能である。

【0026】

図２には、歩行者の足取り認識用プログラムのフローチャートが示されている。
このプログラムは、主としてステップＳ１０において開始されるが、そこでは場合により様々な計量値、例えばカウンタの初期化が行われるようになっている。

【0027】

ステップＳ２０においては、記録ユニット２０により捕捉された画像のデジタル方式によるフロントエンド処理が行われる。この画像は、例えば画像素子（ピクセル）の行列を有するデジタル画像である。この画像は、例えば画像面を基準として水平軸ｘの向きに第１のピクセル数を、垂直軸ｙの向きに第２のピクセル数を有している。このフロントエンド処理は、例えば画像のフィルタリングから成るとよい。あるいはその代わりに、またはそれにさらに追加して、カラー画像である場合は、画像の夫々のピクセルが、所定量のグレースケールの中から選ばれたグレースケールを有するようになっている白黒画像への変換が行われるようにしてもよい。この場合は例えば、全ての色価に対してグレースケールが一つずつ割り当てられるとよい。またはそれにさらに追加して、あるいはその代わりに、夫々のピクセルが、可能性のある二つのグレースケールの内のいずれか一方だけをとることができるようになっている二進画像に、この画像が変換されるとよい。例えば画像の少なくとも一部のピクセルに従属して、画像の平均グレースケールを算出して、この平均グレースケールと夫々のピクセルのグレースケールとに従属して、画像が二進画像に変換されることにより、夫々のピクセルが変換後には第１または第２のグレースケールを有するようにするととよい。

【0028】

ステップＳ３０においては、処理後の画像の中の、足および／または靴および／または脚の少なくとも一部を表している目標物が検出される。目標物は、例えば所定のサンプルと夫々の画像との相似性の比較結果に従属して検出されるようになっている。サンプルは、ピクセルの第２の行列を有していると好適である。サンプルは、例えば画像平面を基準として水平な向きに第３のピクセル数を、垂直な向きに第４のピクセル数を有しているとよい。サンプルのピクセル数は、夫々の画像のピクセル数よりも少ないと好適である。

【0029】

目標物を検出するために、画像は複数のカット画像に分割されるとよい。その時々のカット画像のいずれも中心点を表したものである中央ピクセルの全てを対象として、カット画像とサンプルとの相似性に関する度合いを表している比較値が算出されるとよい。またその際には夫々のカット画像が重なり合っていてもかまわない。目標物を極めて高信頼度で検出するためには、画像のどのピクセルをとっても、これが同時に比較値の算出対象となる中央ピクセルとなるように、カット画像が選択されるとよい。夫々のピクセルについて、第１の比較値が例えば相互相関関数に従属して算出されるとよい。あるいはその代わりに、またはさらにそれに追加して、夫々のピクセルの正規化比較値が、正規化相互相関関数に従属して算出されるようにしてもよい。

【0030】

例えばカラー画像が活用されるようになっており、その画像のピクセルが、所定量の色チャネルに関して色価を一つずつ有している場合は、例えば夫々の色チャネルについて、比較値が算出されるとよい。画像が例えば赤・緑・青画像として構成されている場合は、夫々の色チャネルについて、すなわち赤、緑、青の色チャネルについて、比較値が算出されるとよい。

【0031】

ステップＳ４０においては、例えばその画像に関して算出された夫々の正規化比較値に従属して、最大比較値が算出されるようになっている。

【0032】

ステップＳ５０においては、例えばサンプルが、検出対象である目標物と十分に一致しているかどうかが検査される。十分に一致していない場合は、サンプルが適合化されるとよい。そのためには、例えば算出された最大比較値が所定の限界値を下回るかどうかが検査されるようになっている。最大比較値がこの限界値を下回る場合に、サンプルは適合化されることになる。短期的な変動を排除するためには、例えば画像列の複数の画像が活用されるとよい。これは例えば、複数の画像の最大比較値が所定の時間内に限界値を下回る場合にサンプルが適合化されるように、行われるとよい。サンプルを適合化するためには、例えば捕捉された画像の中の一枚から切り取られた、少なくとも歩行者の爪先および／または靴の先端が含まれているカット画像に従属して、更新後の画像が算出されるようにするとよい。その後この更新後の画像は、それに続く相似性の比較のために利用されるとよい。

【0033】

ステップＳ６０においては、検出された目標物の位置が算出される。そのために、例えば最大比較値を有しているピクセルの画像内の位置が算出されるようになっている。

【0034】

ステップＳ７０においては、画像内の目標物の位置が、同じ画像列のさらにもう一枚の画像内の目標物の位置と比較されて、目標物の位置変化に従属して、歩行者の足取りが認識されるようになっている。足取り認識の信頼度を向上するためには、例えば同じ画像列内の目標物の位置変化特性を算出して、この特性に従属して足取りが検出されるようにするとよい。そのためには、例えばある一つの空間方向の目標物の位置が評価されるとよいが、この空間方向は、実質的に歩行者の移動方向から成るとよい。それにより二次元の問題が一次元の問題へと減縮されることになる。図４に、そのような垂直軸ｙに沿った目標物の位置変化特性を示す。この特性曲線は、複数の局所的なピーク値を有しているが、これらはいずれも歩行者が踏み出す一歩であると解釈される。

【0035】

プログラムはステップＳ８０において終了する。しかしながら端末１０のパーソナルナビゲーションモードが起動状態にある間は、プログラムが定期的に使い回されるようにすると好適である。

【0036】

図３には、捕捉された画像の内の一枚を対象として、式２に従って算出された相関関係マトリックスに関する期待値パターンが示されている。サンプルがカット画像との最大の相似性を有している位置のところに、この相関関係マトリックスはピーク値を呈している。

【0037】

図４には、一つの画像列を対象とした、画像の垂直軸ｙに沿った目標物の位置変化特性が示されている。この画像列は、ここでは歩行者の複数の歩数にわたり捕捉されたものである。この特性曲線は、交互に局所的な最小値と局所的な最大値を有している。例えば局所的な最大値はいずれも、歩行者が踏み出す一歩であると解釈することができる。

【0038】

図５には、歩行者の移動を検出するために携行された加速度センサ７２の信号特性が、図４との対比で示されている。

【符号の説明】

【0039】

１０ 端末
２０ 記録ユニット
３０ 画像処理ユニット
４０ ナビゲーション装置
５０ 入力ユニット
６０ 出力ユニット
７０ ＧＰＳ−モジュール
７２ 加速度センサ
７４ 磁力計
７６ ジャイロスコープ
７８ 制御ユニット
Ｓ１０〜Ｓ８０ プログラムステップ
ｘ 水平軸
ｙ 垂直軸

【図1】

【図2】

【図3】

【図4】

【図5】