特許 7624282 検出対象の通信対応度合いに基づき追跡を行う端末追跡装置、プログラム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-22

(45)【発行日】2025-01-30

(54)【発明の名称】検出対象の通信対応度合いに基づき追跡を行う端末追跡装置、プログラム及び方法

(51)【国際特許分類】

   H04W 4/029 20180101AFI20250123BHJP

   H04W 64/00 20090101ALI20250123BHJP

【ＦＩ】

H04W4/029

H04W64/00 173

【請求項の数】 11

(21)【出願番号】P 2022019382

(22)【出願日】2022-02-10

(65)【公開番号】P2023116958

(43)【公開日】2023-08-23

【審査請求日】2024-01-17

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和３年度、総務省、「第５世代移動通信システムの更なる高度化に向けた研究開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(73)【特許権者】

【識別番号】599108264

【氏名又は名称】株式会社ＫＤＤＩ総合研究所

(74)【代理人】

【識別番号】100135068

【弁理士】

【氏名又は名称】早原 茂樹

(74)【代理人】

【識別番号】100141313

【弁理士】

【氏名又は名称】辰巳 富彦

(72)【発明者】

【氏名】三原 翔一郎

【審査官】久松 和之

(56)【参考文献】

【文献】特開２０２１－０７８０２２（ＪＰ，Ａ）

【文献】特開２０２３－０１８８１１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｂ ７／２４ － ７／２６

Ｈ０４Ｗ ４／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

センサにより生成された、端末の存在し得る環境に係る環境情報から、当該端末を含み得る所定の対象を検出し、検出された対象の検出位置に係る情報である対象位置情報を決定する対象検出情報決定手段と、
当該端末と通信を行う通信手段から取得した通信に係る情報に基づいて、当該端末との間の通信状態に係る情報である端末通信情報を決定する端末通信情報決定手段と、
当該環境情報から、検出された対象が端末を含むならば該対象との間で具現することになる通信状態に係る情報である対象通信情報を決定する対象通信情報決定手段と、
当該対象位置情報と、追跡している端末に係るものに決定された対象の対象位置情報から予測された予測対象位置情報との一致の度合いである位置一致度合い、及び、追跡している端末の端末通信情報と、当該対象通信情報とが対応する度合いである通信対応度合いのうちの少なくとも一方に基づいて、当該追跡している端末と当該検出された対象とが対応関係にあるか否かの判定を行い、対応関係にあると判定された対象を、当該追跡している端末に係る対象に決定する追跡対象決定手段と
を有し、
前記追跡対象決定手段は、少なくとも当該検出された対象についてオクルージョンが解消した際、当該通信対応度合いが所定条件を満たすまでに大きいときに当該位置一致度合いには基づかず当該通信対応度合いに基づいて当該判定を行う、または、当該通信対応度合いが大きいほど若しくは所定条件を満たすまでに大きいとき当該通信対応度合いに基づく度合いをより大きくして当該判定を行う
ことを特徴とする端末追跡装置。

【請求項2】

前記追跡対象決定手段は、当該通信対応度合いが所定条件を満たすまでに小さい場合において、当該位置一致度合いが所定条件を満たすまでに小さいときに当該通信対応度合いには基づかずに当該判定を行う、または、当該位置一致度合いが小さいほど当該通信対応度合いに基づく度合いをより小さくして当該判定を行うことを特徴とする請求項１に記載の端末追跡装置。

【請求項3】

前記対象検出情報決定手段は、当該環境情報から、当該検出された対象の検出された外観に係る情報である対象外観情報も決定し、
前記追跡対象決定手段は、少なくとも当該位置一致度合いに基づいて当該判定を行う場合、当該対象外観情報と当該追跡している端末に係るものに決定された対象の過去の対象外観情報とが一致する度合いである外観一致度合いにも基づいて当該判定を行う
ことを特徴とする請求項１又は２に記載の端末追跡装置。

【請求項4】

前記追跡対象決定手段は、
当該位置一致度合いが所定条件を超えて小さいときに、少なくとも当該外観一致度合い及び当該位置一致度合いに基づいて当該判定を行い、その際当該外観一致度合いに基づく度合いをより大きくする、または、
少なくとも当該外観一致度合い及び当該位置一致度合いに基づいて当該判定を行い、当該位置一致度合いが小さいほど当該外観一致度合いに基づく度合いをより大きくする
ことを特徴とする請求項３に記載の端末追跡装置。

【請求項5】

前記対象通信情報決定手段は、当該対象について検出位置の決定されないオクルージョンが生じている時間区間において、当該オクルージョンの前後で決定された検出位置を用いて補間された位置に当該対象が存在するとして、当該対象通信情報を決定することを特徴とする請求項１から４のいずれか１項に記載の端末追跡装置。

【請求項6】

当該環境情報は当該環境の画像に係る情報であって、当該対象位置情報は、当該検出された対象に係る画像領域の当該画像内での位置及び範囲を含み、
当該位置一致度合いは、当該検出された対象の当該範囲と当該追跡している端末に係るものに決定された対象の当該画像内での予測される範囲とが重畳する度合い、または、当該検出された対象の当該位置と当該追跡している端末に係るものに決定された対象の当該画像内での予測される位置との近さの度合いである
ことを特徴とする請求項１から５のいずれか１項に記載の端末追跡装置。

【請求項7】

前記追跡対象決定手段は、
当該通信対応度合いの単調増加関数である、ゼロ値もとり得る重み係数を決定し、
当該位置一致度合いの単調減少関数である位置コストを含む環境情報コストと、当該通信対応度合いの単調減少関数である通信コストとの重み付け和であって、当該通信コストには当該重み係数が係り、当該環境情報コストにはゼロ値もとり得る別の重み係数が係っている重み付け和である当該対象の追跡コストを算出し、当該追跡コストが所定条件を満たすまでに小さい対象を、当該追跡している端末に係る対象に決定する
ことを特徴とする請求項１から６のいずれか１項に記載の端末追跡装置。

【請求項8】

前記追跡対象決定手段は、当該通信対応度合いについても当該位置一致度合いについても単調増加関数となっている当該重み係数を決定することを特徴とする請求項７に記載の端末追跡装置。

【請求項9】

センサにより生成された、端末の存在し得る環境に係る環境情報から、当該端末を含み得る所定の対象を検出し、検出された対象の検出位置に係る情報である対象位置情報を決定し、また、当該環境情報から、当該検出された対象の検出された外観に係る情報である対象外観情報も決定する対象検出情報決定手段と、
当該端末と通信を行う通信手段から取得した通信に係る情報に基づいて、当該端末との間の通信状態に係る情報である端末通信情報を決定する端末通信情報決定手段と、
当該環境情報から、検出された対象が端末を含むならば該対象との間で具現することになる通信状態に係る情報である対象通信情報を決定する対象通信情報決定手段と、
当該対象位置情報と、追跡している端末に係るものに決定された対象の対象位置情報から予測された予測対象位置情報との一致の度合いである位置一致度合い、当該対象外観情報と当該追跡している端末に係るものに決定された対象の過去の対象外観情報とが一致する度合いである外観一致度合い、及び、追跡している端末の端末通信情報と、当該対象通信情報とが対応する度合いである通信対応度合いのうちの少なくとも１つに基づいて、当該追跡している端末と当該検出された対象とが対応関係にあるか否かの判定を行い、対応関係にあると判定された対象を、当該追跡している端末に係る対象に決定する追跡対象決定手段と
を有し、
前記追跡対象決定手段は、少なくとも当該検出された対象についてオクルージョンが解消した際、当該通信対応度合いが所定条件を満たすまでに大きいときに当該位置一致度合いには基づかず当該通信対応度合いに基づいて当該判定を行う、または、当該通信対応度合いが大きいほど若しくは所定条件を満たすまでに大きいとき当該通信対応度合いに基づく度合いをより大きくして当該判定を行う
ことを特徴とする端末追跡装置。

【請求項10】

センサにより生成された、端末の存在し得る環境に係る環境情報から、当該端末を含み得る所定の対象を検出し、検出された対象の検出位置に係る情報である対象位置情報を決定する対象検出情報決定手段と、
当該端末と通信を行う通信手段から取得した通信に係る情報に基づいて、当該端末との間の通信状態に係る情報である端末通信情報を決定する端末通信情報決定手段と、
当該環境情報から、検出された対象が端末を含むならば該対象との間で具現することになる通信状態に係る情報である対象通信情報を決定する対象通信情報決定手段と、
当該対象位置情報と、追跡している端末に係るものに決定された対象の対象位置情報から予測された予測対象位置情報との一致の度合いである位置一致度合い、及び、追跡している端末の端末通信情報と、当該対象通信情報とが対応する度合いである通信対応度合いのうちの少なくとも一方に基づいて、当該追跡している端末と当該検出された対象とが対応関係にあるか否かの判定を行い、対応関係にあると判定された対象を、当該追跡している端末に係る対象に決定する追跡対象決定手段と
してコンピュータを機能させ、
前記追跡対象決定手段は、少なくとも当該検出された対象についてオクルージョンが解消した際、当該通信対応度合いが所定条件を満たすまでに大きいときに当該位置一致度合いには基づかず当該通信対応度合いに基づいて当該判定を行う、または、当該通信対応度合いが大きいほど若しくは所定条件を満たすまでに大きいとき当該通信対応度合いに基づく度合いをより大きくして当該判定を行う
ことを特徴とする端末追跡プログラム。

【請求項11】

センサにより生成された、端末の存在し得る環境に係る環境情報から、当該端末を含み得る所定の対象を検出し、検出された対象の検出位置に係る情報である対象位置情報を決定し、また、当該端末と通信を行う通信手段から取得した通信に係る情報に基づいて、当該端末との間の通信状態に係る情報である端末通信情報を決定し、さらに、当該環境情報から、検出された対象が端末を含むならば該対象との間で具現することになる通信状態に係る情報である対象通信情報を決定する第１のステップと、
当該対象位置情報と、追跡している端末に係るものに決定された対象の対象位置情報から予測された予測対象位置情報との一致の度合いである位置一致度合い、及び、追跡している端末の端末通信情報と、当該対象通信情報とが対応する度合いである通信対応度合いのうちの少なくとも一方に基づいて、当該追跡している端末と当該検出された対象とが対応関係にあるか否かの判定を行い、対応関係にあると判定された対象を、当該追跡している端末に係る対象に決定する第２のステップと
を有し、
第２のステップにおいて、少なくとも当該検出された対象についてオクルージョンが解消した際、当該通信対応度合いが所定条件を満たすまでに大きいときに当該位置一致度合いには基づかず当該通信対応度合いに基づいて当該判定を行う、または、当該通信対応度合いが大きいほど若しくは所定条件を満たすまでに大きいとき当該通信対応度合いに基づく度合いをより大きくして当該判定を行う
ことを特徴とする、コンピュータによって実施される端末追跡方法。

【発明の詳細な説明】

【技術分野】

【0001】

通信対象としての端末についての情報を取得する技術、特に当該端末を追跡する技術に関する。

【背景技術】

【0002】

現在導入の進んでいる第５世代移動通信システム（５Ｇ）は、ミリ波帯の電波（ミリ波）を利用し、高速、大容量、低遅延、多端末接続といった高性能の通信を実現可能とする。ここで、ミリ波は、高い直進性を有していて回折が起きにくく、端末と基地局との間に存在する物体によってその伝播が遮られたり減衰したりする可能性が高くなる。そのため、５Ｇでは、このような物体の介在により受信電力が急激に低下し、例えば通信接続そのものが途絶えてしまう事態の生じ得ることが大きな問題となっている。

【0003】

そこで、このような物体による受信電力の低下を予測できれば、端末の通信経路の制御・確保等によって通信接続を途絶えさせずに維持することも可能となる。この受信電力の予測技術として、非特許文献１には、ＲＧＢ画像に加えデプス画像も生成可能なＲＧＢ－Ｄカメラによって取得される時系列の３次元環境情報を用い、機械学習によって通信装置における受信電力を予測する技術が開示されている。

【0004】

具体的にこの技術では、通信環境を撮像した結果である時系列の環境情報に対し、送信局からの電波を受信した通信端末において（撮像と同時に）計測された受信電力の時系列情報を正解データとして紐づけた教師データをもって、機械学習モデルを構築し、この構築した機械学習モデルを用いて、ＲＧＢ－Ｄカメラにより取得された時系列の環境情報から、通信端末における受信電力の予測値を決定している。

【0005】

ここで、このようなミリ波の受信電力予測では、通信端末の位置を継続的に把握することが重要となる。しかしながら、通信端末側のセンサによる測位結果を利用して当該位置の把握を行うとすると、通信端末から基地局に測位結果を通知する仕組みが必要となり、さらに、通信端末側の大きな電力消費や演算負荷が問題となってしまう。

【0006】

これに対し通信端末側の測位結果に依存しない技術として、本願発明者を発明者に含む特許文献１には、ミリ波の受信電力の時系列情報と、例えば環境の画像情報から推定した物体間における遮蔽関係の時系列情報とを用いて、通信端末の位置を推定する技術が開示されている。またさらに、非特許文献２には、画像から取得される物体の検出位置と外観の特徴の一貫性とを利用して、画像上の物体の位置を継続的に捕捉する技術が開示されている。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０２１－０７８０２２号公報

【非特許文献】

【0008】

【文献】西尾理志，「機械学習による無線通信品質予測と通信制御」，信学技報，Vol. 118，No. 57，SR2018-1，１～８頁，２０１８年

【文献】Nicolai Wojke et al., "Simple Online and Realtime Tracking with a Deep Association Metric", 2017 IEEE International Conference on Image Processing, pp. 3645-3649, ２０１７年. ＜https://doi.org/10.1109/ICIP.2017.8296962＞

【発明の概要】

【発明が解決しようとする課題】

【0009】

ここで、このような従来技術を用いて通信端末の追跡を継続することができれば、例え物体の介在により受信電力が急激に低下したとしても、通信接続を継続する、若しくは一時的に保留した上で直ちに再開することも可能となるのである。

【0010】

しかしながら、非特許文献２に開示されたような画像情報に基づく対象追跡技術は、手前側にある物体が奥側にある物体の少なくとも一部を覆い隠す現象、いわゆるオクルージョンが生じた場合に、追跡対象の追跡に失敗してしまう可能性が生じる。すなわち、従来の画像情報に基づく対象追跡技術は、オクルージョンが生じた場合、追跡対象が他の物体に隠されて検出できなくなり追跡が途絶える「ロスト」が発生したり、追跡対象と他の対象とが交差した場合に当該他の対象を追跡対象と誤認してしまい、本来行うべき追跡から外れてしまう「ＩＤスイッチ」が発生したりする問題を抱えているのである。

【0011】

したがって、例えば非特許文献２に開示された対象追跡技術を通信端末の追跡に適用したとしても、このようなオクルージョンに係る問題が生じた場合には、通信端末の位置を正確に把握することができなくってしまう。また、特許文献１に記載された通信端末位置の推定技術も、ロストやＩＤスイッチの発生していないことを前提としており、このような問題が生じた場合について何らかの対処を提案するものにはなっていない。

【0012】

そこで、本発明は、追跡している端末についてオクルージョンが生じた場合でも、当該端末の追跡をより適切に継続することの可能な端末追跡装置、プログラム及び方法を提供することを目的とする。

【課題を解決するための手段】

【0013】

本発明によれば、
センサにより生成された、端末の存在し得る環境に係る環境情報から、当該端末を含み得る所定の対象を検出し、検出された対象の検出位置に係る情報である対象位置情報を決定する対象検出情報決定手段と、
当該端末と通信を行う通信手段から取得した通信に係る情報に基づいて、当該端末との間の通信状態に係る情報である端末通信情報を決定する端末通信情報決定手段と、
当該環境情報から、検出された対象が端末を含むならば該対象との間で具現することになる通信状態に係る情報である対象通信情報を決定する対象通信情報決定手段と、
当該対象位置情報と、追跡している端末に係るものに決定された対象の対象位置情報から予測された予測対象位置情報との一致の度合いである位置一致度合い、及び、追跡している端末の端末通信情報と、当該対象通信情報とが対応する度合いである通信対応度合いのうちの少なくとも一方に基づいて、当該追跡している端末と当該検出された対象とが対応関係にあるか否かの判定を行い、対応関係にあると判定された対象を、当該追跡している端末に係る対象に決定する追跡対象決定手段と
を有し、
追跡対象決定手段は、当該通信対応度合いが所定条件を満たすまでに大きいときに当該位置一致度合いには基づかず当該通信対応度合いに基づいて当該判定を行う、または、当該通信対応度合いが大きいほど若しくは所定条件を満たすまでに大きいとき当該通信対応度合いに基づく度合いをより大きくして当該判定を行う
ことを特徴とする端末追跡装置が提供される。

【0014】

この本発明による端末追跡装置の一実施形態として、追跡対象決定手段は、当該通信対応度合いが所定条件を満たすまでに小さい場合において、当該位置一致度合いが所定条件を満たすまでに小さいときに当該通信対応度合いには基づかずに当該判定を行う、または、当該位置一致度合いが小さいほど当該通信対応度合いに基づく度合いをより小さくして当該判定を行うことも好ましい。

【0015】

また、本発明による端末追跡装置の他の実施形態として、対象検出情報決定手段は、当該環境情報から、当該検出された対象の検出された外観に係る情報である対象外観情報も決定し、
追跡対象決定手段は、少なくとも当該位置一致度合いに基づいて当該判定を行う場合、当該対象外観情報と当該追跡している端末に係るものに決定された対象の過去の対象外観情報とが一致する度合いである外観一致度合いにも基づいて当該判定を行うことも好ましい。

【0016】

さらに、上記の対象外観情報に係る実施形態において、追跡対象決定手段は、
当該位置一致度合いが所定条件を超えて小さいときに、少なくとも当該外観一致度合い及び当該位置一致度合いに基づいて当該判定を行い、その際当該外観一致度合いに基づく度合いをより大きくする、または、
少なくとも当該外観一致度合い及び当該位置一致度合いに基づいて当該判定を行い、当該位置一致度合いが小さいほど当該外観一致度合いに基づく度合いをより大きくする
ことも好ましい。

【0017】

また、対象通信情報決定手段に係る一実施形態として、対象通信情報決定手段は、当該対象について検出位置の決定されないオクルージョンが生じている時間区間において、当該オクルージョンの前後で決定された検出位置を用いて補間された位置に当該対象が存在するとして、当該対象通信情報を決定することも好ましい。

【0018】

さらに、位置一致度合いに係る一実施形態として、当該環境情報は当該環境の画像に係る情報であって、当該対象位置情報は、当該検出された対象に係る画像領域の当該画像内での位置及び範囲を含み、
当該位置一致度合いは、当該検出された対象の当該範囲と当該追跡している端末に係るものに決定された対象の当該画像内での予測される範囲とが重畳する度合い、または、当該検出された対象の当該位置と当該追跡している端末に係るものに決定された対象の当該画像内での予測される位置との近さの度合いであることも好ましい。

【0019】

また、本発明に係る追跡対象決定処理の好適な一実施形態として、追跡対象決定手段は、
当該通信対応度合いの単調増加関数である、ゼロ値もとり得る重み係数を決定し、
当該位置一致度合いの単調減少関数である位置コストを含む環境情報コストと、当該通信対応度合いの単調減少関数である通信コストとの重み付け和であって、当該通信コストには当該重み係数が係り、当該環境情報コストにはゼロ値もとり得る別の重み係数が係っている重み付け和である当該対象の追跡コストを算出し、当該追跡コストが所定条件を満たすまでに小さい対象を、当該追跡している端末に係る対象に決定する
ことも好ましい。

【0020】

さらに、上記の重み係数を決定する実施形態において、追跡対象決定手段は、当該通信対応度合いについても当該位置一致度合いについても単調増加関数となっている当該重み係数を決定することも好ましい。

【0021】

本発明によれば、また、
センサにより生成された、端末の存在し得る環境に係る環境情報から、当該端末を含み得る所定の対象を検出し、検出された対象の検出位置に係る情報である対象位置情報を決定し、また、当該環境情報から、当該検出された対象の検出された外観に係る情報である対象外観情報も決定する対象検出情報決定手段と、
当該端末と通信を行う通信手段から取得した通信に係る情報に基づいて、当該端末との間の通信状態に係る情報である端末通信情報を決定する端末通信情報決定手段と、
当該環境情報から、検出された対象が端末を含むならば該対象との間で具現することになる通信状態に係る情報である対象通信情報を決定する対象通信情報決定手段と、
当該対象位置情報と、追跡している端末に係るものに決定された対象の対象位置情報から予測された予測対象位置情報との一致の度合いである位置一致度合い、当該対象外観情報と当該追跡している端末に係るものに決定された対象の過去の対象外観情報とが一致する度合いである外観一致度合い、及び、追跡している端末の端末通信情報と、当該対象通信情報とが対応する度合いである通信対応度合いのうちの少なくとも１つに基づいて、当該追跡している端末と当該検出された対象とが対応関係にあるか否かの判定を行い、対応関係にあると判定された対象を、当該追跡している端末に係る対象に決定する追跡対象決定手段と
を有し、
追跡対象決定手段は、少なくとも当該検出された対象についてオクルージョンが解消した際、当該通信対応度合いが所定条件を満たすまでに大きいときに当該位置一致度合いには基づかず当該通信対応度合いに基づいて当該判定を行う、または、当該通信対応度合いが大きいほど若しくは所定条件を満たすまでに大きいとき当該通信対応度合いに基づく度合いをより大きくして当該判定を行う
ことを特徴とする端末追跡装置が提供される。

【0022】

本発明によれば、さらに、
センサにより生成された、端末の存在し得る環境に係る環境情報から、当該端末を含み得る所定の対象を検出し、検出された対象の検出位置に係る情報である対象位置情報を決定する対象検出情報決定手段と、
当該端末と通信を行う通信手段から取得した通信に係る情報に基づいて、当該端末との間の通信状態に係る情報である端末通信情報を決定する端末通信情報決定手段と、
当該環境情報から、検出された対象が端末を含むならば該対象との間で具現することになる通信状態に係る情報である対象通信情報を決定する対象通信情報決定手段と、
当該対象位置情報と、追跡している端末に係るものに決定された対象の対象位置情報から予測された予測対象位置情報との一致の度合いである位置一致度合い、及び、追跡している端末の端末通信情報と、当該対象通信情報とが対応する度合いである通信対応度合いのうちの少なくとも一方に基づいて、当該追跡している端末と当該検出された対象とが対応関係にあるか否かの判定を行い、対応関係にあると判定された対象を、当該追跡している端末に係る対象に決定する追跡対象決定手段と
してコンピュータを機能させ、
追跡対象決定手段は、少なくとも当該検出された対象についてオクルージョンが解消した際、当該通信対応度合いが所定条件を満たすまでに大きいときに当該位置一致度合いには基づかず当該通信対応度合いに基づいて当該判定を行う、または、当該通信対応度合いが大きいほど若しくは所定条件を満たすまでに大きいとき当該通信対応度合いに基づく度合いをより大きくして当該判定を行う
ことを特徴とする端末追跡プログラムが提供される。

【0023】

本発明によれば、またさらに、
センサにより生成された、端末の存在し得る環境に係る環境情報から、当該端末を含み得る所定の対象を検出し、検出された対象の検出位置に係る情報である対象位置情報を決定し、また、当該端末と通信を行う通信手段から取得した通信に係る情報に基づいて、当該端末との間の通信状態に係る情報である端末通信情報を決定し、さらに、当該環境情報から、検出された対象が端末を含むならば該対象との間で具現することになる通信状態に係る情報である対象通信情報を決定する第１のステップと、
当該対象位置情報と、追跡している端末に係るものに決定された対象の対象位置情報から予測された予測対象位置情報との一致の度合いである位置一致度合い、及び、追跡している端末の端末通信情報と、当該対象通信情報とが対応する度合いである通信対応度合いのうちの少なくとも一方に基づいて、当該追跡している端末と当該検出された対象とが対応関係にあるか否かの判定を行い、対応関係にあると判定された対象を、当該追跡している端末に係る対象に決定する第２のステップと
を有し、
第２のステップにおいて、少なくとも当該検出された対象についてオクルージョンが解消した際、当該通信対応度合いが所定条件を満たすまでに大きいときに当該位置一致度合いには基づかず当該通信対応度合いに基づいて当該判定を行う、または、当該通信対応度合いが大きいほど若しくは所定条件を満たすまでに大きいとき当該通信対応度合いに基づく度合いをより大きくして当該判定を行う
ことを特徴とする、コンピュータによって実施される端末追跡方法が提供される。

【発明の効果】

【0024】

本発明の端末追跡装置、プログラム及び方法によれば、追跡している端末についてオクルージョンが生じた場合でも、当該端末の追跡をより適切に継続することが可能となる。

【図面の簡単な説明】

【0025】

【図1】本発明による端末追跡装置の一実施形態における機能構成を示す機能ブロック図である。

【図2】本発明に係るオクルージョン判定部におけるオクルージョン判定処理の２つの態様を説明するための模式図である。

【図3】本発明に係る通信コストの算出処理の具体例を説明するための模式図である。

【図4】本発明に係る位置コスト及び外観コストの算出処理の具体例を説明するための模式図である。

【図5】本発明に係る追跡対象決定・管理部における追跡対象決定処理の種々の実施形態を説明するための模式図である。

【発明を実施するための形態】

【0026】

以下、本発明の実施形態について、図面を用いて詳細に説明する。

【0027】

［端末追跡装置］
図１は、本発明による端末追跡装置の一実施形態における機能構成を示す機能ブロック図である。

【0028】

図１に示した、本発明による端末追跡装置の一実施形態としての基地局１は、本実施形態において５Ｇ（第５世代移動通信方式）に対応した通信中継装置であり、同じく５Ｇに対応した通信端末である複数の端末２との間で通信を行うことの可能な装置となっている。

【0029】

また、基地局１は端末追跡装置の一実施形態として、端末２の存在し得る環境をセンシングするセンサとしてのカメラ１０３により取得された、当該環境に係る情報であって所定の対象を含み得る「環境情報」としての画像データから、端末２を含む所定の対象を検出して、端末２を追跡することの可能な装置にもなっている。

【0030】

ここで、カメラ１０３は本実施形態において、通信エリアの状況を所定の画角をもって撮影可能なＲＧＢカメラである。このカメラ１０３によって生成された画像データ（映像データ）には、
（ａ）端末２を所持・携帯した人物や、
（ｂ）端末２を搭載した、含む又は搭乗させた自動車、二輪車、鉄道車両、ロボット、ドローン等の移動体、さらには
（ｃ）端末２の設置された設備・施設・建造物・固定物
といったような「対象」が含まれている（撮像されている）可能性がある。またさらに、端末２に関わらない人物、移動体や、設備・施設・建造物・（樹木等の植物も含む）固定物等の「対象」も含まれ得るのである。

【0031】

ちなみに、このような「対象」は、追跡している端末２との対応関係を決定すべきもの（言い換えると追跡すべき追跡対象か否かを判定すべきもの）となり得る一方、端末２と基地局１との間に存在することによって、通信電波の障害物ともなり得る。

【0032】

ここで特に、本実施形態の通信方式である５Ｇは、ミリ波帯の電波（ミリ波）を通信に利用しているが、このミリ波は、高い直進性を有していて回折が起きにくく、端末２と基地局１との間に存在する「対象」によってその伝播が遮られたり減衰したりする可能性が高い。そのため５Ｇでは、このような「対象」の介在により基地局１での受信信号電力が急激に低下し、例えば通信接続そのものが途絶えてしまう事態の生じ得ることが重大な問題となっている。

【0033】

これに対し、追跡している端末２について「オクルージョン」が生じた場合でも、この端末２の追跡を適切に継続することができれば、当該端末２との通信接続を継続する、若しくは一時的に保留した上で直ちに再開することも可能となるのである。

【0034】

ちなみに上記の「オクルージョン」とは以下、基地局１から見て手前側にある「対象」が、奥側にある「対象」の少なくとも一部を覆い隠す現象のこととする。例えば、複数の「対象」が交差したり、少なくとも１つの「対象」が他の少なくとも１つの「対象」によって遮蔽されたりする現象も以下、「オクルージョン」として扱う。このような「オクルージョン」が生じた際には、所定の対象（例えば"人物"）が「環境情報」（本実施形態では画像データ）から検出できないか、又は不正確な検出しかできない可能性が高まるのである。

【0035】

以上述べたようなオクルージョンが生じた場合における重大問題を解決すべく、基地局１は具体的に、
（Ａ）上記のセンサ（本実施形態ではカメラ１０３）により生成された「環境情報」（本実施形態では画像データ）から、端末２を含み得る所定の対象（例えば"人物"）を検出し、検出された対象（"人物"）の検出位置に係る情報である「対象位置情報」を決定する対象検出情報決定部１１３と、
（Ｂ）端末２と通信を行う通信手段（本実施形態では自ら具備する通信インタフェース１０１、通信制御部１１６及び通信履歴情報蓄積部１０２）から取得した通信に係る情報（例えば通信履歴情報）に基づいて、端末２との間の通信状態に係る情報である「端末通信情報」を決定する端末通信情報決定部１１１と、
（Ｃ）「環境情報」から、検出された対象（例えば"人物"）が端末２を含むならばこの対象との間で具現することになる通信状態に係る情報である「対象通信情報」を決定する対象通信情報決定部１１２と、
（Ｄ）（ｄ１）「対象位置情報」と、追跡している端末２に係るものに決定された対象（例えば"人物"）の「対象位置情報」から予測された予測対象位置情報との一致の度合いである「位置一致度合い」、及び、（ｄ２）追跡している端末２の「端末通信情報」と、「対象通信情報」とが対応する度合いである「通信対応度合い」のうちの少なくとも一方に基づいて、追跡している端末２と検出された対象（"人物"）とが対応関係にあるか否かの判定を行い、対応関係にあると判定された対象（"人物"）を、追跡している端末２に係る対象に決定する追跡対象決定・管理部１１５と
を有している。

【0036】

またさらに、上記（Ｄ）の追跡対象決定・管理部１１５は、少なくとも検出された対象（例えば"人物"）についてオクルージョンが発生して解消した際、
（Ｄ１）「通信対応度合い」が所定条件を満たすまでに大きいときに（本実施形態では、検出された各対象の通信対応度合いの代表値（例えば最大値）が所定閾値を超えた値となっているときに）、「位置一致度合い」には基づかず「通信対応度合い」に基づいて上記の判定を行う、または、
（Ｄ２）「通信対応度合い」が大きいほど（本実施形態では、検出された各対象の通信対応度合いの代表値（例えば最大値）が大きいほど）若しくは所定条件を満たすまでに大きいとき（本実施形態では、当該代表値（例えば最大値）が所定閾値を超えた値となっているとき）、「通信対応度合い」に基づく度合いをより大きくして上記の判定を行う
といった格別の処理を行うのである。

【0037】

ここで、上記（Ａ）の「環境情報」から検出される「所定の対象」は、後に詳しく説明するが、端末２を携帯した、搭載した又は含む可能性のある"人物"や"移動体"とすることができる。さらに場合によっては、端末２を含む可能性のある"設備”、"施設"、"建造物"、"固定物"等を「所定の対象」とすることもあり得る。また上記（Ａ）の「対象位置情報」は、対象検出位置に係る情報であり、検出された対象（例えば"人物"）の位置や速度等も含み得る位置関連情報となっている。

【0038】

さらに、上記（Ｂ）の「端末通信情報」は、好適な態様として、（α）端末２から受信された電波の強度に係る情報（例えば受信信号電力，ＲＳＳＩ（Received Signal Strength Indicator））とすることができる。または、（β）端末２との通信接続の有無に係る情報とすることも可能である。また、上記（Ｃ）の「対象通信情報」は、上記の「端末通信情報」に合わせて、（α’）検出された対象（例えば"人物"）が端末２を含むならば当該所定の対象（"人物"）から受信されることになる電波の強度に係る情報（例えばＲＳＳＩ）とすることができる。または、（β’）検出された対象（例えば"人物"）の検出位置を用いて決定される、この対象（"人物"）との通信接続の可否に係る情報とすることも可能である。

【0039】

さらに、上記（Ｄ）の「通信対応度合い」は具体的に例えば、「端末通信情報」としての電波の強度に係る量（例えばＲＳＳＩ値）の時系列データと、「対象通信情報」としての電波の強度に係る量（例えばＲＳＳＩ値）の時系列データとの一致度とすることができる。または、「端末通信情報」としての通信接続の有無に係る時系列データと、「対象通信情報」としての通信接続の可否に係る時系列データとの一致度とすることも可能である。

【0040】

このような「通信対応度合い」や「位置一致度合い」の設定の下、本発明による端末追跡装置としての基地局１は、少なくともオクルージョンが解消した際、上記（Ｄ１）や（Ｄ２）に示したように、（検出された各対象の通信対応度合いの大きさを確認した上で）「通信対応度合い」に基づく度合いをより大きくして上記の判定を行う、又は「通信対応度合い」のみを上記の判定における判定基準として用いるのである。

【0041】

ここで「通信対応度合い」は、判定すべき対象（例えば"人物"）が途中検出されるか否かに依存することなく、端末２の通信状態と、「環境情報」より求められる判定すべき対象の推定通信状態とから決定可能となっている。すなわち「通信対応度合い」は、オクルージョンが生じた場合でもより信頼性の高い判定基準として使用できる可能性が高いのである。したがって、本発明による端末追跡装置（基地局１）によれば、追跡している端末２についてオクルージョンが生じた場合でも、当該端末２の追跡をより適切に継続することが可能となる。

【0042】

またこれにより、本実施形態において基地局１は、例え自身と端末２との間に人物等の物体が介在して受信電力が急激に低下する事態が生じたとしても、この端末２との通信接続を継続する、若しくは直ちに再開することが可能となるのである。

【0043】

ちなみに、基地局１（端末追跡装置）は本実施形態において、オクルージョンが解消した直後の所定期間を除く、オクルージョンの生じていない期間においては、少なくとも
（ａ）上述した「位置一致度合い」と、
（ｂ）「環境情報」（例えば画像データ）から決定される、後に詳細に説明する「外観一致度合い」と
のいずれか一方又は両方に基づき、追跡している端末２と検出された対象（例えば"人物"）とが対応関係にあるか否かの判定を行うことも好ましく、さらに、
（ｃ）上述した「通信対応度合い」
にも基づいて、当該判定を行うことも好ましい。

【0044】

また、本実施形態における基地局１と端末２との間の通信方式には５Ｇが採用されているが、当然にＬＴＥや、より短波長の電波を使用する将来の移動通信方式等、他の通信方式を用いてもよく、さらに、本発明による端末追跡装置と通信端末との間の通信が、他の様々な無線通信規格に基づくものであってもよい。例えば物体による遮蔽問題が５Ｇほど顕著ではない通信方式であっても、カメラ画像データから検出された対象を用いて、配下の通信端末を正確に同定し追跡したい状況は少なからず発生する。また、ある通信端末と対応関係にあると判定されたユーザの閲覧ページと、当該ユーザの動線との関係を決定してマーケティングや管理に生かす等、端末同定・追跡ニーズは、様々な分野に存在している。これに対し、本発明による端末追跡装置によれば、そのような端末同定・追跡処理を高い精度で実施することも可能になるのである。

【0045】

また、本発明による端末追跡装置は勿論ではあるが、基地局等の通信中継装置に限定されるものでもない。例えば、端末追跡処理の専用装置として、基地局等の通信中継装置・設備に接続される形で設けられてもよい。また、本発明による端末追跡装置として、本発明による端末追跡プログラムを搭載した、クラウドサーバ、非クラウドのサーバ装置、パーソナル・コンピュータ（ＰＣ）、ノート型若しくはタブレット型コンピュータ、又はスマートフォン等を用いることも可能である。

【0046】

さらに言えば、本発明による端末追跡装置（基地局１）の構成要素である上記（Ａ）～（Ｄ）のうちの少なくとも１つが、他の構成要素とは別の装置となっている形態をとることも不可能ではない。例えば、複数のサーバの全体によって上記（Ａ）～（Ｄ）の機能を実現することも可能となっている。ここでこのような場合でも、これらの全体をもって、本発明による端末追跡方法を実施する、また本発明による端末追跡プログラムによって機能させられる端末追跡装置若しくはシステムであると捉えることができるのである。

【0047】

［端末追跡装置の機能構成，端末追跡プログラム］
同じく図１の機能ブロック図において、基地局１は、本発明による端末追跡装置、及び通信中継装置の一実施形態として、通信インタフェース１０１と、通信履歴情報蓄積部１０２と、カメラ１０３と、環境情報蓄積部１０４と、追跡情報保存部１０５と、プロセッサ・メモリ（メモリ機能を備えた演算処理系）とを有する。ここで、プロセッサ・メモリは、本発明による端末追跡プログラムを包含する通信中継プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この通信中継プログラムを実行することによって、端末追跡処理及び通信中継処理を実施する。

【0048】

また、プロセッサ・メモリは、機能構成部として、端末通信情報決定部１１１と、位置補間部１１２ａを含む対象通信情報決定部１１２と、対象検出情報決定部１１３と、オクルージョン判定部１１４と、通信コスト算出部１１５ａ、位置コスト算出部１１５ｂ、外観コスト算出部１１５ｃ、及び重み決定部１１５ｄを含む追跡対象決定・管理部１１５と、通信制御部１１６とを有する。なお、これらの機能構成部は、プロセッサ・メモリに保存された端末追跡プログラム及び通信中継プログラムの機能と捉えることができ、また、図１の機能ブロック図における基地局１の機能構成部間を矢印で接続して示した処理の流れは、本発明による端末追跡方法、及び通信中継方法の一実施形態としても理解される。

【0049】

同じく図１の機能ブロック図において、通信制御部１１６は、通信インタフェース１０１と各端末２との間の無線通信動作を制御することにより基地局としての機能を果たし、さらに、各端末２との通信に係る各種情報を取得・記録して当該情報を時系列で整理した通信履歴情報を生成し、通信履歴情報蓄積部１０２に保存・管理させる。

【0050】

また、カメラ１０３は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の固体撮像素子を備えた可視光、近赤外線又は赤外線対応の撮影デバイスであってもよく、ＲＧＢカメラ、ＲＧＢ－Ｄカメラ、ステレオカメラ、全天球（全方位）カメラ等とすることもできる。勿論、カメラ１０３の代わりに、例えばＬｉＤＡＲ、レーザ・赤外線測位器、ＴＯＦカメラ、サーモグラフィデバイスといったような、端末２の存在し得る環境をセンシングし環境情報を生成可能なセンサを採用することも可能である。

【0051】

ここで本実施形態では、カメラ１０３は、環境情報としてＲＧＢ画像データ（ＲＧＢ映像データ）を生成可能なＲＧＢカメラとなっており、生成されたＲＧＢ画像データは、環境情報蓄積部１０４で保存・管理される。なお、カメラ１０３は、本実施形態では基地局１内に設置されているが、例えば基地局１とは離隔した位置に設置されたカメラ、例えば街中の監視カメラであって、基地局１と通信接続されたものであってもよい。

【0052】

また、カメラ１０３が、基地局１の内外を問わず互いに異なる位置に複数設けられていてもよい。例えば基地局１が、自らの周囲に存在する複数の基地局１の各々から、当該基地局１に設置されたカメラ１０３を用いて生成された「対象位置情報」や「対象通信情報」を受信・取得して、追跡対象決定処理を実施してもよい。この場合、複数の基地局１が連携して、本発明に係る端末追跡処理をより好適に実施することが可能となるのである。

【0053】

＜対象検出情報決定処理＞
同じく図１の機能ブロック図において、対象検出情報決定部１１３は、環境情報蓄積部１０４から取得した、「所定の対象」を含み得る画像データ（環境情報）から、
（ア）「所定の対象」の検出位置に係る情報である対象位置情報、及び
（イ）「所定の対象」の検出された外観（appearance）に係る情報である対象外観情報
のうちの少なくとも一方、好ましくは両方を決定する。

【0054】

ここですでに述べたことではあるが、「所定の対象」は、例えば、
（ａ）端末２を所持・携帯した人物（ユーザ）や、
（ｂ）ドライブレコーダ機能、ＣＡＮ情報転送機能や、サーバによる自動運転制御のインタフェース機能等を有する端末２を搭載した自動車、さらには、
（ｃ）サーバによる自律移動制御のインタフェース機能を有する端末２を搭載した自律移動型ロボットや自律飛行型ドローン
といったような、通信履歴情報に係る通信先である端末２を含む可能性のある"人物"や"移動体"とすることができる。また場合によっては、端末２を含む可能性のある"設備”、"施設"、"建造物"、"固定物"等も、「所定の対象」とすることがあり得るのである。

【0055】

なお、本実施形態の対象検出情報決定部１１３は当然ではあるが、「所定の対象」を含む複数種別の対象を同時に検出することもできる。ここで１つの画像データから追跡対象としての１つの「所定の対象」を検出した場合、この画像データから検出された（他の「所定の対象」を含む）他の対象は、検出されたこの「所定の対象」に対し、オクルージョンの原因となり得る対象、すなわち障害をもたらし得る対象として取り扱われることになる。

【0056】

ここで上記（ア）の対象位置情報、及び上記（イ）の対象外観情報の決定処理について説明する。本実施形態において対象検出情報決定部１１３は、取得した画像データにおいて複数の画像領域を設定し、各画像領域における所定の対象らしさを表すスコアを、対応する物体検出器を用いて算出し、所定条件を満たすだけの高いスコアを有する画像領域を、所定の対象の検出された検出画像領域に決定する。次いで、
（ａ）検出された対象に係る検出画像領域の位置（検出位置）や、当該検出画像領域の範囲（例えば四隅の座標値）、さらには連続する画像データ間での検出位置の変化分としての検出速度を、上記（ア）の対象位置情報とし、
（ｂ）公知の画像特徴抽出器（例えばＣＮＮ（Convolutional Neural Networks）画像特徴抽出器）を用いて算出された、検出された対象に係る検出画像領域の画像特徴量を、上記（イ）の対象外観情報とするのである。

【0057】

なお、上記の物体検出器については、例えば非特許文献：Alexey Bochkovskiy, Chien-Yao Wang, and Hong-Yuan Mark Liao, “YOLOv4: Optimal Speed and Accuracy of Object Detection”,arXiv:2004.10934v1, ２０２０年 に記載されたものを採用することができる。さらに、画像認識技術の分野で公知である他の様々な物体検出器や画像特徴抽出器を用いて、上記（ア）の対象位置情報、及び上記（イ）の対象外観情報を決定することも可能である。

【0058】

また、カメラ１０３としてステレオカメラを採用する場合、生成された環境情報であるステレオカメラ画像データに対し、例えば、非特許文献：Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg, “SSD: single shot multibox detector”, European Conference on Computer Vision, Computer Vision-ECCV 2016, pp.21-37, ２０１６年 に記載された物体検出器を適用してもよい。

【0059】

さらに他の実施形態として、カメラ１０３の代わりにＬｉＤＡＲを用い、３次元点群（ポイントクラウド）データを環境情報とする場合、所定の対象検出のための物体検出器として、例えば非特許文献：Charles R. Qi, Hao Su, Kaichun Mo, and Leonidas J. Guibas, “PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation”, 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), vol. 1, pp.77-85, ２０１７年 に開示されたものが採用可能である。

【0060】

またさらに、画像データを環境情報とする本実施形態では、上記の画像特徴抽出器に代えて、例えば非特許文献：Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun, “Deep Residual Learning for Image Recognition”, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Vol. 1, pp.770-778, ２０１６年 に記載された特徴抽出器を用いてもよい。

【0061】

ちなみに、対象検出情報決定部１１３は本実施形態において、検出された所定の対象毎に、決定した「対象位置情報」及び「対象外観情報」を過去の所定期間分だけ保存しており、追跡対象決定・管理部１１５に適宜、提供可能となっている。

【0062】

＜端末通信情報決定処理＞
同じく図１の機能ブロック図において、端末通信情報決定部１１１は、通信履歴情報蓄積部１０２から通信履歴情報を取得し、この通信履歴情報に基づいて、端末２との間の通信に係る情報である「端末通信情報」を決定する。ここで本実施形態において、この「端末通信情報」は、
（α）端末２から受信された電波信号の受信信号電力（ＲＳＳＩ）の時系列データ、及び
（β）端末２との通信接続の有無に係る情報の時系列データ
のいずれか一方又は両方となっている。

【0063】

このうち上記（α）について、端末通信情報決定部１１１は、端末２から受信された電波信号の時点tにおける信号電力値を示す受信信号電力変数E_tの時系列データを生成してもよい。また端末通信情報決定部１１１は、上記（β）について、端末２との通信接続が各時点において確立されているか否かの時系列情報、すなわち例えば、時点tにおいて通信接続が確立されている場合に1、確立されていない場合に－1の値をとる２値の通信接続有無変数B_t（∈{－1, 1}）の時系列データを生成してもよい。ここで、後に算出する「対象通信情報」との一致度（通信対応度合い）の精度を勘案すると、「端末通信情報」は、少なくとも上記（α）の受信信号電力変数E_tの時系列データを含むことが好ましい。

【0064】

ちなみに、端末通信情報決定部１１１は本実施形態において、追跡している端末２毎に決定した「端末通信情報」を、過去の所定期間分だけ保存しており、追跡対象決定・管理部１１５に適宜、提供可能となっている。また端末通信情報決定部１１１は、基地局１の配下に存在する個々の端末２から例えばＩＭＳＩ（International Mobile Subscriber Identity）を取得し、ＩＭＳＩにより識別された端末２毎に、決定した「端末通信情報」を取りまとめ、以後の処理を当該端末２毎に分けて実施させることも好ましい。

【0065】

＜対象通信情報決定処理＞
同じく図１の機能ブロック図において、対象通信情報決定部１１２は、環境情報蓄積部１０４より取得した、所定の対象を含み得る画像データ（環境情報）から、検出された対象が端末２を含むならばこの対象との間で具現することになる通信状態に係る情報である「対象通信情報」を決定する。

【0066】

（「対象通信情報」として受信電波強度データを用いる場合）
この対象通信情報決定部１１２で決定される「対象通信情報」は、
（α’）検出された対象が端末２を含むならばこの対象から受信されることになる電波の強度に係る情報（受信電波強度データ）
とすることができる。この場合、対象通信情報決定部１１２は、（対象検出情報決定部１１３において）画像データから検出された対象の検出位置と、（障害をもたらし得る）「他の対象」の検出位置とに基づき、後に説明に用いる図３の右側に示したように、
（ａ）検出された対象と基地局１（のアンテナ）とを結ぶ直線分を決定し、
（ｂ）「他の対象」が、この直線分を含む所定領域を遮る度合いに係る遮蔽度合情報を算出し、
（ｃ）算出した遮蔽度合情報から、「対象通信情報」として、検出された対象が端末２を含むならばこの対象から受信されることになる受信電波強度データを算出するのである。

【0067】

ここで具体的に、上記（ｂ）の遮蔽度合情報は以下のように算出される。最初に、（後に説明に用いる）図３の右側に示したように、障害をもたらし得る「他の対象」に対しその種別（クラス）に応じて所定の大きさ（所定の面積を有する検出位置での断面領域）を予め設定しておき、さらに、上記の直線分を回転軸として含む所定の大きさの回転体領域を設定した上で、ある時点t（＝t0－M, t0－M＋1, ・・・, t0－1, t0）において、
（ｂ１）いずれの「他の対象」も、その検出位置においてその断面領域の一部が上記の回転体領域内に含まれていない（他の対象の断面領域と回転体領域とが重畳部分を有さない）場合には1の値をとり、一方、
（ｂ２）いずれかの「他の対象」で、その検出位置においてその断面領域の一部が上記の回転体領域内に含まれている（他の対象の断面領域と回転体領域とが重畳部分を有する）場合には、次式
（１） R＝(S_a∩S_b ^-)／S_a
をもって算出されるR値をとる
ような変数E'_tの時系列データを遮蔽度合情報とすることができる。

【0068】

ここで上式（１）において、S_aは、上記の回転体領域における「他の対象」の検出位置での（回転軸に垂直な）断面領域を表す集合（例えば当該領域を形成する単位領域の集合）であり、S_bは、「他の対象」の検出位置での断面領域を表す集合（例えば当該領域を形成する単位領域の集合）である。また、S_b ^-は、S_bの補集合であり、「／」は、分子の集合に係る断面領域の面積値（例えば単位領域数）を、分母に係る断面領域の面積値（例えば単位領域数）で割り算することを示す演算子である。

【0069】

次いで、対象通信情報決定部１１２は、この変数E'_t（又は当該変数E'_tに所定の定数を乗算したもの）の時系列データを、受信電波強度データとしての「対象通信情報」とするのである。ここで以下、変数E'_tは、上述した受信信号電力変数E_tと区別するため、受信電力相当変数と称することとする。

【0070】

なお、上記のR値をとるような「他の対象」が2つ以上存在する場合、S_bは、これらの「他の対象」の断面領域全体が形成する領域、すなわちこれらの断面領域の和集合として表される領域としてもよい。さらに、上記の回転体領域は、円柱領域であってもよく、または、楕円体のように所定の曲線を回転軸の周りで回転させることにより形成可能なものであってもよい。

【0071】

さらに変更態様として、対象通信情報決定部１１２は、入力された画像データに応じ、受信される電波の強度に係る情報を出力する学習済みの「対象電波情報推定モデル」を用いて、取得した画像データから、検出された対象が端末２を含むならばこの対象から受信されることになる電波の強度に係る情報を導出し、当該電波の強度に係る情報を、「対象通信情報」に決定してもよい。

【0072】

ここで、上記の「対象電波情報推定モデル」としては、非特許文献１に開示されたような公知の学習済みモデルを採用することができる。具体的には、ある時点t（＝t0－M, t0－M＋1, ・・・, t0－1, t0）における画像データをこの学習済みモデルへ入力して、受信信号電力の推定値を出力させ、この推定値を受信電力相当変数E'_t値として、この受信電力相当変数E'_tの時系列データを「対象通信情報」とするのである。

【0073】

（「対象通信情報」として通信接続可否データを用いる場合）
また、対象通信情報決定部１１２で決定される「対象通信情報」は、
（β’）検出された対象との通信接続の可否に係る情報（通信接続可否データ）
とすることも可能である。この場合、対象通信情報決定部１１２は、取得した画像データから検出された対象の検出位置と、検出された障害をもたらし得る「他の対象」の検出位置とに基づき、
（ａ）検出された対象と基地局１（のアンテナ）とを結ぶ直線分を決定し、
（ｂ）「他の対象」が、この直線分上若しくはこの直線分を含む所定領域内に位置しているか否か、又はこの直線分を遮っているか否かの通信接続可否データを算出し、
（ｃ）算出した通信接続可否データを「対象通信情報」に決定する
ことも好ましい。

【0074】

より具体的には、上記（ｂ）の通信接続可否データとして、いずれかの「他の対象」の検出位置が、ある時点t（＝＝t0－M, t0－M＋1, ・・・, t0－1, t0）において上記の直線分上に又はこの直線分を回転軸として含む所定の大きさの回転体領域内に位置する場合には－1、そうでない場合には1の値をとるような２値の通信接続可否変数：
（２） B'_t∈{－1, 1}
の時系列データを生成し、これを「対象通信情報」としてもよい。ここで、上記の回転体領域は、円柱領域であってもよく、または、楕円体のように所定の曲線を回転軸の周りで回転させることにより形成可能なものであってもよい。

【0075】

また変更態様として、対象通信情報決定部１１２は、「他の対象」に対しその種別（クラス）に応じて所定の大きさ（検出位置での断面積）を予め設定しておき、いずれかの「他の対象」が、その検出位置においてその大きさ（断面積）をもって上記の直線分を遮っている（上記の直線分が「他の対象」の当該断面を貫通している）場合には－1、そうではない場合には1の値をとるような通信接続可否変数として、上記（２）のB'_tを定義してもよい。

【0076】

以上、「対象通信情報」が、
（α’）受信電力相当変数E'_tの時系列データ（受信電波強度データ）、又は
（β’）通信接続可否変数B'_tの時系列データ（通信接続可否データ）
である場合を説明した。ここで「対象通信情報」は、「端末通信情報」が上記（α）及び（β）の両方を含む場合に、上記（α’）及び（β’）の両方を含むことも好ましい。さらに、後に算出する「端末通信情報」との一致度（通信対応度合い）の精度を勘案すると、「対象通信情報」は、上記（α’）の受信電力相当変数E'_tの時系列データを含むことが好ましいのである。

【0077】

ちなみに、対象通信情報決定部１１２は、は本実施形態において、検出された所定の対象毎に、決定した「対象通信情報」を、過去の所定期間分だけ保存しており、追跡対象決定・管理部１１５に適宜、提供可能となっている。

【0078】

＜オクルージョン判定処理＞
同じく図１の機能ブロック図において、オクルージョン判定部１１４は、追跡している端末２に係る対象（例えば"人物"）について、対象検出情報決定部１１３からの情報に基づき、各時点においてオクルージョンが生じている（若しくは生じると予測される）か否かの判定を行い、この判定結果を、この後詳細に説明する追跡対象決定・管理部１１５へ出力する。

【0079】

図２は、オクルージョン判定部１１４におけるオクルージョン判定処理の２つの態様を説明するための模式図である。

【0080】

最初に図２（Ａ）に示した判定態様によれば、オクルージョン判定部１１４は、対象検出情報決定部１１３から、時点t0よりも過去の時点（例えば時点t0-1）における追跡している端末２に係る対象（例えば"人物"）の検出位置及び検出速度（対象位置情報）を取得し、これらの情報から、この対象（"人物"）の時点t0での予測位置を決定する。

【0081】

次いで、オクルージョン判定部１１４は、決定した予測位置を含む所定範囲（例えば予測位置を中心とした所定の大きさの実空間円形範囲に対応する画像領域）内に、時点t0において他の所定の対象（例えば"人物"）を検出した場合、この時点t0においてオクルージョンが生じていると判定することができる。

【0082】

次に図２（Ｂ）に示した判定態様においては、オクルージョン判定部１１４は最初に、上述した図２（Ａ）の判定態様と同様にして、追跡している端末２に係る対象（例えば"人物"）の時点t0での予測位置を決定する。

【0083】

次いで、オクルージョン判定部１１４は、決定した予測位置を含む所定範囲（例えば予測位置を中心とした所定の大きさの実空間円形範囲に対応する画像領域）内に、時点t0において、この対象を含め何らの対象も検出されない場合に、この時点t0においてオクルージョンが生じていると判定することができる。なおこの場合、追跡しているこの対象が完全に遮蔽されるようなオクルージョンの生じている可能性が高い。

【0084】

また、オクルージョンの更なる他の判定態様として、オクルージョン判定部１１４は、対象検出情報決定部１１３において、ある時点t0における画像データから、追跡している対象（例えば"人物"）における対象位置情報及び対象外観情報のうちの一方又は両方が決定できなかった場合に、その旨の報告を受けて、この時点t0においてオクルージョンが生じていると判定することも可能である。

【0085】

さらにオクルージョン判定部１１４は、更なる他の判定態様として、対象検出情報決定部１１３において、ある時点t0における画像データから、追跡している対象（例えば"人物"）と、それとは別の所定の対象（例えば"人物"）とを検出した場合に、それらの検出位置間の距離（例えば実空間上での所定の距離に相当する画像空間上での距離）が所定閾値未満であれば、この時点t0においてオクルージョンが生じていると判定することも可能である。なおこの場合、検出位置が決定できる程度の部分的なオクルージョンの生じている可能性が高い。

【0086】

＜追跡対象決定処理・端末追跡処理＞
図１の機能ブロック図に戻って、本実施形態の追跡対象決定・管理部１１５は、追跡に係る検出された対象（例えば"人物"）についてオクルージョンが生じておらず、対象位置情報や対象外観情報が決定される時間区間では、少なくとも、
（ア）決定された対象位置情報と過去の対象位置情報から予測された予測対象位置情報とが一致する度合いである「位置一致度合い」、及び
（イ）決定された対象外観情報と過去の対象外観情報とが一致する度合いである「外観一致度合い」
のいずれか一方又は両方（本実施形態では両方）に基づき、追跡している端末２と検出された対象（"人物"）とが対応関係にあるか否かを判定し、対応関係にあると判定された対象（"人物"）を、追跡している端末２に係る対象に決定し、端末追跡処理を行う。

【0087】

ここで本実施形態では後に説明するように、その重み（λ）を調整した上ではあるが、
（ウ）追跡している端末２に関し決定された端末通信情報と、検出された対象（"人物"）に関し決定された対象通信情報とが対応する度合いである「通信対応度合い」
にも基づいて、対応関係判定処理を行ってもよいのである。

【0088】

また追跡対象決定・管理部１１５は、本実施形態において、追跡に係る検出された対象について検出位置の決定されないオクルージョンが生じて解消した際、上記（ウ）の「通信対応度合い」を必ず用いて、例えばこの「通信対応度合い」のみに基づいて、端末２と対象（"人物"）との対応関係判定処理（追跡対象決定処理）を実施する。

【0089】

これは、検出位置の決定されないオクルージョンが生じて解消した時点における上記（ア）の「位置一致度合い」や上記（イ）の「外観一致度合い」の算出については、このオクルージョンの生じていた時間区間における「（過去の）対象位置情報」や「（過去の）対象外観情報」を必要とするところ、これらの情報は、まさにこのようなオクルージョンが生じていたが故に取得できないものとなっていることによる。すなわちこの場合、上記（ア）の「位置一致度合い」も上記（イ）の「外観一致度合い」も、そもそも算出できないのである。

【0090】

以下、以上に述べた「位置一致度合い」、「外観一致度合い」及び「通信対応度合い」を用いた具体的な対応関係判定処理（追跡対象決定処理）の説明を行う。

【0091】

同じく図１の機能ブロック図において、追跡対象決定・管理部１１５の通信コスト算出部１１５ａ、位置コスト算出部１１５ｂ、及び外観コスト算出部１１５ｃはそれぞれ、検出された対象についての上述したような位置一致度合い、外観一致度合い及び通信対応度合いを算出した上で、
・位置一致度合いの単調減少関数である「位置コスト」Cgeo、
・外観一致度合いの単調減少関数である「外観コスト」Capp、及び
・通信対応度合いの単調減少関数である「通信コスト」Cradio
を算出する。

【0092】

これらのコストはいずれも小さいほど、端末２と検出された対象とが対応関係にある可能性の高くなるような値となっている。ここで、各度合いの単調減少関数としては、例えば当該度合いの符号を逆転させる（当該度合いに－1を乗算する）ものとすることもでき、又は当該度合いの逆数をとるものであってもよい。なお以下、位置コストCgeo及び外観コストCappをまとめて「環境情報コスト」と称する場合もある。

【0093】

次いで、本実施形態の追跡対象決定・管理部１１５は、後に詳細に説明するが、
（ａ）検出された複数の対象（例えば"人物"）の各々について、算出された位置コストCgeo、外観コストCapp、及び通信コストCradioにおける、ゼロ値もとり得る「重み係数λ」による重み付け和であって、通信コストCradioに「重み係数λ」が係る重み付け和である追跡コストCostを算出し、
（ｂ）この追跡コストCostが所定条件を満たすだけ小さい、例えば追跡コストCostが最小となっている対象（"人物"）を、追跡している端末２に係る対象に決定するのである。

【0094】

以下、このような追跡コストCostの算出に必要となる通信コストCradio、位置コストCgeo及び外観コストCappの算出の具体例を説明する。

【0095】

（通信コスト算出）
図３は、本発明に係る通信コストの算出処理の具体例を説明するための模式図である。

【0096】

図３に示した通信コストCradio算出の具体例において、通信コスト算出部１１５ａは、最初に、
（ａ）端末通信情報決定部１１１で決定された（端末通信情報としての）追跡している端末２の受信信号電力変数E_tの時系列データと、
（ｂ）対象通信情報決定部１１２で決定された（対象通信情報としての）検出された対象に係る受信電力相当変数E'_tの時系列データと
の一致度Cr（通信対応度合い）を、所定時間区間における両者の相互相関（Σ_tE_t＊E'_t）として算出する。

【0097】

ちなみに、端末通信情報及び対象通信情報としてそれぞれ、通信接続有無変数B_t及通信接続可否変数B'_tの時系列データを採用した場合、一致度Cr（通信対応度合い）は、所定時間区間におけるこれらの相互相関（Σ_tB_t＊B'_t）として算出されることになる。また、相互相関（Σ_tE_t＊E'_t）と相互相関（Σ_tB_t＊B'_t）との重み付け和を一致度Crとすることもできる。

【0098】

本具体例において、通信コスト算出部１１５ａは、検出位置の決定されないようなオクルージョンは生じていないと判断される（対象検出情報決定部１１３において検出された対象の検出位置（対象位置情報）が保存されている）時点t0における一致度Crを、過去の所定時間区間（t＝t0－M, t0－M＋1, ・・・, t0－Nの時間区間）における受信信号電力変数E_tと受信電力相当変数E'_tとの相互相関として、次式
（３） Cr＝C0・Σ_t=t0-M ^t0-NE_t＊E'_t
を用いて算出する。ここで上式（３）において、Σ_t=t0-N ^t0-Nは、時点t（＝t0－M, t0－M＋1, ・・・, t0－N）についての総和（summation）を示す演算子である。また、C0は、完全一致の際にCr値が1となるように調整するための係数である。さらに、Mは、時点t0－Mが相互相関をとるのに十分な過去の時点（例えば10秒前の時点）となるように設定された整数である。

【0099】

またNは、時点t0－Nが時点t0から見て（対象検出情報決定部１１３において）検出された対象の検出位置（対象位置情報）が保存されている最新の（時点t0から最も近い）時点となるような1以上の整数である。したがって、N＝1であって時点t0から見て直前の時点t0－1における検出された対象の検出位置が対象検出情報決定部１１３に保存されている場合、すなわち検出位置の決定されないオクルージョンが直近に生じていない場合、時点t0における一致度Crは、次式
（３’） Cr＝C0・Σ_t=t0-M ^t0-1E_t＊E'_t
を用いて算出されることになる。

【0100】

これに対し、N＞1である場合、時点(t0－N＋1)から時点(t0－1)までの時間区間における検出された対象の検出位置は、検出処理ができないほどのオクルージョンの発生によって決定されておらず、その結果、このようなオクルージョンの生じていた時間区間における受信電力相当変数E'_tは算出されていない。したがってこの場合、このままでは上式（３）で表される一致度Crは算出することができない。

【0101】

そこで、対象通信情報決定部１１２の位置補間部１１２ａ（図１）は、時点(t0－N＋1)から時点(t0－1)までの時間区間における検出位置が決定・保存されていない（受信電力相当変数E'_tが算出されていない）ことを受け、このようなオクルージョンが生じていた時間区間の各時点（時点t0－N＋1，時点t0－N＋2，・・・，時点t0－1）における検出された対象の位置を補間処理によって決定する。具体的には、取得した時点(t0－N)での検出位置（又は取得された時点t0－N以前での検出位置）と、取得した時点t0での検出位置とを、公知の補間方法、例えば線形補間法やスプライン補間法によって補完することにより、時点t0－N＋1、時点t0－N＋2、・・・及び時点t0－1での位置を決定するのである。

【0102】

次いで対象通信情報決定部１１２（図１）は、補間位置として決定された各時点（時点t0－N＋1，時点t0－N＋2，・・・，時点t0－1）での位置に、検出された対象が存在するとして、当該各時点での受信電力相当変数E'_t（対象通信情報）を決定するのである。これにより、通信コスト算出部１１５ａは、生じたオクルージョンが解消した時点t0においても、上式（３）を用いて一致度Crを算出することが可能となる。

【0103】

またさらに、通信コスト算出部１１５ａは本具体例において、以上述べたようにして算出した一致度Crの符号を反転させ（一致度Crに－1を乗算し）、この符号反転結果（－Cr）を通信コストCradioに決定する。したがって、この通信コストCradioが大きいほど、検出された対象は追跡している端末２に対応しない可能性が高くなるのである。

【0104】

ちなみに図３においては、対象Ａの通信コストCradioは、受信電力相当変数E'_tの波形が受信信号電力変数E_tの波形とより似ている分、対象Ｂの通信コストCradioよりも小さくなっており、したがって通信コストCradioだけで見ると、対象Ａの方が追跡している端末２に対応している可能性がより高いと言えるのである。

【0105】

（位置コスト算出，外観コスト算出）
図４は、本発明に係る位置コスト及び外観コストの算出処理の具体例を説明するための模式図である。

【0106】

最初に、図４（Ａ）に示した位置コストCgeo算出の具体例において、位置コスト算出部１１５ｂは、検出された対象について、
（ａ）決定された（対象位置情報としての）検出画像領域の範囲（例えば四隅の座標値）と、
（ｂ）過去の（対象位置情報としての）検出位置から予測された（予測対象位置情報としての）検出画像領域の範囲と
の一致度（位置一致度合い）Cgを算出する。

【0107】

より具体的に、位置コスト算出部１１５ｂは、検出位置の決定されないようなオクルージョンは生じていないと判断される（対象検出情報決定部１１３において検出された対象の検出位置（対象位置情報）が保存されている）時点t0において、
（ａ）この時点t0における、検出された対象についての検出画像領域の範囲S1と、
（ｂ）この時点t0から見て（対象検出情報決定部１１３において）検出された対象の検出位置（対象位置情報）が保存されている最新の（時点t0から最も近い）時点(t0－N)における検出位置から、同じく時点(t0－N)における検出速度を用いて予測した、時点t0における予測検出画像領域の範囲S2と
の重畳部分の面積をS1∩S2とし、さらに、（ａ）検出画像領域の範囲S1と（ｂ）予測検出画像領域の範囲S2との全体が占める面積をS1∪S2として、次式
（４） Cg＝(S1∩S2)／(S1∪S2)
によって、時点t0における一致度（位置一致度合い）Cgを算出する。

【0108】

また変更態様として、位置コスト算出部１１５ｂは、時点t0における検出された対象の検出位置と、最新の時点(t0－N)における検出位置から（時点t0－Nにおける検出速度を用いて）予測される予測位置との近さの度合い、例えば両位置間の距離の逆数を、時点t0における一致度（位置一致度合い）Cgとすることも可能である。

【0109】

いずれにしても、以上に述べたような一致度Cgの算出処理によれば、検出位置が決定されないオクルージョンの生じている時点が存在する場合、すなわちN＞1である場合においても、時点t0における一致度Cgを算出することができるのである。

【0110】

ここで、位置コスト算出部１１５ｂは本実施形態において、このように算出した一致度Cgの符号を反転させ（一致度Cgに－1を乗算し）、この符号反転結果（－Cg）を位置コストCgeoに決定する。したがって、この位置コストCgeoが大きいほど、検出された対象は追跡している端末２に対応しない可能性が高くなる。

【0111】

次に、図４（Ｂ）に示した外観コストCapp算出の具体例において、外観コスト算出部１１５ｃは、検出された対象について、
（ａ）決定された（対象外観情報としての）検出画像領域の画像特徴量と、
（ｂ）過去の（対象外観情報としての）検出画像領域の画像特徴量と
の一致度（外観一致度合い）Caを算出する。

【0112】

より具体的に、外観コスト算出部１１５ｃは、検出位置の決定されないようなオクルージョンは生じていないと判断される（対象検出情報決定部１１３において検出された対象の対象外観情報が保存されている）時点t0において、
（ａ）この時点t0における、検出された対象の検出画像領域についての、公知のＣＮＮ画像特徴抽出器を用いて導出された画像特徴量と、
（ｂ）この時点t0から見て（対象検出情報決定部１１３において）検出された対象の対象外観情報が保存されている最新の（時点t0から最も近い）時点t0－Nにおける、検出された対象の検出画像領域についての、上記（ａ）と同じＣＮＮ画像特徴抽出器を用いて導出された画像特徴量と
の類似度を、公知の特徴量間類似度算出手法、例えば非特許文献２に記載された手法を用いて算出し、算出された類似度を、時点t0における一致度Caとするのである。

【0113】

このような一致度Caの算出処理によれば、検出位置が決定されないオクルージョンの生じている時点が存在する場合、すなわちN＞1である場合においても、時点t0における一致度Cａを算出することができるのである。

【0114】

ここで、外観コスト算出部１１５ｃは本実施形態において、以上述べたようにして算出した一致度Caの符号を反転させ（一致度Caに－1を乗算し）、この符号反転結果（－Ca）を外観コストCappに決定する。したがって、この外観コストCaが大きいほど、検出された対象は追跡している端末２に対応しない可能性が高くなる。

【0115】

以上、通信コストCradio、位置コストCgeo、及び外観コストCappの算出処理について説明を行ったが、以下、これらのコストを用いた追跡コストCostの算出処理、及び算出した追跡コストCostを用いた対応関係判定処理（追跡対象決定処理）の説明を行う。

【0116】

（追跡コスト算出，追跡対象決定処理）
図５は、本発明に係る追跡コストの算出処理、及び追跡対象決定処理の具体例を説明するための模式図である。

【0117】

図５に示したように、追跡対象決定・管理部１１５は本実施形態において、
（ａ）検出された複数の対象（図５では対象Ａ及び対象Ｂ）の各々について、算出された位置コストCgeo、外観コストCapp、及び通信コストCradioにおける、ゼロ値もとり得る「重み係数λ」による重み付け和であって、通信コストCradioに「重み係数λ」が係る重み付け和である追跡コストCostを算出し、
（ｂ）この追跡コストCostが所定条件を満たすだけ小さい、例えば追跡コストCostが最小となっている対象（"人物"）を、追跡している端末２に係る対象に決定するのである。

【0118】

ここで、このような追跡コストCostは本実施形態において、次式
（５） Cost＝(1－λ)・(α・Cgeo＋β・Capp)＋λ・Cradio
によって算出することができる。上式（５）において、重み係数λは0以上であって1以下の値をとる。また、α（≧0）及びβ（≧0）は、α+β＝1を満たしており、位置コストCgeoと外観コストCappとの比重を決める重み係数であり、例えば予め設定された値をとっていてもよい。

【0119】

なお変更態様として、上式（５）における右辺第１項（環境情報コスト）の重み係数（1－λ）を別の重み係数、例えば定数とすることも可能である。さらに、精度の問題は生じるが、上式（５）を、位置コストCgeo及び外観コストCappのいずれか一方のみを用いたものとすることも可能である。例えば、環境情報コストとして位置コストCgeoのみを用いることもできるのである。ちなみに、以上説明した追跡コストCostが、所定閾値C_thよりも大きいときには、対応関係判定処理を行わない設定としてもよい。

【0120】

ここで、検出された対象についてオクルージョンが生じた場合における、上式（５）の追跡コストCostを用いた対応関係判定処理（追跡対象決定処理）を説明する。このようなオクルージョンが解消した際、追跡対象決定・管理部１１５の重み決定部１１５ｄは本実施形態において、検出された各対象について算出された一致度Cr（通信対応度合い）の最大値（maxCr）の単調増加関数となっている重み係数λを決定する。すなわちそのような単調増加関数として予め設定された重み係数λの値を、算出された一致度Crの最大値（maxCr）を代入することにより決定する。例えば、次式
（６） maxCr＞Kのとき、λ＝λ₁
maxCr≦Kのとき、λ＝λ₀ （λ₀＜λ₁）
によって重み係数λを決定してもよい。

【0121】

ここで、Kは所定の閾値であり、追跡コストCostに通信コストCradioをより大きく反映させるか否かの境界を規定する。例えば上式（６）において、λ₁＝1としλ₀＝0とすれば、一致度Cr（通信対応度合い）の最大値（maxCr）がK値を超えるか否かによって、追跡コストCostは、通信コストCradioそのものとなったり、環境情報コスト（α・Cgeo＋β・Capp）そのものとなったりするのである。

【0122】

また他の態様として、重み決定部１１５ｄは、シグモイド関数を使った次式
（７） λ＝1／(1＋e^{－a(maxCr＋k)})
によって重み係数λを決定してもよい。ここで、aはシグモイド関数のゲインである。また、kは一致度Crの最大値（maxCr）に対するオフセット値であり、予め設定されたものとなっている。ちなみに上式（７）を用いる場合、通信コスト算出部１１５ａは一致度Crとして、相互相関（例えばΣ_tE_t＊E'_t）における0未満の値を0に切り上げたものを用いることが好ましい。

【0123】

ここで一致度Cr（通信対応度合い）は、判定すべき対象（図５では対象Ａや対象Ｂ）が途中検出されるか否かに依存することなく、端末２の通信状態と、環境情報（例えば画像データ）より求められる判定すべき対象（対象Ａや対象Ｂ）の推定通信状態とから決定可能となっている。すなわち一致度Cr（通信対応度合い）は、オクルージョンが生じた場合でもより信頼性の高い判定基準として使用できる可能性が高いのである。その結果、以上説明したように本実施形態では、一致度Cr（通信対応度合い）の最大値（maxCr）の単調増加関数となっている重み係数λを決定することによって、オクルージョンが生じた場合でもより適切な（実情に合った）追跡コストCostを算出・決定することができる。またそれにより、端末追跡の精度を向上させることも可能となるのである。

【0124】

この点勿論ではあるが、一致度Cr（通信対応度合い）が相当に低い状況にもかかわらず、通信コストCradioを重視した又は通信コストCradioだけを考慮した追跡対象決定処理を行うと、端末追跡精度の低下が懸念されることになる。これに対し、本実施形態の追跡対象決定・管理部１１５は、そのような状況ではより小さい重み係数λを決定し、端末追跡精度の低下を回避する又は極力抑えることができる。一方、一致度Cr（通信対応度合い）がより高い状態では、逆により大きい重み係数λを決定して通信コストCradioに基づく度合いを大きくした追跡対象決定処理を実施することによって、オクルージョンが生じた場合であっても端末追跡精度の維持・向上を図ることができるのである。

【0125】

ここで、上式（６）や上式（７）のような、検出された各対象における一致度Cr（通信対応度合い）の最大値（maxCr）の単調増加関数となっている重み係数λは、オクルージョンが解消した直後から、所定期間だけ採用される設定となっていてもよい。この場合、この所定期間外では、重み係数λは所定値（例えば0.1といったような小さな値）又はゼロに設定することができる。例えば重み係数λをゼロとすれば、オクルージョンの生じていない状況では、信頼性が高いと判断される環境情報コスト（Cgeo，Capp）に基づいて、対応関係判定処理（追跡対象決定処理）が実施されるのである。なお、オクルージョンが解消した際に限定されず、常時、上式（６）や上式（７）のような重み係数λを設定することも可能である。

【0126】

次いで、重み係数λの決定に一致度Cg（位置一致度合い）も考慮する実施形態について説明を行う。この場合、オクルージョンが解消した際、重み決定部１１５ｄは本実施形態において、検出された各対象の一致度Cr（通信対応度合い）の最大値（maxCr）についても検出された各対象の一致度Cg（位置一致度合い）の最大値（maxCg）についても単調増加関数となっている（一方を定数とした場合に他方の単調増加関数となっている）重み係数λを決定する。例えば、
（ａ）検出された各対象の一致度Cg（位置一致度合い）の最大値（maxCg）が所定閾値Kgよりも大きい場合（maxCg＞Kg）、上式（６）又は上式（７）に従うが、一方、
（ｂ）検出された各対象の一致度Cg（位置一致度合い）の最大値（maxCg）が所定閾値Kg以下であって（maxCg≦Kg）且つ検出された各対象の一致度Cr（通信対応度合い）の最大値（maxCr）も所定閾値K'以下である場合（maxCr≦K'(＞K)）、ゼロ値又は所定未満の小さな値をとる（ここでmaxCg≦KgであってもmaxCr＞K'の場合は上式（６）又は上式（７）に従う）
重み係数λを決定することができる。また他の態様として、上式（７）に準じて一致度Crの最大値（maxCr）についても一致度Cgの最大値（maxCg）についてもシグモイド関数となっている（一方を定数とした場合に他方のシグモイド関数となっている）重み係数λを決定することも可能である。

【0127】

このような重み係数λを決定することによって、一致度Cg（位置一致度合い）が相当に低い状況において、追跡コストCostに占める通信コストCradioの割合をゼロにする若しくは低減させることができる。ここで、そのような状況においては、例え一致度Cr（通信対応度合い）が高くとも、そもそも一致度Crの算出に対象検出位置を用いているので、一致度Cr（通信対応度合い）から求められる通信コストCradioの信頼性は低下していると判断される。したがって、上記のような重み係数λを決定し、追跡コストCostに占める通信コストCradioの割合をゼロにする若しくは低減させることにより、端末追跡精度の維持・向上を図ることができるのである。

【0128】

なお以上に述べた対応関係判定処理をまとめると、追跡対象決定・管理部１１５は、一致度Cr（通信対応度合い）が所定条件を満たすまでに小さい場合（本実施形態では、検出された各対象の一致度Crの最大値maxCrが所定閾値以下である場合）において、一致度Cg（位置一致度合い）が所定条件を満たすまでに小さいときに（本実施形態では、検出された各対象の一致度Cgの最大値maxCgが所定閾値以下であるときに）一致度Cr（通信対応度合い）には基づかずに対応関係判定処理を実施する、または、一致度Cg（位置一致度合い）が小さいほど（本実施形態では検出された各対象の一致度Cgの最大値maxCgが小さいほど）一致度Cr（通信対応度合い）に基づく度合いをより小さくして対応関係判定処理を実施することになっているのである。

【0129】

また好適な変更態様として、追跡対象決定・管理部１１５は、
（ａ）一致度Cg（位置一致度合い）が所定条件を超えて小さいときに（例えば検出された各対象の一致度Cgの最大値maxCgが所定閾値以下であるときに）、少なくとも一致度Cg（位置一致度合い）及び一致度Ca（外観一致度合い）に基づいて対応関係判定処理を行い、その際、一致度Ca（外観一致度合い）に基づく度合いをより大きくする、具体的には上式（５）における重み係数βの値をより大きくする（すなわち重み係数α(=β-1)の値をより小さくする）ことも好ましく、または、
（ｂ）少なくとも一致度Cg（位置一致度合い）及び一致度Ca（外観一致度合い）に基づいて対応関係判定処理を行い、一致度Cg（位置一致度合い）が小さいほど（例えば検出された各対象の一致度Cgの最大値maxCgが小さいほど）、一致度Ca（外観一致度合い）に基づく度合いをより大きくする、具体的には重み係数βの値をより大きくすることも好ましい。

【0130】

なお、このような一致度Cg（位置一致度合い）に基づく重み係数βの調整は、一致度Cr（通信対応度合い）にも基づく場合を含め、少なくとも一致度Cg（位置一致度合い）及び一致度Ca（外観一致度合い）に基づいて対応関係判定処理を行う場合に実施することが可能となっている。

【0131】

いずれにしても、一致度Cg（位置一致度合い）が相当に低い状況においては、一致度Cr（通信対応度合い）から求められる通信コストCradioのみならず、この一致度Cgから求められる位置コストCgeoにおける値そのものの信頼性も低下していると判断される。したがって、上述したように重み係数βの値をより大きくし、位置コストCgeoの比重を低める（一致度Caから求められる外観コストCappの比重を高める）ことにより、端末追跡精度の維持・向上を図ることができるのである。

【0132】

同じく図５によれば、追跡対象決定・管理部１１５は、時点t0における対象Ａ（"人物"）及び対象Ｂ（"人物"）それぞれの位置コストCgeo_A及びCgeo_B、外観コストCapp_A及びCapp_B、並びに通信コストCradio_A及びCradio_Bを算出し、それぞれの時点t0における追跡コストCost_A及びCost_Bを、次式
（８） Cost_A＝(1－λ)・(α・Cgeo_A＋β・Capp_A)＋λ・Cradio_A
（９） Cost_B＝(1－λ)・(α・Cgeo_B＋β・Capp_B)＋λ・Cradio_B
を用いて決定している。ここで、重み係数λや、重み係数α及びβは、以上に説明した決定処理によって決定されたものとなっている。

【0133】

次いで追跡対象決定・管理部１１５は本実施形態において、追跡コストCostが最小となっている（図５の場合では追跡コストCostが小さい方の）対象Ａ（"人物"）を、追跡している端末２に係る対象に決定し、当該端末２の追跡を続行していくのである。ちなみに、図５では、外観コストCappについて両者に差はないが、位置コストCgeoも通信コストCradioも明らかに、対象Ａ（"人物"）の方が小さくなっている。

【0134】

ここで上述したように、重み係数λや、重み係数α及びβは、端末２との対応関係の判定を行うべき検出された対象に関してオクルージョンが生じた場合にも、特に一致度Cr（通信対応度合い）を勘案することによって、より好適な値に設定されている。その結果、追跡している端末２について例えオクルージョンが生じても、当該端末２の追跡をより適切に継続する（図５では対象Ａ及び対象Ｂのうち当該端末２を所持・携帯している方を追跡対象に決定する）ことが可能となるのである。

【0135】

図１の機能ブロック図に戻って、追跡対象決定・管理部１１５は、以上種々の実施形態・具体例を交えて説明してきた、追跡している各端末２についての追跡対象決定処理（対応関係判定処理）の結果を、追跡情報保存部１０５に保存・管理させるとともに、通信制御部１１６へ常時、定期的に、又は要求に応じて適宜、出力する。ここで、この追跡対象決定処理（対応関係判定処理）結果は、例えば端末２の端末ＩＤ毎に各時点での所在位置や画像特徴が紐づけられた時系列データとすることができ、オクルージョン発生の悪影響（例えばロストやＩＤスイッチ等）が回避された若しくは低減された好適なものとなっている。

【0136】

通信制御部１１６は、このような好適な端末２の追跡対象決定処理（対応関係判定処理）結果を用いることによって、通信接続している端末２における現在位置や通信経路を含む状況をより正確に把握することができる。またこれにより、例えこの通信接続している端末２からの受信電力が急激に低下する事態が生じたとしても、この端末２との通信接続を継続する、若しくは直ちに再開することが可能となるのである。

【0137】

以上詳細に説明したように、本発明によれば、オクルージョンが生じた場合において、追跡している端末と、検出された対象とが対応関係にあるか否かの判定処理を、この端末と検出された対象との通信対応度合いに基づき実施することができる。その結果、追跡している端末についてオクルージョンが生じた場合でも、この端末の追跡をより適切に継続することが可能となるのである。

【0138】

また、このような本発明による端末追跡処理は、現在導入の進んでいる５Ｇや、より短波長の電波を利用した将来の移動通信システムに関係する様々な分野・状況に対し応用することができる。例えば、通信路遮蔽物による通信障害の問題を解決したり、端末を搭載した自動車に対して人物や他車等の接近を通知・警告したり、さらには、ある端末と対応関係にあると判定されたユーザの閲覧ページと、当該ユーザの動線との関係を決定してマーケティングや管理に生かしたりすることも可能となるのである。

【0139】

また、膨大な数の且つ大容量の通信接続を安定的に実現可能な、本発明による端末追跡装置を含む情報通信システムを普及させることによって、人々の「つながり」を強化する移動・携帯通信サービスを広く展開し、コミュニティのエンパワーメントを図ることも可能となる。また、この本発明による端末追跡装置を含む情報通信システムは特に、世界的に人口が増大している都市部においてその威力を発揮するものと考えられる。すなわち本発明によれば、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」や、目標１１「都市を包摂的、安全、レジリエントかつ持続可能にする」の達成に貢献することも可能となるのである。

【0140】

以上に述べた本発明の種々の実施形態において、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。以上に述べた説明はあくまで例であって、本発明を何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

【符号の説明】

【0141】

１ 基地局（端末追跡装置、通信中継装置）
１０１ 通信インタフェース
１０２ 通信履歴情報蓄積部
１０３ カメラ（センサ）
１０４ 環境情報蓄積部
１０５ 追跡情報保存部
１１１ 端末通信情報決定部
１１２ 対象通信情報決定部
１１２ａ 位置補間部
１１３ 対象検出情報決定部
１１４ オクルージョン判定部
１１５ 追跡対象決定・管理部
１１５ａ 通信コスト算出部
１１５ｂ 位置コスト算出部
１１５ｃ 外観コスト算出部
１１５ｄ 重み決定部
１１６ 通信制御部
２ 端末

【図1】

【図2】

【図3】

【図4】

【図5】