ホーム > 特許ランキング > 株式会社ＫＤＤＩ総合研究所
特許7514212通信状態情報を用いてオクルージョンに対応する端末追跡装置、プログラム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-02
(45)【発行日】2024-07-10
(54)【発明の名称】通信状態情報を用いてオクルージョンに対応する端末追跡装置、プログラム及び方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240703BHJP
【ＦＩ】
G06T7/00
【請求項の数】
11
(21)【出願番号】P 2021123098
(22)【出願日】2021-07-28
(65)【公開番号】P2023018811
(43)【公開日】2023-02-09
【審査請求日】2023-07-14
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和３年度、総務省、「第５世代移動通信システムの更なる高度化に向けた研究開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願
(73)【特許権者】
【識別番号】599108264
【氏名又は名称】株式会社ＫＤＤＩ総合研究所
(74)【代理人】
【識別番号】100135068
【弁理士】
【氏名又は名称】早原 茂樹
(74)【代理人】
【識別番号】100141313
【弁理士】
【氏名又は名称】辰巳 富彦
(72)【発明者】
【氏名】三原 翔一郎
【審査官】伊知地 和之
(56)【参考文献】
【文献】特開２０２１－０７８０２２（ＪＰ，Ａ）
【文献】特開２００８－１７１２８０（ＪＰ，Ａ）
【文献】国際公開第２０１８／１９３９７７（ＷＯ，Ａ１）
【文献】特開２０２１－０７７９５１（ＪＰ，Ａ）
【文献】三原翔一郎 外３名，ステレオカメラ動画像とミリ波の受信信号強度を用いた通信端末の位置推定，情報処理学会 シンポジウム マルチメディア通信と分散処理ワークショップ ２０２０ ［ｏｎｌｉｎｅ］，情報処理学会，2020年11月04日，pp.74～81
【文献】Wojke Nicolai et al.，“Simple online and realtime tracking with a deep association metric”，2017 IEEE International Conference on Image Processing (ICIP)[online]，IEEE，2017年，pp.3645-3649，[検索日 2024.4.30], インターネット:<URL:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8296962>，DOI: 10.1109/ICIP.2017.8296962
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｓ ５／００ － ５／１４
Ｇ０１Ｓ １９／００ － １９／５５
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
Ｈ０４Ｂ ７／２４ － ７／２６
Ｈ０４Ｎ ７／１８
Ｈ０４Ｗ ４／００ － ９９／００
ＣＳＤＢ（日本国特許庁）
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
端末の存在し得る環境をセンシングするセンサにより取得された、当該環境に係る情報であって所定の対象を含み得る環境情報から、当該端末を含む所定の対象を検出して、当該端末を追跡する端末追跡装置であって、当該端末と通信を行う通信手段から取得した通信に係る情報に基づいて、当該端末との間の通信状態に係る情報である端末通信状態情報を決定する端末通信状態決定手段と、
当該環境情報から、当該所定の対象が端末を含むならば当該所定の対象との間で具現することになる通信状態に係る情報である対象通信状態情報を決定する対象通信状態決定手段と、
当該環境情報から、当該所定の対象の検出位置に係る情報である対象位置関連情報、及び／又は、当該所定の対象の検出された外観に係る情報である対象外観情報を決定する対象検出情報決定手段と、
当該所定の対象についてオクルージョンが生じた場合に、追跡している端末について決定された端末通信状態情報と、当該所定の対象について決定された対象通信状態情報とが対応する度合いである通信対応度合いを算出し、当該通信対応度合いに基づいて、当該追跡している端末と当該所定の対象とが対応関係にあるか否かを判定し、対応関係にあると判定された所定の対象を、当該追跡している端末に係る対象に決定する追跡対象決定手段と
を有し、
前記追跡対象決定手段は、決定された当該対象位置関連情報と過去の対象位置関連情報から予測された予測対象位置関連情報とが一致する度合いである位置関連一致度合い、及び／又は、決定された当該対象外観情報と過去の対象外観情報とが一致する度合いである外観一致度合いにも基づいて、当該追跡している端末と当該所定の対象とが対応関係にあるか否かを判定する
ことを特徴とする端末追跡装置。
【請求項2】
端末の存在し得る環境をセンシングするセンサにより取得された、当該環境に係る情報であって所定の対象を含み得る環境情報から、当該端末を含む所定の対象を検出して、当該端末を追跡する端末追跡装置であって、
当該端末と通信を行う通信手段から取得した通信に係る情報に基づいて、当該端末との間の通信状態に係る情報である端末通信状態情報を決定する端末通信状態決定手段と、
当該環境情報から、当該所定の対象が端末を含むならば当該所定の対象との間で具現することになる通信状態に係る情報である対象通信状態情報を決定する対象通信状態決定手段と、
当該環境情報から、当該所定の対象の検出位置に係る情報である対象位置関連情報、及び／又は、当該所定の対象の検出された外観に係る情報である対象外観情報を決定する対象検出情報決定手段と、
当該所定の対象についてオクルージョンが生じた場合に、追跡している端末について決定された端末通信状態情報と、当該所定の対象について決定された対象通信状態情報とが対応する度合いである通信対応度合いを算出し、当該通信対応度合いに基づいて、当該追跡している端末と当該所定の対象とが対応関係にあるか否かを判定し、対応関係にあると判定された所定の対象を、当該追跡している端末に係る対象に決定する追跡対象決定手段と
を有し、
前記追跡対象決定手段は、当該所定の対象についてオクルージョンが生じていない時間区間において、少なくとも、決定された当該対象位置関連情報と過去の対象位置関連情報から予測された予測対象位置関連情報とが一致する度合いである位置関連一致度合い、及び／又は、決定された当該対象外観情報と過去の対象外観情報とが一致する度合いである外観一致度合いに基づいて、当該追跡している端末と当該所定の対象とが対応関係にあるか否かを判定する
ことを特徴とする端末追跡装置。
【請求項3】
前記対象通信状態決定手段は、当該所定の対象について検出位置の決定されないオクルージョンが生じている時間区間において、当該オクルージョンの前後で決定された検出位置を用いて補間された位置に当該所定の対象が存在するとして、当該対象通信状態情報を決定することを特徴とする請求項１又は２に記載の端末追跡装置。
【請求項4】
前記追跡対象決定手段は、当該所定の対象における、当該位置関連一致度合いの単調減少関数である位置関連コスト、及び／又は当該外観一致度合いの単調減少関数である外観コストと、当該通信対応度合いの単調減少関数である通信状態コストとの、ゼロ値も取り得る重み係数による重み付け和である追跡コストを算出し、当該追跡コストが所定条件を満たすだけ小さい所定の対象を、当該追跡している端末に係る対象に決定することを特徴とする請求項１から３のいずれか１項に記載の端末追跡装置。
【請求項5】
前記追跡対象決定手段は、当該所定の対象について検出位置の決定されないオクルージョンが生じて解消した際、当該所定の対象における、当該通信状態コストに掛かる重み係数をより大きくし、当該位置関連コスト及び／又は当該外観コストに掛かる重み係数をより小さくした若しくはゼロとした追跡コストを算出することを特徴とする請求項４に記載の端末追跡装置。
【請求項6】
前記追跡対象決定手段は、当該所定の対象についてオクルージョンが生じて解消した時点から時間経過とともに、当該所定の対象における、当該通信状態コストに掛かる重み係数をより大きい値から順次小さくし、当該位置関連コスト及び／又は当該外観コストに掛かる重み係数をより小さい値若しくはゼロから順次大きくした追跡コストを算出することを特徴とする請求項５に記載の端末追跡装置。
【請求項7】
前記追跡対象決定手段は、当該所定の対象についてオクルージョンが生じて解消した時点から所定時間の経過した時点までの間、当該所定の対象における、当該通信状態コストに掛かる重み係数をより大きくし、当該位置関連コスト及び／又は当該外観コストに掛かる重み係数をより小さくした若しくはゼロとした追跡コストを算出することを特徴とする請求項４から６のいずれか１項に記載の端末追跡装置。
【請求項8】
前記追跡対象決定手段は、当該所定の対象の間でオクルージョンが生じた場合に、過去の当該対象位置関連情報に基づき、当該オクルージョンに係る当該所定の対象の各々について手前側にあるか奥側にあるかを判定し、
当該オクルージョンが解消した際、当該端末通信状態情報において通信電波の遮蔽の影響があったと判定した場合に、手前側にあると判定した所定の対象の当該通信状態コストをより大きな値に設定して、奥側にあると判定した所定の対象の当該通信状態コストをより小さな値若しくはゼロに設定し、当該端末通信状態情報において通信電波の遮蔽の影響がないと判定した場合は、手前側にあると判定した所定の対象の当該通信状態コストをより小さな値若しくはゼロに設定して、奥側にあると判定した所定の対象の当該通信状態コストをより大きな値に設定する
ことを特徴とする請求項４から７のいずれか１項に記載の端末追跡装置。
【請求項9】
前記追跡対象決定手段は、複数の所定の対象についてオクルージョンが生じて解消した場合、前記複数の所定の対象の各々に対し、当該追跡している端末に係る対象の候補として追跡処理を継続し、
継続した追跡処理の中で、当該追跡コスト又は当該通信状態コストが所定の条件を満たすだけ大きくなった所定の対象に対し、当該追跡している端末に係る対象ではないとして追跡処理を終了する
ことを特徴とする請求項４から８のいずれか１項に記載の端末追跡装置。
【請求項10】
端末の存在し得る環境をセンシングするセンサにより取得された、当該環境に係る情報であって所定の対象を含み得る環境情報から、当該端末を含む所定の対象を検出して、当該端末を追跡するコンピュータを機能させる端末追跡プログラムであって、当該端末と通信を行う通信手段から取得した通信に係る情報に基づいて、当該端末との間の通信状態に係る情報である端末通信状態情報を決定する端末通信状態決定手段と、
当該環境情報から、当該所定の対象が端末を含むならば当該所定の対象との間で具現することになる通信状態に係る情報である対象通信状態情報を決定する対象通信状態決定手段と、
当該環境情報から、当該所定の対象の検出位置に係る情報である対象位置関連情報、及び／又は、当該所定の対象の検出された外観に係る情報である対象外観情報を決定する対象検出情報決定手段と、
当該所定の対象についてオクルージョンが生じた場合に、追跡している端末について決定された端末通信状態情報と、当該所定の対象について決定された対象通信状態情報とが対応する度合いである通信対応度合いを算出し、当該通信対応度合いに基づいて、当該追跡している端末と当該所定の対象とが対応関係にあるか否かを判定し、対応関係にあると判定された所定の対象を、当該追跡している端末に係る対象に決定する追跡対象決定手段と
してコンピュータを機能させ、
前記追跡対象決定手段は、決定された当該対象位置関連情報と過去の対象位置関連情報から予測された予測対象位置関連情報とが一致する度合いである位置関連一致度合い、及び／又は、決定された当該対象外観情報と過去の対象外観情報とが一致する度合いである外観一致度合いにも基づいて、当該追跡している端末と当該所定の対象とが対応関係にあるか否かを判定する
ことを特徴とする端末追跡プログラム。
【請求項11】
端末の存在し得る環境をセンシングするセンサにより取得された、当該環境に係る情報であって所定の対象を含み得る環境情報から、当該端末を含む所定の対象を検出して、当該端末を追跡するコンピュータによって実施される端末追跡方法であって、当該端末と通信を行う通信手段から取得した通信に係る情報に基づいて、当該端末との間の通信状態に係る情報である端末通信状態情報を決定するステップと、
当該環境情報から、当該所定の対象が端末を含むならば当該所定の対象との間で具現することになる通信状態に係る情報である対象通信状態情報を決定するステップと、
当該環境情報から、当該所定の対象の検出位置に係る情報である対象位置関連情報、及び／又は、当該所定の対象の検出された外観に係る情報である対象外観情報を決定するステップと、
当該所定の対象についてオクルージョンが生じた場合に、追跡している端末について決定された端末通信状態情報と、当該所定の対象について決定された対象通信状態情報とが対応する度合いである通信対応度合いを算出し、当該通信対応度合いに基づいて、当該追跡している端末と当該所定の対象とが対応関係にあるか否かを判定し、対応関係にあると判定された所定の対象を、当該追跡している端末に係る対象に決定するステップと
を有し、
当該追跡している端末に係る対象の決定に係るステップでは、決定された当該対象位置関連情報と過去の対象位置関連情報から予測された予測対象位置関連情報とが一致する度合いである位置関連一致度合い、及び／又は、決定された当該対象外観情報と過去の対象外観情報とが一致する度合いである外観一致度合いにも基づいて、当該追跡している端末と当該所定の対象とが対応関係にあるか否かを判定する
ことを特徴とする端末追跡方法。
【発明の詳細な説明】
【技術分野】
【0001】
通信対象としての端末についての情報を取得する技術、特に当該端末を追跡する技術に関する。
【背景技術】
【0002】
現在導入の進んでいる第５世代移動通信システム（５Ｇ）は、ミリ波帯の電波（ミリ波）を利用し、高速、大容量、低遅延、多端末接続といった高性能の通信を実現可能とする。ここで、ミリ波は、高い直進性を有していて回折が起きにくく、端末と基地局との間に存在する物体によってその伝播が遮られたり減衰したりする可能性が高くなる。そのため、５Ｇでは、このような物体の介在により受信電力が急激に低下し、例えば通信接続そのものが途絶えてしまう事態の生じ得ることが大きな問題となっている。
【0003】
そこで、このような物体による受信電力の低下を予測できれば、端末の通信経路の制御・確保等によって通信接続を途絶えさせずに維持することも可能となる。この受信電力の予測技術として、例えば非特許文献１には、ＲＧＢ画像に加えデプス画像も生成可能なＲＧＢ－Ｄカメラによって取得される時系列の３次元環境情報を用い、機械学習によって通信装置における受信電力を予測する技術が開示されている。
【0004】
具体的にこの技術では、通信環境を撮像した結果である時系列の環境情報に対し、送信局からの電波を受信した通信端末において（撮像と同時に）計測された受信電力の時系列情報を正解データとして紐づけた教師データをもって、機械学習モデルを構築し、この構築した機械学習モデルを用いて、ＲＧＢ－Ｄカメラにより取得された時系列の環境情報から、通信端末における受信電力の予測値を決定している。
【0005】
ここで、このようなミリ波の受信電力予測では、通信端末の位置を継続的に把握することが重要となる。しかしながら、通信端末側のセンサによる測位結果を利用して当該位置の把握を行うとすると、通信端末から基地局に測位結果を通知する仕組みが必要となり、さらに、通信端末側の大きな電力消費や演算負荷が問題となってしまう。
【0006】
これに対し通信端末側の測位結果に依存しない技術として、本願発明者を発明者に含む特許文献１には、ミリ波の受信電力の時系列情報と、例えば環境の画像情報から推定した物体間における遮蔽関係の時系列情報とを用いて、通信端末の位置を推定する技術が開示されている。またさらに、非特許文献２には、画像から取得される物体の検出位置と外観の特徴の一貫性とを利用して、画像上の物体の位置を継続的に捕捉する技術が開示されている。
【先行技術文献】
【特許文献】
【0007】
【文献】特開２０２１－０７８０２２号公報
【非特許文献】
【0008】
【文献】西尾理志，「機械学習による無線通信品質予測と通信制御」，信学技報，Vol. 118，No. 57，SR2018-1，１～８頁，２０１８年
【文献】Nicolai Wojke et al., "Simple Online and Realtime Tracking with a Deep Association Metric", 2017 IEEE International Conference on Image Processing, pp. 3645-3649, ２０１７年. ＜https://doi.org/10.1109/ICIP.2017.8296962＞
【発明の概要】
【発明が解決しようとする課題】
【0009】
ここで、このような従来技術を用いて通信端末の追跡を継続することができれば、例え物体の介在により受信電力が急激に低下したとしても、通信接続を継続する、若しくは一時的に保留した上で直ちに再開することも可能となるのである。
【0010】
しかしながら、非特許文献２に開示されたような画像情報に基づく対象追跡技術は、手前側にある物体が奥側にある物体の少なくとも一部を覆い隠す現象、いわゆるオクルージョンが生じた場合に、追跡対象の追跡に失敗してしまう可能性が生じる。すなわち、従来の画像情報に基づく対象追跡技術は、オクルージョンが生じた場合、追跡対象が他の物体に隠されて検出できなくなり追跡が途絶える「ロスト」が発生したり、追跡対象と他の対象とが交差した場合に当該他の対象を追跡対象と誤ってしまい、本来行うべき追跡から外れてしまう「ＩＤスイッチ」が発生したりする問題を抱えているのである。
【0011】
したがって、例えば非特許文献２に開示された対象追跡技術を通信端末の追跡に適用したとしても、このようなオクルージョンに係る問題が生じた場合には、通信端末の位置を正確に把握することができなくってしまう。また、特許文献１に記載された通信端末位置の推定技術も、ロストやＩＤスイッチの発生していないことを前提としており、このような問題が生じた場合について何らかの対処を提案するものにはなっていない。
【0012】
そこで、本発明は、追跡している端末についてオクルージョンが生じた場合でも、当該端末の追跡をより適切に継続することの可能な端末追跡装置、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【0013】
本発明によれば、端末の存在し得る環境をセンシングするセンサにより取得された、当該環境に係る情報であって所定の対象を含み得る環境情報から、当該端末を含む所定の対象を検出して、当該端末を追跡する端末追跡装置であって、
当該端末と通信を行う通信手段から取得した通信に係る情報に基づいて、当該端末との間の通信状態に係る情報である端末通信状態情報を決定する端末通信状態決定手段と、
当該環境情報から、当該所定の対象が端末を含むならば当該所定の対象との間で具現することになる通信状態に係る情報である対象通信状態情報を決定する対象通信状態決定手段と、
当該環境情報から、当該所定の対象の検出位置に係る情報である対象位置関連情報、及び／又は、当該所定の対象の検出された外観に係る情報である対象外観情報を決定する対象検出情報決定手段と、
当該所定の対象についてオクルージョンが生じた場合に、追跡している端末について決定された端末通信状態情報と、当該所定の対象について決定された対象通信状態情報とが対応する度合いである通信対応度合いを算出し、当該通信対応度合いに基づいて、当該追跡している端末と当該所定の対象とが対応関係にあるか否かを判定し、対応関係にあると判定された所定の対象を、当該追跡している端末に係る対象に決定する追跡対象決定手段と
を有し、
追跡対象決定手段は、決定された当該対象位置関連情報と過去の対象位置関連情報から予測された予測対象位置関連情報とが一致する度合いである位置関連一致度合い、及び／又は、決定された当該対象外観情報と過去の対象外観情報とが一致する度合いである外観一致度合いにも基づいて、当該追跡している端末と当該所定の対象とが対応関係にあるか否かを判定する
ことを特徴とする端末追跡装置が提供される。
本発明によれば、また、端末の存在し得る環境をセンシングするセンサにより取得された、当該環境に係る情報であって所定の対象を含み得る環境情報から、当該端末を含む所定の対象を検出して、当該端末を追跡する端末追跡装置であって、
当該端末と通信を行う通信手段から取得した通信に係る情報に基づいて、当該端末との間の通信状態に係る情報である端末通信状態情報を決定する端末通信状態決定手段と、
当該環境情報から、当該所定の対象が端末を含むならば当該所定の対象との間で具現することになる通信状態に係る情報である対象通信状態情報を決定する対象通信状態決定手段と、
当該環境情報から、当該所定の対象の検出位置に係る情報である対象位置関連情報、及び／又は、当該所定の対象の検出された外観に係る情報である対象外観情報を決定する対象検出情報決定手段と、
当該所定の対象についてオクルージョンが生じた場合に、追跡している端末について決定された端末通信状態情報と、当該所定の対象について決定された対象通信状態情報とが対応する度合いである通信対応度合いを算出し、当該通信対応度合いに基づいて、当該追跡している端末と当該所定の対象とが対応関係にあるか否かを判定し、対応関係にあると判定された所定の対象を、当該追跡している端末に係る対象に決定する追跡対象決定手段と
を有し、
追跡対象決定手段は、当該所定の対象についてオクルージョンが生じていない時間区間において、少なくとも、決定された当該対象位置関連情報と過去の対象位置関連情報から予測された予測対象位置関連情報とが一致する度合いである位置関連一致度合い、及び／又は、決定された当該対象外観情報と過去の対象外観情報とが一致する度合いである外観一致度合いに基づいて、当該追跡している端末と当該所定の対象とが対応関係にあるか否かを判定する
ことを特徴とする端末追跡装置が提供される。
当該端末と通信を行う通信手段から取得した通信に係る情報に基づいて、当該端末との間の通信状態に係る情報である端末通信状態情報を決定する端末通信状態決定手段と、
当該環境情報から、当該所定の対象が端末を含むならば当該所定の対象との間で具現することになる通信状態に係る情報である対象通信状態情報を決定する対象通信状態決定手段と、
当該環境情報から、当該所定の対象の検出位置に係る情報である対象位置関連情報、及び／又は、当該所定の対象の検出された外観に係る情報である対象外観情報を決定する対象検出情報決定手段と、
当該所定の対象についてオクルージョンが生じた場合に、追跡している端末について決定された端末通信状態情報と、当該所定の対象について決定された対象通信状態情報とが対応する度合いである通信対応度合いを算出し、当該通信対応度合いに基づいて、当該追跡している端末と当該所定の対象とが対応関係にあるか否かを判定し、対応関係にあると判定された所定の対象を、当該追跡している端末に係る対象に決定する追跡対象決定手段と
を有し、
追跡対象決定手段は、決定された当該対象位置関連情報と過去の対象位置関連情報から予測された予測対象位置関連情報とが一致する度合いである位置関連一致度合い、及び／又は、決定された当該対象外観情報と過去の対象外観情報とが一致する度合いである外観一致度合いにも基づいて、当該追跡している端末と当該所定の対象とが対応関係にあるか否かを判定する
ことを特徴とする端末追跡装置が提供される。
本発明によれば、また、端末の存在し得る環境をセンシングするセンサにより取得された、当該環境に係る情報であって所定の対象を含み得る環境情報から、当該端末を含む所定の対象を検出して、当該端末を追跡する端末追跡装置であって、
当該端末と通信を行う通信手段から取得した通信に係る情報に基づいて、当該端末との間の通信状態に係る情報である端末通信状態情報を決定する端末通信状態決定手段と、
当該環境情報から、当該所定の対象が端末を含むならば当該所定の対象との間で具現することになる通信状態に係る情報である対象通信状態情報を決定する対象通信状態決定手段と、
当該環境情報から、当該所定の対象の検出位置に係る情報である対象位置関連情報、及び／又は、当該所定の対象の検出された外観に係る情報である対象外観情報を決定する対象検出情報決定手段と、
当該所定の対象についてオクルージョンが生じた場合に、追跡している端末について決定された端末通信状態情報と、当該所定の対象について決定された対象通信状態情報とが対応する度合いである通信対応度合いを算出し、当該通信対応度合いに基づいて、当該追跡している端末と当該所定の対象とが対応関係にあるか否かを判定し、対応関係にあると判定された所定の対象を、当該追跡している端末に係る対象に決定する追跡対象決定手段と
を有し、
追跡対象決定手段は、当該所定の対象についてオクルージョンが生じていない時間区間において、少なくとも、決定された当該対象位置関連情報と過去の対象位置関連情報から予測された予測対象位置関連情報とが一致する度合いである位置関連一致度合い、及び／又は、決定された当該対象外観情報と過去の対象外観情報とが一致する度合いである外観一致度合いに基づいて、当該追跡している端末と当該所定の対象とが対応関係にあるか否かを判定する
ことを特徴とする端末追跡装置が提供される。
【0014】
この本発明による端末追跡装置において、対象通信状態決定手段は、当該所定の対象について検出位置の決定されないオクルージョンが生じている時間区間において、当該オクルージョンの前後で決定された検出位置を用いて補間された位置に当該所定の対象が存在するとして、当該対象通信状態情報を決定することも好ましい。
【0017】
また、本発明による端末追跡装置の更なる他の実施形態として、追跡対象決定手段は、当該所定の対象における、当該位置関連一致度合いの単調減少関数である位置関連コスト、及び／又は当該外観一致度合いの単調減少関数である外観コストと、当該通信対応度合いの単調減少関数である通信状態コストとの、ゼロ値も取り得る重み係数による重み付け和である追跡コストを算出し、当該追跡コストが所定条件を満たすだけ小さい所定の対象を、当該追跡している端末に係る対象に決定することも好ましい。
【0018】
さらに、上記の追跡コストを算出する実施形態において、追跡対象決定手段は、当該所定の対象について検出位置の決定されないオクルージョンが生じて解消した際、当該所定の対象における、当該通信状態コストに掛かる重み係数をより大きくし、当該位置関連コスト及び／又は当該外観コストに掛かる重み係数をより小さくした若しくはゼロとした追跡コストを算出することも好ましい。
【0019】
また、上記の追跡コストを算出する実施形態において、追跡対象決定手段は、当該所定の対象についてオクルージョンが生じて解消した時点から時間経過とともに、当該所定の対象における、当該通信状態コストに掛かる重み係数をより大きい値から順次小さくし、当該位置関連コスト及び／又は当該外観コストに掛かる重み係数をより小さい値若しくはゼロから順次大きくした追跡コストを算出することも好ましい。
【0020】
さらに、上記の追跡コストを算出する実施形態において、追跡対象決定手段は、当該所定の対象についてオクルージョンが生じて解消した時点から所定時間の経過した時点までの間、当該所定の対象における、当該通信状態コストに掛かる重み係数をより大きくし、当該位置関連コスト及び／又は当該外観コストに掛かる重み係数をより小さくした若しくはゼロとした追跡コストを算出することも好ましい。
【0021】
また、上記の追跡コストを算出する実施形態において、追跡対象決定手段は、
当該所定の対象の間でオクルージョンが生じた場合に、過去の当該対象位置関連情報に基づき、当該オクルージョンに係る当該所定の対象の各々について手前側にあるか奥側にあるかを判定し、
当該オクルージョンが解消した際、当該端末通信状態情報において通信電波の遮蔽の影響があったと判定した場合に、手前側にあると判定した所定の対象の当該通信状態コストをより大きな値に設定して、奥側にあると判定した所定の対象の当該通信状態コストをより小さな値若しくはゼロに設定し、当該端末通信状態情報において通信電波の遮蔽の影響がないと判定した場合は、手前側にあると判定した所定の対象の当該通信状態コストをより小さな値若しくはゼロに設定して、奥側にあると判定した所定の対象の当該通信状態コストをより大きな値に設定する
ことも好ましい。
当該所定の対象の間でオクルージョンが生じた場合に、過去の当該対象位置関連情報に基づき、当該オクルージョンに係る当該所定の対象の各々について手前側にあるか奥側にあるかを判定し、
当該オクルージョンが解消した際、当該端末通信状態情報において通信電波の遮蔽の影響があったと判定した場合に、手前側にあると判定した所定の対象の当該通信状態コストをより大きな値に設定して、奥側にあると判定した所定の対象の当該通信状態コストをより小さな値若しくはゼロに設定し、当該端末通信状態情報において通信電波の遮蔽の影響がないと判定した場合は、手前側にあると判定した所定の対象の当該通信状態コストをより小さな値若しくはゼロに設定して、奥側にあると判定した所定の対象の当該通信状態コストをより大きな値に設定する
ことも好ましい。
【0022】
さらに、上記の追跡コストを算出する実施形態において、追跡対象決定手段は、
複数の所定の対象についてオクルージョンが生じて解消した場合、これら複数の所定の対象の各々に対し、当該追跡している端末に係る対象の候補として追跡処理を継続し、
継続した追跡処理の中で、当該追跡コスト又は当該通信状態コストが所定の条件を満たすだけ大きくなった所定の対象に対し、当該追跡している端末に係る対象ではないとして追跡処理を終了する
ことも好ましい。
複数の所定の対象についてオクルージョンが生じて解消した場合、これら複数の所定の対象の各々に対し、当該追跡している端末に係る対象の候補として追跡処理を継続し、
継続した追跡処理の中で、当該追跡コスト又は当該通信状態コストが所定の条件を満たすだけ大きくなった所定の対象に対し、当該追跡している端末に係る対象ではないとして追跡処理を終了する
ことも好ましい。
【0023】
本発明によれば、また、端末の存在し得る環境をセンシングするセンサにより取得された、当該環境に係る情報であって所定の対象を含み得る環境情報から、当該端末を含む所定の対象を検出して、当該端末を追跡するコンピュータを機能させる端末追跡プログラムであって、
当該端末と通信を行う通信手段から取得した通信に係る情報に基づいて、当該端末との間の通信状態に係る情報である端末通信状態情報を決定する端末通信状態決定手段と、
当該環境情報から、当該所定の対象が端末を含むならば当該所定の対象との間で具現することになる通信状態に係る情報である対象通信状態情報を決定する対象通信状態決定手段と、
当該環境情報から、当該所定の対象の検出位置に係る情報である対象位置関連情報、及び／又は、当該所定の対象の検出された外観に係る情報である対象外観情報を決定する対象検出情報決定手段と、
当該所定の対象についてオクルージョンが生じた場合に、追跡している端末について決定された端末通信状態情報と、当該所定の対象について決定された対象通信状態情報とが対応する度合いである通信対応度合いを算出し、当該通信対応度合いに基づいて、当該追跡している端末と当該所定の対象とが対応関係にあるか否かを判定し、対応関係にあると判定された所定の対象を、当該追跡している端末に係る対象に決定する追跡対象決定手段と
してコンピュータを機能させ、
追跡対象決定手段は、決定された当該対象位置関連情報と過去の対象位置関連情報から予測された予測対象位置関連情報とが一致する度合いである位置関連一致度合い、及び／又は、決定された当該対象外観情報と過去の対象外観情報とが一致する度合いである外観一致度合いにも基づいて、当該追跡している端末と当該所定の対象とが対応関係にあるか否かを判定する
ことを特徴とする端末追跡プログラムが提供される。
当該端末と通信を行う通信手段から取得した通信に係る情報に基づいて、当該端末との間の通信状態に係る情報である端末通信状態情報を決定する端末通信状態決定手段と、
当該環境情報から、当該所定の対象が端末を含むならば当該所定の対象との間で具現することになる通信状態に係る情報である対象通信状態情報を決定する対象通信状態決定手段と、
当該環境情報から、当該所定の対象の検出位置に係る情報である対象位置関連情報、及び／又は、当該所定の対象の検出された外観に係る情報である対象外観情報を決定する対象検出情報決定手段と、
当該所定の対象についてオクルージョンが生じた場合に、追跡している端末について決定された端末通信状態情報と、当該所定の対象について決定された対象通信状態情報とが対応する度合いである通信対応度合いを算出し、当該通信対応度合いに基づいて、当該追跡している端末と当該所定の対象とが対応関係にあるか否かを判定し、対応関係にあると判定された所定の対象を、当該追跡している端末に係る対象に決定する追跡対象決定手段と
してコンピュータを機能させ、
追跡対象決定手段は、決定された当該対象位置関連情報と過去の対象位置関連情報から予測された予測対象位置関連情報とが一致する度合いである位置関連一致度合い、及び／又は、決定された当該対象外観情報と過去の対象外観情報とが一致する度合いである外観一致度合いにも基づいて、当該追跡している端末と当該所定の対象とが対応関係にあるか否かを判定する
ことを特徴とする端末追跡プログラムが提供される。
【0024】
本発明によれば、さらに、端末の存在し得る環境をセンシングするセンサにより取得された、当該環境に係る情報であって所定の対象を含み得る環境情報から、当該端末を含む所定の対象を検出して、当該端末を追跡するコンピュータによって実施される端末追跡方法であって、
当該端末と通信を行う通信手段から取得した通信に係る情報に基づいて、当該端末との間の通信状態に係る情報である端末通信状態情報を決定するステップと、
当該環境情報から、当該所定の対象が端末を含むならば当該所定の対象との間で具現することになる通信状態に係る情報である対象通信状態情報を決定するステップと、
当該環境情報から、当該所定の対象の検出位置に係る情報である対象位置関連情報、及び／又は、当該所定の対象の検出された外観に係る情報である対象外観情報を決定するステップと、
当該所定の対象についてオクルージョンが生じた場合に、追跡している端末について決定された端末通信状態情報と、当該所定の対象について決定された対象通信状態情報とが対応する度合いである通信対応度合いを算出し、当該通信対応度合いに基づいて、当該追跡している端末と当該所定の対象とが対応関係にあるか否かを判定し、対応関係にあると判定された所定の対象を、当該追跡している端末に係る対象に決定するステップと
を有し、
当該追跡している端末に係る対象の決定に係るステップでは、決定された当該対象位置関連情報と過去の対象位置関連情報から予測された予測対象位置関連情報とが一致する度合いである位置関連一致度合い、及び／又は、決定された当該対象外観情報と過去の対象外観情報とが一致する度合いである外観一致度合いにも基づいて、当該追跡している端末と当該所定の対象とが対応関係にあるか否かを判定する
ことを特徴とする端末追跡方法が提供される。
当該端末と通信を行う通信手段から取得した通信に係る情報に基づいて、当該端末との間の通信状態に係る情報である端末通信状態情報を決定するステップと、
当該環境情報から、当該所定の対象が端末を含むならば当該所定の対象との間で具現することになる通信状態に係る情報である対象通信状態情報を決定するステップと、
当該環境情報から、当該所定の対象の検出位置に係る情報である対象位置関連情報、及び／又は、当該所定の対象の検出された外観に係る情報である対象外観情報を決定するステップと、
当該所定の対象についてオクルージョンが生じた場合に、追跡している端末について決定された端末通信状態情報と、当該所定の対象について決定された対象通信状態情報とが対応する度合いである通信対応度合いを算出し、当該通信対応度合いに基づいて、当該追跡している端末と当該所定の対象とが対応関係にあるか否かを判定し、対応関係にあると判定された所定の対象を、当該追跡している端末に係る対象に決定するステップと
を有し、
当該追跡している端末に係る対象の決定に係るステップでは、決定された当該対象位置関連情報と過去の対象位置関連情報から予測された予測対象位置関連情報とが一致する度合いである位置関連一致度合い、及び／又は、決定された当該対象外観情報と過去の対象外観情報とが一致する度合いである外観一致度合いにも基づいて、当該追跡している端末と当該所定の対象とが対応関係にあるか否かを判定する
ことを特徴とする端末追跡方法が提供される。
【発明の効果】
【0025】
本発明の端末追跡装置、プログラム及び方法によれば、追跡している端末についてオクルージョンが生じた場合でも、当該端末の追跡をより適切に継続することが可能となる。
【図面の簡単な説明】
【0026】
【図1】本発明による端末追跡装置の一実施形態における機能構成を示す機能ブロック図である。
【図2】本発明に係るオクルージョン判定部におけるオクルージョン判定処理の２つの態様を説明するための模式図である。
【図3】本発明に係る通信状態コストの算出処理の具体例を説明するための模式図である。
【図4】本発明に係る位置関連コスト及び外観コストの算出処理の具体例を説明するための模式図である。
【図5】本発明に係る追跡対象決定・管理部における追跡対象決定処理の種々の実施形態を説明するための模式図である。
【図6】本発明に係る追跡対象決定・管理部における追跡対象決定処理の更なる他の実施形態を説明するための模式図である。
【図7】本発明に係る追跡対象決定・管理部における追跡対象決定処理の更なる他の実施形態を説明するための模式図である。
【発明を実施するための形態】
【0027】
以下、本発明の実施形態について、図面を用いて詳細に説明する。
【0028】
［端末追跡装置］
図１は、本発明による端末追跡装置の一実施形態における機能構成を示す機能ブロック図である。
図１は、本発明による端末追跡装置の一実施形態における機能構成を示す機能ブロック図である。
【0029】
図１に示した、本発明による端末追跡装置の一実施形態としての基地局１は、本実施形態において５Ｇ（第５世代移動通信方式）に対応した通信中継装置であり、同じく５Ｇに対応した通信端末である複数の端末２との間で通信を行うことの可能な装置となっている。
【0030】
また、基地局１は端末追跡装置の一実施形態として、端末２の存在し得る環境をセンシングするセンサとしてのカメラ１０３により取得された、当該環境に係る情報であって所定の対象を含み得る「環境情報」としての画像データから、端末２を含む所定の対象を検出して、端末２を追跡することの可能な装置にもなっている。
【0031】
ここで、カメラ１０３は本実施形態において、通信エリアの状況を所定の画角をもって撮影可能なＲＧＢカメラである。このカメラ１０３によって生成された画像データ（映像データ）には、
（ａ）端末２を所持・携帯した人物や、
（ｂ）端末２を搭載した、含む又は搭乗させた自動車、二輪車、鉄道車両、ロボット、ドローン等の移動体、さらには
（ｃ）端末２の設置された設備・施設・建造物・固定物
といったような「対象」が含まれている（撮像されている）可能性がある。またさらに、端末２に関わらない人物、移動体や、設備・施設・建造物・（樹木等の植物も含む）固定物等の「対象」も含まれ得るのである。
（ａ）端末２を所持・携帯した人物や、
（ｂ）端末２を搭載した、含む又は搭乗させた自動車、二輪車、鉄道車両、ロボット、ドローン等の移動体、さらには
（ｃ）端末２の設置された設備・施設・建造物・固定物
といったような「対象」が含まれている（撮像されている）可能性がある。またさらに、端末２に関わらない人物、移動体や、設備・施設・建造物・（樹木等の植物も含む）固定物等の「対象」も含まれ得るのである。
【0032】
ちなみに、このような「対象」は、追跡している端末２との対応関係を決定すべきもの（言い換えると追跡すべき追跡対象か否かを判定すべきもの）となり得る一方、端末２と基地局１との間に存在することによって、通信電波の障害物ともなり得る。
【0033】
ここで特に、本実施形態の通信方式である５Ｇは、ミリ波帯の電波（ミリ波）を通信に利用しているが、このミリ波は、高い直進性を有していて回折が起きにくく、端末２と基地局１との間に存在する「対象」によってその伝播が遮られたり減衰したりする可能性が高い。そのため５Ｇでは、このような「対象」の介在により基地局１での受信信号電力が急激に低下し、例えば通信接続そのものが途絶えてしまう事態の生じ得ることが重大な問題となっている。これに対し、追跡している端末２について「オクルージョン」が生じた場合でも、この端末２の追跡を適切に継続することができれば、当該端末２との通信接続を継続する、若しくは一時的に保留した上で直ちに再開することも可能となるのである。
【0034】
ちなみに上記の「オクルージョン」とは以下、基地局１から見て手前側にある「対象」が、奥側にある「対象」の少なくとも一部を覆い隠す現象のこととする。例えば、複数の「対象」が交差したり、少なくとも１つの「対象」が他の少なくとも１つの「対象」によって遮蔽されたりする現象も以下、「オクルージョン」として扱う。このような「オクルージョン」が生じた際には、所定の対象（例えば"人物"）が「環境情報」（本実施形態では画像データ）から検出できないか、又は不正確な検出しかできない可能性が高まるのである。
【0035】
そこで具体的に、基地局１は、このようなオクルージョンが生じた場合における重大問題を解決すべく、
（Ａ）端末と通信を行う通信手段（本実施形態では自ら具備する通信インタフェース１０１、通信制御部１１６及び通信履歴情報蓄積部１０２）から取得した通信に係る情報（例えば通信履歴情報）に基づいて、端末２との間の通信状態に係る情報である「端末通信状態情報」を決定する端末通信状態決定部１１１と、
（Ｂ）上記のセンサ（本実施形態ではカメラ１０３）により取得された「環境情報」から検出された所定の対象（例えば"人物"）が端末２を含むならば、当該所定の対象（"人物"）との間で具現することになる通信状態に係る情報である「対象通信状態情報」を決定する対象通信状態決定部１１２と、
（Ｃ）所定の対象（例えば"人物"）についてオクルージョンが生じた場合に、追跡している端末２について決定された「端末通信状態情報」と、当該所定の対象（"人物"）について決定された「対象通信状態情報」とが対応する度合いである「通信対応度合い」を算出し、この「通信対応度合い」に基づいて、追跡している端末２と当該所定の対象（"人物"）とが対応関係にあるか否かを判定し、対応関係にあると判定された所定の対象（"人物"）を、追跡している端末２に係る対象に決定する追跡対象決定・管理部１１５と
を有している。
（Ａ）端末と通信を行う通信手段（本実施形態では自ら具備する通信インタフェース１０１、通信制御部１１６及び通信履歴情報蓄積部１０２）から取得した通信に係る情報（例えば通信履歴情報）に基づいて、端末２との間の通信状態に係る情報である「端末通信状態情報」を決定する端末通信状態決定部１１１と、
（Ｂ）上記のセンサ（本実施形態ではカメラ１０３）により取得された「環境情報」から検出された所定の対象（例えば"人物"）が端末２を含むならば、当該所定の対象（"人物"）との間で具現することになる通信状態に係る情報である「対象通信状態情報」を決定する対象通信状態決定部１１２と、
（Ｃ）所定の対象（例えば"人物"）についてオクルージョンが生じた場合に、追跡している端末２について決定された「端末通信状態情報」と、当該所定の対象（"人物"）について決定された「対象通信状態情報」とが対応する度合いである「通信対応度合い」を算出し、この「通信対応度合い」に基づいて、追跡している端末２と当該所定の対象（"人物"）とが対応関係にあるか否かを判定し、対応関係にあると判定された所定の対象（"人物"）を、追跡している端末２に係る対象に決定する追跡対象決定・管理部１１５と
を有している。
【0036】
ここで、上記（Ｂ）で「環境情報」から検出される「所定の対象」は、後に改めて説明するが、端末２を携帯した、搭載した又は含む可能性のある"人物"や"移動体"とすることができる。また場合によってはさらに、端末２を含む可能性のある"設備”、"施設"、"建造物"、"固定物"等も「所定の対象」とすることがあり得るのである。
【0037】
また、上記（Ａ）の「端末通信状態情報」は、好適な態様として、（α）端末２から受信された電波の強度に係る情報（例えば受信信号電力，ＲＳＳＩ（Received Signal Strength Indicator））とすることができる。または、（β）端末２との通信接続の有無に係る情報とすることも可能である。
【0038】
一方、上記（Ｂ）の「対象通信状態情報」は、上記の「端末通信状態情報」に合わせて、（α’）検出された所定の対象（例えば"人物"）が端末２を含むならば当該所定の対象（"人物"）から受信されることになる電波の強度に係る情報（例えばＲＳＳＩ）とすることができる。または、（β’）検出された所定の対象（例えば"人物"）の検出位置を用いて決定される、当該所定の対象（"人物"）との通信接続の可否に係る情報とすることも可能である。
【0039】
さらに、上記（Ｃ）の「通信対応度合い」は具体的に例えば、「端末通信状態情報」としての電波の強度に係る量（例えばＲＳＳＩ値）の時系列データと、「対象通信状態情報」としての電波の強度に係る量（例えばＲＳＳＩ値）の時系列データとの一致度とすることができる。または、「端末通信状態情報」としての通信接続の有無に係る時系列データと、「対象通信状態情報」としての通信接続の可否に係る時系列データとの一致度とすることも可能である。
【0040】
このように、本発明による端末追跡装置としての基地局１によれば、オクルージョンが生じた場合において、追跡している端末２と、検出された所定の対象（例えば"人物"）とが対応関係にあるか否かの判定を、「環境情報」（例えば画像データ）から当該所定の対象が検出されるか否かに依存することなく、端末２の通信状態と当該所定の対象の推定通信状態との「通信対応度合い」を用いて実施することができる。その結果、追跡している端末２についてオクルージョンが生じた場合でも、この端末２の追跡をより適切に継続することが可能となるのである。
【0041】
またこれにより、本実施形態において基地局１は、例え自身と端末２との間に物体が介在して受信電力が急激に低下する事態が生じたとしても、この端末２との通信接続を継続する、若しくは直ちに再開することが可能となる。
【0042】
ちなみに基地局１は、オクルージョンが生じた場合として例えばオクルージョンが生じて解消した際に、以上に説明した「通信対応度合い」を用いた端末追跡処理を実施する。ここでこの処理と合せて、非特許文献２に記載されたような、画像から取得される対象の検出位置と外観の特徴の一貫性とを利用した画像認識による対象追跡処理も一緒に実施することも好ましい。このような好適な実施形態については、後に詳細に説明を行う。
【0043】
またさらに、オクルージョンが生じた時間区間とは離隔した、オクルージョンの生じていない期間においては、
（ａ）以上に説明した「通信対応度合い」を用いた端末追跡処理、
（ｂ）非特許文献２に記載されたような、画像から取得される対象の検出位置と外観の特徴の一貫性とを利用した画像認識による対象追跡処理、及び
（ｃ）他の公知である端末・対象追跡処理、例えは、特許文献１に一実施形態として記載された、通信履歴情報に基づいて決定された端末位置情報と、環境情報（画像データ）から検出された所定の対象の検出位置に係る対象位置情報とが対応する度合い（位置対応度）を算出し、この位置対応度にも基づいて、端末と所定の対象とが対応関係にあるか否かを判定し、追跡を行う技術
のうちの少なくとも１つ、又は２つ以上を合わせて実施することも好ましい。
（ａ）以上に説明した「通信対応度合い」を用いた端末追跡処理、
（ｂ）非特許文献２に記載されたような、画像から取得される対象の検出位置と外観の特徴の一貫性とを利用した画像認識による対象追跡処理、及び
（ｃ）他の公知である端末・対象追跡処理、例えは、特許文献１に一実施形態として記載された、通信履歴情報に基づいて決定された端末位置情報と、環境情報（画像データ）から検出された所定の対象の検出位置に係る対象位置情報とが対応する度合い（位置対応度）を算出し、この位置対応度にも基づいて、端末と所定の対象とが対応関係にあるか否かを判定し、追跡を行う技術
のうちの少なくとも１つ、又は２つ以上を合わせて実施することも好ましい。
【0044】
また、本実施形態における基地局１と端末２との間の通信方式には５Ｇが採用されているが、当然にＬＴＥ等、他の通信方式を用いてもよく、さらに、本発明による端末追跡装置と通信端末との間の通信が、他の様々な無線通信規格に基づくものであってもよい。例えば物体による遮蔽問題が５Ｇほど顕著ではない通信方式であっても、「環境情報」から検出された対象を用いて、配下の通信端末を正確に同定し追跡したい状況は少なからず発生する。例えば、ある通信端末と対応関係にあると判定されたユーザの閲覧ページと、当該ユーザの動線との関係を決定してマーケティングや管理に生かす等、端末同定・追跡ニーズは多様に存在している。これに対し、本発明による端末追跡装置によれば、そのような端末同定・追跡処理を高い精度で実施することも可能になるのである。
【0045】
また、本発明による端末追跡装置は勿論ではあるが、基地局等の通信中継装置に限定されるものでもない。例えば、端末追跡処理の専用装置として、基地局等の通信中継装置・設備に接続される形で設けられてもよい。また、本発明による端末追跡装置として、本発明による端末追跡プログラムを搭載した、クラウドサーバ、非クラウドのサーバ装置、パーソナル・コンピュータ（ＰＣ）、又はノート型若しくはタブレット型コンピュータ等を用いることも可能である。
【0046】
さらに言えば、本発明による端末追跡装置（基地局１）の構成要素である上記（Ａ）～（Ｃ）のうちの少なくとも１つが、他の構成要素とは別の装置となっている形態をとることも不可能ではない。例えば、複数のサーバの全体によって上記（Ａ）～（Ｃ）の機能を実現することも可能となっている。ここでこのような場合でも、これらの全体をもって、本発明による端末追跡方法を実施する端末追跡装置若しくはシステムであると捉えることができるのである。
【0047】
［端末追跡装置の機能構成，端末追跡プログラム］
同じく図１の機能ブロック図において、基地局１は、本発明による端末追跡装置、及び通信中継装置の一実施形態として、通信インタフェース１０１と、通信履歴情報蓄積部１０２と、カメラ１０３と、環境情報蓄積部１０４と、追跡情報保存部１０５と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、本発明による端末追跡プログラムを包含する通信中継プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この通信中継プログラムを実行することによって、端末追跡処理及び通信中継処理を実施する。
同じく図１の機能ブロック図において、基地局１は、本発明による端末追跡装置、及び通信中継装置の一実施形態として、通信インタフェース１０１と、通信履歴情報蓄積部１０２と、カメラ１０３と、環境情報蓄積部１０４と、追跡情報保存部１０５と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、本発明による端末追跡プログラムを包含する通信中継プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この通信中継プログラムを実行することによって、端末追跡処理及び通信中継処理を実施する。
【0048】
また、プロセッサ・メモリは、機能構成部として、端末通信状態決定部１１１と、位置補間部１１２ａを含む対象通信状態決定部１１２と、対象検出情報決定部１１３と、オクルージョン判定部１１４と、通信状態コスト算出部１１５ａ、位置関連コスト算出部１１５ｂ、及び外観コスト算出部１１５ｃを含む追跡対象決定・管理部１１５と、通信制御部１１６とを有する。なお、これらの機能構成部は、プロセッサ・メモリに保存された端末追跡プログラム及び通信中継プログラムの機能と捉えることができ、また、図１の機能ブロック図における基地局１の機能構成部間を矢印で接続して示した処理の流れは、本発明による端末追跡方法、及び通信中継方法の一実施形態としても理解される。
【0049】
同じく図１の機能ブロック図において、通信制御部１１６は、通信インタフェース１０１と各端末２との間の無線通信動作を制御することにより基地局としての機能を果たし、さらに、各端末２との通信に係る各種情報を取得・記録して当該情報を時系列で整理した通信履歴情報を生成し、通信履歴情報蓄積部１０２に保存・管理させる。
【0050】
同じく図１の機能ブロック図において、カメラ１０３は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の固体撮像素子を備えた可視光、近赤外線又は赤外線対応の撮影デバイスであってもよく、ＲＧＢカメラ、ＲＧＢ－Ｄカメラ、ステレオカメラ、全天球（全方位）カメラとすることもできる。勿論、カメラ１０３の代わりに、例えばＬｉＤＡＲ、レーザ・赤外線測位器、ＴＯＦカメラ、サーモグラフィデバイスといったような、端末２の存在し得る環境をセンシングし環境情報を生成可能なセンサを採用することも可能である。
【0051】
ここで本実施形態では、カメラ１０３は、環境情報としてＲＧＢ画像データ（ＲＧＢ映像データ）を生成可能なＲＧＢカメラとなっており、生成されたＲＧＢ画像データは、環境情報蓄積部１０４で保存・管理される。なお、カメラ１０３は、本実施形態では基地局１内に設置されているが、例えば基地局１とは離隔した位置に設置されたカメラ、例えば街中の監視カメラであって、基地局１と通信接続されたものであってもよい。
【0052】
また、カメラ１０３が、基地局１の内外を問わず互いに異なる位置に複数設けられていてもよい。例えば基地局１が、自らの周囲に存在する複数の基地局１の各々から、当該基地局１に設置されたカメラ１０３によって生成された「対象通信状態情報」を受信・取得して、後に詳細に説明する追跡対象決定処理を実施してもよい。この場合、複数の基地局１が連携して、本発明に係る端末追跡処理をより好適に実施することが可能となるのである。
【0053】
＜対象検出情報決定処理＞
同じく図１の機能ブロック図において、対象検出情報決定部１１３は、環境情報蓄積部１０４から取得した、「所定の対象」を含み得る画像データ（環境情報）から、
（ア）「所定の対象」の検出位置に係る情報である対象位置関連情報、及び
（イ）「所定の対象」の検出された外観（appearance）に係る情報である対象外観情報
のうちの少なくとも一方、好ましくは両方を決定する。
同じく図１の機能ブロック図において、対象検出情報決定部１１３は、環境情報蓄積部１０４から取得した、「所定の対象」を含み得る画像データ（環境情報）から、
（ア）「所定の対象」の検出位置に係る情報である対象位置関連情報、及び
（イ）「所定の対象」の検出された外観（appearance）に係る情報である対象外観情報
のうちの少なくとも一方、好ましくは両方を決定する。
【0054】
ここですでに述べたことではあるが、「所定の対象」は、例えば、
（ａ）端末２を所持した人物（ユーザ）や、
（ｂ）ドライブレコーダ機能、ＣＡＮ情報転送機能、サーバによる自動運転制御のインタフェース機能等を有する端末２の搭載された自動車、さらには、
（ｃ）サーバによる自律移動制御のインタフェース機能を有する端末２を搭載した自律移動型ロボットや自律飛行型ドローン
といったような、通信履歴情報に係る通信先である端末２を含む可能性のある"人物"や"移動体"とすることができる。また場合によっては、端末２を含む可能性のある"設備”、"施設"、"建造物"、"固定物"等も、「所定の対象」とすることがあり得るのである。
（ａ）端末２を所持した人物（ユーザ）や、
（ｂ）ドライブレコーダ機能、ＣＡＮ情報転送機能、サーバによる自動運転制御のインタフェース機能等を有する端末２の搭載された自動車、さらには、
（ｃ）サーバによる自律移動制御のインタフェース機能を有する端末２を搭載した自律移動型ロボットや自律飛行型ドローン
といったような、通信履歴情報に係る通信先である端末２を含む可能性のある"人物"や"移動体"とすることができる。また場合によっては、端末２を含む可能性のある"設備”、"施設"、"建造物"、"固定物"等も、「所定の対象」とすることがあり得るのである。
【0055】
なお、本実施形態の対象検出情報決定部１１３は当然ではあるが、「所定の対象」を含む複数種別の対象を同時に検出することもできる。ここで１つの画像データから追跡対象としての１つの「所定の対象」を検出した場合、この画像データから検出された（他の所定の対象を含む）他の対象は、検出されたこの「所定の対象」に対し、オクルージョンの原因となり得る（障害をもたらし得る）対象として取り扱われることになる。
【0056】
ここで上記（ア）の対象位置関連情報、及び上記（イ）の対象外観情報の決定処理について説明する。本実施形態において対象検出情報決定部１１３は、取得した画像データにおいて特定した複数の画像領域を設定し、各画像領域における所定の対象らしさを表すスコアを、対応する物体検出器を用いて算出し、所定条件を満たすだけの高いスコアを有する画像領域を、所定の対象に係る検出画像領域として検出する。次いで、
（ａ）検出した所定の対象に係る検出画像領域の位置（検出位置）や、当該検出画像領域の範囲（例えば四隅の座標値）、さらには連続する画像データ間での検出位置の変化分としての検出速度を、上記（ア）の対象位置関連情報とし、
（ｂ）公知の画像特徴抽出器（例えばＣＮＮ（Convolutional Neural Networks）画像特徴抽出器）を用いて算出された、所定の対象に係る検出画像領域の画像特徴量を、上記（イ）の対象外観情報とするのである。
（ａ）検出した所定の対象に係る検出画像領域の位置（検出位置）や、当該検出画像領域の範囲（例えば四隅の座標値）、さらには連続する画像データ間での検出位置の変化分としての検出速度を、上記（ア）の対象位置関連情報とし、
（ｂ）公知の画像特徴抽出器（例えばＣＮＮ（Convolutional Neural Networks）画像特徴抽出器）を用いて算出された、所定の対象に係る検出画像領域の画像特徴量を、上記（イ）の対象外観情報とするのである。
【0057】
なお、上記の物体検出器については、例えば非特許文献：Alexey Bochkovskiy, Chien-Yao Wang, and Hong-Yuan Mark Liao, “YOLOv4: Optimal Speed and Accuracy of Object Detection”,arXiv:2004.10934v1, ２０２０年 に記載されたものを採用することができる。さらに、画像認識技術の分野で公知である他の様々な物体検出器や画像特徴抽出器を用いて、上記（ア）の対象位置関連情報、及び上記（イ）の対象外観情報を決定することも可能である。
【0058】
また、カメラ１０３としてステレオカメラを採用する場合、生成された環境情報であるステレオカメラ画像データに対し、例えば、非特許文献：Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg, “SSD: single shot multibox detector”, European Conference on Computer Vision, Computer Vision-ECCV 2016, pp.21-37, ２０１６年 に記載された物体検出器を適用することも可能となっている。
【0059】
さらに他の実施形態として、カメラ１０３の代わりにＬｉＤＡＲを用い、３次元点群（ポイントクラウド）データを環境情報とする場合、所定の対象検出のための物体検出器として、例えば非特許文献：Charles R. Qi, Hao Su, Kaichun Mo, and Leonidas J. Guibas, “PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation”, 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), vol. 1, pp.77-85, ２０１７年 に開示されたものが採用可能である。
【0060】
またさらに、画像データを環境情報とするこの実施形態では、上記の画像特徴抽出器に代えて、例えば非特許文献：Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun, “Deep Residual Learning for Image Recognition”, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Vol. 1, pp.770-778, ２０１６年 に記載された特徴抽出器を用いてもよい。
【0061】
ちなみに、対象検出情報決定部１１３は本実施形態において、検出した所定の対象毎に、決定した「対象位置関連情報」及び「対象外観情報」を過去の所定期間分だけ保存しており、追跡対象決定・管理部１１５に適宜、提供可能となっている。
【0062】
＜端末通信状態情報決定処理＞
同じく図１の機能ブロック図において、端末通信状態決定部１１１は、通信履歴情報蓄積部１０２から通信履歴情報を取得し、この通信履歴情報に基づいて、端末２との間の通信に係る情報である「端末通信状態情報」を決定する。ここで本実施形態において、この「端末通信状態情報」は、
（α）端末２から受信された電波信号の受信信号電力（ＲＳＳＩ）の時系列データ、及び
（β）端末２との通信接続の有無に係る情報の時系列データ
のいずれか一方又は両方となっている。
同じく図１の機能ブロック図において、端末通信状態決定部１１１は、通信履歴情報蓄積部１０２から通信履歴情報を取得し、この通信履歴情報に基づいて、端末２との間の通信に係る情報である「端末通信状態情報」を決定する。ここで本実施形態において、この「端末通信状態情報」は、
（α）端末２から受信された電波信号の受信信号電力（ＲＳＳＩ）の時系列データ、及び
（β）端末２との通信接続の有無に係る情報の時系列データ
のいずれか一方又は両方となっている。
【0063】
このうち上記（α）について、端末通信状態決定部１１１は、端末２から受信された電波信号の時点tにおける信号電力値を示す受信信号電力変数E_tの時系列データを生成してもよい。また端末通信状態決定部１１１は、上記（β）について、端末２との通信接続が各時点において確立されているか否かの時系列情報、すなわち例えば、時点tにおいて通信接続が確立されている場合に1、確立されていない場合に－1の値をとる２値の通信接続有無変数B_t（∈{－1, 1}）の時系列データを生成してもよい。ただし、後に算出する対象通信状態情報との一致度（通信対応度合い）の精度を勘案すると、「端末通信状態情報」は、上記（α）の受信信号電力変数E_tの時系列データを含むことが好ましい。
【0064】
ちなみに、端末通信状態決定部１１１は本実施形態において、追跡している端末２毎に決定した「端末通信状態情報」を、過去の所定期間分だけ保存しており、追跡対象決定・管理部１１５に適宜、提供可能となっている。また端末通信状態決定部１１１は、基地局１の配下に存在する個々の端末２から例えばＩＭＳＩ（International Mobile Subscriber Identity）を取得し、ＩＭＳＩにより識別された端末２毎に、決定した「端末通信状態情報」を取りまとめ、以後の処理を当該端末２毎に分けて実施させることも好ましい。
【0065】
＜対象通信状態情報決定処理＞
同じく図１の機能ブロック図において、対象通信状態決定部１１２は、環境情報蓄積部１０４より取得した、「所定の対象」を含み得る画像データ（環境情報）から、「所定の対象」が端末２を含むならばこの「所定の対象」との間で具現することになる通信状態に係る情報である「対象通信状態情報」を決定する。
同じく図１の機能ブロック図において、対象通信状態決定部１１２は、環境情報蓄積部１０４より取得した、「所定の対象」を含み得る画像データ（環境情報）から、「所定の対象」が端末２を含むならばこの「所定の対象」との間で具現することになる通信状態に係る情報である「対象通信状態情報」を決定する。
【0066】
（「対象通信状態情報」として受信電波強度データを用いる場合）
この対象通信状態決定部１１２で決定される「対象通信状態情報」は、
（α’）「所定の対象」が端末２を含むならばこの「所定の対象」から受信されることになる電波の強度に係る情報（受信電波強度データ）
とすることができる。この場合、対象通信状態決定部１１２は、（対象検出情報決定部１１３において）画像データから検出された「所定の対象」の検出位置と、（障害をもたらし得る）「他の対象」の検出位置とに基づき、後に説明に用いる図３の右側に示したように、
（ａ）「所定の対象」と基地局１（のアンテナ）とを結ぶ直線分を決定し、
（ｂ）「他の対象」が、この直線分を含む所定領域を遮る度合いに係る遮蔽度合情報を算出し、
（ｃ）算出した遮蔽度合情報から、「対象通信状態情報」として、「所定の対象」が端末２を含むならばこの「所定の対象」から受信されることになる受信電波強度データを算出するのである。
この対象通信状態決定部１１２で決定される「対象通信状態情報」は、
（α’）「所定の対象」が端末２を含むならばこの「所定の対象」から受信されることになる電波の強度に係る情報（受信電波強度データ）
とすることができる。この場合、対象通信状態決定部１１２は、（対象検出情報決定部１１３において）画像データから検出された「所定の対象」の検出位置と、（障害をもたらし得る）「他の対象」の検出位置とに基づき、後に説明に用いる図３の右側に示したように、
（ａ）「所定の対象」と基地局１（のアンテナ）とを結ぶ直線分を決定し、
（ｂ）「他の対象」が、この直線分を含む所定領域を遮る度合いに係る遮蔽度合情報を算出し、
（ｃ）算出した遮蔽度合情報から、「対象通信状態情報」として、「所定の対象」が端末２を含むならばこの「所定の対象」から受信されることになる受信電波強度データを算出するのである。
【0067】
ここで具体的に、上記（ｂ）の遮蔽度合情報は以下のように算出される。最初に、図３の右側に示したように、障害をもたらし得る「他の対象」に対しその種別（クラス）に応じて所定の大きさ（所定の面積を有する検出位置での断面領域）を予め設定しておき、さらに、上記の直線分を回転軸として含む所定の大きさの回転体領域を設定した上で、ある時点t（＝t0－M, t0－M＋1, ・・・, t0－1, t0）において、
（ｂ１）いずれの「他の対象」も、その検出位置においてその断面領域の一部が上記の回転体領域内に含まれていない（他の対象の断面領域と回転体領域とが重畳部分を有さない）場合には1の値をとり、一方、
（ｂ２）いずれかの「他の対象」で、その検出位置においてその断面領域の一部が上記の回転体領域内に含まれている（他の対象の断面領域と回転体領域とが重畳部分を有する）場合には、次式
（１） R＝(Sa∩Sb -)／Sa
をもって算出されるR値をとる
ような変数E'_tの時系列データを遮蔽度合情報とすることができる。
（ｂ１）いずれの「他の対象」も、その検出位置においてその断面領域の一部が上記の回転体領域内に含まれていない（他の対象の断面領域と回転体領域とが重畳部分を有さない）場合には1の値をとり、一方、
（ｂ２）いずれかの「他の対象」で、その検出位置においてその断面領域の一部が上記の回転体領域内に含まれている（他の対象の断面領域と回転体領域とが重畳部分を有する）場合には、次式
（１） R＝(Sa∩Sb -)／Sa
をもって算出されるR値をとる
ような変数E'_tの時系列データを遮蔽度合情報とすることができる。
【0068】
ここで、上式（１）において、Saは、上記の回転体領域における「他の対象」の検出位置での（回転軸に垂直な）断面領域を表す集合（例えば当該領域を形成する単位点領域の集合）であり、Sbは、「他の対象」の検出位置での断面領域を表す集合（例えば当該領域を形成する単位点領域の集合）である。また、Sb
-は、Sbの補集合であり、「／」は、分子の集合に係る断面領域の面積値（例えば単位点領域数）を、分母に係る断面領域の面積値（例えば単位点領域数）で割り算することを示す演算子である。
【0069】
次いで、対象通信状態決定部１１２は、この変数E'_t（又は当該変数E'_tに所定の定数を乗算したもの）の時系列データを、受信電波強度データとしての「対象通信状態情報」とするのである。ここで以下、変数E'_tは、上述した受信信号電力変数E_tと区別するため、受信電力相当変数と称することとする。
【0070】
なお、上記のR値をとるような「他の対象」が2つ以上存在する場合、Sbは、これらの「他の対象」の断面領域全体が形成する領域、すなわちこれらの断面領域の和集合として表される領域としてもよい。さらに、上記の回転体領域は、円柱領域であってもよく、または、楕円体のように所定の曲線を回転軸の周りで回転させることにより形成可能なものであってもよい。
【0071】
さらに変更態様として、対象通信状態決定部１１２は、入力された画像データに応じ、受信される電波の強度に係る情報を出力する学習済みの「対象電波情報推定モデル」を用いて、取得した画像データから、「所定の対象」が端末２を含むならば当該「所定の対象」から受信されることになる電波の強度に係る情報を導出し、当該電波の強度に係る情報を、「対象通信状態情報」に決定してもよい。
【0072】
ここで、上記の「対象電波情報推定モデル」としては、非特許文献１に開示されたような公知の機械学習モデルを採用することができる。具体的には、ある時点t（＝t0－M, t0－M＋1, ・・・, t0－1, t0）における画像データをこのモデルへ入力して、受信信号電力の推定値を出力させ、この推定値を受信電力相当変数E'_t値として、この受信電力相当変数E'_tの時系列データを「対象通信状態情報」とするのである。
【0073】
（「対象通信状態情報」として通信接続可否データを用いる場合）
また、対象通信状態決定部１１２で決定される「対象通信状態情報」は、
（β’）「所定の対象」との通信接続の可否に係る情報（通信接続可否データ）
とすることも可能である。この場合、対象通信状態決定部１１２は、取得した画像データから検出された「所定の対象」の検出位置と、検出された障害をもたらし得る「他の対象」の検出位置とに基づき、
（ａ）「所定の対象」と基地局１（のアンテナ）とを結ぶ直線分を決定し、
（ｂ）「他の対象」が、この直線分上若しくはこの直線分を含む所定領域内に位置しているか否か、又はこの直線分を遮っているか否かの通信接続可否データを算出し、
（ｃ）算出した通信接続可否データを「対象通信状態情報」に決定する
ことも好ましい。
また、対象通信状態決定部１１２で決定される「対象通信状態情報」は、
（β’）「所定の対象」との通信接続の可否に係る情報（通信接続可否データ）
とすることも可能である。この場合、対象通信状態決定部１１２は、取得した画像データから検出された「所定の対象」の検出位置と、検出された障害をもたらし得る「他の対象」の検出位置とに基づき、
（ａ）「所定の対象」と基地局１（のアンテナ）とを結ぶ直線分を決定し、
（ｂ）「他の対象」が、この直線分上若しくはこの直線分を含む所定領域内に位置しているか否か、又はこの直線分を遮っているか否かの通信接続可否データを算出し、
（ｃ）算出した通信接続可否データを「対象通信状態情報」に決定する
ことも好ましい。
【0074】
より具体的には、上記（ｂ）の通信接続可否データとして、いずれかの「他の対象」の検出位置が、ある時点t（＝＝t0－M, t0－M＋1, ・・・, t0－1, t0）において上記の直線分上に又はこの直線分を回転軸として含む所定の大きさの回転体領域内に位置する場合には－1、そうでない場合には1の値をとるような２値の通信接続可否変数：
（２） B'_t∈{－1, 1}
の時系列データを生成し、これを「対象通信状態情報」としてもよい。ここで、上記の回転体領域は、円柱領域であってもよく、または、楕円体のように所定の曲線を回転軸の周りで回転させることにより形成可能なものであってもよい。
（２） B'_t∈{－1, 1}
の時系列データを生成し、これを「対象通信状態情報」としてもよい。ここで、上記の回転体領域は、円柱領域であってもよく、または、楕円体のように所定の曲線を回転軸の周りで回転させることにより形成可能なものであってもよい。
【0075】
また変更態様として、対象通信状態決定部１１２は、「他の対象」に対しその種別（クラス）に応じて所定の大きさ（検出位置での断面積）を予め設定しておき、いずれかの「他の対象」が、その検出位置においてその大きさ（断面積）をもって上記の直線分を遮っている（上記の直線分が「他の対象」の当該断面を貫通している）場合には－1、そうではない場合には1の値をとるような通信接続可否変数として、上記（２）のB'_tを定義してもよい。
【0076】
以上、「対象通信状態情報」を、
（α’）受信電力相当変数E'_tの時系列データ（受信電波強度データ）とする場合、及び
（β’）通信接続可否変数B'_tの時系列データ（通信接続可否データ）とする場合
の処理を説明した。ここで、後に算出する端末通信状態情報との一致度（通信対応度合い）の精度を勘案すると、「対象通信状態情報」は、上記（α’）の受信電力相当変数E'_tの時系列データであることも好ましい。
（α’）受信電力相当変数E'_tの時系列データ（受信電波強度データ）とする場合、及び
（β’）通信接続可否変数B'_tの時系列データ（通信接続可否データ）とする場合
の処理を説明した。ここで、後に算出する端末通信状態情報との一致度（通信対応度合い）の精度を勘案すると、「対象通信状態情報」は、上記（α’）の受信電力相当変数E'_tの時系列データであることも好ましい。
【0077】
ちなみに、対象通信状態決定部１１２は、は本実施形態において、検出された所定の対象毎に、決定した「対象通信状態情報」を、過去の所定期間分だけ保存しており、追跡対象決定・管理部１１５に適宜、提供可能となっている。
【0078】
＜オクルージョン判定処理＞
同じく図１の機能ブロック図において、オクルージョン判定部１１４は、追跡している端末２に係る所定の対象（例えば"人物"）について、対象検出情報決定部１１３からの情報に基づき、各時点においてオクルージョンが生じている（若しくは生じると予測される）か否かの判定を行い、この判定結果を、この後詳細に説明する追跡対象決定・管理部１１５へ出力する。
同じく図１の機能ブロック図において、オクルージョン判定部１１４は、追跡している端末２に係る所定の対象（例えば"人物"）について、対象検出情報決定部１１３からの情報に基づき、各時点においてオクルージョンが生じている（若しくは生じると予測される）か否かの判定を行い、この判定結果を、この後詳細に説明する追跡対象決定・管理部１１５へ出力する。
【0079】
図２は、オクルージョン判定部１１４におけるオクルージョン判定処理の２つの態様を説明するための模式図である。
【0080】
最初に図２（Ａ）によれば、オクルージョン判定部１１４は、対象検出情報決定部１１３から、時点t0よりも過去の時点（例えば時点t0-1）における追跡している端末２に係る所定の対象（例えば"人物"）の検出位置及び検出速度（対象位置関連情報）を取得し、これらの情報から、この所定の対象（"人物"）の時点t0での予測位置を決定する。
【0081】
次いで、オクルージョン判定部１１４は、決定した予測位置を含む所定範囲（例えば予測位置を中心とした所定の大きさの実空間円形範囲に対応する画像領域）内に、時点t0において他の所定の対象（例えば"人物"）を検出した場合、この時点t0においてオクルージョンが生じていると判定することができる。
【0082】
【0083】
次いで、オクルージョン判定部１１４は、決定した予測位置を含む所定範囲（例えば予測位置を中心とした所定の大きさの実空間円形範囲に対応する画像領域）内に、時点t0において、この所定の対象を含め何らの対象も検出されない場合に、この時点t0においてオクルージョンが生じていると判定することができる。なおこの場合、追跡している所定の対象が完全に遮蔽されるようなオクルージョンの生じている可能性が高い。
【0084】
また、オクルージョン判定処理の別の態様として、オクルージョン判定部１１４は、対象検出情報決定部１１３において、ある時点t0における画像データから、追跡している所定の対象（例えば"人物"）における対象位置関連情報及び対象外観情報のうちの一方又は両方が決定できなかった場合に、その旨の報告を受けて、この時点t0においてオクルージョンが生じていると判定することも可能である。
【0085】
さらに、オクルージョン判定部１１４は更なる別の態様として、対象検出情報決定部１１３において、ある時点t0における画像データから、追跡している所定の対象（例えば"人物"）と、それとは別の所定の対象（例えば"人物"）とを検出した場合に、それらの検出位置間の距離（例えば実空間上での所定の距離に相当する画像空間上での距離）が所定閾値未満であれば、この時点t0においてオクルージョンが生じていると判定することも可能である。なおこの場合、検出位置が決定できる程度の部分的なオクルージョンの生じている可能性が高い。
【0086】
＜追跡対象決定処理・端末追跡処理＞
図１の機能ブロック図に戻って、本実施形態の追跡対象決定・管理部１１５は、所定の対象（例えば"人物"）についてオクルージョンが生じておらず対象検出情報決定部１１３において対象位置関連情報や対象外観情報が決定される時間区間では、少なくとも、
（ア）決定された対象位置関連情報と過去の対象位置関連情報から予測された予測対象位置関連情報とが一致する度合いである「位置関連一致度合い」、及び
（イ）決定された対象外観情報と過去の対象外観情報とが一致する度合いである「外観一致度合い」
のいずれか一方又は両方（本実施形態では両方）に基づき、追跡している端末２と所定の対象（"人物"）とが対応関係にあるか否かを判定し、端末追跡処理を行う。
図１の機能ブロック図に戻って、本実施形態の追跡対象決定・管理部１１５は、所定の対象（例えば"人物"）についてオクルージョンが生じておらず対象検出情報決定部１１３において対象位置関連情報や対象外観情報が決定される時間区間では、少なくとも、
（ア）決定された対象位置関連情報と過去の対象位置関連情報から予測された予測対象位置関連情報とが一致する度合いである「位置関連一致度合い」、及び
（イ）決定された対象外観情報と過去の対象外観情報とが一致する度合いである「外観一致度合い」
のいずれか一方又は両方（本実施形態では両方）に基づき、追跡している端末２と所定の対象（"人物"）とが対応関係にあるか否かを判定し、端末追跡処理を行う。
【0087】
ここで本実施形態ではさらに、ここまで説明してきた「通信対応度合い」を用いる処理であるが、
（ウ）追跡している端末２に関し決定された端末通信状態情報と、所定の対象（"人物"）に関し決定された対象通信状態情報とが対応する度合いである「通信対応度合い」
にも基づいて、追跡している端末２と所定の対象（"人物"）とが対応関係にあるか否かを判定し、対応関係にあると判定された所定の対象（"人物"）を、追跡している端末２に係る対象に決定し、端末追跡処理を行うのである。
（ウ）追跡している端末２に関し決定された端末通信状態情報と、所定の対象（"人物"）に関し決定された対象通信状態情報とが対応する度合いである「通信対応度合い」
にも基づいて、追跡している端末２と所定の対象（"人物"）とが対応関係にあるか否かを判定し、対応関係にあると判定された所定の対象（"人物"）を、追跡している端末２に係る対象に決定し、端末追跡処理を行うのである。
【0088】
またさらに、本実施形態の追跡対象決定・管理部１１５は、所定の対象について検出位置の決定されないオクルージョンが生じて解消した際、ここまで説明してきた上記（ウ）の「通信対応度合い」を必ず用いて、例えばこの「通信対応度合い」のみに基づいて、端末２と所定の対象（"人物"）との対応関係判定処理及び端末追跡処理を実施するのである。
【0089】
これは、検出位置の決定されないオクルージョンが生じて解消した時点における上記（ア）の「位置関連一致度合い」や上記（イ）の「外観一致度合い」の算出については、このオクルージョンの生じていた時間区間における「（過去の）対象位置関連情報」や「（過去の）対象外観情報」を必要とするところ、これらの情報は、まさにこのようなオクルージョンが生じていたが故に取得できないものとなっていることによる。すなわちこの場合、上記（ア）の「位置関連一致度合い」も上記（イ）の「外観一致度合い」も、そもそも算出できないのである。
【0090】
以下、以上に述べた「位置関連一致度合い」、「外観一致度合い」及び「通信対応度合い」を用いた具体的な対応関係判定・端末追跡処理の説明を行う。同じく図１の機能ブロック図において、追跡対象決定・管理部１１５の通信状態コスト算出部１１５ａ、位置関連コスト算出部１１５ｂ、及び外観コスト算出部１１５ｃはそれぞれ、所定の対象についての上述したような位置関連一致度合い、外観一致度合い及び通信対応度合いを算出した上で、
（ａ）位置関連一致度合いの単調減少関数（例えば逆数）である「位置関連コスト」、
（ｂ）外観一致度合いの単調減少関数（例えば逆数）である「外観コスト」、及び
（ｃ）通信対応度合いの単調減少関数（例えば逆数）である「通信状態コスト」
を算出する。これらのコストはいずれも、小さいほど（端末２と所定の対象とが）対応関係にある可能性の高くなるような値となっている。
（ａ）位置関連一致度合いの単調減少関数（例えば逆数）である「位置関連コスト」、
（ｂ）外観一致度合いの単調減少関数（例えば逆数）である「外観コスト」、及び
（ｃ）通信対応度合いの単調減少関数（例えば逆数）である「通信状態コスト」
を算出する。これらのコストはいずれも、小さいほど（端末２と所定の対象とが）対応関係にある可能性の高くなるような値となっている。
【0091】
次いで本実施形態の追跡対象決定・管理部１１５は、検出された複数の所定の対象（例えば"人物"）について、算出された（ａ）位置関連コストCgeo、（ｂ）外観コストCapp、及び（ｃ）通信状態コストCradioにおける、ゼロ値も取り得る重みλによる重み付け和である追跡コストCostを算出し、この追跡コストCostが所定条件を満たすだけ小さい、例えば追跡コストCostが最小となっている所定の対象（"人物"）を、追跡している端末２に係る対象に決定するのである。ここで、このような追跡コストCostは、例えば次式
（３） Cost＝(1－λ)・(Cgeo＋Capp)＋λ・Cradio
によって算出することができる。上式（３）において、λは0以上であって1以下の重みである。ちなみに変更態様として、上式（３）における位置関連コストCgeoと外観コストCappに対する重み係数（上式（３）ではともに1－λ）を異なる値となるように設定することもできる。さらに精度の問題は生じるが、上式（３）を、位置関連コストCgeo及び外観コストCappのいずれか一方のみを用いる形とすることも可能である。
（３） Cost＝(1－λ)・(Cgeo＋Capp)＋λ・Cradio
によって算出することができる。上式（３）において、λは0以上であって1以下の重みである。ちなみに変更態様として、上式（３）における位置関連コストCgeoと外観コストCappに対する重み係数（上式（３）ではともに1－λ）を異なる値となるように設定することもできる。さらに精度の問題は生じるが、上式（３）を、位置関連コストCgeo及び外観コストCappのいずれか一方のみを用いる形とすることも可能である。
【0092】
（通信状態コスト算出）
図３は、本発明に係る通信状態コストの算出処理の具体例を説明するための模式図である。
図３は、本発明に係る通信状態コストの算出処理の具体例を説明するための模式図である。
【0093】
図３に示した通信状態コストCradio算出の具体例において、通信状態コスト算出部１１５ａは、最初に、
（ａ）端末通信状態決定部１１１で決定された（端末通信状態情報としての）追跡している端末２の受信信号電力変数E_tの時系列データと、
（ｂ）対象通信状態決定部１１２で決定された（対象通信状態情報としての）所定の対象に係る受信電力相当変数E'_tの時系列データと
の一致度（通信対応度合い）Crを、所定時間区間における両者の相互相関（ΣtE_t＊E'_t）として算出する。
（ａ）端末通信状態決定部１１１で決定された（端末通信状態情報としての）追跡している端末２の受信信号電力変数E_tの時系列データと、
（ｂ）対象通信状態決定部１１２で決定された（対象通信状態情報としての）所定の対象に係る受信電力相当変数E'_tの時系列データと
の一致度（通信対応度合い）Crを、所定時間区間における両者の相互相関（ΣtE_t＊E'_t）として算出する。
【0094】
ちなみに、端末通信状態情報及び対象通信状態情報としてそれぞれ、通信接続有無変数B_t及通信接続可否変数B'_tの時系列データを採用した場合、一致度Crは、所定時間区間におけるこれらの相互相関（ΣtB_t＊B'_t）として算出されることになる。
【0095】
より具体的に、通信状態コスト算出部１１５ａは、検出位置の決定されないようなオクルージョンは生じていないと判断される（対象検出情報決定部１１３において当該所定の対象の検出位置（対象位置関連情報）が保存されている）時点t0における一致度Crを、過去の所定時間区間（t＝t0－M, t0－M＋1, ・・・, t0－Nの時間区間）における受信信号電力変数E_tと受信電力相当変数E'_tとの相互相関として、次式
（４） Cr＝C0・Σt=t0-M t0-NE_t＊E'_t
を用いて算出する。ここで上式（４）において、Σt=t0-N t0-Nは、時点t（＝t0－M, t0－M＋1, ・・・, t0－N）についての総和（summation）を示す演算子である。また、C0は、完全一致の際にCr値が1となるように調整するための係数である。さらに、Mは、時点t0－Mが相互相関をとるのに十分な過去の時点（例えば10秒前の時点）となるように設定された整数である。
（４） Cr＝C0・Σt=t0-M t0-NE_t＊E'_t
を用いて算出する。ここで上式（４）において、Σt=t0-N t0-Nは、時点t（＝t0－M, t0－M＋1, ・・・, t0－N）についての総和（summation）を示す演算子である。また、C0は、完全一致の際にCr値が1となるように調整するための係数である。さらに、Mは、時点t0－Mが相互相関をとるのに十分な過去の時点（例えば10秒前の時点）となるように設定された整数である。
【0096】
またNは、時点t0－Nが時点t0から見て（対象検出情報決定部１１３において）当該所定の対象の検出位置（対象位置関連情報）が保存されている最新の（時点t0から最も近い）時点となるような1以上の整数である。したがって、N＝1であって時点t0から見て直前の時点t0－1における当該所定の対象の検出位置が対象検出情報決定部１１３に保存されている場合、すなわち検出位置の決定されないオクルージョンが直近に生じていない場合、時点t0における一致度Crは、次式
（４’） Cr＝C0・Σt=t0-M t0-1E_t＊E'_t
を用いて算出されることになる。
（４’） Cr＝C0・Σt=t0-M t0-1E_t＊E'_t
を用いて算出されることになる。
【0097】
これに対し、N＞1である場合、時点t0－N＋1から時点t0－1までの時間区間における当該所定の対象の検出位置は、検出処理ができないほどのオクルージョンの発生によって決定されておらず、その結果、このようなオクルージョンの生じていた時間区間における受信電力相当変数E'_tは算出されていない。したがってこの場合、このままでは上式（４）で表される一致度Crは算出することができない。
【0098】
そこで、対象通信状態決定部１１２の位置補間部１１２ａ（図１）は、時点t0－N＋1から時点t0－1までの時間区間における検出位置が決定・保存されていない（受信電力相当変数E'_tが算出されていない）ことを受け、このようなオクルージョンが生じていた時間区間の各時点（時点t0－N＋1，時点t0－N＋2，・・・，時点t0－1）における当該所定の対象の位置を補間処理によって決定する。具体的には、取得した時点t0－Nでの検出位置（又は取得された時点t0－N以前での検出位置）と、取得した時点t0での検出位置とを、公知の補間方法、例えば線形補間法やスプライン補間法によって補完することにより、時点t0－N＋1、時点t0－N＋2、・・・及び時点t0－1での位置を決定することができる。
【0099】
次いで対象通信状態決定部１１２（図１）は、補間位置として決定された各時点（時点t0－N＋1，時点t0－N＋2，・・・，時点t0－1）での位置に、当該所定の対象が存在するとして、当該各時点での受信電力相当変数E'_t（対象通信状態情報）を決定するのである。これにより、通信状態コスト算出部１１５ａは、生じたオクルージョンが解消した時点t0においても、上式（４）を用いて一致度Crを算出することが可能となる。
【0100】
またさらに、通信状態コスト算出部１１５ａは、以上述べたようにして算出した一致度Crの逆数をとり、この逆数を通信状態コストCradioに決定する。ここで、一致度Crは0＜Cr≦1を満たす数値をとるので、通信状態コストCradioは1以上の値をとり、この通信状態コストCradioが大きいほど、当該所定の対象は追跡している端末２に対応しない可能性が高くなるのである。
【0101】
ちなみに図３においては、対象Ａの通信状態コストCradioは、受信電力相当変数E'_tの波形が受信信号電力変数E_tの波形とより似ている分、対象Ｂの通信状態コストCradioよりも小さくなっており、したがって通信状態コストCradioだけで見ると、対象Ａの方が追跡している端末２に対応している可能性がより高いと言えるのである。
【0102】
（位置関連コスト算出，外観コスト算出）
図４は、本発明に係る位置関連コスト及び外観コストの算出処理の具体例を説明するための模式図である。
図４は、本発明に係る位置関連コスト及び外観コストの算出処理の具体例を説明するための模式図である。
【0103】
最初に、図４（Ａ）に示した位置関連コストCgeo算出の具体例において、位置関連コスト算出部１１５ｂは、当該所定の対象について、
（ａ）決定された（対象位置関連情報としての）検出画像領域の範囲（例えば四隅の座標値）と、
（ｂ）過去の（対象位置関連情報としての）検出位置から予測された（予測対象位置関連情報としての）検出画像領域の範囲と
の一致度（位置関連一致度合い）Cgを算出する。
（ａ）決定された（対象位置関連情報としての）検出画像領域の範囲（例えば四隅の座標値）と、
（ｂ）過去の（対象位置関連情報としての）検出位置から予測された（予測対象位置関連情報としての）検出画像領域の範囲と
の一致度（位置関連一致度合い）Cgを算出する。
【0104】
より具体的に、位置関連コスト算出部１１５ｂは、検出位置の決定されないようなオクルージョンは生じていないと判断される（対象検出情報決定部１１３において当該所定の対象の検出位置（対象位置関連情報）が保存されている）時点t0において、
（ａ）この時点t0における、当該所定の対象についての検出画像領域の範囲S1と、
（ｂ）この時点t0から見て（対象検出情報決定部１１３において）当該所定の対象の検出位置（対象位置関連情報）が保存されている最新の（時点t0から最も近い）時点t0－Nにおける検出位置から、同じく時点t0－Nにおける検出速度を用いて予測した、時点t0における予測検出画像領域の範囲S2と
の重畳部分の面積をS1∩S2とし、さらに、（ａ）検出画像領域の範囲S1と（ｂ）予測検出画像領域の範囲S2との全体が占める面積をS1∪S2として、次式
（５） Cg＝(S1∩S2)／(S1∪S2)
によって、時点t0における一致度Cgを算出する。
（ａ）この時点t0における、当該所定の対象についての検出画像領域の範囲S1と、
（ｂ）この時点t0から見て（対象検出情報決定部１１３において）当該所定の対象の検出位置（対象位置関連情報）が保存されている最新の（時点t0から最も近い）時点t0－Nにおける検出位置から、同じく時点t0－Nにおける検出速度を用いて予測した、時点t0における予測検出画像領域の範囲S2と
の重畳部分の面積をS1∩S2とし、さらに、（ａ）検出画像領域の範囲S1と（ｂ）予測検出画像領域の範囲S2との全体が占める面積をS1∪S2として、次式
（５） Cg＝(S1∩S2)／(S1∪S2)
によって、時点t0における一致度Cgを算出する。
【0105】
なお、以上に述べたような一致度Cgの算出処理によれば、検出位置が決定されないオクルージョンの生じている時点が存在する、すなわちN＞1である場合においても、時点t0における一致度Cgを確実に算出することができるのである。
【0106】
またさらに、位置関連コスト算出部１１５ｂは、以上述べたようにして算出した一致度Cgの逆数をとり、この逆数を位置関連コストCgeoに決定する。ここで、一致度Cgは0＜Cg≦1を満たす数値をとるので、位置関連コストCgeoは、1以上の値をとり、この位置関連コストCgeoが大きいほど、当該所定の対象は追跡している端末２に対応しない可能性が高くなるのである。
【0107】
次に、図４（Ｂ）に示した外観コストCapp算出の具体例において、外観コスト算出部１１５ｃは、当該所定の対象について、
（ａ）決定された（対象外観情報としての）検出画像領域の画像特徴量と、
（ｂ）過去の（対象外観情報としての）検出画像領域の画像特徴量と
の一致度（外観一致度合い）Caを算出する。
（ａ）決定された（対象外観情報としての）検出画像領域の画像特徴量と、
（ｂ）過去の（対象外観情報としての）検出画像領域の画像特徴量と
の一致度（外観一致度合い）Caを算出する。
【0108】
より具体的に、外観コスト算出部１１５ｃは、検出位置の決定されないようなオクルージョンは生じていないと判断される（対象検出情報決定部１１３において当該所定の対象の対象外観情報が保存されている）時点t0において、
（ａ）この時点t0における、当該所定の対象の検出画像領域についての、公知のＣＮＮ画像特徴抽出器を用いて導出された画像特徴量と、
（ｂ）この時点t0から見て（対象検出情報決定部１１３において）当該所定の対象の対象外観情報が保存されている最新の（時点t0から最も近い）時点t0－Nにおける、当該所定の対象の検出画像領域についての、上記（ａ）と同じＣＮＮ画像特徴抽出器を用いて導出された画像特徴量と
の類似度を、公知の特徴量間類似度算出手法、例えば非特許文献２に記載された手法を用いて算出し、算出された類似度を、時点t0における一致度Caとするのである。
（ａ）この時点t0における、当該所定の対象の検出画像領域についての、公知のＣＮＮ画像特徴抽出器を用いて導出された画像特徴量と、
（ｂ）この時点t0から見て（対象検出情報決定部１１３において）当該所定の対象の対象外観情報が保存されている最新の（時点t0から最も近い）時点t0－Nにおける、当該所定の対象の検出画像領域についての、上記（ａ）と同じＣＮＮ画像特徴抽出器を用いて導出された画像特徴量と
の類似度を、公知の特徴量間類似度算出手法、例えば非特許文献２に記載された手法を用いて算出し、算出された類似度を、時点t0における一致度Caとするのである。
【0109】
なお、以上に述べたような一致度Caの算出処理によれば、検出位置が決定されないオクルージョンの生じている時点が存在する、すなわちN＞1である場合においても、時点t0における一致度Cａを確実に算出することができるのである。
【0110】
またさらに、外観コスト算出部１１５ｃは、以上述べたようにして算出した一致度Caの逆数をとり、この逆数を外観コストCappに決定する。ここで、一致度Caは0＜Ca≦1を満たす数値をとるので、外観コストCaは、1以上の値をとり、この外観コストCaが大きいほど、当該所定の対象は追跡している端末２に対応しない可能性が高くなるのである。
【0111】
＜追跡対象決定処理の種々の実施形態＞
図５は、追跡対象決定・管理部１１５における追跡対象決定処理の種々の実施形態を説明するための模式図である。
図５は、追跡対象決定・管理部１１５における追跡対象決定処理の種々の実施形態を説明するための模式図である。
【0112】
図５によれば、追跡対象決定・管理部１１５は、時点t0における対象Ａ（"人物"）及び対象Ｂ（"人物"）それぞれの位置関連コストCgeo_A及びCgeo_B、外観コストCapp_A及びCapp_B、並びに通信状態コストCradio_A及びCradio_Bを算出し、それぞれの時点t0における追跡コストCost_A及びCost_Bを、次式
（６） Cost_A＝(1－λ)・(Cgeo_A＋Capp_A)＋λ・Cradio_A
（７） Cost_B＝(1－λ)・(Cgeo_B＋Capp_B)＋λ・Cradio_B
を用いて決定している。
（６） Cost_A＝(1－λ)・(Cgeo_A＋Capp_A)＋λ・Cradio_A
（７） Cost_B＝(1－λ)・(Cgeo_B＋Capp_B)＋λ・Cradio_B
を用いて決定している。
【0113】
次いで追跡対象決定・管理部１１５は本実施形態において、追跡コストCostが最小となっている（図５の場合では追跡コストCostが小さい方の）対象Ａ（"人物"）を、追跡している端末２に係る対象に決定し、当該端末２の追跡を続行していくのである。ちなみに、図５では、外観コストCappについては両者で差はないが、位置関連コストCgeoも通信状態コストCradioも明らかに、対象Ａ（"人物"）の方が小さくなっている。
【0114】
ここで追跡対象決定・管理部１１５は、例えばオクルージョン判定部１１４からの判定結果の内容を用いて、上式（６）及び（７）において共通の重みλ（0≦λ≦1）の値を適宜設定し、決定される追跡コストCost値の精度をより高め、より適切な追跡対象決定・端末追跡処理を実施するのである。
【0115】
例えば好適な一実施形態として、追跡対象決定・管理部１１５は、所定の対象（図５では対象Ａ及び対象Ｂの各々）についてオクルージョンが生じて解消した時点t0で、若しくはこの時点t0から所定時間Δtが経過した時点t0＋Δtまでの間、重みλを（オクルージョンが生じてこなかった状況での値よりも）大きくすることも好ましい。例えばオクルージョンが生じてこなかった状況ではλ＝0としてきた場合に、この時点t0、若しくはその後の所定時間Δtの間において、重みλを非ゼロの有限値、例えば1としてもよい。
【0116】
このような重みλの設定により、当該所定の対象における、通信状態コストCradioに掛かる重み係数（λ）はより大きくなり、一方、位置関連コストCgeo及び外観コストCappに掛かる重み係数（1－λ）はより小さく若しくはゼロとなって、結局、通信状態コストCradioを重視した追跡コストCostを算出することになる。
【0117】
このように、オクルージョンの生じていた故にその精度が低くなっている可能性の高い位置関連コストCgeo及び外観コストCappの追跡コストCostに対する寄与分を減らし若しくは無くし、一方で、それほどオクルージョンの影響を受けない通信状態コストCradioをより強く反映させることによって、オクルージョンが生じたにもかかわらず相当の精度が期待される追跡コストCostを決定することが可能となるのである。
【0118】
また好適な他の実施形態として、追跡対象決定・管理部１１５は、所定の対象（図５では対象Ａ及び対象Ｂの各々）についてオクルージョンが生じて解消した時点t0から時間経過とともに、重みλを（オクルージョンが生じてこなかった状況での値よりも）大きい値から順次小さくすることも好ましい。例えばこの時点t0においてλ＝1とした場合において、時間経過とともに、重みλの値を1から0に向けて減少させてもよい。
【0119】
例えば、重みλの減衰係数をδとし、時点t0での重みλをλ0として、重みλを、次式
（８） λ＝λ0・exp(t0－t)
のように設定し、その結果として、時点tでの追跡コストCost(t)を、次式
（９） Cost(t)＝(1－λ0・exp(t0－t))・(Cgeo＋Capp)＋λ0・exp(t0－t)・Cradio
を用いて算出することも好ましいのである。
（８） λ＝λ0・exp(t0－t)
のように設定し、その結果として、時点tでの追跡コストCost(t)を、次式
（９） Cost(t)＝(1－λ0・exp(t0－t))・(Cgeo＋Capp)＋λ0・exp(t0－t)・Cradio
を用いて算出することも好ましいのである。
【0120】
このような重みλの設定により、当該所定の対象における、通信状態コストCradioに掛かる重み係数（λ）は、オクルージョンが解消した時点t0から順次、（例えば1から）0に向けて小さくなり、一方、位置関連コストCgeo及び外観コストCappに掛かる重み係数（1－λ）は順次、（例えば0から）1に向けて大きくなり、結局、時間経過とともに位置関連コストCgeo及び外観コストCappをより重視した（逆に言えば通信状態コストCradioの寄与を減少させた）追跡コストCostを算出することになる。
【0121】
このように、オクルージョンが解消されてから時間が経過するとともに、本来（オクルージョンが生じてこなかった状況では）より高い精度の期待される位置関連コストCgeo及び外観コストCappの追跡コストCostに対する寄与分を順次、増加させることによって、より精度の高い追跡コストCostを決定することが可能となるのである。
【0122】
図６は、追跡対象決定・管理部１１５における追跡対象決定処理の更なる他の実施形態を説明するための模式図である。
【0123】
図６に示した実施形態において、追跡対象決定・管理部１１５は、時点t0における対象Ａ（"人物"）及び対象Ｂ（"人物"）それぞれの位置関連コストCgeo_A及びCgeo_B、外観コストCapp_A及びCapp_B、並びに通信状態コストCradio_A及びCradio_Bを算出し、それぞれの時点t0における追跡コストCost_A及びCost_Bを決定して、追跡している端末２に係る対象を決定し、当該端末２の追跡を行っている。
【0124】
ここで、追跡対象決定・管理部１１５は、例えばオクルージョン判定部１１４からの判定結果の内容を用いて、時点t0の前の（過去の）時点で対象Ａ（"人物"）と対象Ｂ（"人物"）との間でオクルージョンが生じたと判断した場合、
（ａ）最初に、過去の検出位置（対象位置関連情報）、例えば検出位置の決定されないようなオクルージョンがまだ生じていなかった最新の時点t－Nでの検出位置に基づき、このオクルージョンに係る対象Ａ（"人物"）及び対象Ｂ（"人物"）の各々について、手前側にあるか奥側にあるかを判定する。
（ａ）最初に、過去の検出位置（対象位置関連情報）、例えば検出位置の決定されないようなオクルージョンがまだ生じていなかった最新の時点t－Nでの検出位置に基づき、このオクルージョンに係る対象Ａ（"人物"）及び対象Ｂ（"人物"）の各々について、手前側にあるか奥側にあるかを判定する。
【0125】
次いで、追跡対象決定・管理部１１５は、このオクルージョンが解消した際、すなわち時点t0において、
（ｂ１）図６（Ａ）に示すように、受信信号電力変数E_tの時系列データ（端末通信状態情報）に通信電波の遮蔽の影響があったと判定した場合、手前側にあると判定した所定の対象（図６では対象Ｂ（"人物"））の通信状態コストCradio（Cradio_B）をより大きな所定値に設定して、奥側にあると判定した所定の対象（図６では対象Ａ（"人物"））の通信状態コストCradio（Cradio_A）をより小さな値若しくはゼロに設定し、
（ｂ２）一方、図６（Ｂ）に示すように、受信信号電力変数E_tの時系列データ（端末通信状態情報）に通信電波の遮蔽の影響がないと判定した場合は、手前側にあると判定した所定の対象（図６では対象Ｂ（"人物"））の通信状態コストCradio（Cradio_B）をより小さな値若しくはゼロに設定して、奥側にあると判定した所定の対象（図６では対象Ａ（"人物"））の通信状態コストCradio（Cradio_A）をより大きな所定値に設定するのである。
（ｂ１）図６（Ａ）に示すように、受信信号電力変数E_tの時系列データ（端末通信状態情報）に通信電波の遮蔽の影響があったと判定した場合、手前側にあると判定した所定の対象（図６では対象Ｂ（"人物"））の通信状態コストCradio（Cradio_B）をより大きな所定値に設定して、奥側にあると判定した所定の対象（図６では対象Ａ（"人物"））の通信状態コストCradio（Cradio_A）をより小さな値若しくはゼロに設定し、
（ｂ２）一方、図６（Ｂ）に示すように、受信信号電力変数E_tの時系列データ（端末通信状態情報）に通信電波の遮蔽の影響がないと判定した場合は、手前側にあると判定した所定の対象（図６では対象Ｂ（"人物"））の通信状態コストCradio（Cradio_B）をより小さな値若しくはゼロに設定して、奥側にあると判定した所定の対象（図６では対象Ａ（"人物"））の通信状態コストCradio（Cradio_A）をより大きな所定値に設定するのである。
【0126】
ここで、上記（ａ）における手前側／奥側の判定は、最新の時点t－Nでの検出位置における手前側／奥側の位置関係がその後も維持されるとの前提の下、最新の時点t－Nでの検出位置が、カメラ１０３（基地局１）により近い方（図６では対象Ｂ（"人物"））を手前側とし、遠い方（図６では対象Ａ（"人物"））を奥側としてもよい。また、上記（ｂ１）及び（ｂ２）における「通信電波の遮蔽の影響」の有無の判定は、電波受信電力の落ち込みや無線接続の切断が生じているか否か、具体的には受信信号電力変数E_tの時系列データにおいて、変数E_tの値が所定閾値未満の値となる時間区間が存在するか否かを確認することによって実施することができる。
【0127】
以上、本実施形態の通信状態コスト設定処理によれば、
（ｃ１）追跡している端末２において、端末通信状態情報に「通信電波の遮蔽の影響」があるならば、当該端末２に対応する所定の対象は奥側にある可能性が高いので、奥側にあると判定された所定の対象（図６では対象Ａ（"人物"））の通信状態コストCradio（Cradio_A）を小さな値若しくはゼロにして、「この所定の対象（対象Ａ（"人物"））が、追跡している端末２に対応する対象である」との判断がなされ易くすることができる。
（ｃ１）追跡している端末２において、端末通信状態情報に「通信電波の遮蔽の影響」があるならば、当該端末２に対応する所定の対象は奥側にある可能性が高いので、奥側にあると判定された所定の対象（図６では対象Ａ（"人物"））の通信状態コストCradio（Cradio_A）を小さな値若しくはゼロにして、「この所定の対象（対象Ａ（"人物"））が、追跡している端末２に対応する対象である」との判断がなされ易くすることができる。
【0128】
（ｃ２）一方、追跡している端末２において、端末通信状態情報に「通信電波の遮蔽の影響」がないならば、当該端末２に対応する所定の対象は手前側にある可能性が高いので、手前側にあると判定された所定の対象（図６では対象Ｂ（"人物"））の通信状態コストCradio（Cradio_B）を小さな値若しくはゼロにして、「この所定の対象（対象Ｂ（"人物"））が、追跡している端末２に対応する対象である」との判断がなされ易くすることができるのである。
【0129】
図７は、追跡対象決定・管理部１１５における追跡対象決定処理の更なる他の実施形態を説明するための模式図である。
【0130】
図７に示した実施形態において、追跡対象決定・管理部１１５は、
（ａ）複数の所定の対象（図７では対象Ａ（"人物"）及び対象Ｂ（"人物"））についてオクルージョン（交差）が生じて解消した際、すなわち時点t0で、このオクルージョンにかかわったこれら複数の所定の対象（対象Ａ（"人物"）及び対象Ｂ（"人物"））の各々に対し、追跡している端末２に係る対象の候補として追跡処理を継続し、
（ｂ）その後の継続した追跡処理の中で、通信状態コストCradio又は追跡コストCostが、所定の条件を満たすだけ大きくなった（例えば所定閾値Cthを超える値となった）所定の対象に対し、追跡している端末２に係る対象ではないとして追跡処理を終了する。
（ａ）複数の所定の対象（図７では対象Ａ（"人物"）及び対象Ｂ（"人物"））についてオクルージョン（交差）が生じて解消した際、すなわち時点t0で、このオクルージョンにかかわったこれら複数の所定の対象（対象Ａ（"人物"）及び対象Ｂ（"人物"））の各々に対し、追跡している端末２に係る対象の候補として追跡処理を継続し、
（ｂ）その後の継続した追跡処理の中で、通信状態コストCradio又は追跡コストCostが、所定の条件を満たすだけ大きくなった（例えば所定閾値Cthを超える値となった）所定の対象に対し、追跡している端末２に係る対象ではないとして追跡処理を終了する。
【0131】
ここで図７においては、時刻t0で追跡している端末２に係る対象の候補とされた対象Ａ（"人物"）及び対象Ｂ（"人物"）のうち、対象Ａ（"人物"）について、時刻t0＋P（Pは正の整数）で、何らかの物体による遮蔽が生じて通信状態コストCradio_Aが所定閾値Cthを超える値となっている。したがって、追跡対象決定・管理部１１５はこの時刻t0＋Pにおいて、「対象Ａ（"人物"）は追跡している端末２に係る対象ではない」と判断し、当該端末２についての対象Ａ（"人物"）の追跡処理を打ち切るのである。
【0132】
以上、本実施形態における複数候補の設定処理によれば、オクルージョンにかかわった全ての所定の対象をとりあえず追跡対象の候補として追跡処理を継続することによって、誤った対象を追跡してしまうＩＤスイッチの発生をより確実に防止することができる。また、その後の通信状態コストCradioや追跡コストCostの振舞いに基づき不適な候補を外していくことにより、追跡対象の候補数が増大して追跡処理の演算負荷が過剰となる事態を回避することも可能となるのである。
【0133】
図１の機能ブロック図に戻って、追跡対象決定・管理部１１５は、以上種々の実施形態・具体例を交えて詳述してきた、追跡している各端末２の同定・追跡処理の結果（例えば端末２の端末ＩＤ毎に各時点での所在位置や画像特徴が紐づけられた時系列データ）を、追跡情報保存部１０５に保存・管理させるとともに、通信制御部１１６へ常時、定期的に、又は要求に応じて適宜報告する。
【0134】
通信制御部１１６は、この（ロストやＩＤスイッチの回避された）より適切な端末２の同定・追跡結果を用いることによって、通信接続している端末２における現在位置や通信経路を含む状況を把握し、例えこの通信接続している端末２からの受信電力が急激に低下する事態が生じたとしても、この端末２との通信接続を継続する、若しくは直ちに再開することができるのである。
【0135】
以上詳細に説明したように、本発明によれば、オクルージョンが生じた場合において、追跡している端末と、検出された所定の対象とが対応関係にあるか否かの判定を、環境情報（例えば画像データ）から当該所定の対象が検出されるか否かに依存することなく、この端末の通信状態と当該所定の対象の推定通信状態との通信対応度合いを用いて実施することができる。その結果、追跡している端末についてオクルージョンが生じた場合でも、この端末２の追跡をより適切に継続することが可能となるのである。
【0136】
また、このような本発明による端末追跡処理は、現在導入の進んでいる５Ｇにおける通信路遮蔽物による通信障害の問題を解決したり、端末を搭載した自動車に対して人物や他車等の接近を通知・警告したり、さらには、ある端末と対応関係にあると判定されたユーザの閲覧ページと、当該ユーザの動線との関係を決定してマーケティングや管理に生かしたり等、様々な状況・分野において応用することが可能となっている。
【0137】
さらに、膨大な数の且つ大容量の通信接続を安定的に実現可能な、本発明による端末追跡装置を含む情報通信システムを普及させることによって、人々のつながりを増やす移動・携帯通信サービスを広く展開し、コミュニティのエンパワーメントを図ることも可能となる。また、この本発明による端末追跡装置を含む情報通信システムは特に、世界的に人口が増大している都市部においてその威力を発揮するものと考えられる。すなわち本発明によれば、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」及び目標１１「都市を包摂的、安全、レジリエントかつ持続可能にする」の達成に貢献することも可能となるのである。
【0138】
以上に述べた本発明の種々の実施形態において、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。以上に述べた説明はあくまで例であって、本発明を何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【0139】
１ 基地局（端末追跡装置、通信中継装置）
１０１ 通信インタフェース
１０２ 通信履歴情報蓄積部
１０３ カメラ（センサ）
１０４ 環境情報蓄積部
１０５ 追跡情報保存部
１１１ 端末通信状態決定部
１１２ 対象通信状態決定部
１１２ａ 位置補間部
１１３ 対象検出情報決定部
１１４ オクルージョン判定部
１１５ 追跡対象決定・管理部
１１５ａ 通信状態コスト算出部
１１５ｂ 位置関連コスト算出部
１１５ｃ 外観コスト算出部
１１６ 通信制御部
２ 端末
１０１ 通信インタフェース
１０２ 通信履歴情報蓄積部
１０３ カメラ（センサ）
１０４ 環境情報蓄積部
１０５ 追跡情報保存部
１１１ 端末通信状態決定部
１１２ 対象通信状態決定部
１１２ａ 位置補間部
１１３ 対象検出情報決定部
１１４ オクルージョン判定部
１１５ 追跡対象決定・管理部
１１５ａ 通信状態コスト算出部
１１５ｂ 位置関連コスト算出部
１１５ｃ 外観コスト算出部
１１６ 通信制御部
２ 端末
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】