IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 凸版印刷株式会社の特許一覧

特開2024-164543人物位置特定システム、テレプレゼンスロボット運用管理装置、テレプレゼンスロボット運用管理方法、およびプログラム
<>
  • 特開-人物位置特定システム、テレプレゼンスロボット運用管理装置、テレプレゼンスロボット運用管理方法、およびプログラム 図1
  • 特開-人物位置特定システム、テレプレゼンスロボット運用管理装置、テレプレゼンスロボット運用管理方法、およびプログラム 図2
  • 特開-人物位置特定システム、テレプレゼンスロボット運用管理装置、テレプレゼンスロボット運用管理方法、およびプログラム 図3
  • 特開-人物位置特定システム、テレプレゼンスロボット運用管理装置、テレプレゼンスロボット運用管理方法、およびプログラム 図4
  • 特開-人物位置特定システム、テレプレゼンスロボット運用管理装置、テレプレゼンスロボット運用管理方法、およびプログラム 図5
  • 特開-人物位置特定システム、テレプレゼンスロボット運用管理装置、テレプレゼンスロボット運用管理方法、およびプログラム 図6
  • 特開-人物位置特定システム、テレプレゼンスロボット運用管理装置、テレプレゼンスロボット運用管理方法、およびプログラム 図7
  • 特開-人物位置特定システム、テレプレゼンスロボット運用管理装置、テレプレゼンスロボット運用管理方法、およびプログラム 図8
  • 特開-人物位置特定システム、テレプレゼンスロボット運用管理装置、テレプレゼンスロボット運用管理方法、およびプログラム 図9
  • 特開-人物位置特定システム、テレプレゼンスロボット運用管理装置、テレプレゼンスロボット運用管理方法、およびプログラム 図10
  • 特開-人物位置特定システム、テレプレゼンスロボット運用管理装置、テレプレゼンスロボット運用管理方法、およびプログラム 図11
  • 特開-人物位置特定システム、テレプレゼンスロボット運用管理装置、テレプレゼンスロボット運用管理方法、およびプログラム 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024164543
(43)【公開日】2024-11-27
(54)【発明の名称】人物位置特定システム、テレプレゼンスロボット運用管理装置、テレプレゼンスロボット運用管理方法、およびプログラム
(51)【国際特許分類】
   G06T 7/70 20170101AFI20241120BHJP
   G06T 7/00 20170101ALI20241120BHJP
   G06T 7/174 20170101ALI20241120BHJP
   G06T 7/60 20170101ALI20241120BHJP
【FI】
G06T7/70 A
G06T7/00 660B
G06T7/174
G06T7/60 150S
G06T7/60 180B
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2023080105
(22)【出願日】2023-05-15
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.JAVA
2.PYTHON
(71)【出願人】
【識別番号】000003193
【氏名又は名称】TOPPANホールディングス株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】深田 隆之
(72)【発明者】
【氏名】森本 哲郎
(72)【発明者】
【氏名】杉本 幸一
(72)【発明者】
【氏名】米山 茂信
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096BA20
5L096CA02
5L096DA04
5L096FA02
5L096FA66
5L096HA05
(57)【要約】
【課題】人物の位置を特定できない領域を、従来よりも減らすことができる人物位置特定システムを提供すること。
【解決手段】環境形状計測センサを備え、移動可能な1つまたは複数のテレプレゼンスロボットと、テレプレゼンスロボット運用管理装置とを備え、テレプレゼンスロボット運用管理装置は、環境形状計測センサによる計測結果である位置を示す計測情報を取得し、テレプレゼンスロボットの周囲を含むマップの計測情報が示す位置に、予め決められたマークを表示させる環境表示部を備える、人物位置特定システム。
【選択図】図1
【特許請求の範囲】
【請求項1】
環境形状計測センサを備え、移動可能な1つまたは複数のテレプレゼンスロボットと、
テレプレゼンスロボット運用管理装置と
を備え、
前記テレプレゼンスロボット運用管理装置は、
前記環境形状計測センサによる計測結果である位置を示す計測情報を取得し、前記テレプレゼンスロボットの周囲を含むマップの前記計測情報が示す位置に、予め決められたマークを表示させる環境表示部
を備える、人物位置特定システム。
【請求項2】
前記環境表示部は、前記予め決められたマークの色を、前記テレプレゼンスロボットから前記計測情報が示す位置までの距離に応じたものとする、請求項1に記載の人物位置特定システム。
【請求項3】
前記1つまたは複数のテレプレゼンスロボットの各々は、カメラを備え、
前記運用管理装置は、
前記カメラが撮影した画像のうち、同じ人物が検出された画像を、前記1つまたは複数のロボットの各々から1つ選択し、1つの列に並べて表示させる検出人物表示部
を備える、請求項1に記載の人物位置特定システム。
【請求項4】
前記1つまたは複数のテレプレゼンスロボットの各々は、カメラを備え、
前記運用管理装置は、
前記カメラが撮影した画像から検出された人物が、予め登録されたホワイトリストに含まれていない、または予め登録されたブラックリストに含まれているときに、前記1つまたは複数のテレプレゼンスロボットのいずれかに、前記検出された人物を追跡させるロボット制御部
を備える、請求項1に記載の人物位置特定システム。
【請求項5】
移動可能な1つまたは複数のテレプレゼンスロボットが備える環境形状計測センサによる計測結果である位置を示す計測情報を取得し、前記1つまたは複数のテレプレゼンスロボットの周囲を含むマップの前記計測情報が示す位置に、予め決められたマークを表示させる環境表示部
を備える、テレプレゼンスロボット運用管理装置。
【請求項6】
移動可能な1つまたは複数のテレプレゼンスロボットが備える環境形状計測センサによる計測結果である位置を示す計測情報を取得するステップと、
前記1つまたは複数のテレプレゼンスロボットの周囲を含むマップの前記計測情報が示す位置に、予め決められたマークを表示させるステップと
を有する、テレプレゼンスロボット運用管理方法。
【請求項7】
コンピュータを、
移動可能な1つまたは複数のテレプレゼンスロボットが備える環境形状計測センサによる計測結果である位置を示す計測情報を取得し、前記1つまたは複数のテレプレゼンスロボットの周囲を含むマップの前記計測情報が示す位置に、予め決められたマークを表示させる環境表示部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人物位置特定システム、テレプレゼンスロボット運用管理装置、テレプレゼンスロボット運用管理方法、およびプログラムに関する。
【背景技術】
【0002】
屋内施設内を移動している人物の位置を特定する方法として、例えば、屋内施設の天井や壁に設置された監視ビデオカメラを用いる方法がある。特定の人物が監視ビデオカメラの視野内を横切ったときに、監視ビデオカメラによりその人物が撮影されるため、その人物は撮影された監視ビデオカメラの傍に居たと監視者は判断できる。更に、屋内施設内を移動している人物の位置を特定する方法として、ビーコンとスマートフォンを連動させる方式が知られている。ビーコンは屋内施設の天井や壁に設置されており、ビーコンが発信する電波をスマートフォンがキャッチすることによって、スマートフォンを所持する人物の位置が特定される。
【0003】
特許文献1には、この様な屋内施設における複数カメラ監視システムが開示されている。特許文献1の複数カメラ監視システムは、各カメラ間のカメラ視野の重複量に応じたフィードバックをすることで、カメラ視野の重複量が少なくなるような複数カメラの配置を実現する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2011-114580号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述の複数カメラ監視システムにおいては、複数カメラが固定的に設置されているため、これらのカメラのカメラ視野の死角が重複している場合など、人物の位置を特定できない場所ができてしまうことがあるという問題がある。
【0006】
本発明は、このような事情に鑑みてなされたもので、人物の位置を特定できない領域を、従来よりも減らすことができる人物位置特定システム、テレプレゼンスロボット運用管理装置、テレプレゼンスロボット運用管理方法、およびプログラムを提供する。
【課題を解決するための手段】
【0007】
この発明は上述した課題を解決するためになされたもので、本発明の一態様は、環境形状計測センサを備え、移動可能な1つまたは複数のテレプレゼンスロボットと、テレプレゼンスロボット運用管理装置とを備え、前記テレプレゼンスロボット運用管理装置は、前記環境形状計測センサによる計測結果である位置を示す計測情報を取得し、前記テレプレゼンスロボットの周囲を含むマップの前記計測情報が示す位置に、予め決められたマークを表示させる環境表示部を備える、人物位置特定システムである。
【0008】
また、本発明の他の一態様は、上述した人物位置特定システムであって、前記環境表示部は、前記予め決められたマークの色を、前記テレプレゼンスロボットから前記計測情報が示す位置までの距離に応じたものとする。
【0009】
また、本発明の他の一態様は、上述した人物位置特定システムであって、前記1つまたは複数のテレプレゼンスロボットの各々は、カメラを備え、前記運用管理装置は、前記カメラが撮影した画像のうち、同じ人物が検出された画像を、前記1つまたは複数のロボットの各々から1つ選択し、1つの列に並べて表示させる検出人物表示部を備える。
【0010】
また、本発明の他の一態様は、上述した人物位置特定システムであって、前記1つまたは複数のテレプレゼンスロボットの各々は、カメラを備え、前記運用管理装置は、前記カメラが撮影した画像から検出された人物が、予め登録されたホワイトリストに含まれていない、または予め登録されたブラックリストに含まれているときに、前記1つまたは複数のテレプレゼンスロボットのいずれかに、前記検出された人物を追跡させるロボット制御部を備える。
【0011】
また、本発明の他の一態様は、移動可能な1つまたは複数のテレプレゼンスロボットが備える環境形状計測センサによる計測結果である位置を示す計測情報を取得し、前記1つまたは複数のテレプレゼンスロボットの周囲を含むマップの前記計測情報が示す位置に、予め決められたマークを表示させる環境表示部を備える、テレプレゼンスロボット運用管理装置である。
【0012】
また、本発明の他の一態様は、移動可能な1つまたは複数のテレプレゼンスロボットが備える環境形状計測センサによる計測結果である位置を示す計測情報を取得するステップと、前記1つまたは複数のテレプレゼンスロボットの周囲を含むマップの前記計測情報が示す位置に、予め決められたマークを表示させるステップとを有する、テレプレゼンスロボット運用管理方法である。
【0013】
また、本発明の他の一態様は、コンピュータを、移動可能な1つまたは複数のテレプレゼンスロボットが備える環境形状計測センサによる計測結果である位置を示す計測情報を取得し、前記1つまたは複数のテレプレゼンスロボットの周囲を含むマップの前記計測情報が示す位置に、予め決められたマークを表示させる環境表示部として機能させるためのプログラムである。
【発明の効果】
【0014】
この発明によれば、人物位置特定システム、テレプレゼンスロボット運用管理装置、テレプレゼンスロボット運用管理方法、およびプログラムは、人物の位置を特定できない領域を、従来よりも減らすことができる。
【図面の簡単な説明】
【0015】
図1】この発明の一実施形態による人物位置特定システム10の構成を示す模式図である。
図2】同実施形態における記憶部900が保存する画像の例(その1)を示す図である。
図3】同実施形態における記憶部900が保存する画像の例(その2)を示す図である。
図4】同実施形態における記憶部900が保存する画像の例(その3)を示す図である。
図5】同実施形態における記憶部900が保存する画像の例(その4)を示す図である。
図6】同実施形態における記憶部900が保存する画像の例(その5)を示す図である。
図7】同実施形態におけるテレプレゼンスロボット運用管理装置200の構成を示す概略ブロック図である。
図8】同実施形態における環境表示部302による表示例を示す図である。
図9】同実施形態におけるテレプレゼンスロボットが備えるビデオカメラで撮影された画像例を示す図である。
図10】同実施形態における電子ディスプレイ300に表示される画面UIの例を示す図である。
図11】同実施形態における人物位置特定システム10の動作を説明するフローチャートである。
図12】同実施形態における環境表示部302の動作を説明するフローチャートである。
【発明を実施するための形態】
【0016】
以下、図面を参照して、本発明の実施の形態について説明する。図1は、この発明の一実施形態による人物位置特定システム10の構成を示す模式図である。人物位置特定システム10は、1つまたは複数のテレプレゼンスロボット100、テレプレゼンスロボット運用管理装置200、電子ディスプレイ300、情報通信網400、画像入力サーバ500、画像認識サーバ600、画像切り出しサーバ700、画像出力サーバ800、記憶部900を備える。
【0017】
人物位置特定システム10が備える各装置は、1つまたは複数のコンピュータがプログラムを読み込み実行することで実現されてもよい。該プログラムは、一般にコンピュータに読み込ませるプログラミング言語で作成された0と1の機械語である。機械語のプログラミング言語としては、人物位置特定システム10を構築できるものであれば種類を限定しないが、例えば、Basic、Visual-Basic、Fortran、C、C++、Visual-C++、C#、Java、Bash,Python、MATLAB(登録商標)等、あるいはこれらの組み合わせであっても良い。
【0018】
テレプレゼンスロボット100は、ビデオカメラ(カメラ)、環境形状計測センサ、移動手段を備える。テレプレゼンスロボット100は、移動手段として、例えば、走行するための車輪を備えていてもよい。車輪は動力源に繋がっており、動力源が発生する動力によって車輪に力を伝える。動力源としては、電磁石モーターが好適で、例えば、DCモーター、ブラシレスDCモーター、ステッピングモーター、サーボモーター、誘導モーター、PMモーター、ACモーター、インホイールモーターおよび超音波モーター等が挙げられる。内燃機関も動力源として使用できる。車輪の数と設置位置はテレプレゼンスロボット100が安定に走行できる数と位置であれば特に限定しない。テレプレゼンスロボット100の移動は、無線通信で遠隔制御が可能である。テレプレゼンスロボット100と、テレプレゼンスロボット100を遠隔制御するテレプレゼンスロボット運用管理装置200との間の無線通信の手段は、無線LAN(Local Area Network)、Wi-Fi(登録商標)、第3世代、第4世代、第5世代などの移動通信システム、およびLPWA(Low Power Wide Area)等のいずれであってもよい。
【0019】
テレプレゼンスロボット100が備えるビデオカメラは、電子的な撮像素子を備えたものであれば何でも良く、CCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxcide Semiconductor)等を搭載したビデオカメラであってもよい。画像認識技術の利用のために、該ビデオカメラのカメラパラメータは事前に取得され、画像認識サーバ600などにおいて画像認識技術に活用されてもよい。画像認識技術を使用する方法としては、カメラパラメータが既知であることを前提として次の1あるいは2が知られている:1.予め撮影しておいた対象人物のテスト画像においてスケール差や画像中心の位置から対象人物の体形を知る方法、2.ストラクチャーフロムモーション(Structure from Motion、略称SfM)から対象人物の体形を知る方法。対象人物の体形には、身長、胴幅等が含まれる。また、該ビデオカメラで撮影した画像は静止画あるいは動画が利用できるが、動画の場合は少しずつシーンの異なる静止画の連続的な流れで形成されているので、そのなかの任意の1枚以上の静止画を使うことができる。該ビデオカメラは、Webビデオカメラでも、Webビデオカメラとは別に設置する一眼レフビデオカメラでもよいが、例えば、画質、重量、サイズおよび価格の観点で適宜選択することが好ましい。
【0020】
テレプレゼンスロボット100が備える環境形状計測センサは、テレプレゼンスロボット100のSLAM(Simultaneous Localization and Mapping)技術を実現するために使用される。SLAMとは、環境形状計測センサを用いて取得したテレプレゼンスロボット100の周囲の地図を作成しながら、同時に、テレプレゼンスロボット100の現在の位置情報を推定する方法のことで、テレプレゼンスロボット100が走行することで新たな計測領域を拡大させながら全体の地図を完成させる手法である。SLAMを計算する手法としては、ICP(Iterative Closest Point)やNDT(Normal Distributions Transform)等のスキャンマッチング法、ベイズフィルター法が挙げられ、何れの手法も本実施形態に使用できる。環境形状計測センサとしては、光線、電波、超音波のいずれを用いたセンサであってもよい。例えば、レーザーレンジスキャナーを用いたLiDAR(Light Detection And Ranging)、ToF(Time of Flight)センサ、ミリ波を用いたミリ波レーダ、超音波を用いた超音波センサ等、あるいはこれらを組み合わせたセンサが好適に使える。
【0021】
環境形状計測センサは、建物の内部形状を計測するのみならず、テレプレゼンスロボット100の近辺を移動する人物に対しても応答する。テレプレゼンスロボット運用管理装置200は、環境形状計測センサの検出結果を用いて、テレプレゼンスロボット100と人物との位置関係(距離)を特定することができる。また、テレプレゼンスロボット運用管理装置200が表示するテレプレゼンスロボット100が備えるビデオカメラからの画像をオペレータ(人間)が確認しながらテレプレゼンスロボット運用管理装置200を介してテレプレゼンスロボット100を手動走行させても良い。また、オペレータが指定したスタート地点からゴール地点までの経路を、テレプレゼンスロボット運用管理装置200が、A*等の経路探索アルゴリズムを用いて決定し、決定した経路に従い自動でテレプレゼンスロボット100を走行させてもよい。また、これら手動走行と自動走行が併用されてもよい。
【0022】
情報通信網400は、インターネット回線網を含んでもよい。ローカルサーバ領域とリモートサーバ領域は情報通信網400を介して通信を行う。情報通信網400の回線網は、有線であっても無線であっても、その両方の併用でも構わない。
【0023】
画像入力サーバ500は、テレプレゼンスロボット100のビデオカメラが撮影した人物の画像を、テレプレゼンスロボット運用管理装置200を介して入力し、記憶部900に書き込ませて保存する。画像入力サーバ500は、テレプレゼンスロボット運用管理装置200と情報通信網400を介して、通信接続されているが、有線通信による接続であってもよいし、無線通信による接続であってもよい。
【0024】
画像認識サーバ600は、記憶部900に保存された画像中の人物を認識するアルゴリズムを搭載したサーバである。人物の認識対象としては様々あり、例えば、顔、背丈、身体の骨格、歩く姿勢や歩幅、人物の服装の柄や色、トップスの位置やボトムスの位置関係、人物が所持するアクセサリーやバッグ等の装飾品の有無等、あるいはこれらを組み合わせた情報を利用して、画像認識サーバ600は、人物(個人)を認識(識別)する。人物を認識するアルゴリズムとしては一般的なものが利用でき、例えば、YOLO(You Only Look Once)、R-CNN(Convolutional Neural Network)、SSD(Single Shot Multibox Detector)、DETR(Detection Transformer)、DCN(Deformed Convolutional Networks)、HOG(Histogram of Oriented Gradient)等が利用できる。画像認識サーバ600は、人物を画像認識した際に、画像に画像を取得した日時をデジタルタイムスタンプすることが好ましい。
【0025】
画像切り出しサーバ700は、記憶部900に保存された画像から認識された人物の特定部分(例えば、認識対象部分)だけを四角形に切り出して抽出する。画像切り出しサーバ700は、撮影画像の全体ではなく特定部分だけを切り出すことで余分な画像部分を削除し情報量を少なくする。その結果、後段における情報通信網400の通信遅延を少なくし、人物位置の特定におけるリアルタイム性を向上させる役割を担う。より一層人物位置の特定のためのリアルタイム性を向上させたい場合には、画像入力サーバ500、および画像切り出しサーバ700の後段に画像圧縮サーバを入れても良い。その場合は、更に画像圧縮サーバの後段に画像復号化サーバを入れ、画像復号化サーバにおいて予め与えられた復号キーを使って圧縮された画像データの暗号を解除し、元の画像に復号する。
【0026】
画像出力サーバ800は、画像切り出しサーバ700が出力した切り出し画像を記憶部900から読み出し、情報通信網400を介して、テレプレゼンスロボット運用管理装置200に送信する。
【0027】
記憶部900は、テレプレゼンスロボット100のビデオカメラが撮影した画像、画像切り出しサーバ700による切り出し画像を保存し、画像認識サーバ600、画像出力サーバ800に提供する。記憶部900は、ローカルサーバ領域およびリモートサーバ領域の両方に設置されてもよい。記憶部900として、ハードディスク、SSD(Solid State Drive)、不揮発性メモリ等が用いられてもよい。
【0028】
図2から図6は、本実施形態における記憶部900が保存する画像の例を示す図である。図2は、テレプレゼンスロボット100のビデオカメラが撮影した画像、すなわち画像入力サーバ500が記憶部900に保存させた画像の例である。図3から図6の各々は、画像切り出しサーバ700による切り出し画像の例である。図3から図6では特定部分が、人物の服装である場合を例としたが、服装でなく、認識対象と同様に、顔、全身、服装、装飾品等であってもよい。
【0029】
画像入力サーバ500はテレプレゼンスロボット100が置かれる場所と同じ敷地内に設置され、一方、画像認識サーバ600、画像切り出しサーバ700、画像出力サーバ800、および記憶部900は、いわゆるクラウドと呼ばれる、テレプレゼンスロボット100が置かれる敷地(ローカルサーバ領域)から離れた場所(リモートサーバ領域)に設置されてもよい。クラウドを展開するサービスとしては、AWS(登録商標)(アマゾン(登録商標)提供)、Azure(登録商標)(マイクロソフト(登録商標)提供)、GCP(登録商標)(グーグル(登録商標)提供)等があるが、いずれであってもよい。
【0030】
画像認識サーバ600が、人物認識を実施するために、予め多数の人物画像を画像認識サーバ600に学習させておいてもよい。学習させる人物画像(訓練データ)は、1枚以上の人物画像であることが好ましい。特に、画像認識率を向上させるために、学習させる人物画像は、人物の正面画像を含んでいてもよいし、人物の正面画像と側面画像の2枚の組み合わせを含んでいてもよいし、人物の正面画像、側面画像および背面画像の3枚の組み合わせを含んでいてもよい。
【0031】
同様に、テストデータ(学習済みモデルの汎化性を評価するデータ)は、1枚以上の人物画像が好ましい。特に、画像認識率を向上させるために、テストデータは、人物の正面画像を含んでいてもよいし、人物の正面画像と側面画像の2枚の組み合わせを含んでいてもよいし、人物の正面画像、側面画像および背面画像の3枚の組み合わせを含んでいてもよい。
【0032】
電子ディスプレイ300は、テレプレゼンスロボット運用管理装置200が画像出力サーバ800から受信した切り出し画像を表示する。電子ディスプレイ300の設置場所は、ローカルサーバ領域、リモートサーバ領域のどちらかの場所、あるいは両方の場所に設置することができ、用途に合わせて適宜選択すれば良い。電子ディスプレイ300は、電子的な光学素子を備えたものであれば何でも良く、特に、液晶ディスプレイ、有機EL(OLED)ディスプレイ、ミニLEDディスプレイ、マイクロLEDディスプレイ等が利用できる。また、電子ディスプレイ300は、画像表示専用のモニター装置を用いても、ノート型パソコンやタブレット端末、スマートフォン等の電子ディスプレイを用いても良い。
【0033】
テレプレゼンスロボット運用管理装置200は、テレプレゼンスロボット100と連携して用いられ、テレプレゼンスロボット100の稼働状況を表示したり、テレプレゼンスロボット100を遠隔制御したりする。テレプレゼンスロボット運用管理装置200は、電子ディスプレイを備えた情報処理端末であってもよい。テレプレゼンスロボット運用管理装置200は、例えば、デスクトップ型コンピュータ、ノート型コンピュータ、タブレット端末、およびスマートフォンであってもよい。テレプレゼンスロボット運用管理装置200の監視用表示機能による表示内容は、テレプレゼンスロボット100の現在位置や向き、テレプレゼンスロボット100が備えるビデオカメラの向き、走行経路と軌跡、走行速度、バッテリー残量、およびテレプレゼンスロボット100が備えるビデオカメラが撮影した映像等である。また、テレプレゼンスロボット運用管理装置200のテレプレゼンスロボット操縦用機能による制御内容は、テレプレゼンスロボット100の走行速度と向き、テレプレゼンスロボット100が備えるビデオカメラの上下左右の向き等である。これらの制御内容は、オペレータにより直接指定されたものであってもよいし、テレプレゼンスロボット運用管理装置200による自動制御であってもよい。また、テレプレゼンスロボット100は、テレプレゼンスロボット運用管理装置200により指定された経路の情報などに基づき、自律的に走行してもよい。
【0034】
図7は、本実施形態におけるテレプレゼンスロボット運用管理装置200の構成を示す概略ブロック図である。テレプレゼンスロボット運用管理装置200は、通信部301、環境表示部302、ロボット制御部303、検出人物表示部304を備える。通信部301は、テレプレゼンスロボット100との通信、情報通信網400を介した他装置との通信を行う。
【0035】
環境表示部302は、テレプレゼンスロボット100が備える環境形状計測センサによる計測結果である位置を示す計測情報を取得し、テレプレゼンスロボット100の周囲を含む背景地図(マップ)の該計測情報が示す位置に、図8に示す通り十字を表示させる。ここでは、予め決められたマークとして、十字を用いているが、三角、丸、四角、星形など、どのようなマークであってもよい。環境表示部302は、十字の色を、テレプレゼンスロボット100から計測情報が示す位置までの距離に応じたものとしてもよい。例えば、環境表示部302は、該距離が1m未満の場合は、十字の色を赤色とし、1m以上、3m未満の場合は、橙色とし、3m以上の場合は、水色としてもよい。環境表示部302は、図9に示す通り、さらに、テレプレゼンスロボット100のビデオカメラが撮影した画像を表示してもよい。これらを見ることで、テレプレゼンスロボット運用管理装置200のオペレータは、ビデオカメラが撮影した画像中の人物の位置を容易に把握することができる。
【0036】
ロボット制御部303は、テレプレゼンスロボット100のビデオカメラが撮影した画像から検出された人物が、ホワイトリストに登録されていない、またはブラックリストに登録されているときに、1つまたは複数のテレプレゼンスロボット100のいずれかに、検出された人物を追跡させる。ホワイトリストおよびブラックリストは、予め画像認識サーバ600に学習された登録画像に対応する人物のリストであってもよい。テレプレゼンスロボット100は、人物を追跡する際に、ビデオカメラで人物を撮影し続けるように、自動走行するようにしてもよい。
【0037】
検出人物表示部304は、図10に示すように、テレプレゼンスロボット100のビデオカメラが撮影した画像のうち、同じ人物が検出された画像を、1つまたは複数のテレプレゼンスロボット100の各々から少なくとも1つ選択し、1つの列に並べて表示させる。
【0038】
環境表示部302は、VR(Virtual Reality)やCAD(Computer-Aided Design)、あるいはBIM(Building Information Modeling)等によって実空間の寸法に合わせて描画された仮想空間の背景地図のデータを記憶しており、該背景地図(マップ)を表示してもよい。この背景地図は、予めスケーリングされているため、背景地図上の2点間の距離(水平距離、垂直距離)を知ることができる。環境表示部302は、この背景地図にテレプレゼンスロボット100の現在位置・向きを示すアイコン、およびテレプレゼンスロボット100が備えるビデオカメラの向きを示すアイコンを重畳してもよい。これにより、テレプレゼンスロボット100の現在位置と人物の距離を、オペレータが確認し易くできる。
【0039】
背景地図は、スケーリングされているため、背景地図上で環境形状計測センサを備えた仮想テレプレゼンスロボットを走行させることによって、環境形状地図を取得することができる。あるいは、実物の環境中を実物の環境形状計測センサを備えた実物のテレプレゼンスロボット100を走行させることによって、環境形状地図を取得こともできる。環境形状地図を取得することによってSLAMを用いながら環境中でテレプレゼンスロボット100を自在に走行させることが可能になる。
【0040】
環境表示部302は、環境形状地図と背景地図を重畳して表示してもよい。環境形状地図は十字で物体を表示するため、その物体が固定物体である場合、どのような形状であるか判断ができないが、背景地図はVRやCAD、あるいはBIMによって固定物体の形状を表現しているため、固定物体が何であるか可視化されており、判別が付き易いメリットが生じる。
【0041】
テレプレゼンスロボット100が備える環境形状計測センサが検知した物体がテレプレゼンスロボット100からどのくらい離れているかを可視化するために、環境表示部302は、検知した対象物を距離別に色で区分することが好ましい。図8は、本実施形態における環境表示部302による表示例を示す図である。図8において、テレプレゼンスロボット100の形状TRが環境表示部302に表示されており、テレプレゼンスロボット100から遠く離れた位置にある物体を水色の十字CR1で、或る程度テレプレゼンスロボット100に近い位置にある物体を橙色の十字CR2で、橙色の物体より更に近い位置にある物体を赤色の十字CR3で表示している。テレプレゼンスロボット100と物体と位置関係が一目瞭然になって好ましい。
【0042】
環境形状計測センサが検知した物体が固定物体であった場合、環境形状地図上で、あるいは背景地図上で十字は移動せず、ずっとその位置にあり続ける。一方、環境形状計測センサが検知した物体が移動物体であった場合、環境形状地図上で、あるいは背景地図上で十字が移動するため、その移動物体は人物である可能性が高い。そこで、環境表示部302は、特定した移動物体(人物)の位置を人型で再現した仮想人物を表示するようにしてもよい。人型ではなく、三角形など、十字とは異なるマークであり、移動物体であることを示す、予め決められたマークを用いるようにしてもよい。これにより、環境形状計測センサが検出したものが、固定物体であるか人物(移動物体)であるかを、オペレータが識別し易くなる。
【0043】
図10は、本実施形態における電子ディスプレイ300に表示される画面UI(User Interface)の例を示す図である。図10の画面G1は、検出人物表示部304が、電子ディスプレイ300に表示させる画面UIの例である。画面G1は、5台のテレプレゼンスロボットA~Eで3人の人物A~Cを表示する画面としたが、テレプレゼンスロボットと人物の数はこれに限らず、用途によって所望の数とすることができる。また、認識対象としては、例として、人物の服装としたが、前述の通り認識対象は人物の服装だけとは限らない。
【0044】
画面G1の中央部にはテレプレゼンスロボット100のビデオカメラで撮影された画像から、人物の服装を中心に画像が切り取られたものが、格子状に表示されている。切り取られた画像の各々は、画像認識サーバ600により人物が認識され、画像切り出しサーバ700による切り出し画像である。これらの切り出し画像には、テレプレゼンスロボット100が備えるビデオカメラで撮影・取得した画像の年月日および時刻がデジタルスタンプによって打刻表示される。画面上部には、撮影したテレプレゼンスロボット100の名称、あるいは識別情報(ID)が付記されており、対応する縦一列の切り出し画像が、いずれのテレプレゼンスロボット100により撮影されたものであるかを示している。更に、画面左部には、服装認識された人物の識別情報が付記されて、対応する横一列の切り出し画像が、いずれの人物が検出(認識、識別)された画像かを区別する。画面右部には、人物の認識率が表示される。なお、画面G1は、あくまで一例であって、これに類似する画面UIが採用されてもよい。
【0045】
図11は、本実施形態における人物位置特定システム10の動作を説明するフローチャートである。まず、テレプレゼンスロボット運用管理装置200は、テレプレゼンスロボット100のビデオカメラを用いて、人物の登録画像を撮影する(ステップSa1)。なお、撮影に用いるカメラは、携帯可能な汎用の小型カメラであってもよいし、天井、壁などに固定的に設置されるような大型カメラであってもよい。
【0046】
テレプレゼンスロボット運用管理装置200は、ステップSa1で撮影した登録画像を、画像認識サーバ600に学習させる(ステップSa2)。テレプレゼンスロボット運用管理装置200は、テレプレゼンスロボット100に巡回を開始させる(ステップSa3)。テレプレゼンスロボット100は、巡回中にビデオカメラで人物を撮影する(ステップSa4)。テレプレゼンスロボット運用管理装置200は、ステップSa4で撮影された画像を、テレプレゼンスロボット100から取得し、画像入力サーバ500に送信する(ステップSa5)。なお、送信される画像には、人物が写っていないものが含まれてもよいし、人物が写っているもののみでもよい。人物が写っているもののみが送信される場合は、テレプレゼンスロボット100またはテレプレゼンスロボット運用管理装置200が、画像中に人物が含まれているか否かを判定してもよい。また、テレプレゼンスロボット運用管理装置200を介さず、テレプレゼンスロボット100が、ステップSa4で撮影された画像を、画像入力サーバ500に送信してもよい。画像入力サーバ500は、送信された画像を受信すると、記憶部900に該画像を保存する。
【0047】
次に、画像認識サーバ600が、記憶部900に保存された画像を、ステップSa2で学習した登録画像と照合し、人物を認識する(ステップSa6)。次に、画像切り出しサーバ700が、ステップSa6において人物が認識された領域の画像を切り出し、切り出し画像とする(ステップSa7)。なお、画像切り出しサーバ700は、ステップSa6の照合において登録された人物に該当者がいない場合、該当者がいない画像として切り出してもよい。
【0048】
次に、画像切り出しサーバ700は、切り出し画像を、ステップSa6における照合結果とともに、画像出力サーバ800に送信する(ステップSa8)。画像出力サーバ800は、切り出し画像との照合結果を受信すると、テレプレゼンスロボット運用管理装置200の検出人物表示部304を介して、電子ディスプレイ300に切り出し画像を照合結果とともに画像表示させる(ステップSa9)。なお、画像出力サーバ800が検出人物表示部304を備え、該検出人物表示部304が電子ディスプレイ300に切り出し画像を照合結果とともに画像表示させてもよい。
【0049】
図12は、本実施形態における環境表示部302の動作を説明するフローチャートである。まず、環境表示部302は、テレプレゼンスロボット100の環境形状計測センサの計測結果(計測情報)を取得する(ステップSb1)。次に、環境表示部302は、テレプレゼンスロボット100の位置を特定する(ステップSb2)。環境表示部302は、計測結果を、背景地図と照合して、テレプレゼンスロボット100の位置を特定してもよい。
【0050】
次に、環境表示部302は、ステップSb1で取得した計測結果の座標を、ステップSb2で特定されたテレプレゼンスロボット100の位置に基づき変換する(ステップSb3)。計測結果は、環境形状計測センサで検出された物体の位置を、テレプレゼンスロボット100を基準とした相対座標で示すが、この変換により、絶対座標(例えば、背景地図上の座標)で示すように変換される。次に、環境表示部302は、ステップSb3による変換後の計測結果を示す十字を背景地図に重畳して画像表示する(ステップSb4)。なお、環境表示部302は、複数のテレプレゼンスロボット100による変換後の計測結果を背景地図に重畳して画像表示してもよい。
【0051】
なお、上述の実施形態において、テレプレゼンスロボット100は、ビデオカメラを備えるとして説明したが、スチルカメラを備えていてもよい。
【0052】
本発明に係る人物位置特定システム10について、応用シナリオを用いて更に説明する。本発明の技術的範囲は、応用シナリオの具体的内容のみを根拠として限定的に解釈されることはない。
【0053】
(応用シナリオ:オフィスビルにおける巡回警備)
オフィスビルの各所に配置された10台のテレプレゼンスロボット100によってオフィスビルの巡回警備を行う。テレプレゼンスロボット運用管理装置200をデスクトップ型パソコンとし、該パソコン、画像入力サーバ500、記憶部900の一部を構成するSSD、および電子ディスプレイ300は、テレプレゼンスロボット100を管理するコントロールセンターに設置されている。その他の画像認識サーバ600、画像切り出しサーバ700、画像出力サーバ800、および記憶部900の一部を構成するハードディスクはクラウド上に設置されている。コントロールセンターとクラウドの間は有線で情報通信網400を構成するインターネットにより通信接続されている。10台のテレプレゼンスロボット100に備えられた各々のWebビデオカメラは事前にカメラパラメータを測定してある。また、10台のテレプレゼンスロボット100の各々は環境形状計測センサとしてLiDARを備える。
【0054】
このオフィスビルに勤務する全従業員は予め、テレプレゼンスロボット100の備えるWebビデオカメラによって出社時に、正面画像、側面画像および背面画像の3枚の人物画像が撮影され、ホワイトリストとしてSSDに登録される。人物を認識するアルゴリズムとしてはYOLOv5を使用し、認識対象としては、人物が身に着けている服装とした。
【0055】
テレプレゼンスロボット運用管理装置200は、10台のテレプレゼンスロボット100を設定し、これらのテレプレゼンスロボット100にオフィスビル内を自動走行させ、天井や壁に固定したビデオカメラでは監視が死角になりがちなエントランス、柱回り、トイレ、および従業員用バックヤードの近辺を集中的に巡回させる。
【0056】
これら10台のテレプレゼンスロボット100のうち1台のテレプレゼンスロボットAの備えるビデオカメラA1が、SSDに保存・登録されている全従業員の服装画像には存在しない服装をした人物の画像を撮影した。該画像は、画像入力サーバ500を経由して記憶部900に保存される。画像認識サーバ600は、該画像を記憶部900から読み出して、人物が認識された後、画像切り出しサーバ700によって服装部分だけが切り出される。画像切り出しサーバ700によって切り出された画像(切り出し画像)を画像出力サーバ800がテレプレゼンスロボット運用管理装置200に送信する。テレプレゼンスロボット運用管理装置200は、従業員ではない人物を検出したことを示す情報とともに、該切り出し画像を、コントロールセンターに設置した電子ディスプレイ300に表示させる。
【0057】
該表示を見たコントロールセンターの監視員が、テレプレゼンスロボット運用管理装置200の監視用画面において目視確認すると、テレプレゼンスロボットAは、エントランスの右端に向かって走行しており、ビデオカメラA1もエントランス右端の向きを向いていた状態である。このため、該監視員は、この人物がエントランス左端から入場したと推察しつつ、この人物を不審人物として警戒することとした。また、テレプレゼンスロボット運用管理装置200は、ビデオカメラA1における画像を使用したSfMによって不審人物の身長は178cmと推定し、電子ディスプレイ300に表示する。
【0058】
コントロールセンターでは、その後、この不審人物が、テレプレゼンスロボットB、テレプレゼンスロボットC、テレプレゼンスロボットDの順に撮影されていることを切り出し画像にデジタルタイムスタンプされた時刻情報で確認した。この不審人物の位置の特定は、テレプレゼンスロボット運用管理装置200における監視画面によって、テレプレゼンスロボットBが柱Aの近傍、テレプレゼンスロボットCが柱Bの近傍、テレプレゼンスロボットCが喫煙所近辺、およびテレプレゼンスロボットDが従業員用バックヤード近辺に位置していたことが特定できた。
【0059】
続いて、コントロールセンターの監視員は、しばらくの間、この不審人物の行動を黙って観察することにした。しかし、次にテレプレゼンスロボットEからこの不審人物の服装画像が送信され電子ディスプレイ300に表示されたときに、テレプレゼンスロボット運用管理装置200の監視画面を確認すると、不審人物は従業員用バックヤード近辺を再び徘徊していることが判明した。テレプレゼンスロボット運用管理装置200が表示する監視画面において、テレプレゼンスロボットEのLiDARにより測定された不審人物とバックヤードの距離は1m程度であることが判明した。また、テレプレゼンスロボットEのビデオカメラE1の画像を用いたSfMにより、不審人物の身長は177cmであり、ビデオカメラA1により前回の結果とほぼ同じ数値であることから同一の不審人物であることを確認できた。コントロールセンターの監視員は、直ちに警備員に連絡を取り、この不審人物をバックヤード近辺から排除した。
【0060】
(応用シナリオ2:迷子探索)
デパートFでは顧客サービスとして、未就学児の迷子探索サービスを行っている。デパート入店時にテレプレゼンスロボット100に備えられたビデオカメラで未就学児の全身の正面画像、側面画像、および背面画像の3枚の画像が撮影され、ブラックリストとして登録しておく。このケースでは、未就学児の顔、服装の柄や色、およびアクセサリーやバッグの組み合わせを認識対象とする。人物を認識するアルゴリズムとしてはR-CNNを使用した。デパートFのテレプレゼンスロボット100各々に備えられたWebビデオカメラは事前にカメラパラメータを測定してある。また、テレプレゼンスロボット100の各々は環境形状計測センサとしてToFを備えている。
【0061】
デパートFの中央監視センターでは、未就学児Gが迷子になったとの通報を受けたため、普段の巡回では見落としがちな場所、例えば、柱やオブジェの近傍、商品の陳列棚の陰、トイレ近辺、試着室、屋内駐車場を中心に複数台のテレプレゼンスロボット100をこれら付近に配備し、自動走行で巡回を開始した。
【0062】
テレプレゼンスロボット運用管理装置200をノート型パソコンとし、該パソコン、画像入力サーバ500、記憶部900の一部を構成するハードディスク、および電子ディスプレイ300は中央監視センターに設置されている。画像認識サーバ600、画像切り出しサーバ700、画像出力サーバ800、および記憶部900を構成するハードディスクはクラウド上に設置し、中央監視センターとクラウドの間は有線で情報通信網400を構成するインターネットにより通信接続されている。
【0063】
未就学児Gはブラックリストに含まれているため、しばらくすると、テレプレゼンスロボットH、テレプレゼンスロボットI、テレプレゼンスロボットJによって撮影された未就学児Gの認識画像の切り出し画像が、順次、中央監視センターに設置した電子ディスプレイ300に表示された。切り出し画像にデジタルタイムスタンプされた時刻情報と、テレプレゼンスロボット運用管理装置200の監視画面を照らし合わせると、未就学児Gは、商品陳列棚からトイレ近辺に移動し、今現在はオブジェ近傍にいることが判明した。テレプレゼンスロボット運用管理装置200が表示する監視画面において、テレプレゼンスロボットJのToFによる未就学児Gとオブジェの距離は0.5m程度であった。また、いずれの画像においてもSfMによる人物の身長測定で常に90cm前後を表出したため、この人物が同一の未就学児Gであることが確認できた。中央監視センターは、警備員をこのオブジェ付近に急行させ、未就学児Gを保護して保護者に引き渡した。
【0064】
以上、本発明の各応用シナリオについて説明したが、具体的なシナリオはこれらの応用シナリオに限られるものではなく、本発明の要旨を逸脱しない範囲のシナリオの変更、組み合わせなども含まれる。
【0065】
屋内施設の天井や壁に設置するビデオカメラやビーコンのような人物検知機器の死角になる場所としては、建物のエントランス、柱やオブジェ等の構造物の裏側、商品の陳列棚の陰、トイレ、喫煙所、試着室、従業員用バックヤード、および屋内駐車場等が挙げられる。
【0066】
一方、本発明に係る人物位置特定システム10においては、ビデオカメラおよび環境形状計測センサを備えたテレプレゼンスロボット100が屋内施設内を自在に走行・巡回するため、監視場所における死角を狭くすることが可能である。また、サーバ群をローカルサーバ領域とリモートサーバ領域の2つのサーバ領域に分割して計算処理を分散させ、更に、画像切り出しサーバ700によって情報通信網400に送信するデータ量を軽量しているため、認識画像が直ちに電子ディスプレイ300に表示されることで監視時間における死角も低減可能である。
【0067】
以上説明したように、本実施形態に係る人物位置特定システムは、屋内施設内でビデオカメラと環境形状計測センサを備えたテレプレゼントロボットを自在に巡回させることによって、固定ビデオカメラやビーコンでは死角になるような場所であっても人物の位置をリアルタイムに特定できる。
【0068】
また、以下のような実施形態であってもよい。
(1)一実施形態は、環境形状計測センサを備え、移動可能な1つまたは複数のテレプレゼンスロボットと、テレプレゼンスロボット運用管理装置とを備え、前記テレプレゼンスロボット運用管理装置は、前記環境形状計測センサによる計測結果である位置を示す計測情報を取得し、前記テレプレゼンスロボットの周囲を含むマップの前記計測情報が示す位置に、予め決められたマークを表示させる環境表示部を備える、人物位置特定システムである。
【0069】
(2)他の一実施形態は、(1)に記載の人物位置特定システムであって、前記環境表示部は、前記予め決められたマークの色を、前記テレプレゼンスロボットから前記計測情報が示す位置までの距離に応じたものとする。
【0070】
(3)また、他の一実施形態は、(1)または(2)に記載の人物位置特定システムであって、前記1つまたは複数のテレプレゼンスロボットの各々は、カメラを備え、前記運用管理装置は、前記カメラが撮影した画像のうち、同じ人物が検出された画像を、前記1つまたは複数のロボットの各々から1つ選択し、1つの列に並べて表示させる検出人物表示部を備える。
【0071】
(4)また、他の一実施形態は、(1)から(3)のいずれかに記載の人物位置特定システムであって、前記1つまたは複数のテレプレゼンスロボットの各々は、カメラを備え、前記運用管理装置は、前記カメラが撮影した画像から検出された人物が、予め登録されたホワイトリストに含まれていない、または予め登録されたブラックリストに含まれているときに、前記1つまたは複数のテレプレゼンスロボットのいずれかに、前記検出された人物を追跡させるロボット制御部を備える。
【0072】
(5)また、他の一実施形態は、移動可能な1つまたは複数のテレプレゼンスロボットが備える環境形状計測センサによる計測結果である位置を示す計測情報を取得し、前記1つまたは複数のテレプレゼンスロボットの周囲を含むマップの前記計測情報が示す位置に、予め決められたマークを表示させる環境表示部を備える、テレプレゼンスロボット運用管理装置である。
【0073】
(6)また、他の一実施形態は、移動可能な1つまたは複数のテレプレゼンスロボットが備える環境形状計測センサによる計測結果である位置を示す計測情報を取得するステップと、前記1つまたは複数のテレプレゼンスロボットの周囲を含むマップの前記計測情報が示す位置に、予め決められたマークを表示させるステップとを有する、テレプレゼンスロボット運用管理方法である。
【0074】
(7)また、他の一実施形態は、コンピュータを、移動可能な1つまたは複数のテレプレゼンスロボットが備える環境形状計測センサによる計測結果である位置を示す計測情報を取得し、前記1つまたは複数のテレプレゼンスロボットの周囲を含むマップの前記計測情報が示す位置に、予め決められたマークを表示させる環境表示部として機能させるためのプログラムである。
【0075】
また、図1におけるテレプレゼンスロボット運用管理装置200、画像入力サーバ500、画像認識サーバ600、画像切り出しサーバ700、画像出力サーバ800の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりこれらの装置を実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
【0076】
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0077】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【0078】
10 人物位置特定システム
100 テレプレゼンスロボット
200 テレプレゼンスロボット運用管理装置
300 電子ディスプレイ
301 通信部
302 環境表示部
303 ロボット制御部
304 検出人物表示部
400 情報通信網
500 画像入力サーバ
600 画像認識サーバ
700 画像切り出しサーバ
800 画像出力サーバ
900 記憶部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12