IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソフトバンクグループ株式会社の特許一覧

特開2024-168710追跡ロボット、および、追跡システム
<>
  • 特開-追跡ロボット、および、追跡システム 図1
  • 特開-追跡ロボット、および、追跡システム 図2
  • 特開-追跡ロボット、および、追跡システム 図3
  • 特開-追跡ロボット、および、追跡システム 図4
  • 特開-追跡ロボット、および、追跡システム 図5
  • 特開-追跡ロボット、および、追跡システム 図6
  • 特開-追跡ロボット、および、追跡システム 図7A
  • 特開-追跡ロボット、および、追跡システム 図7B
  • 特開-追跡ロボット、および、追跡システム 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024168710
(43)【公開日】2024-12-05
(54)【発明の名称】追跡ロボット、および、追跡システム
(51)【国際特許分類】
   G08B 15/02 20060101AFI20241128BHJP
   G05D 1/46 20240101ALI20241128BHJP
   G08B 21/00 20060101ALI20241128BHJP
   G08B 25/00 20060101ALI20241128BHJP
   G08B 25/10 20060101ALI20241128BHJP
   B64U 10/13 20230101ALI20241128BHJP
   B64U 80/80 20230101ALI20241128BHJP
   B64U 20/87 20230101ALI20241128BHJP
   G08B 13/19 20060101ALI20241128BHJP
   B64U 101/28 20230101ALN20241128BHJP
   B64U 101/31 20230101ALN20241128BHJP
【FI】
G08B15/02
G05D1/10
G08B21/00 A
G08B25/00 510M
G08B25/10 A
B64U10/13
B64U80/80
B64U20/87
G08B13/19
B64U101:28
B64U101:31
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2023085606
(22)【出願日】2023-05-24
(71)【出願人】
【識別番号】591280485
【氏名又は名称】ソフトバンクグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】孫 正義
【テーマコード(参考)】
5C084
5C086
5C087
5H301
【Fターム(参考)】
5C084AA02
5C084AA04
5C084AA19
5C084BB31
5C084DD41
5C084EE02
5C084FF02
5C084GG78
5C084HH20
5C086AA26
5C086CA28
5C086CB36
5C086DA08
5C086DA14
5C086DA33
5C087AA02
5C087AA03
5C087BB20
5C087BB74
5C087DD03
5C087EE05
5C087EE07
5C087EE14
5C087FF01
5C087FF02
5C087FF04
5C087FF16
5C087GG02
5C087GG08
5C087GG66
5C087GG83
5H301AA06
5H301BB10
5H301CC04
5H301CC07
5H301CC10
5H301GG09
5H301GG17
5H301QQ08
5H301QQ09
(57)【要約】
【課題】不審対象を追跡すること。
【解決手段】実施形態に係る追跡ロボットは、不審対象を追跡し、不審対象に向けて追跡用マークを発射可能なドローンと、ドローンが発着可能であり、自律走行可能なロボット本体と、ロボット本体部の周囲の状況を検出する検出部と、ドローンを制御し、検出部によって検出された状況に応じて前記本体部を自律走行させる制御部とを備える。制御部は、不審対象が検出された場合に、ロボット本体からドローンを発進させ、不審対象に向けてドローンから追跡用マークを発射する。
【選択図】図2
【特許請求の範囲】
【請求項1】
不審対象を追跡し、前記不審対象に向けて追跡用マークを発射可能なドローンと、
前記ドローンが発着可能であり、自律走行可能なロボット本体と、
前記ロボット本体の周囲の状況を検出する検出部と、
前記ドローンを制御し、前記検出部によって検出された状況に応じて前記ロボット本体を自律走行させる制御部と
を備え、
前記制御部は、前記不審対象が検出された場合に、前記ロボット本体から前記ドローンを発進させ、前記不審対象に向けて前記ドローンから前記追跡用マークを発射する、追跡ロボット。
【請求項2】
前記追跡用マークは、前記追跡用マークの位置情報を取得し、前記追跡用マークの位置情報を発信する、請求項1に記載の追跡ロボット。
【請求項3】
前記追跡用マークの位置情報は、前記ドローンよりも飛行距離が長い追跡用ドローンに送信され、
前記追跡用ドローンは、前記追跡用マークの位置情報に基づいて、前記不審対象を追跡するように飛行する、請求項1に記載の追跡ロボット。
【請求項4】
前記制御部は、前記追跡用マークの位置情報から予測される逃走予測経路に基づいて、前記不審対象を追跡するように、前記ロボット本体、および、前記ドローンの少なくとも1つを制御する、請求項1に記載の追跡ロボット。
【請求項5】
前記ロボット本体の走行経路、前記ドローンの飛行経路、および、前記ドローンよりも飛行距離が長い追跡用ドローンの飛行経路に関する少なくとも1つの情報は、文章生成モデルによって生成される、請求項1に記載の追跡ロボット。
【請求項6】
請求項1~5のいずれか1つに記載の追跡ロボットと、
前記ドローンよりも飛行距離が長い追跡用ドローンと
を備える、追跡システム。
【発明の詳細な説明】
【技術分野】
【0001】
開示の実施形態は、追跡ロボット、および、追跡システムに関する。
【背景技術】
【0002】
従来、車両に危害が加えられた場合に、車両からドローンを離陸させて、車両、および、車両の周囲を、ドローンに設けたカメラによって撮影するシステムが知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2020-93618号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の技術では、たとえば、不審対象が検出され、不審対象が逃げた場合に、不審対象を追跡することができない、といった問題点がある。
【0005】
本発明は、上記に鑑みてなされたものであって、不審対象を追跡することを目的とする。
【課題を解決するための手段】
【0006】
実施形態の一態様に係る追跡ロボットは、追跡ロボットは、不審対象を追跡し、不審対象に向けて追跡用マークを発射可能なドローンと、ドローンが発着可能であり、自律走行可能なロボット本体と、ロボット本体部の周囲の状況を検出する検出部と、ドローンを制御し、検出部によって検出された状況に応じて前記本体部を自律走行させる制御部とを備える。制御部は、不審対象が検出された場合に、ロボット本体からドローンを発進させ、不審対象に向けてドローンから追跡用マークを発射する。
【発明の効果】
【0007】
実施形態の一態様によれば、不審対象を追跡することができる。
【図面の簡単な説明】
【0008】
図1図1は、実施形態に係る追跡システムの概略を示す図である。
図2図2は、実施形態に係る追跡ロボットの概略を示す図である。
図3図3は、実施形態に係る追跡ロボットの制御装置の概略を示す機能ブロック図である。
図4図4は、実施形態に係る管理装置の概略を示す機能ブロック図である。
図5図5は、実施形態に係るショートレンジドローンの制御処理を説明するフローチャートである。
図6図6は、実施形態に係るロングレンジドローンの制御処理を説明するフローチャートである。
図7A図7Aは、追跡用マークが発射される前のロングレンジドローンの飛行例を示す図である。
図7B図7Bは、追跡用マークが不審対象に付着した後のロングレンジドローンの飛行例を示す図である。
図8図8は、移動体制御装置として機能するコンピュータハードウェア構成の一例を概略的に示す図である。
【発明を実施するための形態】
【0009】
以下、実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0010】
実施形態に係る追跡システム1について、図1を参照し説明する。図1は、実施形態に係る追跡システム1の概略を示す図である。
【0011】
追跡システム1は、追跡ロボット2と、ロングレンジドローン3と、管理装置4とを備える。追跡ロボット2、および、ロングレンジドローン3と、管理装置4とは、ネットワークNを介して接続される。追跡ロボット2、および、ロングレンジドローン3は、たとえば、複数設けられる。
【0012】
ネットワークNは、たとえば、LTE(Long Term Evolution)、5G等のモバイル通信網である。追跡ロボット2、および、ロングレンジドローン3は、ネットワークNを介して接続されてもよい。
【0013】
次に、追跡ロボット2について、図2を参照し説明する。図2は、実施形態に係る追跡ロボット2の概略を示す図である。
【0014】
追跡ロボット2は、ロボット本体10と、ショートレンジドローン11と、検出部12と、制御装置13とを備える。追跡ロボット2は、自律走行可能であり、不審対象が検出された場合、不審対象を追跡する。不審対象は、たとえば、不審な行動をとっている者や、事件の犯人などを含む。また、不審対象は、人に限られることはなく、不審な行動をとった者が乗った車両などであってもよい。
【0015】
ロボット本体10は、たとえば、人型のロボットである。ロボット本体10は、胴体部10aと、脚部10bと、腕部10cと、頭部10dとを備える。脚部10b、腕部10c、および、頭部10dは、胴体部10aに可動可能に取り付けられる。なお、ロボット本体10は、人型のロボットに限られることはない。ロボット本体10には、脚部10b、腕部10c、および、頭部10dなどの各部位を可動させるモータなどの駆動機構が設けられる。
【0016】
胴体部10aの背面には、ショートレンジドローン11が発着可能な基地部15が設けられる。基地部15は、ショートレンジドローン11のバッテリーを充電する充電装置を備える。また、基地部15は、ショートレンジドローン11の交換用バッテリーを備えてもよい。
【0017】
ショートレンジドローン11は、移動体の一例である。ショートレンジドローン11は、複数(例えば4つ)の回転翼プロペラを備えたマルチコプターであって、無人での自律飛行を行う。また、ショートレンジドローン11は、バッテリーにより駆動する。
【0018】
ショートレンジドローン11は、カメラ20と、追跡用マーク21とを備える。追跡用マーク21は、ショートレンジドローン11から発射される。ショートレンジドローン11は、追跡用マーク21を発射する発射装置を備える。
【0019】
追跡用マーク21は、たとえば、不審対象に発射された場合に、不審対象に付着する。たとえば、追跡用マーク21には、磁石が設けられる。追跡用マーク21は、たとえば、不審対象が車両である場合、磁力によって不審対象に付着する。追跡用マーク21は、粘着性を有してもよい。
【0020】
追跡用マーク21は、たとえば、測位装置を有する。測位装置は、たとえば、GNSS(Global Navigation Satellite System)であり、上空を周回している航法衛星からの電波を受信して測位および計時することができる。また、測位装置は、検出した自己の位置情報を発信する通信モジュールを備える。測位装置によって検出された追跡用マーク21の位置情報は、ネットワークNを介して管理装置4に送信される。測位装置によって検出された追跡用マーク21の位置情報は、ネットワークNを介して制御装置13に送信される。追跡用マーク21が不審対象に付着した場合、測位装置から発信される位置情報に基づいて、不審対象の位置が検出される。
【0021】
また、追跡用マーク21は、蛍光塗料を含むボールなどであってもよい。蛍光塗料を含むボールは、不審対象に当たることで破裂し、蛍光塗料を不審対象に付着させる。ショートレンジドローン11は、複数種類の追跡用マーク21を備えてもよい。
【0022】
ショートレンジドローン11は、ネットワークNを介して無線通信を行うための通信モジュールを備える。また、ショートレンジドローン11は、加速度センサ、ジャイロセンサ、光学センサ等の各種センサを備える。
【0023】
また、ショートレンジドローン11は、自己の位置を測定するための測位装置22を有する。測位装置22は、たとえば、GNSSである。測位装置22によって検出されたショートレンジドローン11の位置情報は、ネットワークNを介して管理装置4に送信されてもよい。測位装置22によって検出されたショートレンジドローン11の位置情報は、ネットワークNを介して制御装置13に送信されてもよい。また、ショートレンジドローン11は、飛行制御機能、および、姿勢を制御するための姿勢制御機能等を実行するコンピュータ(例えばマイコン)を有する。
【0024】
ショートレンジドローン11は、通信モジュールを介して、制御装置13から第1飛行経路に関する情報を取得する。第1飛行経路に関する情報は、第1飛行経路の位置情報(たとえば、緯度、経度、および、高度)を含む。第1飛行経路は、不審対象を追跡する飛行経路である。
【0025】
ショートレンジドローン11は、カメラ20によって撮影した画像を、通信モジュールを介して、管理装置4に送信する。ショートレンジドローン11は、カメラ20によって撮影した画像を、通信モジュールを介して、制御装置13に送信する。ショートレンジドローン11は、通信モジュールを介して、制御装置13から、追跡用マーク21の発射信号に関する情報を取得する。
【0026】
ショートレンジドローン11は、不審対象が検出された場合、ロボット本体10の基地部15から発進する。ショートレンジドローン11は、第1飛行経路に関する情報を取得し、第1飛行経路に沿って、不審対象を追跡するように飛行する。ショートレンジドローン11は、カメラ20によって撮影された画像に基づいた画像処理を実行し、障害物を回避しつつ、第1飛行経路に沿って飛行する。ショートレンジドローン11は、追跡用マーク21の発射信号が取得された場合、追跡用マーク21を発射する。ショートレンジドローン11は、追跡用マーク21を不審対象に向けて発射する。
【0027】
検出部12は、たとえば、ロボット本体10の頭部10dに設けられる。検出部12は、ロボット本体10の胴体部10aなどに設けられてもよい。検出部12は、ロボット本体10の周囲の状況を検出する。検出部12は、たとえば、360度センシング可能な高感度カメラ、LiDAR(light detection and ranging)、サーモカメラ、および、レーダーなどを含む。検出部12は、ビジョン認識、微細音、超音波、振動、赤外線、紫外線、電磁波などのセンサを含んでもよい。検出部12は、複数設けられてもよい。検出部12は、複数種類のセンサなどであってもよい。
【0028】
また、検出部12は、測位装置を含む。測位装置は、たとえば、GNSSである。測位装置は、ロボット本体10の位置を検出する。検出されたロボット本体10の位置情報は、ネットワークNを介して管理装置4に送信される。
【0029】
制御装置13は、図3に示すように、通信部30と、記憶部31と、制御部32とを備える。図3は、実施形態に係る追跡ロボット2の制御装置13の概略を示す機能ブロック図である。
【0030】
通信部30は、ネットワークNと無線で接続される。通信部30は、ネットワークNを介して、管理装置4との間で情報の送受信を行う。通信部30は、検出部12によって検出された各種情報を管理装置4に送信する。通信部30は、ショートレンジドローン11のカメラ20によって撮影された画像を受信する。通信部30は、追跡用マーク21の測位装置から、追跡用マーク21の位置情報を受信する。
【0031】
記憶部31は、例えばRAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、又はHDD(Hard Disk Drive)、SSD(Solid State Drive)、光ディスク等の記憶装置によって実現される。記憶部31には、各種プログラム及び各種データ等が記憶される。
【0032】
制御部32は、コントローラであり、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM、入出力ポート等を有するマイクロコンピュータや各種の回路を含む。また、制御部32は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路等のハードウェアで構成されてもよい。制御部32は、不審対象検出部35と、ドローン制御部36と、ロボット制御部37とを備える。
【0033】
不審対象検出部35は、不審対象を検出する。不審対象検出部35は、検出部12によって検出された各種情報に基づいて、不審対象を検出する。たとえば、不審対象検出部35は、追跡ロボット2に設けられた高感度カメラによって撮影された画像に、所定の画像処理を実行し、不審対象を検出する。たとえば、不審対象検出部35は、赤外線センサによる検出結果に応じて、不審対象を検出してもよい。不審対象検出部35は、AI(Artificial Intelligence)における不審対象検出モデルを用いて、不審対象を検出してもよい。
【0034】
ドローン制御部36は、ショートレンジドローン11、および、ロングレンジドローン3を制御する。ドローン制御部36は、ショートレンジドローン11の第1飛行経路を設定する。ドローン制御部36は、検出された不審対象を追跡する第1飛行経路を設定する。ドローン制御部36は、現在の追跡ロボット2の位置情報、および、不審対象が検出された位置情報に基づいて、第1飛行経路を設定する。たとえば、ドローン制御部36は、現在の追跡ロボット2の位置情報と、追跡ロボット2に対して不審対象が検出された方向と、追跡ロボット2から不審対象までの距離とに基づいて、第1飛行経路を設定する。
【0035】
ドローン制御部36は、ロングレンジドローン3の第2飛行経路を設定する。ドローン制御部36は、検出された不審対象を追跡する第2飛行経路を設定する。ドローン制御部36は、ロングレンジドローン3が待機しているステーションの位置情報、および、追跡用マーク21の位置情報に基づいて、第2飛行経路を設定する。ドローン制御部36は、ロングレンジドローン3の位置情報、および、追跡用マーク21の位置情報に基づいて、第2飛行経路を設定してもよい。
【0036】
ドローン制御部36は、不審対象の逃走予測経路に基づいて、第1飛行経路、および、第2飛行経路を設定してもよい。逃走予測経路は、たとえば、逃走経路予測モデルによって生成される。逃走経路予測モデルは、不審対象が検出された際の追跡ロボット2の位置情報、追跡用マーク21の位置情報、地図情報、交通情報などから、不審対象の逃走経路を予測する。追跡用マーク21の位置情報、たとえば、追跡用マーク21の位置の履歴情報を含む。
【0037】
たとえば、逃走経路予測モデルは、MapGPTを用いることができる。たとえば、逃走経路予測モデルは、文章生成モデル(いわゆるAIチャットエンジン)であり、文字による自動対話処理のためのアルゴリズム及び演算と解釈してよい。文章生成モデルは、例えば特開2018-081444号公報やchatGPT(インターネット検索<URL: https://openai.com/blog/chatgpt>)に開示される通り公知であるため、その詳細な説明を省略する。このような、文章生成モデルは、大規模言語モデル(LLM:Large Language Model)により構成されている。
【0038】
ドローン制御部36は、たとえば、追跡用マーク21の位置情報に基づいて、言語生成モデルによって「不審対象が、ABC町DDの交差点を東から西に逃げています。どのような逃走経路が考えられますか?」といった文を生成する。そして、生成した文が、逃走経路予測モデルに入力されることで、たとえば、「不審者は、ABC町のEFに向かう可能性が高いです。」といった文が生成される。この場合、ドローン制御部36は、「ABC町のEF」に向かう第1飛行経路、および、第2飛行経路を設定する。
【0039】
不審対象の逃走予測経路に基づいて、第1飛行経路、および、第2飛行経路が設定されることで、ショートレンジドローン11、および、ロングレンジドローン3は、不審対象の移動先に先回りすることができる。
【0040】
設定された第1飛行経路は、ショートレンジドローン11に送信される。第1飛行経路を受信したショートレンジドローン11は、基地部15から発進し、第1飛行経路に沿って飛行し、不審対象を追跡する。
【0041】
設定された第2飛行経路は、ロングレンジドローン3に送信される。第2飛行経路を受信したロングレンジドローン3は、待機しているステーションから発進し、第2飛行経路に沿って飛行し、不審対象を追跡する。
【0042】
ドローン制御部36は、ショートレンジドローン11の追跡用マーク21の発射信号を生成する。ドローン制御部36は、たとえば、ショートレンジドローン11のカメラ20によって撮影された画像から、不審対象までの距離を算出する。そして、不審対象までの距離が、予め設定された所定距離以下である場合に、不審対象に向けて追跡用マーク21を発射する発射信号を生成する。生成された発射信号は、ショートレンジドローン11に送信される。これにより、追跡用マーク21が、不審対象に向けて発射される。
【0043】
ロボット制御部37は、ロボット本体10の走行経路を設定する。走行経路は、予め設定された警戒経路を含む。ロボット制御部37は、走行経路に沿ってロボット本体10を自律走行させる。ロボット制御部37は、検出部12によって検出された状況に応じてロボット本体10を自律走行させる。ロボット制御部37は、ロボット本体10の脚部10b、および、腕部10cの駆動を制御することで、ロボット本体10を自律走行させる。ロボット制御部37は、検出部12によって検出された各種情報に基づいて、たとえば、障害物を避けてロボット本体10が走行するように、ロボット本体10の脚部10b、および、腕部10cの駆動を制御する。
【0044】
また、たとえば、不審対象が検出された場合、ロボット制御部37は、不審対象を追跡するように走行経路を設定する。ロボット制御部37は、たとえば、ロボット本体10の位置情報、および、不審対象が検出された位置情報に基づいて、不審対象を追跡するように走行経路を設定する。たとえば、ロボット制御部37は、現在のロボット本体10の位置情報と、ロボット本体10に対して不審対象が検出された方向と、ロボット本体10から不審対象までの距離とに基づいて、不審対象を追跡する走行経路を設定する。
【0045】
また、ロボット制御部37は、ショートレンジドローン11が発進した後は、ロボット本体10の位置情報、および、追跡用マーク21の位置情報に基づいて、不審対象を追跡するように走行経路を設定する。
【0046】
不審対象が検出された場合、ロボット制御部37は、不審対象の逃走予測経路に基づいて、不審対象を追跡するように走行経路を設定してもよい。不審対象の逃走予測経路に基づいて、ロボット本体10の走行経路が、設定されることで、ロボット本体10は、不審対象の移動先に先回りすることができる。
【0047】
図1に戻り、ロングレンジドローン3は、移動体の一例である。ロングレンジドローン3は、たとえば、ショートレンジドローン11と同様に、複数の回転翼プロペラを備えたマルチコプターであって、無人での自律飛行を行う。また、ショートレンジドローン11は、バッテリーにより駆動する。
【0048】
ロングレンジドローン3は、ショートレンジドローン11よりも飛行距離が長い。飛行距離は、1回の充電で飛行可能な距離である。ロングレンジドローン3は、予め設定されたステーションに待機する。たとえば、ロングレンジドローン3は、ショートレンジドローン11よりも飛行距離を長くするために、大型のバッテリーを備える。たとえば、ロングレンジドローン3は、ショートレンジドローン11よりも大きい。ロングレンジドローン3は、たとえば、飛行機型であってもよい。
【0049】
ロングレンジドローン3は、ショートレンジドローン11と同様に、カメラを備える。ロングレンジドローン3は、たとえば、ショートレンジドローン11とは異なり、追跡用マークを備えない。なお、ロングレンジドローン3は、ショートレンジドローン11と同様に、追跡用マークを備えてもよい。
【0050】
ロングレンジドローン3は、ネットワークNを介して無線通信を行うための通信モジュールを備える。また、ロングレンジドローン3は、加速度センサ、ジャイロセンサ、光学センサ等の各種センサを備える。
【0051】
また、ロングレンジドローン3は、自己の位置を測定するための測位装置39(図1参照)を有する。測位装置39は、たとえば、GNSSである。測位装置39によって検出されたロングレンジドローン3の位置情報は、ネットワークNを介して管理装置4に送信されてもよい。測位装置39によって検出されたロングレンジドローン3の位置情報は、ネットワークNを介して制御装置13に送信されてもよい。また、ロングレンジドローン3は、飛行制御機能、および、姿勢を制御するための姿勢制御機能等を実行するコンピュータ(例えばマイコン)を有する。
【0052】
ロングレンジドローン3は、通信モジュールを介して、制御装置13から第2飛行経路に関する情報を取得する。第2飛行経路に関する情報は、第2飛行経路の位置情報(たとえば、緯度、経度、および、高度)を含む。
【0053】
ロングレンジドローン3は、ショートレンジドローン11による不審対象の追跡を引き継ぐように飛行してもよい。ロングレンジドローン3は、ショートレンジドローン11と同時に、不審対象を追跡してもよい。
【0054】
ロングレンジドローン3は、カメラによって撮影した画像を、通信モジュールを介して、管理装置4に送信する。ロングレンジドローン3は、カメラによって撮影した画像を、通信モジュールを介して、制御装置13に送信する。
【0055】
ロングレンジドローン3は、不審対象が検出された場合、待機するステーションから発進する。ロングレンジドローン3は、第2飛行経路に関する情報を取得し、第2飛行経路に沿って、不審対象を追跡するように飛行する。ロングレンジドローン3は、カメラによって撮影された画像に基づいた画像処理を実行し、障害物を回避しつつ、第2飛行経路に沿って飛行する。
【0056】
ショートレンジドローン11と、ロングレンジドローン3とを用いて、不審対象を追跡することで、不審対象に対する追跡性を向上することができる。たとえば、屋内では、ロングレンジドローン3よりも小さいショートレンジドローン11によって追跡を行い、不審対象が屋外に逃走した場合に、ロングレンジドローン3によって追跡を行うこともできる。
【0057】
管理装置4は、たとえば、サーバ装置である。管理装置4は、クラウドサーバであってもよい。管理装置4は、図4に示すように、通信部40と、記憶部41と、制御部42とを備える。図4は、実施形態に係る管理装置4の概略を示す機能ブロック図である。
【0058】
管理装置4は、不審対象を検出した追跡ロボット2から、追跡ロボット2の検出部12によって検出された各種情報などを収集する。また、管理装置4は、不審対象を検出した追跡ロボット2とは異なる追跡ロボット2から、検出部12によって検出された各種情報などを収集する。また、管理装置4は、複数のロングレンジドローン3から、各ロングレンジドローン3の位置情報などを収集する。
【0059】
管理装置4は、追跡ロボット2の走行経路に関する情報を生成してもよい。また、管理装置4は、ショートレンジドローン11の第1飛行経路に関する情報を生成してもよい。また、管理装置4は、ロングレンジドローン3の第2飛行経路に関する情報を生成してもよい。
【0060】
通信部40は、ネットワークNと有線、または、無線で接続される。通信部40は、ネットワークNを介して、追跡ロボット2の制御装置13、ショートレンジドローン11、および、ロングレンジドローン3との間で情報の送受信を行う。
【0061】
通信部40は、追跡ロボット2の制御装置13から、検出部12によって検出された各種情報を受信する。通信部40は、ショートレンジドローン11から、カメラ20によって撮影された画像を受信する。通信部40は、ショートレンジドローン11、追跡用マーク21、および、ロングレンジドローン3から、位置情報を受信する。通信部40は、ロングレンジドローン3から、カメラによって撮影された画像を受信する。
【0062】
記憶部41は、例えばRAM、フラッシュメモリ等の半導体メモリ素子、又はHDD、SSD、光ディスク等の記憶装置によって実現される。記憶部41には、各種プログラム及び各種データ等が記憶される。たとえば、記憶部41には、各追跡ロボット2の検出部12によって検出された各種情報などが記憶される。
【0063】
制御部42は、コントローラであり、例えばCPU、ROM、RAM、入出力ポート等を有するマイクロコンピュータや各種の回路を含む。また、制御部42は、例えば、ASICやFPGA等の集積回路等のハードウェアで構成されてもよい。
【0064】
制御部42は、ロボット本体10の走行経路に関する情報を生成してもよい。たとえば、制御部42は、文章生成モデル(いわゆるAIチャットエンジン)によって、ロボット本体10の走行経路に関する情報を生成する。文章生成モデルは、上述したように、文字による自動対話処理のためのアルゴリズム及び演算と解釈してよい。
【0065】
制御部42は、追跡ロボット2の検出部12によって検出された各種情報から、不審対象についての質問を生成する。まず、制御部42は、たとえば、言語生成モデルによって質問を生成する。
【0066】
たとえば、追跡ロボット2の赤外線センサによって動きが検出される場合、「赤外線センサがこのような動きを検知しました。このような動きをするのは不審者でしょうか?犯罪者心理としては、次にどのような行動をとるでしょうか。」の質問が生成される。
【0067】
このような質問が文章生成モデルに入力されることで、たとえば、制御部42は、「不審者の可能性が高いです。人の気配を感じると逃げる動作をとります。」といった文を生成する。生成された文が、走行経路に関する情報として、追跡ロボット2に送信されることで、追跡ロボット2は、不審者と推定される人に低速度で近づくように、走行経路を設定する。
【0068】
また、たとえば、追跡ロボット2の微細音を検出するセンサによって音が検出された場合、「2m先から、ピピッ、という音が聞こえます。これは何の音でしょうか。」の質問が生成される。
【0069】
このような質問が文章生成モデルに入力されることで、たとえば、制御部42は、「警戒音が鳴っています。」といった文を生成する。生成された文が、走行経路に関する情報として、追跡ロボット2に送信されることで、追跡ロボット2は、不審対象と認定し、たとえば、最短のルートで不審対象に近づくように走行経路を設定する。
【0070】
なお、制御部42は、追跡ロボット2の検出部12によって検出された他の情報に基づいて、同様に、追跡ロボット2の走行経路に関する情報を生成してもよい。制御部42は、360度センシング可能な高感度カメラ、LiDAR、サーモカメラ、および、レーダーなどによって得られた情報に基づいて、追跡ロボット2の走行経路に関する情報を生成してもよい。制御部42は、ビジョン認識、超音波、振動、紫外線、および、電磁波などのセンサによって得られた情報に基づいて、追跡ロボット2の走行経路に関する情報を生成してもよい。
【0071】
また、追跡ロボット2の検出部12によって検出された複数の情報に基づいて、同様に、追跡ロボット2の走行経路に関する情報を生成してもよい。なお、制御部42は、追跡ロボット2の走行経路を設定してもよい。
【0072】
文書生成モデルによって、追跡ロボット2の走行経路に関する情報が生成されることで、追跡ロボット2は、たとえば、不審対象を正確に判定することができ、また、不審対象に気付かれずに追跡ロボット2を不審対象に近づけることができる。そのため、たとえば、追跡ロボット2は、ショートレンジドローン11から発射する追跡用マーク21の命中率を向上させることができる。このように、文書生成モデルによって、追跡ロボット2の走行経路に関する情報が生成されることで、追跡ロボット2などによる不審対象の追跡性を向上させることができる。
【0073】
また、制御部42は、ショートレンジドローン11の第1飛行経路、および、ロングレンジドローン3の第2飛行経路の少なくとも一方に関する情報を生成してもよい。たとえば、制御部42は、文章生成モデルによって、第1飛行経路に関する情報を生成する。
【0074】
たとえば、追跡ロボット2によって不審対象が検出され、不審対象が車であり、不審対象の車のナンバーとして「AA-BB」が検出された場合、制御部42は、言語生成モデルによって「AA-BBのナンバーの車を撮影して。」とする文を作成する。そして、制御部42は、生成した文を、文章生成モデルに入力することで、第1飛行経路に関する情報を生成する。たとえば、制御部42は、ショートレンジドローン11のカメラによって「AA-BB」のナンバーの車を撮影して、「AA-BB」のナンバーの車を追跡するショートレンジドローン11の飛行プログラムを生成する。そして、生成した飛行プログラムを、第1飛行経路に関する情報として生成する。生成された第1飛行経路に関する情報が、ショートレンジドローン11に送信されることで、ショートレンジドローン11は、「AA-BB」のナンバーの車を追跡するように飛行する。ショートレンジドローン11のカメラによって撮影された画像は、管理装置4に送信される。
【0075】
たとえば、文書生成モデルによってショートレンジドローン11の第1飛行経路に関する情報が生成されることで、ショートレンジドローン11による不審対象の追跡性を向上させることができる。
【0076】
文章生成モデルを用いた追跡ロボット2の走行経路に関する情報などの生成は、追跡ロボット2によって実行されてもよい。
【0077】
次に、実施形態に係るショートレンジドローン11の制御処理について図5を参照し説明する。図5は、実施形態に係るショートレンジドローン11の制御処理を説明するフローチャートである。ショートレンジドローン11の制御処理は、追跡ロボット2の制御装置13によって実行される。
【0078】
制御部32は、検出部12によって検出された各種情報を取得する(S100)。制御部32は、取得した各種情報に基づいて、不審対象が検出されたか否かを判定する(S101)。たとえば、制御部32は、高感度カメラによって撮影された画像に、所定の画像処理を実行することで、不審対象を検出する。
【0079】
制御部32は、不審対象が検出されなかった場合(S101:No)、今回の処理を終了する。制御部32は、不審対象が検出された場合(S101:Yes)、ショートレンジドローン11の第1飛行経路を設定する(S102)。
【0080】
制御部32は、第1飛行経路をショートレンジドローン11に送信する(S103)。これにより、ショートレンジドローン11が追跡ロボット2の基地部15から発進する。
【0081】
制御部32は、ショートレンジドローン11のカメラ20によって撮影された画像を取得する(S104)。
【0082】
制御部32は、不審対象までの距離が、所定距離以下であるか否かを判定する(S105)。制御部32は、不審対象までの距離が、所定距離よりも大きい場合(S105:No)、不審対象の追跡を継続し、ショートレンジドローン11のカメラ20によって撮影された画像を取得する(S104)。
【0083】
制御部32は、不審対象までの距離が、所定距離以下である場合(S105:Yes)、追跡用マーク21の発射信号を生成する(S106)。制御部32は、生成した発射信号を、ショートレンジドローン11に送信する(S107)。これにより、ショートレンジドローン11から、追跡用マーク21が不審対象に向けて発射される。
【0084】
次に、実施形態に係るロングレンジドローン3の制御処理について図6を参照し説明する。図6は、実施形態に係るロングレンジドローン3の制御処理を説明するフローチャートである。ロングレンジドローン3の制御処理は、追跡ロボット2の制御装置13によって実行される。
【0085】
制御部32は、検出部12によって検出された各種情報を取得する(S200)。制御部32は、取得した各種情報に基づいて、不審対象が検出されたか否かを判定する(S201)。
【0086】
制御部32は、不審対象が検出されなかった場合(S201:No)、今回の処理を終了する。制御部32は、不審対象が検出された場合(S201:Yes)、ロングレンジドローン3の第2飛行経路を設定する(S202)。
【0087】
制御部32は、第2飛行経路をショートレンジドローン11に送信する(S203)。これにより、ロングレンジドローン3がステーションから発進する。
【0088】
ロングレンジドローン3は、追跡用マーク21の位置情報に基づいて飛行する。そのため、図7Aに示すように、ショートレンジドローン11が、不審対象Cに追跡用マーク21を発射していない場合、ロングレンジドローン3は、ショートレンジドローン11を追跡して、不審対象Cに近づくように飛行する。そして、図7Bに示すように、ショートレンジドローン11から追跡用マーク21が発射されて、不審対象Cに追跡用マーク21に付着すると、ロングレンジドローン3は、不審対象Cを追跡するように飛行する。図7Aは、追跡用マーク21が発射される前のロングレンジドローン3の飛行例を示す図である。図7Bは、追跡用マーク21が不審対象Cに付着した後のロングレンジドローン3の飛行例を示す図である。
【0089】
なお、不審対象を検出、および、追跡するための画像を撮影するカメラは、追跡ロボット2などに設けられたカメラに限られることはない。不審対象を検出、および、追跡するための画像を撮影するカメラは、たとえば、不審対象が室内にいる場合、室内の他のロボットのカメラ、室内に設けられた監視カメラが用いられてもよい。また、不審対象を検出、および、追跡するための画像を撮影するカメラは、たとえば、不審対象が屋外にいる場合、屋外の監視カメラが用いられてもよい。すなわち、たとえば、追跡ロボット2は、室内の他のロボットのカメラ、室内の監視カメラ、および、屋外の監視カメラによって撮影された画像に基づいて、不審対象を検出などしてもよい。
【0090】
追跡ロボット2は、ショートレンジドローン11と、ロボット本体10と、検出部12と、制御部32とを備える。ショートレンジドローン11は、不審対象を追跡し、不審対象に向けて追跡用マーク21を発射可能である。ロボット本体10は、ショートレンジドローン11が発着可能であり、自律走行可能である。検出部12は、ロボット本体10の周囲の状況を検出する。制御部32は、ドローンを制御し、検出部12によって検出された状況に応じてロボット本体10を自律走行させる。制御部32は、不審対象が検出された場合に、ロボット本体10からショートレンジドローン11を発進させ、不審対象に向けてショートレンジドローン11から追跡用マーク21を発射する。
【0091】
これにより、追跡ロボット2は、追跡用マーク21を追跡することで、不審対象を追跡することができる。そのため、追跡ロボット2は、不審対象の判別を容易に行うことができ、不審対象の追跡が容易となり、かつ、不審対象を正確に判別することができる。従って、追跡ロボット2は、不審対象の追跡性を向上させることができる。
【0092】
追跡用マーク21は、追跡用マーク21の位置情報を取得し、追跡用マーク21の位置情報を発信する。
【0093】
これにより、追跡ロボット2は、追跡用マーク21の位置情報に基づいて、不審対象を追跡することができる。たとえば、追跡ロボット2は、障害物などによって不審対象を見失った場合であっても、追跡用マーク21の位置情報に基づいて、不審対象を発見することができ、不審対象の追跡性を向上させることができる。
【0094】
追跡用マーク21の位置情報は、ショートレンジドローン11よりも飛行距離が長いロングレンジドローン3に送信される。ロングレンジドローン3は、追跡用マーク21の位置情報に基づいて、不審対象を追跡するように飛行する。
【0095】
これにより、ロングレンジドローン3によって、不審対象を長時間継続して追跡することができる。
【0096】
図8は、追跡ロボット2、または、管理装置4として機能するコンピュータハードウェア構成の一例を概略的に示す図である。コンピュータ1200にインストールされたプログラムは、コンピュータ1200を、本実施形態に係る装置の1又は複数の「部」として機能させ、又はコンピュータ1200に、本実施形態に係る装置に関連付けられるオペレーション又は当該1又は複数の「部」を実行させることができ、及び/又はコンピュータ1200に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又は全てに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
【0097】
本実施形態によるコンピュータ1200は、CPU1212、RAM1214、及びグラフィックコントローラ1216を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、記憶装置1224、DVDドライブ、及びICカードドライブのような入出力ユニットを含み、それらは入出力コントローラ1220を介してホストコントローラ1210に接続されている。DVDドライブは、DVD-ROMドライブ及びDVD-RAMドライブ等であってよい。記憶装置1224は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ1200はまた、ROM1230及びキーボードのような入出力ユニットを含み、それらは入出力チップ1240を介して入出力コントローラ1220に接続されている。
【0098】
CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ1216は、RAM1214内に提供されるフレームバッファ等又はそれ自体の中に、CPU1212によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス1218上に表示されるようにする。
【0099】
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。記憶装置1224は、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納する。DVDドライブは、プログラム又はデータをDVD-ROM等から読み取り、記憶装置1224に提供する。ICカードドライブは、プログラム及びデータをICカードから読み取り、及び/又はプログラム及びデータをICカードに書き込む。
【0100】
ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/又はコンピュータ1200のハードウェアに依存するプログラムを格納する。入出力チップ1240はまた、様々な入出力ユニットをUSBポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ1220に接続してよい。
【0101】
プログラムは、DVD-ROM又はICカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置1224、RAM1214、又はROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ1200の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
【0102】
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、記憶装置1224、DVD-ROM、又はICカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
【0103】
また、CPU1212は、記憶装置1224、DVDドライブ(DVD-ROM)、ICカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
【0104】
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、当該複数のエントリの中から、第1の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
【0105】
上記したプログラム又はソフトウエアモジュールは、コンピュータ1200上又はコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
【0106】
本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表してよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び/又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び/又はアナログハードウェア回路を含んでよく、集積回路(IC)及び/又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ(FPGA)、及びプログラマブルロジックアレイ(PLA)等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。
【0107】
コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROM又はフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(登録商標)ディスク、メモリスティック、集積回路カード等が含まれてよい。
【0108】
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はSmalltalk(登録商標)、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでもよい。
【0109】
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
【0110】
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0111】
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【0112】
1 追跡システム
2 追跡ロボット
3 ロングレンジドローン
4 管理装置
10 ロボット本体
11 ショートレンジドローン
12 検出部
13 制御装置
20 カメラ
21 追跡用マーク
32 制御部
35 不審対象検出部
36 ドローン制御部
37 ロボット制御部
図1
図2
図3
図4
図5
図6
図7A
図7B
図8
【手続補正書】
【提出日】2024-05-07
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0037
【補正方法】変更
【補正の内容】
【0037】
とえば、逃走経路予測モデルは、文章生成モデル(いわゆるAIチャットエンジン)であり、文字による自動対話処理のためのアルゴリズム及び演算と解釈してよい。文章生成モデルは、例えば特開2018-081444号公報やchatGPT(インターネット検索<URL: https://openai.com/blog/chatgpt>)に開示される通り公知であるため、その詳細な説明を省略する。このような、文章生成モデルは、大規模言語モデル(LLM:Large Language Model)により構成されている。