(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024171184
(43)【公開日】2024-12-11
(54)【発明の名称】追跡ロボット
(51)【国際特許分類】
G05D 1/683 20240101AFI20241204BHJP
G05D 1/46 20240101ALI20241204BHJP
【FI】
G05D1/12 Z
G05D1/10
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2023088128
(22)【出願日】2023-05-29
(71)【出願人】
【識別番号】591280485
【氏名又は名称】ソフトバンクグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】孫 正義
【テーマコード(参考)】
5H301
【Fターム(参考)】
5H301AA06
5H301BB10
5H301CC04
5H301CC07
5H301CC10
5H301GG09
5H301LL06
5H301LL11
5H301QQ08
(57)【要約】
【課題】不審対象を追跡すること。
【解決手段】実施形態に係る追跡ロボットは、不審対象を追跡可能なドローンと、ドローンが発着可能であり、自律走行可能なロボット本体と、ロボット本体の周囲の状況を検出する検出部と、ドローンを制御し、検出部によって検出された状況に応じてロボット本体を自律走行させる制御部とを備える。ロボット本体は、胴体部と、胴体部に可動可能に取り付けられる脚部と、脚部に設けられ、ロボット本体を移動させるローラーとを備える。制御部は、脚部の可動による第1走行と、ローラーによる第2走行とを切り替え可能である。
【選択図】
図2
【特許請求の範囲】
【請求項1】
不審対象を追跡可能なドローンと、
前記ドローンが発着可能であり、自律走行可能なロボット本体と、
前記ロボット本体の周囲の状況を検出する検出部と、
前記ドローンを制御し、前記検出部によって検出された状況に応じて前記ロボット本体を自律走行させる制御部と
を備え、
前記ロボット本体は、
胴体部と、
前記胴体部に可動可能に取り付けられる脚部と、
前記脚部に設けられ、前記ロボット本体を移動させるローラーと
を備え
前記制御部は、前記脚部の可動による第1走行と、前記ローラーによる第2走行とを切り替え可能である、追跡ロボット。
【請求項2】
前記第2走行による前記ロボット本体の移動速度は、前記第1走行による前記ロボット本体の移動速度よりも速い、請求項1に記載の追跡ロボット。
【請求項3】
前記制御部は、前記ロボット本体を前記第1走行によって走行させる場合、前記ローラーが回転しないようにロックする、請求項1に記載の追跡ロボット。
【請求項4】
前記ドローンは、前記不審対象に向けて追跡用マークを発射可能である、請求項1に記載の追跡ロボット。
【請求項5】
前記不審対象の追跡経路は、文章生成モデルによって生成される、請求項1に記載の追跡ロボット。
【発明の詳細な説明】
【技術分野】
【0001】
開示の実施形態は、追跡ロボットに関する。
【背景技術】
【0002】
従来、車両に危害が加えられた場合に、車両からドローンを離陸させて、車両、および、車両の周囲を、ドローンに設けたカメラによって撮影するシステムが知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の技術では、たとえば、不審対象が検出され、不審対象が逃げた場合に、不審対象を追跡することができない、といった問題点がある。
【0005】
本発明は、上記に鑑みてなされたものであって、不審対象を追跡することを目的とする。
【課題を解決するための手段】
【0006】
実施形態の一態様に係る追跡ロボットは、不審対象を追跡可能なドローンと、ドローンが発着可能であり、自律走行可能なロボット本体と、ロボット本体の周囲の状況を検出する検出部と、ドローンを制御し、検出部によって検出された状況に応じてロボット本体を自律走行させる制御部とを備える。ロボット本体は、胴体部と、胴体部に可動可能に取り付けられる脚部と、脚部に設けられ、ロボット本体を移動させるローラーとを備える。制御部は、脚部の可動による第1走行と、ローラーによる第2走行とを切り替え可能である。
【発明の効果】
【0007】
実施形態の一態様によれば、不審対象を追跡することができる。
【図面の簡単な説明】
【0008】
【
図1】
図1は、実施形態に係る追跡システムの概略を示す図である。
【
図2】
図2は、実施形態に係る追跡ロボットの概略を示す図である。
【
図3】
図3は、実施形態に係る追跡ロボットの制御装置の概略を示す機能ブロック図である。
【
図4】
図4は、実施形態に係る管理装置の概略を示す機能ブロック図である。
【
図5】
図5は、実施形態に係る走行切替処理を説明するフローチャートである。
【
図6】
図6は、追跡ロボット、または、管理装置として機能するコンピュータハードウェア構成の一例を概略的に示す図である。
【発明を実施するための形態】
【0009】
以下、実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0010】
実施形態に係る追跡ロボット2を含む追跡システム1について、
図1を参照し説明する。
図1は、実施形態に係る追跡システム1の概略を示す図である。
【0011】
追跡システム1は、追跡ロボット2と、ロングレンジドローン3と、管理装置4とを備える。追跡ロボット2、および、ロングレンジドローン3と、管理装置4とは、ネットワークNを介して接続される。追跡ロボット2、および、ロングレンジドローン3は、たとえば、複数設けられる。
【0012】
ネットワークNは、たとえば、LTE(Long Term Evolution)、5G等のモバイル通信網である。追跡ロボット2、および、ロングレンジドローン3は、ネットワークNを介して接続されてもよい。
【0013】
次に、追跡ロボット2について、
図2を参照し説明する。
図2は、実施形態に係る追跡ロボット2の概略を示す図である。
【0014】
追跡ロボット2は、ロボット本体10と、ショートレンジドローン11と、検出部12と、制御装置13とを備える。追跡ロボット2は、自律走行可能であり、不審対象が検出された場合、不審対象を追跡する。不審対象は、たとえば、不審な行動をとっている者や、事件の犯人などを含む。また、不審対象は、人に限られることはなく、不審な行動をとった者が乗った車両などであってもよい。
【0015】
ロボット本体10は、人型のロボットである。ロボット本体10は、胴体部10aと、脚部10bと、腕部10cと、頭部10dとを備える。脚部10b、腕部10c、および、頭部10dは、胴体部10aに可動可能に取り付けられる。ロボット本体10には、脚部10b、腕部10c、および、頭部10dなどの各部位を可動させるモータなどの駆動機構が設けられる。ロボット本体10は、脚部10bが可動されることで、走行することができる。
【0016】
また、ロボット本体10は、ローラー14を備える。ローラー14は、脚部10bに設けられる。具体的には、ローラー14は、脚部10bの下端に設けられる。ローラー14は、1つの脚部10bに対して複数設けられる。たとえば、1つの脚部10bには、4つのローラー14が設けられる。なお、1つの脚部10bに対するローラー14の数は、これに限られることはない。
【0017】
ローラー14は、脚部10bに対して回転することができる。たとえば、ローラー14は、モータによって発生する回転が伝達されることで、回転する。ロボット本体10は、ローラー14が回転することで、走行することができる。
【0018】
ローラー14は、歯車などの減速機構などを有してもよい。また、脚部10bには、ローラー14が回転しないようにロック可能なロック機構が設けられる。たとえば、ロック機構は、ローラー14の回転軸をロックする。
【0019】
ロック機構は、たとえば、ローラー14の回転軸に設けられる歯車に、爪部が係合することで、ローラー14が脚部10bに対して回転しないようにロックする。歯車と爪部との係合が解除されることで、ローラー14は、脚部10bに対して回転することができる。なお、上記するロック機構は、一例であり、これに限られることはない。
【0020】
ロボット本体10は、第1走行、または、第2走行によって走行することができる。第1走行は、脚部10bが可動することで走行する方法である。第2走行は、ローラー14が回転することで走行する方法である。
【0021】
第1走行では、ローラー14は、ロック機構によって脚部10bに対して回転しないようにロックされる。第2走行では、ローラー14は、ロック機構によるロックが解除される。
【0022】
第2走行による走行速度は、第1走行による走行速度よりも速い。すなわち、ローラー14によるロボット本体10の移動速度は、脚部10bの可動によるロボット本体10の走行速度よりも速い。
【0023】
腕部10cの先端には、指10eが設けられる。たとえば、腕部10cの先端には、5本の指10eが設けられる。各指10eは、モータなどの駆動機構によってそれぞれ、屈曲可能である。
【0024】
胴体部10aの背面には、ショートレンジドローン11が発着可能な基地部15が設けられる。基地部15は、ショートレンジドローン11のバッテリーを充電する充電装置を備える。また、基地部15は、ショートレンジドローン11の交換用バッテリーを備えてもよい。
【0025】
ショートレンジドローン11は、移動体の一例である。ショートレンジドローン11は、複数(例えば4つ)の回転翼プロペラを備えたマルチコプターであって、無人での自律飛行を行う。また、ショートレンジドローン11は、バッテリーにより駆動する。
【0026】
ショートレンジドローン11は、カメラ20と、追跡用マーク21とを備える。追跡用マーク21は、ショートレンジドローン11から発射される。ショートレンジドローン11は、追跡用マーク21を発射する発射装置を備える。
【0027】
追跡用マーク21は、たとえば、不審対象に発射された場合に、不審対象に付着する。たとえば、追跡用マーク21には、磁石が設けられる。追跡用マーク21は、たとえば、不審対象が車両である場合、磁力によって不審対象に付着する。追跡用マーク21は、粘着性を有してもよい。
【0028】
追跡用マーク21は、たとえば、測位装置を有する。測位装置は、たとえば、GNSS(Global Navigation Satellite System)であり、上空を周回している航法衛星からの電波を受信して測位および計時することができる。また、測位装置は、検出した自己の位置情報を発信する通信モジュールを備える。測位装置によって検出された追跡用マーク21の位置情報は、ネットワークNを介して管理装置4に送信される。測位装置によって検出された追跡用マーク21の位置情報は、ネットワークNを介して制御装置13に送信される。追跡用マーク21が不審対象に付着した場合、測位装置から発信される位置情報に基づいて、不審対象の位置が検出される。
【0029】
また、追跡用マーク21は、蛍光塗料を含むボールなどであってもよい。蛍光塗料を含むボールは、不審対象に当たることで破裂し、蛍光塗料を不審対象に付着させる。ショートレンジドローン11は、複数種類の追跡用マーク21を備えてもよい。
【0030】
ショートレンジドローン11は、ネットワークNを介して無線通信を行うための通信モジュールを備える。また、ショートレンジドローン11は、加速度センサ、ジャイロセンサ、光学センサ等の各種センサを備える。
【0031】
また、ショートレンジドローン11は、自己の位置を測定するための測位装置22を有する。測位装置22は、たとえば、GNSSである。測位装置22によって検出されたショートレンジドローン11の位置情報は、ネットワークNを介して管理装置4に送信されてもよい。測位装置22によって検出されたショートレンジドローン11の位置情報は、ネットワークNを介して制御装置13に送信されてもよい。また、ショートレンジドローン11は、飛行制御機能、および、姿勢を制御するための姿勢制御機能等を実行するコンピュータ(例えばマイコン)を有する。
【0032】
ショートレンジドローン11は、通信モジュールを介して、制御装置13から第1飛行経路に関する情報を取得する。第1飛行経路に関する情報は、第1飛行経路の位置情報(たとえば、緯度、経度、および、高度)を含む。第1飛行経路は、不審対象を追跡する飛行経路である。
【0033】
ショートレンジドローン11は、カメラ20によって撮影した画像を、通信モジュールを介して、管理装置4に送信する。ショートレンジドローン11は、カメラ20によって撮影した画像を、通信モジュールを介して、制御装置13に送信する。ショートレンジドローン11は、通信モジュールを介して、制御装置13から、追跡用マーク21の発射信号に関する情報を取得する。
【0034】
ショートレンジドローン11は、不審対象が検出された場合、ロボット本体10の基地部15から発進する。ショートレンジドローン11は、第1飛行経路に関する情報を取得し、第1飛行経路に沿って、不審対象を追跡するように飛行する。ショートレンジドローン11は、カメラ20によって撮影された画像に基づいた画像処理を実行し、障害物を回避しつつ、第1飛行経路に沿って飛行する。ショートレンジドローン11は、追跡用マーク21の発射信号が取得された場合、追跡用マーク21を発射する。ショートレンジドローン11は、追跡用マーク21を不審対象に向けて発射する。
【0035】
検出部12は、たとえば、ロボット本体10の頭部10dに設けられる。検出部12は、ロボット本体10の胴体部10aなどに設けられてもよい。検出部12は、ロボット本体10の周囲の状況を検出する。検出部12は、たとえば、360度センシング可能な高感度カメラ、LiDAR(light detection and ranging)、サーモカメラ、および、レーダーなどを含む。検出部12は、ビジョン認識、微細音、超音波、振動、赤外線、紫外線、電磁波などのセンサを含んでもよい。検出部12は、複数設けられてもよい。検出部12は、複数種類のセンサなどであってもよい。
【0036】
また、検出部12は、測位装置を含む。測位装置は、たとえば、GNSSである。測位装置は、ロボット本体10の位置を検出する。検出されたロボット本体10の位置情報は、ネットワークNを介して管理装置4に送信される。
【0037】
制御装置13は、
図3に示すように、通信部30と、記憶部31と、制御部32とを備える。
図3は、実施形態に係る追跡ロボット2の制御装置13の概略を示す機能ブロック図である。
【0038】
通信部30は、ネットワークNと無線で接続される。通信部30は、ネットワークNを介して、管理装置4との間で情報の送受信を行う。通信部30は、検出部12によって検出された各種情報を管理装置4に送信する。通信部30は、ショートレンジドローン11のカメラ20によって撮影された画像を受信する。通信部30は、追跡用マーク21の測位装置から、追跡用マーク21の位置情報を受信する。
【0039】
記憶部31は、例えばRAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、又はHDD(Hard Disk Drive)、SSD(Solid State Drive)、光ディスク等の記憶装置によって実現される。記憶部31には、各種プログラム及び各種データ等が記憶される。
【0040】
制御部32は、コントローラであり、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM、入出力ポート等を有するマイクロコンピュータや各種の回路を含む。また、制御部32は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路等のハードウェアで構成されてもよい。制御部32は、不審対象検出部35と、ドローン制御部36と、ロボット制御部37とを備える。
【0041】
不審対象検出部35は、不審対象を検出する。不審対象検出部35は、検出部12によって検出された各種情報に基づいて、不審対象を検出する。たとえば、不審対象検出部35は、追跡ロボット2に設けられた高感度カメラによって撮影された画像に、所定の画像処理を実行し、不審対象を検出する。たとえば、不審対象検出部35は、赤外線センサによる検出結果に応じて、不審対象を検出してもよい。不審対象検出部35は、AI(Artificial Intelligence)における不審対象検出モデルを用いて、不審対象を検出してもよい。
【0042】
ドローン制御部36は、ショートレンジドローン11、および、ロングレンジドローン3を制御する。ドローン制御部36は、ショートレンジドローン11の第1飛行経路を設定する。ドローン制御部36は、検出された不審対象を追跡する第1飛行経路を設定する。ドローン制御部36は、現在の追跡ロボット2の位置情報、および、不審対象が検出された位置情報に基づいて、第1飛行経路を設定する。たとえば、ドローン制御部36は、現在の追跡ロボット2の位置情報と、追跡ロボット2に対して不審対象が検出された方向と、追跡ロボット2から不審対象までの距離とに基づいて、第1飛行経路を設定する。
【0043】
ドローン制御部36は、ロングレンジドローン3の第2飛行経路を設定する。ドローン制御部36は、検出された不審対象を追跡する第2飛行経路を設定する。ドローン制御部36は、ロングレンジドローン3が待機しているステーションの位置情報、および、追跡用マーク21の位置情報に基づいて、第2飛行経路を設定する。ドローン制御部36は、ロングレンジドローン3の位置情報、および、追跡用マーク21の位置情報に基づいて、第2飛行経路を設定してもよい。
【0044】
ドローン制御部36は、不審対象の逃走予測経路に基づいて、第1飛行経路、および、第2飛行経路を設定してもよい。逃走予測経路は、たとえば、逃走経路予測モデルによって生成される。逃走経路予測モデルは、不審対象が検出された際の追跡ロボット2の位置情報、追跡用マーク21の位置情報、地図情報、交通情報などから、不審対象の逃走経路を予測する。追跡用マーク21の位置情報、たとえば、追跡用マーク21の位置の履歴情報を含む。
【0045】
たとえば、逃走経路予測モデルは、MapGPTを用いることができる。たとえば、逃走経路予測モデルは、文章生成モデル(いわゆるAIチャットエンジン)であり、文字による自動対話処理のためのアルゴリズム及び演算と解釈してよい。文章生成モデルは、例えば特開2018-081444号公報やchatGPT(インターネット検索<URL: https://openai.com/blog/chatgpt>)に開示される通り公知であるため、その詳細な説明を省略する。このような、文章生成モデルは、大規模言語モデル(LLM:Large Language Model)により構成されている。
【0046】
ドローン制御部36は、たとえば、追跡用マーク21の位置情報に基づいて、言語生成モデルによって「不審対象が、ABC町DDの交差点を東から西に逃げています。どのような逃走経路が考えられますか?」といった文を生成する。そして、生成した文が、逃走経路予測モデルに入力されることで、たとえば、「不審者は、ABC町のEFに向かう可能性が高いです。」といった文が生成される。この場合、ドローン制御部36は、「ABC町のEF」に向かう第1飛行経路、および、第2飛行経路を設定する。
【0047】
不審対象の逃走予測経路に基づいて、第1飛行経路、および、第2飛行経路が設定されることで、ショートレンジドローン11、および、ロングレンジドローン3は、不審対象の移動先に先回りすることができる。なお、逃走予測経路は、管理装置4によって設定されてもよい。
【0048】
設定された第1飛行経路は、ショートレンジドローン11に送信される。第1飛行経路を受信したショートレンジドローン11は、基地部15から発進し、第1飛行経路に沿って飛行し、不審対象を追跡する。
【0049】
設定された第2飛行経路は、ロングレンジドローン3に送信される。第2飛行経路を受信したロングレンジドローン3は、待機しているステーションから発進し、第2飛行経路に沿って飛行し、不審対象を追跡する。
【0050】
ドローン制御部36は、ショートレンジドローン11の追跡用マーク21の発射信号を生成する。ドローン制御部36は、たとえば、ショートレンジドローン11のカメラ20によって撮影された画像から、不審対象までの距離を算出する。そして、不審対象までの距離が、予め設定された所定距離以下である場合に、不審対象に向けて追跡用マーク21を発射する発射信号を生成する。生成された発射信号は、ショートレンジドローン11に送信される。これにより、追跡用マーク21が、不審対象に向けて発射される。
【0051】
ロボット制御部37は、ロボット本体10の走行経路を設定する。走行経路は、予め設定された警戒経路を含む。ロボット制御部37は、走行経路に沿ってロボット本体10を自律走行させる。ロボット制御部37は、検出部12によって検出された状況に応じてロボット本体10を自律走行させる。ロボット制御部37は、ロボット本体10の脚部10b、ローラー14、および、腕部10cの駆動を制御することで、ロボット本体10を自律走行させる。ロボット制御部37は、検出部12によって検出された各種情報に基づいて、たとえば、障害物を避けてロボット本体10が走行するように、ロボット本体10の脚部10b、ローラー14、および、腕部10cの駆動を制御する。
【0052】
また、たとえば、不審対象が検出された場合、ロボット制御部37は、不審対象を追跡するように走行経路を設定する。ロボット制御部37は、たとえば、ロボット本体10の位置情報、および、不審対象が検出された位置情報に基づいて、不審対象を追跡するように走行経路を設定する。たとえば、ロボット制御部37は、現在のロボット本体10の位置情報と、ロボット本体10に対して不審対象が検出された方向と、ロボット本体10から不審対象までの距離とに基づいて、不審対象を追跡する走行経路を設定する。
【0053】
また、ロボット制御部37は、ショートレンジドローン11が発進した後は、ロボット本体10の位置情報、および、追跡用マーク21の位置情報に基づいて、不審対象を追跡するように走行経路を設定する。
【0054】
不審対象が検出された場合、ロボット制御部37は、上記した不審対象の逃走予測経路に基づいて、不審対象を追跡するように走行経路を設定してもよい。不審対象の逃走予測経路に基づいて、ロボット本体10の走行経路が、設定されることで、ロボット本体10は、不審対象の移動先に先回りすることができる。
【0055】
ロボット制御部37は、ロボット本体10の走行方法を切り替える。ロボット制御部37は、ロボット本体10の走行方法を、脚部10bの可動による第1走行、または、ローラー14の回転による第2走行に切り替える。
【0056】
たとえば、ロボット制御部37は、不審対象が検出されていない場合には、ロボット本体10の走行方法を第1走行に設定する。ロボット制御部37は、ロボット本体10を第1走行によって走行させる場合、ロック機構によって、ローラー14が回転しないようにロックする。
【0057】
ロボット制御部37は、第1走行よりも速い速度でロボット本体10を走行させる必要がある場合には、ロボット本体10の走行方法を第2走行に設定する。たとえば、ロボット制御部37は、不審対象が検出されて、不審対象を追跡する場合には、ロボット本体10の走行方法を第2走行に設定する。
【0058】
ロボット制御部37は、ロボット本体10を第2走行によって走行させる場合、脚部10bの可動を停止する。たとえば、ロボット制御部37は、脚部10bを所定の位置とする。所定の位置は、予め設定された位置であり、ローラー14の回転による第2走行において、ロボット本体10が走行に適した姿勢となる位置である。たとえば、所定の位置は、ロボット本体10の重心が追跡ロボット2の全長の半分以下となる高さとなる位置である。たとえば、所定の位置は、ロボット本体10がしゃがむように体勢となる位置である。また、ロボット制御部37は、ロック機構によるロックを解除し、ローラー14を回転させる。
【0059】
なお、ロボット制御部37は、不審対象の追跡を開始した場合であっても、たとえば、ロボット本体10が、階段を昇降する場合、段差を乗り越える場合などでは、ロボット本体10の走行方法を第1走行に設定する。
【0060】
ここでは、不審対象の検出の有無によって、ロボット本体10の走行方法を、第1走行、または、第2走行に切り替える一例について説明したが、これに限られることはない。たとえば、ロボット本体10は、主に第2走行によって走行し、ロボット本体10が、階段を昇降する場合、段差を乗り越える場合などに、第1走行によって走行してもよい。ロボットの走行方法を切り替える条件は、設定可能であってもよい。
【0061】
図1に戻り、ロングレンジドローン3は、移動体の一例である。ロングレンジドローン3は、たとえば、ショートレンジドローン11と同様に、複数の回転翼プロペラを備えたマルチコプターであって、無人での自律飛行を行う。また、ショートレンジドローン11は、バッテリーにより駆動する。
【0062】
ロングレンジドローン3は、ショートレンジドローン11よりも飛行距離が長い。飛行距離は、1回の充電で飛行可能な距離である。ロングレンジドローン3は、予め設定されたステーションに待機する。たとえば、ロングレンジドローン3は、ショートレンジドローン11よりも飛行距離を長くするために、大型のバッテリーを備える。たとえば、ロングレンジドローン3は、ショートレンジドローン11よりも大きい。ロングレンジドローン3は、たとえば、飛行機型であってもよい。
【0063】
ロングレンジドローン3は、ショートレンジドローン11と同様に、カメラを備える。ロングレンジドローン3は、たとえば、ショートレンジドローン11とは異なり、追跡用マークを備えない。なお、ロングレンジドローン3は、ショートレンジドローン11と同様に、追跡用マークを備えてもよい。
【0064】
ロングレンジドローン3は、ネットワークNを介して無線通信を行うための通信モジュールを備える。また、ロングレンジドローン3は、加速度センサ、ジャイロセンサ、光学センサ等の各種センサを備える。
【0065】
また、ロングレンジドローン3は、自己の位置を測定するための測位装置39(
図1参照)を有する。測位装置39は、たとえば、GNSSである。測位装置39によって検出されたロングレンジドローン3の位置情報は、ネットワークNを介して管理装置4に送信されてもよい。測位装置39によって検出されたロングレンジドローン3の位置情報は、ネットワークNを介して制御装置13に送信されてもよい。また、ロングレンジドローン3は、飛行制御機能、および、姿勢を制御するための姿勢制御機能等を実行するコンピュータ(例えばマイコン)を有する。
【0066】
ロングレンジドローン3は、通信モジュールを介して、制御装置13から第2飛行経路に関する情報を取得する。第2飛行経路に関する情報は、第2飛行経路の位置情報(たとえば、緯度、経度、および、高度)を含む。
【0067】
ロングレンジドローン3は、ショートレンジドローン11による不審対象の追跡を引き継ぐように飛行してもよい。ロングレンジドローン3は、ショートレンジドローン11と同時に、不審対象を追跡してもよい。
【0068】
ロングレンジドローン3は、カメラによって撮影した画像を、通信モジュールを介して、管理装置4に送信する。ロングレンジドローン3は、カメラによって撮影した画像を、通信モジュールを介して、制御装置13に送信する。
【0069】
ロングレンジドローン3は、不審対象が検出された場合、待機するステーションから発進する。ロングレンジドローン3は、第2飛行経路に関する情報を取得し、第2飛行経路に沿って、不審対象を追跡するように飛行する。ロングレンジドローン3は、カメラによって撮影された画像に基づいた画像処理を実行し、障害物を回避しつつ、第2飛行経路に沿って飛行する。
【0070】
ショートレンジドローン11と、ロングレンジドローン3とを用いて、不審対象を追跡することで、不審対象に対する追跡性を向上することができる。たとえば、屋内では、ロングレンジドローン3よりも小さいショートレンジドローン11によって追跡を行い、不審対象が屋外に逃走した場合に、ロングレンジドローン3によって追跡を行うこともできる。
【0071】
管理装置4は、たとえば、サーバ装置である。管理装置4は、クラウドサーバであってもよい。管理装置4は、
図4に示すように、通信部40と、記憶部41と、制御部42とを備える。
図4は、実施形態に係る管理装置4の概略を示す機能ブロック図である。
【0072】
管理装置4は、不審対象を検出した追跡ロボット2から、追跡ロボット2の検出部12によって検出された各種情報などを収集する。また、管理装置4は、不審対象を検出した追跡ロボット2とは異なる追跡ロボット2から、検出部12によって検出された各種情報などを収集する。また、管理装置4は、複数のロングレンジドローン3から、各ロングレンジドローン3の位置情報などを収集する。
【0073】
管理装置4は、追跡ロボット2の走行経路に関する情報を生成してもよい。また、管理装置4は、ショートレンジドローン11の第1飛行経路に関する情報を生成してもよい。また、管理装置4は、ロングレンジドローン3の第2飛行経路に関する情報を生成してもよい。
【0074】
通信部40は、ネットワークNと有線、または、無線で接続される。通信部40は、ネットワークNを介して、追跡ロボット2の制御装置13、ショートレンジドローン11、および、ロングレンジドローン3との間で情報の送受信を行う。
【0075】
通信部40は、追跡ロボット2の制御装置13から、検出部12によって検出された各種情報を受信する。通信部40は、ショートレンジドローン11から、カメラ20によって撮影された画像を受信する。通信部40は、ショートレンジドローン11、追跡用マーク21、および、ロングレンジドローン3から、位置情報を受信する。通信部40は、ロングレンジドローン3から、カメラによって撮影された画像を受信する。
【0076】
記憶部41は、例えばRAM、フラッシュメモリ等の半導体メモリ素子、又はHDD、SSD、光ディスク等の記憶装置によって実現される。記憶部41には、各種プログラム及び各種データ等が記憶される。たとえば、記憶部41には、各追跡ロボット2の検出部12によって検出された各種情報などが記憶される。
【0077】
制御部42は、コントローラであり、例えばCPU、ROM、RAM、入出力ポート等を有するマイクロコンピュータや各種の回路を含む。また、制御部42は、例えば、ASICやFPGA等の集積回路等のハードウェアで構成されてもよい。
【0078】
制御部42は、ロボット本体10の走行経路に関する情報を生成してもよい。たとえば、制御部42は、文章生成モデル(いわゆるAIチャットエンジン)によって、ロボット本体10の走行経路に関する情報を生成する。文章生成モデルは、上述したように、文字による自動対話処理のためのアルゴリズム及び演算と解釈してよい。
【0079】
制御部42は、追跡ロボット2の検出部12によって検出された各種情報から、不審対象についての質問を生成する。まず、制御部42は、たとえば、言語生成モデルによって質問を生成する。
【0080】
たとえば、追跡ロボット2の赤外線センサによって動きが検出される場合、「赤外線センサがこのような動きを検知しました。このような動きをするのは不審者でしょうか?犯罪者心理としては、次にどのような行動をとるでしょうか。」の質問が生成される。
【0081】
このような質問が文章生成モデルに入力されることで、たとえば、制御部42は、「不審者の可能性が高いです。人の気配を感じると逃げる動作をとります。」といった文を生成する。生成された文が、走行経路に関する情報として、追跡ロボット2に送信されることで、追跡ロボット2は、不審者と推定される人に低速度で近づくように、走行経路を設定する。
【0082】
また、たとえば、追跡ロボット2の微細音を検出するセンサによって音が検出された場合、「2m先から、ピピッ、という音が聞こえます。これは何の音でしょうか。」の質問が生成される。
【0083】
このような質問が文章生成モデルに入力されることで、たとえば、制御部42は、「警戒音が鳴っています。」といった文を生成する。生成された文が、走行経路に関する情報として、追跡ロボット2に送信されることで、追跡ロボット2は、不審対象と認定し、たとえば、最短のルートで不審対象に近づくように走行経路を設定する。
【0084】
なお、制御部42は、追跡ロボット2の検出部12によって検出された他の情報に基づいて、同様に、追跡ロボット2の走行経路に関する情報を生成してもよい。制御部42は、360度センシング可能な高感度カメラ、LiDAR、サーモカメラ、および、レーダーなどによって得られた情報に基づいて、追跡ロボット2の走行経路に関する情報を生成してもよい。制御部42は、ビジョン認識、超音波、振動、紫外線、および、電磁波などのセンサによって得られた情報に基づいて、追跡ロボット2の走行経路に関する情報を生成してもよい。
【0085】
また、追跡ロボット2の検出部12によって検出された複数の情報に基づいて、同様に、追跡ロボット2の走行経路に関する情報を生成してもよい。なお、制御部42は、追跡ロボット2の走行経路を設定してもよい。
【0086】
文書生成モデルによって、追跡ロボット2の走行経路に関する情報が生成されることで、追跡ロボット2は、たとえば、不審対象を正確に判定することができ、また、不審対象に気付かれずに追跡ロボット2を不審対象に近づけることができる。そのため、たとえば、追跡ロボット2は、ショートレンジドローン11から発射する追跡用マーク21の命中率を向上させることができる。このように、文書生成モデルによって、追跡ロボット2の走行経路に関する情報が生成されることで、追跡ロボット2などによる不審対象の追跡性を向上させることができる。
【0087】
また、制御部42は、ショートレンジドローン11の第1飛行経路、および、ロングレンジドローン3の第2飛行経路の少なくとも一方に関する情報を生成してもよい。たとえば、制御部42は、文章生成モデルによって、第1飛行経路に関する情報を生成する。
【0088】
たとえば、追跡ロボット2によって不審対象が検出され、不審対象が車であり、不審対象の車のナンバーとして「AA-BB」が検出された場合、制御部42は、言語生成モデルによって「AA-BBのナンバーの車を撮影して。」とする文を作成する。そして、制御部42は、生成した文を、文章生成モデルに入力することで、第1飛行経路に関する情報を生成する。たとえば、制御部42は、ショートレンジドローン11のカメラによって「AA-BB」のナンバーの車を撮影して、「AA-BB」のナンバーの車を追跡するショートレンジドローン11の飛行プログラムを生成する。そして、生成した飛行プログラムを、第1飛行経路に関する情報として生成する。生成された第1飛行経路に関する情報が、ショートレンジドローン11に送信されることで、ショートレンジドローン11は、「AA-BB」のナンバーの車を追跡するように飛行する。ショートレンジドローン11のカメラによって撮影された画像は、管理装置4に送信される。
【0089】
たとえば、文書生成モデルによってショートレンジドローン11の第1飛行経路に関する情報が生成されることで、ショートレンジドローン11による不審対象の追跡性を向上させることができる。
【0090】
文章生成モデルを用いた追跡ロボット2の走行経路に関する情報などの生成は、追跡ロボット2によって実行されてもよい。
【0091】
次に、実施形態に係る走行切替処理について
図5を参照し説明する。
図5は、実施形態に係る走行切替処理を説明するフローチャートである。走行切替処理は、追跡ロボット2の制御装置13によって実行される。
【0092】
制御部32は、検出部12によって検出された各種情報を取得する(S100)。制御部32は、取得した各種情報に基づいて、不審対象が検出されたか否かを判定する(S101)。たとえば、制御部32は、高感度カメラによって撮影された画像に、所定の画像処理を実行することで、不審対象を検出する。
【0093】
制御部32は、不審対象が検出されなかった場合(S101:No)、ロボット本体10の走行方法を第1走行に設定する(S102)。
【0094】
制御部32は、不審対象が検出された場合(S101:Yes)、ロボット本体10の走行方法を第2走行に設定する(S103)。
【0095】
追跡ロボット2は、ショートレンジドローン11と、ロボット本体10と、検出部12と、制御部32とを備える。ショートレンジドローン11は、不審対象を検出可能である。ロボット本体10は、ショートレンジドローン11が発着可能であり、自律走行可能である。検出部12は、ロボット本体10の周囲の状況を検出する。制御部32は、ショートレンジドローン11を制御し、検出部12によって検出された状況に応じてロボット本体10を自律走行させる。ロボット本体10は、胴体部10aと、脚部10bと、ローラー14とを備える。脚部10bは、胴体部10aに可動可能に取り付けられる。ローラー14は、脚部10bに設けられ、ロボット本体10を移動させる。制御部32は、脚部10bの可動による第1走行と、ローラー14による第2走行とを切り替え可能である。
【0096】
これにより、追跡ロボット2は、走行方法を切り替えつつ、不審対象を追跡することができる。そのため、追跡ロボット2は、不審対象の追跡性を向上させることができる。
【0097】
また、第2走行によるロボット本体10の移動速度は、第1走行によるロボット本体10の移動速度よりも速い。
【0098】
これにより、追跡ロボット2は、たとえば、不審対象が検出された場合に、第2走行によって走行することで、不審対象を追跡することができる。そのため、追跡ロボット2は、たとえば、不審対象に早期に追いつくことができる。従って、追跡ロボット2は、不審対象の追跡性を向上させることができる。
【0099】
制御部32は、ロボット本体10を第1走行によって走行させる場合、ローラー14が回転しないようにロックする。
【0100】
これにより、追跡ロボット2は、第1走行における走行を安定させることができる。
【0101】
ショートレンジドローン11は、不審対象に向けて追跡用マーク21を発射可能である。
【0102】
これにより、追跡ロボット2は、追跡用マーク21を追跡することで、不審対象を追跡することができる。そのため、追跡ロボット2は、不審対象の判別を容易に行うことができ、不審対象の追跡が容易となり、かつ、不審対象を正確に判別することができる。従って、追跡ロボット2は、不審対象の追跡性を向上させることができる。
【0103】
図6は、追跡ロボット2、または、管理装置4として機能するコンピュータハードウェア構成の一例を概略的に示す図である。コンピュータ1200にインストールされたプログラムは、コンピュータ1200を、本実施形態に係る装置の1又は複数の「部」として機能させ、又はコンピュータ1200に、本実施形態に係る装置に関連付けられるオペレーション又は当該1又は複数の「部」を実行させることができ、及び/又はコンピュータ1200に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又は全てに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
【0104】
本実施形態によるコンピュータ1200は、CPU1212、RAM1214、及びグラフィックコントローラ1216を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、記憶装置1224、DVDドライブ、及びICカードドライブのような入出力ユニットを含み、それらは入出力コントローラ1220を介してホストコントローラ1210に接続されている。DVDドライブは、DVD-ROMドライブ及びDVD-RAMドライブ等であってよい。記憶装置1224は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ1200はまた、ROM1230及びキーボードのような入出力ユニットを含み、それらは入出力チップ1240を介して入出力コントローラ1220に接続されている。
【0105】
CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ1216は、RAM1214内に提供されるフレームバッファ等又はそれ自体の中に、CPU1212によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス1218上に表示されるようにする。
【0106】
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。記憶装置1224は、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納する。DVDドライブは、プログラム又はデータをDVD-ROM等から読み取り、記憶装置1224に提供する。ICカードドライブは、プログラム及びデータをICカードから読み取り、及び/又はプログラム及びデータをICカードに書き込む。
【0107】
ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/又はコンピュータ1200のハードウェアに依存するプログラムを格納する。入出力チップ1240はまた、様々な入出力ユニットをUSBポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ1220に接続してよい。
【0108】
プログラムは、DVD-ROM又はICカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置1224、RAM1214、又はROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ1200の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
【0109】
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、記憶装置1224、DVD-ROM、又はICカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
【0110】
また、CPU1212は、記憶装置1224、DVDドライブ(DVD-ROM)、ICカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
【0111】
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、当該複数のエントリの中から、第1の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
【0112】
上記したプログラム又はソフトウエアモジュールは、コンピュータ1200上又はコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
【0113】
本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表してよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び/又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び/又はアナログハードウェア回路を含んでよく、集積回路(IC)及び/又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ(FPGA)、及びプログラマブルロジックアレイ(PLA)等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。
【0114】
コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROM又はフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(登録商標)ディスク、メモリスティック、集積回路カード等が含まれてよい。
【0115】
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はSmalltalk(登録商標)、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでもよい。
【0116】
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
【0117】
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0118】
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【0119】
1 追跡システム
2 追跡ロボット
3 ロングレンジドローン
4 管理装置
10 ロボット本体
10a 胴体部
10b 脚部
11 ショートレンジドローン
12 検出部
13 制御装置
14 ローラー
20 カメラ
21 追跡用マーク
32 制御部
35 不審対象検出部
36 ドローン制御部
37 ロボット制御部
【手続補正書】
【提出日】2024-06-07
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0045
【補正方法】変更
【補正の内容】
【0045】
たとえば、逃走経路予測モデルは、文章生成モデル(いわゆるAIチャットエンジン)であり、文字による自動対話処理のためのアルゴリズム及び演算と解釈してよい。文章生成モデルは、例えば特開2018-081444号公報やchatGPT(インターネット検索<URL: https://openai.com/blog/chatgpt>)に開示される通り公知であるため、その詳細な説明を省略する。このような、文章生成モデルは、大規模言語モデル(LLM:Large Language Model)により構成されている。