特許 7682700 移動ロボット操作システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-05-16

(45)【発行日】2025-05-26

(54)【発明の名称】移動ロボット操作システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20250519BHJP

   B25J 5/00 20060101ALI20250519BHJP

【ＦＩ】

H04N7/18 U

B25J5/00 A

【請求項の数】 4

(21)【出願番号】P 2021094393

(22)【出願日】2021-06-04

(65)【公開番号】P2022186258

(43)【公開日】2022-12-15

【審査請求日】2024-01-22

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】317015294

【氏名又は名称】東芝エネルギーシステムズ株式会社

(74)【代理人】

【識別番号】100145816

【弁理士】

【氏名又は名称】鹿股 俊雄

(74)【代理人】

【識別番号】100195718

【弁理士】

【氏名又は名称】市橋 俊規

(74)【代理人】

【識別番号】100196003

【弁理士】

【氏名又は名称】石川 太郎

(72)【発明者】

【氏名】福島 武人

(72)【発明者】

【氏名】川端 俊一

(72)【発明者】

【氏名】松崎 謙司

【審査官】西島 篤宏

(56)【参考文献】

【文献】特開２００５－２０５５２９（ＪＰ，Ａ）

【文献】特開２０１７－０６１２９１（ＪＰ，Ａ）

【文献】特開２００８－１４９４２７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｂ２５Ｊ ５／００

(57)【特許請求の範囲】

【請求項1】

撮影対象物及び移動ロボットが配置された施設と、前記移動ロボットを操作員によって移動操作するコントローラ及び前記撮影対象物の映像等を表示する操作モニタが配置された操作員室と、前記施設と前記操作員室との間で双方向通信を行う通信ネットワークと、を備えた移動ロボット操作システムであって、
前記移動ロボットは、移動ロボットの周囲を撮影する操作用撮影装置と、前記施設の施設員により指示された前記撮影対象物の指示点の方位を検出する方位検出部と、前記移動ロボットから前記指示点までの距離を測定する距離測定部と、撮影対象物を撮影する自動撮影装置と、演算処理装置と、を備え、
前記演算処理装置は、前記指示点の方位を算出する指示点方位算出手段と、前記指示点までの距離を算出する指示点距離算出手段と、前記指示点までの距離に応じて最適拡大率を調整する最適拡大率調整手段と、前記移動ロボットを移動させる際に、前記移動ロボットの初期相対位置情報、移動量及び移動方向に基づいて前記自動撮影装置で前記指示点を撮影し続けるように撮影方向を調整する撮影方向調整手段と、を有する移動ロボット操作システム。

【請求項2】

前記撮影方向調整手段は、前記移動ロボットを移動させる際に、前記自動撮影装置が撮影対象物の撮影を継続することが可能か否かを判別する撮影可否判別手段を有する請求項１記載の移動ロボット操作システム。

【請求項3】

前記移動ロボットは、当該移動ロボットの周辺にある障害物を検出する周辺障害物検知部を備える請求項１又は２記載の移動ロボット操作システム。

【請求項4】

前記移動ロボット及び前記操作員室は、それぞれ音響機器及びモニタ等からなる双方向通信可能なコミュニケーション機器を有する請求項１乃至３のいずれかに記載の移動ロボット操作システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、撮影装置の向きを自動で変えて指定した撮影対象物を撮影し続けることのできる自動撮影装置を搭載した移動ロボット操作システムに関する。

【背景技術】

【0002】

例えば、展示場等の施設に設置されている展示物について、遠隔地にいる見学者（以下、「操作員」ともいう。）が撮影装置を搭載した移動ロボットを遠隔操作し、展示物の映像をいろいろな位置、角度から詳しく見ようとする場合を想定する。

【0003】

図１は展示物や移動ロボットが設置されている施設Ａと遠隔地にある操作員室Ｂの模式図で、施設Ａには、展示物３（以下、「撮影対象物」ともいう。）、撮影対象物３を説明する施設員２２、及び撮影対象物３を撮影する自動撮影装置１１等を搭載した移動ロボット１が配置され、遠隔地の操作員室Ｂには、移動ロボット１をコントローラ５により操作する操作員５１、撮影対象物３の映像等を表示する操作モニタ４が配置されている。

【0004】

操作員５１は、遠隔地の操作員室Ｂから移動ロボット１をコントローラ５により移動操作して、所定の位置、角度で撮影した撮影対象物３の映像を操作モニタ４で観察するとともに、施設員２２の説明を聴講する。

【0005】

しかしながら、例えば、施設員２２の説明に応じて撮影対象物３を様々な位置、角度で観察したい場合、操作員５１は移動ロボット１を移動操作する必要があるが、撮影対象物３が撮影領域から逸脱したり、移動ロボット１の操作や移動ロボット１に搭載した自動撮影装置１１の方向調整が煩雑になる場合があった。

【0006】

そのため、自動撮影装置１１を搭載した移動ロボット１に予め移動ルートと撮影対象物３の位置を登録しておき、移動ロボット１が移動ルートに沿って移動する際に、自動撮影装置１１の撮影方向を撮影対象物３に合わせることで撮影し続ける手段が提案されている。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２００６－１２３１２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

上述した従来の移動ロボット１は、移動ルートと撮影対象物３の位置を予め登録しておく必要があるため、撮影対象物３の撮影箇所を臨機応変に変更することができないという課題があった。また、移動ロボット１の移動につれて撮影対象物３が撮影領域から逸脱したり、自動撮影装置の拡大率や方向調整が不適切な場合、所望の領域を的確に観察することが困難になるという課題があった。

【0009】

本願発明の実施形態は上記課題を解決するためになされたもので、移動ロボットが移動する際も、操作員が撮影対象物を適切な大きさの映像で確実に観察し続けることができる自動撮影装置を搭載した移動ロボット操作システムを提供することを目的とする。

【課題を解決するための手段】

【0010】

上記課題を解決するために、本実施形態に係る移動ロボット操作システムは、撮影対象物及び移動ロボットが配置された施設と、前記移動ロボットを操作員によって移動操作するコントローラ及び前記撮影対象物の映像等を表示する操作モニタが配置された操作員室と、前記施設と前記操作員室との間で双方向通信を行う通信ネットワークと、を備えた移動ロボット操作システムであって、前記移動ロボットは、移動ロボットの周囲を撮影する操作用撮影装置と、前記施設の施設員により指示された前記撮影対象物の指示点の方位を検出する方位検出部と、前記移動ロボットから前記指示点までの距離を測定する距離測定部と、撮影対象物を撮影する自動撮影装置と、演算処理装置と、を備え、前記演算処理装置は、前記指示点の方位を算出する指示点方位算出手段と、前記指示点までの距離を算出する指示点距離算出手段と、前記指示点までの距離に応じて最適拡大率を調整する最適拡大率調整手段と、前記移動ロボットを移動させる際に、前記移動ロボットの初期相対位置情報、移動量及び移動方向に基づいて前記自動撮影装置で前記指示点を撮影し続けるように撮影方向を調整する撮影方向調整手段と、を有する。

【発明の効果】

【0011】

本実施形態によれば、移動ロボットを移動操作する際も、移動ロボット１に搭載した自動撮影装置１１の撮影方向及び拡大率を移動ロボット１の移動に合わせて自動で調整することが可能となり、撮影対象物３を適切な大きさの映像で観察し続けることができる。

【図面の簡単な説明】

【0012】

【図1】本実施形態に係る移動ロボット操作システムの全体模式図。

【図2】本実施形態に係る移動ロボットの情報処理システムの構成図。

【図3】本実施形態に係る移動ロボットの操作フロー図（その１）。

【図4】本実施形態に係る移動ロボットの操作フロー図（その２）。

【発明を実施するための形態】

【0013】

以下、本発明に係る自動撮影装置を搭載した移動ロボット操作システムの実施形態について、図面を参照して説明する。

【0014】

［全体構成］
本実施形態に係る移動ロボット操作システムは、図１に示すように、自動撮影装置１１等を搭載した移動ロボット１と、観察対象の撮影対象物３と、マイク、スピーカの音響機器等からなるコミュニケーション機器と、撮影対象物３を説明する施設員２２とが配置された施設Ａと、遠隔地にある操作員室Ｂからなる。操作員室Ｂでは、撮影対象物３の撮影画像等を表示する操作モニタ４と、操作員５１が移動ロボット１を移動操作するためのコントローラ５と、マイク、スピーカ等の音響機器からなるコミュニケーション機器５２と、が配置されている。
また、施設Ａと操作員室Ｂとの間には、双方向通信が可能な通信ネットワーク６が設けられている。

【0015】

施設Ａの施設員２２は、撮影対象物３の説明を行うとともに、移動ロボット１に撮影対象物３の撮影箇所を認識させるための指示器２を有する。指示器２は、例えばレーザポインタが用いられるが先端を着色した指示棒を用いてもよい。
操作員室Ｂの操作員５１は、移動ロボット１に搭載した操作用撮影装置１４で撮影した周囲の映像に基づいて移動ロボット１を遠隔操作し、自動撮影装置１１により撮影した撮影対象物３を操作モニタ４により観察する。なお、操作員５１は複数人でもよいが、本実施形態では操作員５１が一人の場合の例について説明する。

【0016】

［移動ロボット］
移動ロボット１は、図１に示すように、撮影対象物３を継続して撮影するための自動撮影装置１１と、施設員２２が指示した指示点２１までの距離を測定する距離測定部１２と、指示点２１の方位（方向、高さ）を検出する方位検出部１３と、移動ロボット１を移動操作する際に用いられる操作用撮影装置１４と、通信部１５と、マイク１６、スピーカ１７の音響機器等からなるコミュニケーション機器と、モニタ１８と、移動ロボット１の周囲の障害物を検知するための周辺障害物検知部１９を備えている。

【0017】

本実施形態では、自動撮影装置１１と操作用撮影装置１４はパンチルト機構とズーム機能を備え、距離測定部１２は距離の測定方向を変更できる測距センサであり、方位検出部１３は３６０°方向を撮影可能な魚眼カメラであるが、これに限定されず、種々の変更が可能である。
例えば、距離測定部１２として、自動撮影装置１１の映像に基づいて指示点２１までの距離を測定するシステムを用いてもよい。
また、周辺障害物検知部１９は、例えばレーザーレンジファインダが用いられ、移動ロボット１の周辺にある障害物の位置形状情報を検出する。

【0018】

［通信システム］
移動ロボット１に設けられた通信部１５は例えば無線ＬＡＮの子機で、通信ネットワーク６は施設Ａと遠隔地にある操作員室Ｂを、インターネットで双方の場所に配置された無線ＬＡＮの親機を介して双方向に通信可能としたものであり、自動撮影装置１１と操作用撮影装置１４で撮影された映像は、通信部１５から送信され、通信ネットワーク６を介して遠隔地の操作員室Ｂまで送られる。

【0019】

また、操作員室Ｂに配置された通信機能付のコントローラ５は、例えばＷｉＦｉ機能を備えたパソコンであり、自動撮影装置１１と操作用撮影装置１４の映像は、コントローラ５により受信され、コントローラ５に接続された操作モニタ４に、自動撮影装置１１の映像４１と操作用撮影装置１４の映像４２として映し出される。

【0020】

操作員５１は、これらの映像４１、４２を見ながら、コントローラ５を介して移動ロボット１の移動操作を行う。コントローラ５から移動ロボット１に出される指令は、通信ネットワーク６を介して移動ロボット１に備えられた通信部１５まで送られる。なお、操作モニタ４の上部にはカメラ５３を設置してもよく、操作員室Ｂにおける操作員５１と施設Ａにおける施設員２２とを画像表示装置（図示せず）によって画像でも連絡を取り合っても良い。

【0021】

［情報処理システム］
本実施形態に係る移動ロボット操作システムの情報処理システムを図２により説明する。
移動ロボット１は移動ロボットを統括的に制御する情報処理装置７を備え、通信ネットワーク６を介して操作員室Ｂと各種信号の送受信を行う。

【0022】

情報処理装置７は、撮影可否判別手段７７を内包する撮影方向調整手段７１と、最適拡大率調整手段７２と、指示点距離算出手段７３と、初期相対位置算出手段７４と、指示点方位算出手段７５と、移動位置算出手段７６と、を有する。

【0023】

指示点距離算出手段７３は、距離測定部１２から出力される測定値に基づいて移動ロボット１から指示点２１までの距離を算出する手段である。

【0024】

指示点方位算出手段７５は、方位検出部１３から送られる信号から、移動ロボット１から見た指示点２１の方位を算出する手段である。

【0025】

初期相対位置算出手段７４は、指示点距離算出手段７３で算出した指示点２１までの距離と指示点方位算出手段７５で算出した指示点２１の方位から、移動ロボット１が移動する前の初期位置と指示点２１との相対位置を算出する手段である。

【0026】

移動位置算出手段７６は移動ロボット１の駆動部における車輪の回転方向と回転量から、移動ロボット１が初期位置から移動した方向と距離を算出し移動ロボット１の現在位置を算出する手段である。

【0027】

撮影方向調整手段７１は、初期相対位置算出手段７４により算出された移動ロボット１の初期位置と指示点２１との相対位置と、移動位置算出手段７６により算出された移動ロボット１の現在位置から、指示点２１を撮影し続けるための自動撮影装置１１のパンチルトの回転量を演算し、自動撮影装置１１が算出した回転量分動くよう指令を出す手段である。

【0028】

最適拡大率調整手段７２は、移動ロボット１から指示点２１までの距離に応じて自動撮影装置１１の最適拡大率を設定しておくことで、自動撮影装置１１のズーム機能の拡大率を最適に調整し、撮影対象物３を適切な大きさで観察する手段である。
本実施形態では、距離の設定値を１以上設け、その設定値に応じて最適拡大率を決定している。
さらに、移動位置算出手段７６から移動ロボット１の現在位置の情報を受け取ることで、移動ロボット１が移動した際も自動で自動撮影装置１１のズーム拡大率を最適に変更することができる。

【0029】

撮影可否判別手段７７は、撮影方向調整手段７１に内包されるものであり、移動ロボット１の現在位置、移動ロボット１が移動している方向、自動撮影装置１１の可動領域や現在の撮影方向、移動ロボット１の躯体情報から、移動ロボット１が移動している方向に移動し続ける場合、指示点２１を撮影し続けることができるか判別するもので、撮影し続けることができない場合は、操作モニタ４にその旨を表示する手段である。

【0030】

また、撮影可否判別手段７７は、周辺障害物検知部１９で検出した移動ロボット１の周辺にある障害物情報を活用することで、周辺状況も考慮した撮影可否の判別を行うことができる。

【0031】

［移動ロボットの操作フロー］
上記のように構成された移動ロボット操作システムにおいて、移動ロボット１を移動操作する場合に、自動撮影装置１１の方向を自動で調整しながら撮影対象物３を撮影し続ける際の操作フロー例について、図３、図４を用いて説明する。

【0032】

（ＳＴ１）まず、操作員５１がコントローラ５を用い、待機位置にある移動ロボット１を施設Ａ内の撮影対象物３が設置されている所定エリア（移動ロボットの撮影場所）まで移動させる（図示せず）。
（ＳＴ２）次に、撮影対象物３を説明する施設Ａの施設員２２が指示器２により撮影対象物３を指示することで、指示点２１が形成される。

【0033】

（ＳＴ３）次に、移動ロボット１に搭載された方位検出部１３が撮影している映像信号に基づいて、指示点方位算出手段７５により指示点２１の方位（方向、高さ）を算出し、この際の移動ロボット１の位置を初期位置とする。
（ＳＴ４）ＳＴ３で算出された指示点２１の方位に基づいて、距離測定部１２を指示点２１の方向に向け、指示点２１までの距離を測定し、当該測定値に基づいて指示点距離算出手段７３により指示点２１までの距離を算出する。
（ＳＴ５）次に、指示点２１の方位に基づいて自動撮影装置１１が指示点２１に向くように撮影方向を調整する。

【0034】

（ＳＴ６）ＳＴ４で算出した指示点２１までの距離を最適拡大率調整手段７２に出力し、指示点２１までの距離が設定値以内か否かを判定する。
設定値以上であれば、指示点２１までの距離に応じて自動撮影装置１１のズームイン又はズームアウト操作を行う。すなわち、撮影対象物３が視認しやすい大きさとなるように、距離に応じて最適拡大率を調整し撮影を行う。なお、設定値は複数でもよく、設定値に応じて最適拡大率が調整される。
一方、設定値以内であれば、最適拡大率は適正なのでＳＴ７へ移行する。

【0035】

（ＳＴ７）次に、ＳＴ３で算出された指示点２１の方位情報とＳＴ４で算出された指示点２１までの距離に基づいて、初期相対位置算出手段７４により、現時点での移動ロボット１の位置を初期位置として、移動ロボット１と指示点２１との初期相対位置を算出する。
（ＳＴ８）初期相対位置の算出が終了したことを施設Ａの施設員２２と操作員室Ｂの操作員５１に報知又は表示する。

【0036】

（ＳＴ９）ＳＴ８の終了情報に基づいて、施設員２２は必要に応じて撮影対象物３の説明を開始し、操作員５１は移動ロボット１の移動操作を行うことが可能となる。
（ＳＴ１０）ＳＴ１０では、コントローラ５から移動指令が有ったか否かを判定する。移動指令が有った場合、すなわち、操作員５１がコントローラ５で移動ロボット１を移動させようとした場合はＳＴ１１に進み、移動指令がない場合はＳＴ１４へ進み、施設員２２の説明が終了するまで移動ロボット１は待機状態となる。

【0037】

（ＳＴ１１）ＳＴ１１において、撮影可否判別手段７７は、ＳＴ１０で受信した移動指令のとおりに移動ロボット１が移動する際に、自動撮影装置１１で撮影対象物３を撮影し続けることができるか否かを判断する。
撮影を継続できる場合はＳＴ１２に移行し、撮影を継続できない場合は操作モニタ４に継続できない旨の警告を表示する。

【0038】

（ＳＴ１２）ＳＴ１２では、ＳＴ１０で受信した移動指令に基づいて移動ロボット１が移動する際に、移動位置算出手段７６で算出した移動ロボット１の移動量及び移動方向情報と距離情報、並びにＳＴ７で算出した初期相対位置情報を撮影方向調整手段７１に出力し、自動撮影装置１１で指示点２１を撮影し続けるための撮影方向の調整量を算出し、自動撮影装置１１に指令を出す。

【0039】

（ＳＴ１３）ＳＴ１３では、ＳＴ１２で求めた各種情報を最適拡大率調整手段７２に出力し、移動ロボット１の現在位置から指示点２１の位置までの距離を算出して指示点２１までの距離が設定値以内か否かを判定する。
設定値以上であれば、指示点２１までの距離に応じて自動撮影装置１１のズームイン又はズームアウト操作を行う。すなわち、撮影対象物３が観察しやすい大きさとなるように、距離に応じて最適拡大率を調整し、ＳＴ１４へ移行する。
一方、設定値以内であれば、最適拡大率は適正なのでＳＴ１４へ移行する。

【0040】

（ＳＴ１４）ＳＴ１４では、施設員２２の説明が終了したか否かを判定する。
説明が終了した場合は撮影対象物３の撮影を終了してＳＴ１５へ進み、終了していない場合はＳＴ１０に戻り、自動撮影装置１１による撮影対象物３の撮影を継続する。
ここで、施設員２２による説明が終了したか否かの判定は施設員２２又は操作員５１が行うこととし、移動ロボット１への出力は、例えば操作員５１がコントローラ５で行う。

【0041】

（ＳＴ１５）ＳＴ１５では、移動ロボット１及び操作員室にそれぞれ配置されたマイク、スピーカ等の音響機器やモニタからなる双方向通信可能なコミュニケーション機器を用い、施設員２２と操作員５１が撮影対象物３について適宜質疑応答を行うステップである。なお、質疑応答がない場合には、このステップは省略可能である。

【0042】

（ＳＴ１６）ＳＴ１６では、次の撮影対象物はあるか否かを判定し、終了した場合はＳＴ１７に移行し、操作員５１が移動ロボット１を待機場所まで移動操作して撮影を終了する。
一方、撮影を継続する場合は、ＳＴ１に戻り、操作員５１が移動ロボット１を次の撮影対象物３が設置されている場所まで移動操作する。

【0043】

［効果］
以上説明したように、本実施形態によれば、施設Ａの施設員２２が指示器２により撮影対象物３や撮影箇所を変更した場合でも、移動ロボット１に搭載した自動撮影装置１１の撮影方向及び最適拡大率を移動ロボット１の移動に合わせて自動的で調整することが可能となり、撮影対象物３を適切な大きさの映像で観察し続けることができる。

【0044】

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0045】

Ａ…施設、Ｂ…操作員室、１…移動ロボット、１１…自動撮影装置、１２…距離測定部、１３…方位検出部、１４…操作用撮影装置、１５…通信部、１６…マイク、１７…スピーカ、１８…モニタ、１９…周辺障害物検知部、２…指示器、２１…指示点、２２…施設員、３…展示物（撮影対象物）、４…操作モニタ、４１、４２…映像、５…コントローラ、５１…操作員、５２…コミュニケーション機器、５３…カメラ、６…通信ネットワーク、７…演算処理装置、７１…撮影方向調整手段、７２…最適拡大率調整手段、７３…指示点距離算出手段、７４…初期相対位置算出手段、７５…指示点方位算出手段、７６…移動位置算出手段、７７…撮影可否判別手段

【図1】

【図2】

【図3】

【図4】