特許 7514161 システム、端末及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-02

(45)【発行日】2024-07-10

(54)【発明の名称】システム、端末及びプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240703BHJP

   G05D 1/224 20240101ALI20240703BHJP

【ＦＩ】

H04N7/18 U

G05D1/224

【請求項の数】 6

(21)【出願番号】P 2020176174

(22)【出願日】2020-10-20

(65)【公開番号】P2022067459

(43)【公開日】2022-05-06

【審査請求日】2023-09-21

(73)【特許権者】

【識別番号】520168055

【氏名又は名称】ａｖａｔａｒｉｎ株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】深堀 昂

(72)【発明者】

【氏名】梶谷 ケビン

【審査官】長谷川 素直

(56)【参考文献】

【文献】特開２０１９－０６２２９３（ＪＰ，Ａ）

【文献】特開２０１７－０２１５１７（ＪＰ，Ａ）

【文献】特開２００８－２３９１４５（ＪＰ，Ａ）

【文献】特開２０２０－１２３０１３（ＪＰ，Ａ）

【文献】特開平０８－０７０３９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０５Ｄ １／００

(57)【特許請求の範囲】

【請求項1】

移動体と、前記移動体の操作に用いられる端末と、を含むシステムであって、
前記移動体は、
前記端末からの指示に基づいて前記移動体を特定の面上で移動させる駆動部と、
前記端末からの指示に基づいて決定される第１の領域と、前記特定の面上の第２の領域と、を撮像するカメラと、を備え、
前記第１の領域は、前記移動体が移動する方向の所定の領域であり、
前記第２の領域は、前記移動体の移動方向の足元を含む領域であり、
前記端末は、
前記第１の領域に対応する第１の撮像画像と、前記第２の領域に対応する第２の撮像画像と、を取得する取得部と、
前記移動体が移動している状態であるか否かに基づいて、表示部に対する前記第１の撮像画像と前記第２の撮像画像との表示を制御する表示制御部と、
を備え、
前記表示制御部は、前記移動体が移動している状態である場合、前記第１の撮像画像の下方に前記第２の撮像画像が配置されるように、前記第１の撮像画像及び前記第２の撮像画像の双方を前記表示部に表示させる、
システム。

【請求項2】

前記表示制御部は、前記移動体が移動していない状態である場合、前記第２の撮像画像を表示させずに前記第１の撮像画像を前記表示部に表示させる、
請求項１に記載のシステム。

【請求項3】

前記カメラは、前記第１の領域を撮像する第１のカメラと、前記第２の領域を撮像する第２のカメラと、を含む、
請求項１又は請求項２に記載のシステム。

【請求項4】

前記移動体が移動している状態である場合、前記第１の領域は前記移動体が移動する方向の所定の領域を含み、前記第２の領域は、前記方向であって前記特定の面を含む所定の領域である、
請求項１から請求項３のいずれかに記載のシステム。

【請求項5】

移動体の操作に用いられる端末であって、
前記移動体に対する指示が入力される入力部と、
前記指示に基づいて決定される第１の領域に対応する第１の撮像画像と、前記指示に基づいて前記移動体が移動する特定の面上の第２の領域に対応する第２の撮像画像と、を取得する取得部と、
前記移動体が移動している状態であるか否かに基づいて、表示部に対する前記第１の撮像画像と前記第２の撮像画像との表示を制御する表示制御部と、
を備え、
前記第１の領域は、前記移動体が移動する方向の所定の領域であり、
前記第２の領域は、前記移動体の移動方向の足元を含む領域であり、
前記表示制御部は、前記移動体が移動している状態である場合、前記第１の撮像画像の下方に前記第２の撮像画像が配置されるように、前記第１の撮像画像及び前記第２の撮像画像の双方を前記表示部に表示させる、
端末。

【請求項6】

コンピュータに、移動体の操作を実行させるためのプログラムであって、
入力部に入力された前記移動体に対する指示を受け付けることと、
前記指示に基づいて決定される第１の領域に対応する第１の撮像画像と、前記指示に基づいて前記移動体が移動する特定の面上の第２の領域に対応する第２の撮像画像と、を取得することと、
前記移動体が移動している状態であるか否かに基づいて、表示部に対する前記第１の撮像画像と前記第２の撮像画像との表示を制御することと、
を実行させ、
前記第１の領域は、前記移動体が移動する方向の所定の領域であり、
前記第２の領域は、前記移動体の移動方向の足元を含む領域であり、
前記表示を制御することは、前記移動体が移動している状態である場合、前記第１の撮像画像の下方に前記第２の撮像画像が配置されるように、前記第１の撮像画像及び前記第２の撮像画像の双方を前記表示部に表示させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、システム、端末及びプログラムに関する。

【背景技術】

【0002】

近年、インターネットを用いたテレビ会議システムが普及し、顔を見ながら話すだけでなく、遠隔地にいるユーザがカメラの向きや位置を操作することができるテレプレゼンスロボットが知られている。

【0003】

例えば、下記特許文献１には、遠隔操作者に対して撮影画像を提供するカメラと、撮影画像内の少なくとも一部を遠隔操作者から隠蔽するマスク処理を実行し、かつ、マスク処理を用途に応じて切り替えるマスク処理部と、を備えるカメラ付きの移動体が記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－０６２３０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

一般に、テレプレゼンスロボット等の移動体を遠隔で操作する端末には、当該移動体が備えるカメラによる撮像画像が表示される。当該端末のユーザは、当該端末に表示された撮像画像に基づいて当該移動体の操作を行う。しかしながら、当該端末に表示された撮像画像によっては、当該端末のユーザが、当該移動体の操作を適切に行うことができない恐れがある。

【0006】

そこで、本開示は、移動体の操作を適切に行うことが可能なシステム、端末及びプログラムを提供する。

【課題を解決するための手段】

【0007】

本開示の一態様に係るシステムは、移動体と、前記移動体の操作に用いられる端末と、を含むシステムであって、前記移動体は、前記端末からの指示に基づいて前記移動体を特定の面上で移動させる駆動部と、前記端末からの指示に基づいて決定される第１の領域と、前記特定の面上の第２の領域と、を撮像するカメラと、を備え、前記端末は、前記第１の領域に対応する第１の撮像画像と、前記第２の領域に対応する第２の撮像画像と、を取得する取得部と、前記移動体が移動している状態であるか否かに基づいて、表示部に対する前記第１の撮像画像と前記第２の撮像画像との表示を制御する表示制御部と、備える。

【0008】

この態様によれば、移動体が移動している状態であるか否かに基づいて、上記第１の撮像画像と上記第２の撮像画像との表示が制御されるので、上記端末のユーザは、移動体の操作を適切に行うことができる。

【0009】

上記態様において、前記表示制御部は、前記移動体が移動している状態である場合、前記第１の撮像画像及び前記第２の撮像画像の双方を前記表示部に表示させてもよい。

【0010】

この態様によれば、移動体が移動している状態である場合、端末からの指示に基づいて決定される第１の領域に対応する第１の撮像画像だけでなく、当該移動体が移動する特定の面上の第２の領域に対応する第２の撮像画像が表示部に表示されるので、端末のユーザは、移動している状態の移動体の操作を適切に行うことができる。

【0011】

上記態様において、前記表示制御部は、前記移動体が移動していない状態である場合、前記第２の撮像画像を表示させずに前記第１の撮像画像を前記表示部に表示させる。

【0012】

この態様によれば、移動体が移動していない状態である場合、当該移動体が移動する特定の面上の第２の領域に対応する第２の撮像画像が表示されずに、端末からの指示に基づいて決定される第１の領域に対応する第１の撮像画像が表示されるので、端末のユーザは、移動していない状態の移動体の操作を適切に行うことができる。

【0013】

上記態様において、前記カメラは、前記第１の領域を撮像する第１のカメラと、前記第２の領域を撮像する第２のカメラと、を含んでもよい。

【0014】

この態様によれば、第１の領域及び第２の領域が異なるカメラで撮像されるので、第１の領域に対応する第１の撮像画像及び第２の領域に対応する第２の撮像画像を同時に生成することができる。

【0015】

上記態様において、前記移動体が移動している状態である場合、前記第１の領域は前記移動体が移動する方向の所定の領域を含み、前記第２の領域は、前記方向であって前記特定の面上の所定の領域であってもよい。

【0016】

この態様によれば、移動体が移動している状態である場合、移動体が移動する方向の第１の領域に対応する第１の撮像画像だけでなく、当該方向であって上記特定の面上の第２の領域に対応する第２の撮像画像が表示部に表示されるので、端末のユーザは、移動している状態の移動体の操作をより適切に行うことができる。

【0017】

本開示の一態様に係る端末は、移動体の操作に用いられる端末であって、前記移動体に対する指示が入力される入力部と、前記指示に基づいて決定される第１の領域に対応する第１の撮像画像と、前記指示に基づいて前記移動体が移動する特定の面上の第２の領域に対応する第２の撮像画像と、を取得する取得部と、前記移動体が移動している状態であるか否かに基づいて、表示部に対する前記第１の撮像画像と前記第２の撮像画像との表示を制御する表示制御部と、を備える。

【0018】

本開示の一態様に係るプログラムは、コンピュータに、移動体の操作を実行させるためのプログラムであって、入力部に入力された前記移動体に対する指示を受け付けることと、前記指示に基づいて決定される第１の領域に対応する第１の撮像画像と、前記指示に基づいて前記移動体が移動する特定の面上の第２の領域に対応する第２の撮像画像と、を取得することと、前記移動体が移動している状態であるか否かに基づいて、表示部に対する前記第１の撮像画像と前記第２の撮像画像との表示を制御することと、を実行させる。

【発明の効果】

【0019】

本発明によれば、端末を用いて移動体の操作を適切に行うことができる。

【図面の簡単な説明】

【0020】

【図1】本実施形態に係るシステムの構成の一例を示す図である。

【図2】本実施形態に係る端末の物理的構成の一例を示す図である。

【図3】本実施形態に係るロボットの物理的構成の一例を示す図である。

【図4】本実施形態に係る端末の機能的構成の一例を示す図である。

【図5】本実施形態に係るロボットが移動状態である場合の一例を示す図である。

【図6】本実施形態に係るロボットが停止状態である場合の一例を示す図である。

【図7】本実施形態に係る端末の動作の一例を示すフローチャートである。

【発明を実施するための形態】

【0021】

以下に、本発明の一実施形態について説明する。なお、以下の実施形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施の形態を採用することが可能であり、かかる実施の形態も本発明の範囲に含まれる。

【0022】

また、本実施形態においては、「移動体（moving object）」の一例として、カメラ及び駆動部を備えるロボット（例えば、テレプレゼンスロボット、アバターロボット等）を説明するが、これに限られない。当該移動体は、例えば、自動走行若しくは半自動走行が可能な車両や重機、ドローンや飛行機、スポーツスタジアム等に設置され、レールの上を移動可能なカメラを備えたロボット、宇宙空間に打ち上げられる衛星型ロボットであって姿勢制御やカメラの撮像方向の制御が可能なロボット等、カメラ及び駆動部を備えるどのような機械、装置又は端末等であってもよい。また、当該移動体は、駆動部を有する本体に対して、汎用の装置（例えば、スマートフォン、タブレット等）を接続して構成されてもよい。このように、カメラ及び駆動部を有する移動体は、一体の装置として構成されなくともよく、複数の装置を組み合わせて構成されるものであってもよい。

【0023】

［システムの構成］
＜全体構成＞
図１は、本実施形態に係るシステムの全体構成の一例を示す図である。図１に示すように、システム１は、端末１０と、端末１０を用いて操作されるロボット２０と、を備える。端末１０及びロボット２０は、互いに通信を行う。具体的には、ロボット２０及び端末１０は、ネットワーク（例えば、インターネット、ＬＡＮ（Local Area Network）等）を介して通信を行ってもよいし、当該ネットワークを介さずに端末間で通信を行ってもよい。ロボット２０及び端末１０の通信は、有線通信及び／又は無線通信を含む。

【0024】

なお、図１では、システム１を構成する端末１０及びロボット２０の数は任意であり、図１に示すものに限られない。また、システム１は、端末１０及び／又はロボット２０とネットワークを介して接続される不図示のサーバ及び／又は装置等を含んでもよい。例えば、サーバは、例えば、ロボット２０の予約等、ロボット２０に関する各種処理を端末１０から受け付けてもよい。

【0025】

端末１０は、ロボット２０の操作のために、ユーザにより使用される情報処理装置である。端末１０は、例えば、スマートフォン、タブレット端末、ＰＤＡ（Personal Digital Assistants）、パーソナルコンピュータ、ヘッドマウントディスプレイ、特定用途の操作系等の汎用又は専用の情報処理装置である。図１に示すように、端末１０は、表示部１０ｆを少なくとも備える。

【0026】

ロボット２０は、移動型のロボットである。図１に示すように、ロボット２０は、駆動部２０ｇ及びカメラ２０ｈを少なくとも備える。例えば、図１の駆動部２０ｇは、車輪を回転駆動させることでロボット２０を特定の面Ｓ上で移動させる。当該特定の面Ｓは、例えば、地面、床、月面等であってもよい。なお、図１では、駆動部２０ｇは、複数の車輪により構成されるが、これに限られない。ロボット２０は、例えば、一輪、二輪又は多輪により走行するもの、キャタピラにより走行するもの、レールの上を走行するもの、飛び跳ねて移動するもの、二足歩行、四足歩行又は多足歩行するもの、スクリューにより水上又は水中を航行するもの、及びプロペラ等により飛行するものを含む。

【0027】

カメラ２０ｈは、端末１０からの指示に基づいて決定される所定の領域を撮像する。ロボット２０は、異なる領域を撮像する複数のカメラ２０ｈを有してもよい。例えば、図１では、ロボット２０は、端末１０からの指示に基づいて決定される第１の領域を撮像する第１のカメラ（以下、「メインカメラ」という）２０ｈ₁、ロボット２０が移動する特定の面Ｓ上の第２の領域を撮像する第２のカメラ（以下、「ナビゲーション用カメラ」という）２０ｈ₂を有する。

【0028】

なお、ロボット２０は、複数のカメラ２０ｈの有しなくともよく、所定角度（例えば、３６０°）で可動し、撮像方向を制御可能な単一のカメラ２０ｈを有してもよい。また、図１のメインカメラ２０ｈ₁及び／又はナビゲーション用カメラ２０ｈ₂も、所定角度で可動し、撮像方向を制御可能であってもよい。

【0029】

ユーザは、端末１０を用いてロボット２０を操作する。端末１０の表示部１０ｆには、ロボット２０のカメラ２０ｈによる撮像により生成される画像（以下、「撮像画像」という）が表示される。ユーザは、表示部１０ｆに表示された撮像画像を視認することで、ロボット２０の状態を確認し得る。端末１０は、ロボット２０が移動している状態であるか否かに基づいて、カメラ２０ｈで生成される撮像画像の表示を制御する。

【0030】

ユーザは、端末１０を介してロボット２０の操作（例えば、ロボット２０の移動やロボット２０に搭載されたカメラの操作）を行う。ロボット２０を操作するための指示は、端末１０から、ロボット２０に送信される。当該指示は、端末１０からロボット２０に直接送信されてもよいし、端末１０から不図示の装置（例えば、サーバ等）を介してロボット２０に送信されてもよい。当該指示は、指示を示す情報又は信号等であってもよい。

【0031】

ロボット２０は、端末１０からの指示に応じて動作し、カメラ２０ｈによる撮像画像を端末１０に送信する。なお、ロボット２０は、カメラ２０ｈによる撮像画像に限らず、例えば、ロボット２０のマイクで取得された音声等、ロボット２０によって取得又は検知等された各種のデータを端末１０に送信してもよい。これにより、ユーザは、端末１０及びロボット２０を介して、ロボット２０がいる場所に自分もいるかのようなエクスペリエンスを得ることができる。

【0032】

＜物理的構成＞
図２は、本実施形態に係る端末１０の物理的構成の一例を示す図である。端末１０は、演算部に相当するプロセッサ１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、カメラ１０ｇと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、図２で示す構成は一例であり、端末１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。

【0033】

プロセッサ１０ａは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。プロセッサ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されているプログラムを実行することにより、端末１０における各種処理を制御する制御部である。プロセッサ１０ａは、端末１０が備える他の構成と、プログラムとの協働により、端末１０の機能を実現し、処理の実行を制御する。プロセッサ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂに格納したりする。

【0034】

ＲＡＭ１０ｂ及びＲＯＭ１０ｃは、各種処理に必要なデータ及び処理結果のデータを記憶する記憶部である。端末１０は、ＲＡＭ１０ｂ及びＲＯＭ１０ｃ以外に、ハードディスクドライブ等の大容量の記憶部を備えてもよい。ＲＡＭ１０ｂ及びＲＯＭ１０ｃは、例えば、半導体記憶素子で構成されてもよい。

【0035】

通信部１０ｄは、端末１０を他の機器に接続するインターフェースである。通信部１０ｄは、他の機器と通信する。

【0036】

入力部１０ｅは、ユーザからデータの入力を受け付けるためのデバイスや、端末１０の外部からデータを入力するためのデバイスである。入力部１０ｅは、例えば、キーボード、マウス及びタッチパネル等を含んでよい。また、入力部１０ｅは、音声入力のためのマイクを含んでよい。

【0037】

表示部１０ｆは、プロセッサ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆは、ロボット２０のカメラ２０ｈにより生成される撮像画像を表示する。なお、表示部１０ｆは、複数の表示部１０ｆを含んでもよく、当該複数の表示部１０ｆそれぞれは、カメラ２０ｈで生成された異なる領域の撮像画像（例えば、メインカメラ２０ｈ₁及びナビゲーション用カメラ２０ｈ₂でそれぞれ生成された撮像画像）を表示してもよい。また、表示部１０ｆは、端末１０のカメラ１０ｇにより生成される撮像画像を表示してもよい。

【0038】

カメラ１０ｇは、静止画像又は動画像を撮像する撮像素子を含み、所定の領域の撮像により撮像画像（例えば、静止画像又は動画像）を生成し、生成された撮像画像を、通信部１０ｄを介してロボット２０に送信する。

【0039】

ロボット２０の操作を実行させるためのプログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。端末１０では、プロセッサ１０ａが当該プログラムを実行することにより、ロボット２０を制御するための様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、端末１０は、プロセッサ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。

【0040】

図３は、本実施形態に係るロボット２０の物理的構成を示す図である。ロボット２０は、演算部に相当するプロセッサ２０ａと、記憶部に相当するＲＡＭ２０ｂと、記憶部に相当するＲＯＭ２０ｃと、通信部２０ｄと、入力部２０ｅと、表示部２０ｆと、駆動部２０ｇと、カメラ２０ｈとを有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、図３で示す構成は一例であり、ロボット２０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。

【0041】

プロセッサ２０ａは、ＲＡＭ２０ｂ又はＲＯＭ２０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。プロセッサ２０ａは、入力部２０ｅや通信部２０ｄから種々のデータを受け取り、データの演算結果を表示部２０ｆに表示したり、ＲＡＭ２０ｂに格納したりする。また、プロセッサ２０ａは、駆動部２０ｇを制御し、ロボット２０の動作を制御する。

【0042】

ＲＡＭ２０ｂ及びＲＯＭ２０ｃは、各種処理に必要なデータ及び処理結果のデータを記憶する記憶部である。ロボット２０は、ＲＡＭ２０ｂ及びＲＯＭ２０ｃ以外に、ハードディスクドライブ等の大容量の記憶部を備えてもよい。通信部２０ｄは、外部装置との通信を行うデバイスである。

【0043】

入力部２０ｅは、ロボット２０の外部からデータを入力するためのデバイスである。入力部２０ｅは、例えば、キーボード及びタッチパネルを含むこととしてよい。また、入力部２０ｅは、音声入力のためのマイクを含んでもよい。

【0044】

表示部２０ｆは、各種情報を表示するためのデバイスである。表示部２０ｆは、プロセッサ２０ａによる演算結果を視覚的に表示するものとして、例えば、ＬＣＤにより構成されてもよい。表示部２０ｆは、端末１０のカメラ１０ｇで生成された撮像画像を表示してもよい。また、表示部２０ｆは、ロボット２０のカメラ２０ｈで生成された撮像画像を表示してもよい。

【0045】

駆動部２０ｇは、遠隔操作可能なアクチュエータを含み、車輪等の移動部やマニピュレータ等を含む。駆動部２０ｇは、少なくとも車輪等の移動部及びマニピュレータの少なくとも一つを含んでもよい。

【0046】

カメラ２０ｈは、静止画像又は動画像を撮像する撮像素子を含み、所定の領域の撮像により撮像画像（例えば、静止画像又は動画像）を生成し、生成された撮像画像を、通信部２０ｄを介して端末１０に送信する。

【0047】

ロボット２０の制御を実行させるためのプログラムは、ＲＡＭ２０ｂやＲＯＭ２０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部２０ｄにより接続される通信ネットワークを介して提供されてもよい。ロボット２０では、プロセッサ２０ａが当該プログラムを実行することにより、ロボット２０を制御するための様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、ロボット２０は、プロセッサ２０ａとＲＡＭ２０ｂやＲＯＭ２０ｃが一体化したＬＳＩを備えていてもよい。

【0048】

＜機能的構成＞
図４は、本実施形態に係る端末１０の機能的構成の一例を示す図である。これらの機能は、端末１０のプロセッサ（制御部）が、記憶装置（記憶部）に記憶されたコンピュータプログラムを読み込んで実行することにより実現される。

【0049】

図４に示すように、端末１０は、入力受付部１１、取得部１２、判定部１３、表示制御部１４を備える。なお、端末１０が有する機能は、これらに限定されず、コンピュータが一般的に有する機能、及び他の機能を有してもよい。

【0050】

入力受付部１１は、入力部１０ｅに入力されたロボット２０に対する指示を受け付ける。当該指示は、例えば、ロボット２０の移動、ロボット２０の停止、ロボット２０の移動方向Ｄ、駆動部２０ｇの回転方向、カメラ２０ｈが撮像する領域等を示してもよい。

【0051】

取得部１２は、ロボット２０で生成された撮像画像を取得する。具体的には、取得部１２は、上記ロボット２０に対する指示に基づいて決定される第１の領域に対応する第１の撮像画像と、当該指示に基づいて前記移動体を移動させる特定の面上の第２の領域に対応する第２の撮像画像と、を取得する。例えば、取得部１２は、ロボット２０からの第１の撮像画像及び第２の撮像画像を、通信部１０ｄを介して取得してもよい。

【0052】

判定部１３は、ロボット２０の状態を判定する。具体的には、判定部１３は、ロボット２０が移動している状態（以下、「移動状態」という）であるか否かを判定する。例えば、判定部１３は、入力受付部１１によって受付られる指示に基づいて、ロボット２０が移動状態であるか、又は、ロボット２０が移動していない状態（以下、「停止状態」という）のいずれであるかを判定してもよい。なお、移動状態は、ロボット２０が実際に移動している状態であってもよいし、実際に移動しているか否かを問わずに移動していると推定される状態であってもよい。同様に、停止状態は、ロボット２０が実際に停止している状態であってもよいし、実際に停止しているか否かを問わずに停止していると推定される状態であってもよい。

【0053】

表示制御部１４は、ロボット２０が移動状態であるか否かに基づいて、表示部１０ｆに対する上記第１の撮像画像と第２の撮像画像との表示を制御する。具体的には、表示制御部１４は、ロボット２０が移動状態である場合、上記第１の撮像画像及び上記第２の撮像画像の双方を表示部１０ｆに表示させる。一方、表示制御部１４は、ロボット２０が停止状態である場合、上記第２の撮像画像を表示させずに上記第１の撮像画像を表示部１０ｆに表示させる。

【0054】

図５は、本実施形態に係るロボット２０が移動状態である場合の一例を示す図である。図５（Ａ）では、移動状態のロボット２０のカメラ２０ｈによって撮像される第１及び第２の領域が示される。また、図５（Ｂ）では、ロボット２０が移動状態である場合における端末１０の表示部１０ｆの画面の一例が示される。

【0055】

図５（Ａ）に示すように、ロボット２０が移動状態である場合、端末１０からのロボット２０に対する指示に基づいて決定される第１の領域は、ロボット２０が移動する方向Ｄ（以下、「移動方向Ｄ」という）の所定の領域を少なくとも含む。例えば、図５（Ａ）では、ロボット２０のメインカメラ２０ｈ₁が第１の領域を撮像して、当該第１の領域に対応する第１の撮像画像を生成する。

【0056】

一方、図５（Ａ）に示すように、第２の領域は、上記ロボット２０の移動方向Ｄであって上記特定の面Ｓ上の所定の領域（例えば、ロボット２０の移動方向Ｄの足元の所定の領域）であってもよい。例えば、図５（Ａ）では、ロボット２０のナビゲーション用カメラ２０ｈ₂が第２の領域を撮像して、当該第２の領域に対応する第２の撮像画像を生成する。

【0057】

なお、図５（Ａ）では、メインカメラ２０ｈ₁及びナビゲーション用カメラ２０ｈ₂がそれぞれ第１及び第２の領域を撮像して第１及び第２の撮像画像を生成するが、同一のカメラ２０ｈが第１及び第２の領域を時間的に切り替えて撮像して第１及び第２の撮像画像を生成してもよい。以上のように生成された第１及び第２の撮像画像は、ロボット２０の通信部２０ｄから端末１０に送信される。

【0058】

図５（Ｂ）に示すように、ロボット２０が移動状態である場合、端末１０の表示制御部１４は、上記第１の撮像画像及び第２の撮像画像の双方を表示部１０ｆに表示させる。例えば、図５（Ｂ）では、表示部１０ｆは、画面の上方に第１の撮像画像を表示し、画面の下方に第２の撮像画像を表示するが、画面上の第１及び第２の撮像画像の位置関係は図示するものに限られない。また、図５（Ｂ）では、表示部１０ｆは、第１の撮像画像を第２の撮像画像よりも大きく表示するが、これに限られない。

【0059】

図５（Ｂ）に示される表示部１０ｆの画面では、第１の撮像画像によりロボット２０の移動方向Ｄの状態だけでなく、第２の撮像画像によりロボット２０が移動する特定の面Ｓ（例えば、地面）の状態も、端末１０のユーザに対して示される。したがって、端末１０のユーザは、第２の撮像画像によりロボット２０の足元の障害物等を認識できる。このため、端末１０のユーザは、ロボット２０に対する指示（例えば、ロボット２０の移動方向Ｄの変更指示等）を入力部１０ｅに入力することで、ロボット２０と障害物との衝突を回避することができる。このように、ロボット２０が移動状態である場合、第１の撮像画像及び第２の撮像画像の双方を表示部１０ｆに表示させることにより、端末１０のユーザがロボット２０の操作を適切に行うことができる。

【0060】

図６は、本実施形態に係るロボット２０が停止状態である場合の一例を示す図である。図６（Ａ）では、停止状態のロボット２０のカメラ２０ｈによって撮像される第１の領域が示される。また、図６（Ｂ）では、ロボット２０が停止状態である場合における端末１０の表示部１０ｆの画面の一例が示される。

【0061】

図６（Ａ）に示すように、ロボット２０が停止状態である場合、第１の領域は、端末１０からのロボット２０に対する指示に基づいて決定される所定の領域である。例えば、図６（Ａ）では、ロボット２０のメインカメラ２０ｈ₁が第１の領域を撮像して、当該第１の領域に対応する第１の撮像画像を生成する。生成された第１の撮像画像は、ロボット２０の通信部２０ｄから端末１０に送信される。

【0062】

なお、図６（Ａ）では、ロボット２０のナビゲーション用カメラ２０ｈ₂は、ロボット２０が移動する特定の面Ｓ上の第２の領域を撮像してもよいし、又は、しなくともよい。また、通信部２０ｄは、当該第２の領域に対応する第２の撮像画像を端末１０に送信してもよいし、又は、しなくともよい。

【0063】

図６（Ｂ）に示すように、ロボット２０が停止状態である場合、端末１０の表示制御部１４は、上記第２の撮像画像を表示させずに上記第１の撮像画像を表示部１０ｆに表示させる。例えば、図６（Ｂ）に示される表示部１０ｆの画面では、第１の撮像画像により、端末１０からの指示に基づいて決定される所定の領域の状態が、端末１０のユーザに対して示される。

【0064】

ロボット２０が停止状態である場合、端末１０のユーザは、ロボット２０の足元の障害物等を認識しなくとも、ロボット２０を操作できる。このため、第１の撮像画像だけを表示部１０ｆに表示させることにより、所望の第１の領域の状態を認識し易くなる。したがって、ロボット２０が停止状態である場合、第２の撮像画像を表示させずに第１の撮像画像を表示部１０ｆに表示させることにより、端末１０のユーザがロボット２０の操作を適切に行うことができる。

【0065】

［システムの動作］
図７は、本実施形態に係る端末１０の動作の一例を示すフローチャートである。図７に示すように、ステップＳ１０１において、端末１０は、ユーザからのロボット２０に対する指示の入力を受け付ける。

【0066】

ステップＳ１０２において、端末１０は、ロボット２０が移動状態であるか否かを判定する。例えば、端末１０は、ステップＳ１０１で入力されたロボット２０に対する指示に基づいて、ロボット２０が移動状態であるか否かを判定してもよい。

【0067】

ロボット２０が移動状態であると判定される場合（ステップＳ１０２；ＹＥＳ）、ステップＳ１０３において、端末１０は、第１の撮像画像及び第２の撮像画像の双方を取得する。例えば、図５（Ａ）で説明したように、第１の撮像画像は、ロボット２０のカメラ２０ｈ（例えば、メインカメラ２０ｈ₁）による第１の領域の撮像により生成される。また、第２の撮像画像は、ロボット２０のカメラ２０ｈ（例えば、ナビゲーション用カメラ２０ｈ₂）による第２の領域の撮像により生成される。

【0068】

ステップＳ１０４において、端末１０は、当該第１の撮像画像及び第２の撮像画像の双方を表示部１０ｆに表示させる（例えば、図５（Ｂ）参照）。

【0069】

ロボット２０が移動状態ではない（すなわち、停止状態である）と判定される場合（ステップＳ１０２；ＮＯ）、ステップＳ１０５において、端末１０は、上記第１の撮像画像を取得する。例えば、図６（Ａ）で説明したように、第１の撮像画像は、ロボット２０のカメラ２０ｈ（例えば、メインカメラ２０ｈ₁）による第１の領域の撮像により生成される。

【0070】

ステップＳ１０６において、端末１０は、上記第２の撮像画像を表示させずに、上記第１の撮像画像を表示部１０ｆに表示させる（例えば、図６（Ｂ）参照）。

【0071】

なお、図７に示す動作は、例示にすぎず、一部のステップが省略されてもよいし、不図示のステップが追加されてもよいし、及び／又は、一部のステップの順番が変更されてもよい。例えば、端末１０は、ロボット２０が移動状態であるか否かに関係なく第１の撮像画像及び第２の撮像画像の双方を取得してもよい。この場合、ロボット２０が移動状態であるなら第１及び第２の撮像画像の双方を表示させ、ロボット２０が停止状態であるなら第２の撮像画像を表示させずに第１の撮像画像の双方を表示させる。

【0072】

本実施形態に係るシステムでは、ロボット２０が移動状態であるか否かに基づいて、表示部１０ｆに対する上記第１の撮像画像と第２の撮像画像との表示が制御される。したがって、端末１０のユーザは、表示部１０ｆに表示されたロボット２０のカメラ２０ｈによる撮像画像に基づいて、ロボット２０の操作を適切に行うことができる。

【0073】

具体的には、ロボット２０が移動状態である場合、図５（Ｂ）に示すように、ロボット２０の移動方向Ｄの状態を示す第１の撮像画像だけでなく、ロボット２０が移動する特定の面Ｓの状態を示す第２の撮像画像が端末１０の表示部１０ｆに表示される。したがって、端末１０のユーザは、第２の撮像画像によりロボット２０の足元の障害物等を認識でき、この結果、例えば、ロボット２０と障害物との衝突を回避する等、ロボット２０の操作を適切に行うことができる。

【0074】

［変形例］
上記実施形態において、ロボット２０のカメラ２０ｈにより撮像される第１の領域は、単一の領域を想定したが、複数の領域を含んでもよい。具体的には、第１の領域は、端末１０からの指示に基づいて決定される所定の領域だけでなく、当該所定の領域とは異なる一以上の方向の所定の領域を含んでもよい。例えば、図５（Ａ）において、第１の領域は、移動方向Ｄだけでなく、移動方向Ｄとは逆方向の所定の領域、移動方向Ｄの左方向の所定の領域、移動方向Ｄの右方向の所定の領域等を含んでもよい。この場合、例えば、図５（Ｂ）の第１の撮像画像の表示領域において、上記異なる方向の複数の領域にそれぞれ対応する複数の撮像画像が表示されてもよい。図６（Ａ）及び図６（Ｂ）についても同様の変更が可能である。また、ロボット２０が移動状態である場合には第１の領域として上記複数の領域が撮像され、ロボット２０が停止状態である場合には第１の領域として単一の領域が撮像されてもよい。

【0075】

また、上記実施形態において、ロボット２０のカメラ２０ｈにより撮像される第２の領域は、単一の領域を想定したが、複数の領域を含んでもよい。例えば、図５（Ａ）において、第２の領域は、ロボット２０の移動方向Ｄであってロボット２０が移動する特定の面Ｓ上の所定の領域だけでなく移動方向Ｄとは逆方向、左方向、右方向等であって上記特定の面Ｓを含む所定の領域等を含んでもよい。この場合、例えば、図５（Ｂ）の第２の撮像画像の表示領域において、上記異なる方向の複数の領域にそれぞれ対応する複数の撮像画像が表示されてもよい。

【0076】

以上説明した本実施形態及び変形例は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、各要素同士を部分的に置換し又は組み合わせることが可能である。
さらに、本実施形態及び変形例において、「部」とは、単に物理的手段を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や装置が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や装置の機能が１つの物理的手段や装置により実現されても良い。

【符号の説明】

【0077】

１…システム、１０…端末、２０…ロボット、１０ａ…プロセッサ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１０ｇ…カメラ、２０ａ…プロセッサ、２０ｂ…ＲＡＭ、２０ｃ…ＲＯＭ、２０ｄ…通信部、２０ｅ…入力部、２０ｆ…表示部、２０ｇ…駆動部、２０ｈ…カメラ、１１…入力受付部、１２…取得部、１３…判定部、１４…表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】