(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-19
(45)【発行日】2022-12-27
(54)【発明の名称】情報処理装置、情報処理システム及びプログラム
(51)【国際特許分類】
G09G 5/00 20060101AFI20221220BHJP
G09G 5/36 20060101ALI20221220BHJP
G09G 5/377 20060101ALI20221220BHJP
【FI】
G09G5/00 530A
G09G5/36 520P
G09G5/36 520D
G09G5/00 530M
G09G5/36 520M
G09G5/00 530D
G09G5/36 520B
(21)【出願番号】P 2020193526
(22)【出願日】2020-11-20
(62)【分割の表示】P 2017023380の分割
【原出願日】2017-02-10
【審査請求日】2020-11-20
(73)【特許権者】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】100104880
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【氏名又は名称】尾形 文雄
(72)【発明者】
【氏名】得地 賢吾
【審査官】西島 篤宏
(56)【参考文献】
【文献】米国特許出願公開第2012/0167014(US,A1)
【文献】米国特許出願公開第2016/0105331(US,A1)
【文献】米国特許出願公開第2015/0364060(US,A1)
【文献】特開2011-227434(JP,A)
【文献】特開2012-215660(JP,A)
【文献】特開2004-243499(JP,A)
【文献】特開2014-071845(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G09G 5/00 - 5/42
(57)【特許請求の範囲】
【請求項1】
移動体の移動を管理する範囲を規定する第1の形状を取得する第1の取得部と、
前記移動体の位置の表示に使用される表示領域を規定する第2の形状を取得する第2の取得部と、
前記第1の形状を変形して前記第2の形状に一致させる変形部と、
前記第1の形状の変形に応じて前記移動体の位置の表示を変化させる表示制御部と、
を有し、
前記表示制御部は、前記移動体に紐付けられた画像に、実行させたい機能に紐付けられた他の画像が重ね合わせられた場合、当該機能の実行を当該移動体に指示する、
情報処理装置。
【請求項2】
前記第2の形状は、ディスプレイパネルの表示画面の全体を与える形状であり、
前記変形部は、前記範囲の全体を前記表示画面の全体に一致させる、
請求項1に記載の情報処理装置。
【請求項3】
前記変化は、前記表示領域上における変化量の変化であること
を特徴とする請求項1又は2に記載の情報処理装置。
【請求項4】
前記変化の範囲は、前記表示領域の形状の制約を受ける
ことを特徴とする請求項1又は2に記載の情報処理装置。
【請求項5】
前記表示制御部は、前記移動体の位置を当該移動体の管理上定めた前記範囲とは非相似形状の前記表示領域に表示すること
を特徴とする請求項1又は2に記載の情報処理装置。
【請求項6】
前記表示制御部は、前記移動体に紐付けられた画像を前記表示領域にマッピングされた当該移動体の位置に表示すること
を特徴とする請求項1又は2に記載の情報処理装置。
【請求項7】
前記表示制御部は、前記表示領域にマッピングされた前記移動体の実空間における位置を補足する情報として縮尺情報を表示すること
を特徴とする請求項1又は2に記載の情報処理装置。
【請求項8】
前記表示制御部は、前記移動体の位置が管理上定めた前記範囲を越えた場合、当該移動体に紐付けられた画像を前記表示領域上から消すこと
を特徴とする請求項1又は2に記載の情報処理装置。
【請求項9】
前記表示制御部は、前記移動体の位置が管理上定めた前記範囲内に復帰した場合、当該移動体に紐付けられた前記画像を前記表示領域内に再表示すること
を特徴とする請求項8に記載の情報処理装置。
【請求項10】
前記移動体は、自走機構を有すること
を特徴とする請求項1又は2に記載の情報処理装置。
【請求項11】
前記表示制御部は、前記機能が実行できた場合、前記移動体に紐付けられた前記画像の表示形態を変化させること
を特徴とする請求項1に記載の情報処理装置。
【請求項12】
前記表示制御部は、前記移動体に紐付けられた前記画像を当該移動体の稼働状態を表す画像に変化させること
を特徴とする請求項11に記載の情報処理装置。
【請求項13】
前記移動体の管理上定めた前記範囲は、予め定められた対象を基準に定まること
を特徴とする請求項1又は2に記載の情報処理装置。
【請求項14】
1つ又は複数の移動体と、
移動体の移動を管理する範囲を規定する第1の形状を取得する第1の取得部と、当該移動体の位置の表示に使用される表示領域を規定する第2の形状を取得する第2の取得部と、当該第1の形状を変形して当該第2の形状に一致させる変形部と、当該第1の形状の変形に応じて当該移動体の位置の表示を変化させる表示制御部とを有する情報処理装置と、
を有し、
前記情報処理装置は、前記移動体に紐付けられた画像に、実行させたい機能に紐付けられた他の画像が重ね合わせられた場合、当該機能の実行を当該移動体に指示する、
情報処理システム。
【請求項15】
コンピュータに、
移動体の移動を管理する範囲を規定する第1の形状を取得する第1の機能と、
前記移動体の位置の表示に使用される表示領域を規定する第2の形状を取得する第2の機能と、
前記第1の形状を変形して前記第2の形状に一致させる第3の機能と、
前記第1の形状の変形に応じて前記移動体の位置の表示を変化させる第4の機能と、
前記移動体に紐付けられた画像に、実行させたい機能に紐付けられた他の画像が重ね合わせられた場合、当該機能の実行を当該移動体に指示する第5の機能と、
を実現させるためのプログラム。
【請求項16】
移動体の現在位置を取得する取得部と、
前記移動体に紐付く画像を、前記現在位置に基づいて、当該移動体が実在する地点の周辺を表す図上で移動させる表示制御部と、
を有し、
前記表示制御部は、前記現在位置に対応する前記図上の位置に表示されている前記移動体に紐付けられた画像に、実行させたい機能に紐付けられた他の画像が重ね合わせられた場合、当該機能の実行を当該移動体に指示し、
前記表示制御部は、前記機能が実行できた場合、前記移動体に紐付けられた前記画像の表示形態を
、当該機能を実行した動作へ変化させる、
情報処理装置。
【請求項17】
コンピュータに、
移動体の現在位置を取得する第1の機能と、
前記移動体に紐付く画像を、前記現在位置に基づいて、当該移動体が実在する地点の周辺を表す図上で移動させる第2の機能と、
前記現在位置に対応する前記図上の位置に表示されている前記移動体に紐付けられた画像に、実行させたい機能に紐付けられた他の画像が重ね合わせられた場合、当該機能の実行を当該移動体に指示する第3の機能と、
前記実行させたい機能が実行できた場合、前記移動体に紐付けられた前記画像の表示形態を
、当該機能を実行した動作へ変化させる第4の機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理システム及びプログラムに関する。
【背景技術】
【0002】
特許文献1には、遠隔操作するロボットの位置および方向をディスプレイ上に表示し、必要に応じて表示位置および方向を修正できる技術が記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
IoT(Internet of Things)社会の進展に伴い、物の位置等を容易に把握できる仕組みの必要性が高まると予想される。ところが、物の管理区域のレイアウトの保持を優先して位置を表示する手法では、表示領域との関係で物の位置の把握がかえって難しくなる可能性がある。
【0005】
本発明は、ユーザによる対象物の位置把握を容易にすることを目的とする。
【課題を解決するための手段】
【0006】
請求項1に記載の発明は、移動体の移動を管理する範囲を規定する第1の形状を取得する第1の取得部と、前記移動体の位置の表示に使用される表示領域を規定する第2の形状を取得する第2の取得部と、前記第1の形状を変形して前記第2の形状に一致させる変形部と、前記第1の形状の変形に応じて前記移動体の位置の表示を変化させる表示制御部と、を有し、前記表示制御部は、前記移動体に紐付けられた画像に、実行させたい機能に紐付けられた他の画像が重ね合わせられた場合、当該機能の実行を当該移動体に指示する、情報処理装置である。
請求項2に記載の発明は、前記第2の形状は、ディスプレイパネルの表示画面の全体を与える形状であり、前記変形部は、前記範囲の全体を前記表示画面の全体に一致させる、請求項1に記載の情報処理装置である。
請求項3に記載の発明は、前記変化は、前記表示領域上における変化量の変化であることを特徴とする請求項1又は2に記載の情報処理装置である。
請求項4に記載の発明は、前記変化の範囲は、前記表示領域の形状の制約を受けることを特徴とする請求項1又は2に記載の情報処理装置である。
請求項5に記載の発明は、前記表示制御部は、前記移動体の位置を当該移動体の管理上定めた前記範囲とは非相似形状の前記表示領域に表示することを特徴とする請求項1又は2に記載の情報処理装置である。
請求項6に記載の発明は、前記表示制御部は、前記移動体に紐付けられた画像を前記表示領域にマッピングされた当該移動体の位置に表示することを特徴とする請求項1又は2に記載の情報処理装置である。
請求項7に記載の発明は、前記表示制御部は、前記表示領域にマッピングされた前記移動体の実空間における位置を補足する情報として縮尺情報を表示することを特徴とする請求項1又は2に記載の情報処理装置である。
請求項8に記載の発明は、前記表示制御部は、前記移動体の位置が管理上定めた前記範囲を越えた場合、当該移動体に紐付けられた画像を前記表示領域上から消すことを特徴とする請求項1又は2に記載の情報処理装置である。
請求項9に記載の発明は、前記表示制御部は、前記移動体の位置が管理上定めた前記範囲内に復帰した場合、当該移動体に紐付けられた前記画像を前記表示領域内に再表示することを特徴とする請求項8に記載の情報処理装置である。
請求項10に記載の発明は、前記移動体は、自走機構を有することを特徴とする請求項1又は2に記載の情報処理装置である。
請求項11に記載の発明は、前記表示制御部は、前記機能が実行できた場合、前記移動体に紐付けられた前記画像の表示形態を変化させることを特徴とする請求項1に記載の情報処理装置である。
請求項12に記載の発明は、前記表示制御部は、前記移動体に紐付けられた前記画像を当該移動体の稼働状態を表す画像に変化させることを特徴とする請求項11に記載の情報処理装置である。
請求項13に記載の発明は、前記移動体の管理上定めた前記範囲は、予め定められた対象を基準に定まることを特徴とする請求項1又は2に記載の情報処理装置である。
請求項14に記載の発明は、1つ又は複数の移動体と、移動体の移動を管理する範囲を規定する第1の形状を取得する第1の取得部と、当該移動体の位置の表示に使用される表示領域を規定する第2の形状を取得する第2の取得部と、当該第1の形状を変形して当該第2の形状に一致させる変形部と、当該第1の形状の変形に応じて当該移動体の位置の表示を変化させる表示制御部とを有する情報処理装置と、を有し、前記情報処理装置は、前記移動体に紐付けられた画像に、実行させたい機能に紐付けられた他の画像が重ね合わせられた場合、当該機能の実行を当該移動体に指示する、情報処理システムである。
請求項15に記載の発明は、コンピュータに、移動体の移動を管理する範囲を規定する第1の形状を取得する第1の機能と、前記移動体の位置の表示に使用される表示領域を規定する第2の形状を取得する第2の機能と、前記第1の形状を変形して前記第2の形状に一致させる第3の機能と、前記第1の形状の変形に応じて前記移動体の位置の表示を変化させる第4の機能と、前記移動体に紐付けられた画像に、実行させたい機能に紐付けられた他の画像が重ね合わせられた場合、当該機能の実行を当該移動体に指示する第5の機能と、を実現させるためのプログラムである。
請求項16に記載の発明は、移動体の現在位置を取得する取得部と、前記移動体に紐付く画像を、前記現在位置に基づいて、当該移動体が実在する地点の周辺を表す図上で移動させる表示制御部と、を有し、前記表示制御部は、前記現在位置に対応する前記図上の位置に表示されている前記移動体に紐付けられた画像に、実行させたい機能に紐付けられた他の画像が重ね合わせられた場合、当該機能の実行を当該移動体に指示し、前記表示制御部は、前記機能が実行できた場合、前記移動体に紐付けられた前記画像の表示形態を、当該機能を実行した動作へ変化させる、情報処理装置である。
請求項17に記載の発明は、コンピュータに、移動体の現在位置を取得する第1の機能と、前記移動体に紐付く画像を、前記現在位置に基づいて、当該移動体が実在する地点の周辺を表す図上で移動させる第2の機能と、前記現在位置に対応する前記図上の位置に表示されている前記移動体に紐付けられた画像に、実行させたい機能に紐付けられた他の画像が重ね合わせられた場合、当該機能の実行を当該移動体に指示する第3の機能と、前記実行させたい機能が実行できた場合、前記移動体に紐付けられた前記画像の表示形態を、当該機能を実行した動作へ変化させる第4の機能と、を実現させるためのプログラムである。
【発明の効果】
【0007】
請求項1記載の発明によれば、表示領域の形状に合わせて移動体の位置の表示を変化させない場合に比べ、ユーザによる移動体の位置の把握が容易になり、加えて、機能の実行の指示が容易になる。
請求項2記載の発明によれば、表示領域の形状に合わせて移動体の位置の表示を変化させない場合に比べ、ユーザによる移動体の位置の把握が容易になり、加えて、機能の実行の指示が容易になる。
請求項3記載の発明によれば、表示領域上における変化量が表示領域の形状に合わせて変化することで、ユーザによる移動体の位置の把握が容易になり、加えて、機能の実行の指示が容易になる。
請求項4記載の発明によれば、表示領域の形状の変化に応じて位置の表示が変化することで、ユーザによる移動体の位置の把握が容易になり、加えて、機能の実行の指示が容易になる。
請求項5記載の発明によれば、移動体の位置を管理上定めた区域の相似形状に合わせて表示する場合に比して、表示される管理上定めた区域の過度な縮小が回避される。
請求項6記載の発明によれば、移動体に紐付けられた画像を管理上定めた区域の表示領域に表示することで、表示される移動体の位置の把握が容易になる。
請求項7記載の発明によれば、縮尺情報の表示により距離感の把握が容易になる。
請求項8記載の発明によれば、移動体に紐付けられた画像が表示領域から消えることで、移動体が管理上定めた区域を越えたことを把握できる。
請求項9記載の発明によれば、移動体に紐付けられた画像の再表示により、移動体が管理上定めた区域内に復帰したことを把握できる。
請求項10記載の発明によれば、表示領域に合わせて移動体の位置の表示を変化させない場合に比べ、ユーザによる移動体の位置の把握が容易になる。
請求項11記載の発明によれば、移動体に紐付けられた画像の表示形態の変化を通じて機能の実行を把握できる。
請求項12記載の発明によれば、画像の表示形態の変化を通じて稼働状態を把握できる。
請求項13記載の発明によれば、表示領域に合わせて移動体の位置の表示を変化させない場合に比べ、ユーザによる移動体の位置の把握が容易になる。
請求項14記載の発明によれば、表示領域に合わせて移動体の位置の表示を変化させない場合に比べ、ユーザによる移動体の位置の把握が容易になり、加えて、機能の実行の指示が容易になる。
請求項15記載の発明によれば、表示領域に合わせて移動体の位置の表示を変化させない場合に比べ、ユーザによる移動体の位置の把握が容易になり、加えて、機能の実行の指示が容易になる。
請求項16記載の発明によれば、移動体が実在する地点の周辺を表す図上における移動体に紐付けられた画像の表示を、移動体の現在位置に応じて変化させない場合に比べ、ユーザによる移動体の位置の把握が容易になり、加えて、機能の実行の指示が容易になる。
請求項17記載の発明によれば、移動体が実在する地点の周辺を表す図上における移動体に紐付けられた画像の表示を、移動体の現在位置に応じて変化させない場合に比べ、ユーザによる移動体の位置の把握が容易になり、加えて、機能の実行の指示が容易になる。
【図面の簡単な説明】
【0008】
【
図1】実施形態の一例である情報処理システムの概念構成を示す図である。
【
図2】ユーザを含むように管理区域を定める例を示す図である。
【
図3】基準点から一定の距離又は一定の範囲を管理区域に定める例を示す図である。
【
図4】実施形態の他の例である情報処理システムの概念構成を示す図である。
【
図5】本実施の形態で使用するロボットの外観構成を説明する図である。
【
図6】本実施の形態におけるロボットのハードウェア構成を説明する図である。
【
図7】ビーコンを用いる測位方式を説明する図である。
【
図8】ロボットから送信される通信用の電波からロボットの位置を測位する方式を説明する図である。
【
図9】本実施の形態における情報端末のハードウェア構成を説明する図である。
【
図10】本実施の形態に係る情報端末のソフトウェア構成を説明する図である。
【
図11】ユーザとロボットとの距離を説明する図である。
【
図12】管理区域の中心位置とロボットとの距離を説明する図である。
【
図13】子供やペット等の基準点とロボットとの距離を説明する図である。
【
図14】実空間における管理区域が楕円形状であるのに対し、表示部の表示画面が概略矩形である場合の変形処理を説明する図であり、(a)は実空間における管理区域の形状を示し、(b)は表示上の仮想管理区域に加えられる部分領域別の変形の方向と大きさを示す。
【
図15】ユーザが位置する管理区域の端部が画面左端に位置するように仮想管理区域を変形する例を説明する図であり、(a)は実空間における管理区域の形状を示し、(b)は仮想管理区域に加えられる部分領域別の変形の方向と大きさを示す。
【
図16】実空間における管理区域が一方向に長い長方形状(例えば細長い通路)であるのに対し、表示部の表示画面が概略矩形である場合の変形処理を説明する図であり、(a)は実空間における管理区域の形状を示し、(b)は仮想管理区域に加えられる部分領域別の変形の方向と大きさを示す。
【
図17】変形後の仮想管理区域の形状が表示画面の形状に一致しない例を説明する図であり、(a)は実空間における管理区域の形状を示し、(b)は仮想管理区域に加えられる部分領域別の変形の方向と大きさを示す。
【
図18】表示画面上に他の作業画面が表示される場合に、他の作業画面と重ならないように仮想管理区域を変形させる例を説明する図であり、(a)は実空間における管理区域の形状を示し、(b)は仮想管理区域に加えられる部分領域別の変形の方向と大きさを示す。
【
図19】表示画面におけるロボットの位置表示に実画像を用いる例を説明する図であり、(a)はカメラの配置例を示し、(b)は仮想管理区域における表示例を示す。
【
図20】表示画面上に他の作業画面が表示される場合に、仮想管理区域を表示画面内で移動する例を説明する図であり、(a)は他の作業画面が表示される前の仮想管理区域の表示位置を示し、(b)は他の作業画面が表示された後の仮想管理区域の表示位置を示す。
【
図21】表示画面上に他の作業画面が表示される場合に、仮想管理区域を表示画面と仮想管理画面を跨ぐ位置に移動する例を説明する図であり、(a)は他の作業画面が表示される前の仮想管理区域の表示位置を示し、(b)は他の作業画面が表示された後の仮想管理区域の表示位置を示す。
【
図22】表示画面上に他の作業画面が表示される場合に、仮想管理区域を仮想管理画面に移動する例を説明する図であり、(a)は他の作業画面が表示される前の仮想管理区域の表示位置を示し、(b)は他の作業画面が表示された後の仮想管理区域の表示位置を示す。
【
図23】距離に応じてロボットに紐付けられた画像の表示寸法を変化させる例を説明する図であり、(a)は実空間上におけるユーザとロボットの距離の関係を示し、(b)は表示寸法の変化が連続的である場合を示し、(c)は表示寸法の変化がステップ的である場合を示す。
【
図24】仮想管理区域の各部に表示縮尺(スケールバー)を表示する例を示す図である。
【
図25】表示寸法が表す距離情報を画面上に表示する例を説明する図であり、(a)は表示寸法と距離の対応見本を示し、(b)は画像の近傍に距離の目安が表示される例を示す。
【
図26】ロボットの位置を特定するエリア名で表示する例を説明する図であり、(a)は管理区域で規定されているエリア名を示し、(b)は仮想管理区域上にロボットが存在するエリア名を表示する表示例を示す。
【
図27】ロボットまでの距離を画面上に表示する例を説明する図であり、(a)は管理区域内にあるロボットの位置を示し、(b)は仮想管理区域にロボットまでの距離を数値で表示する表示例を示す。
【
図28】ロボットが管理区域を超えることを予告する画面の例を説明する図であり、(a)は管理区域とロボットの位置関係を示し、(b)は表示画面に表示される予告画面の例を示し、(c)は予告表示後の表示を示す。
【
図29】ロボットが管理区域を超えることを予告する画面の他の例を説明する図であり、(a)は管理区域とロボットの位置関係を示し、(b)は表示画面に表示される予告画面の例を示し、(c)は予告表示後の表示を示す。
【
図30】ロボットが管理区域に復帰することを予告する画面の例を説明する図であり、(a)は管理区域とロボットの位置関係を示し、(b)は表示画面に表示される予告画面の例を示し、(c)は予告表示後の表示を示す。
【
図31】ロボットが管理区域に復帰することを予告する画面の例を説明する図であり、(a)は管理区域とロボットの位置関係を示し、(b)は表示画面に表示される予告画面の例を示し、(c)は予告表示後の表示を示す。
【
図32】管理区域の中央でロボットとの通信が途切れる場合の表示例を説明する図であり、(a)は管理区域とロボットの位置関係を示し、(b)は通信不良を予告する画面の例を示し、(c)は予告表示後の表示を示す。
【
図33】管理区域の中央でロボットとの通信が再開される場合の表示例を説明する図であり、(a)は管理区域とロボットの位置関係を示し、(b)は通信再開前の画面の例を示し、(c)は通信の再開を示す画面の例を示す。
【
図34】稼働情報取得部から稼働情報を取得した表示画像生成部による表示例を説明する図であり、(a)は実空間上でのロボットの稼働状態を示し、(b)は表示画面上の表示態様を示す。
【
図35】稼働情報取得部から稼働情報を取得した表示画像生成部による表示の他の例を説明する図であり、(a)は実空間上でのロボットの稼働状態を示し、(b)は表示画面上の表示態様を示す。
【
図36】ユーザとロボットが近くに位置する場合の表示例を示す図であり、(a)は管理区域におけるユーザとロボットの位置を示し、(b)は仮想管理区域における位置関係の表示例を示す。
【
図37】ユーザとロボットが離れて位置する場合の表示例を示す図であり、(a)は管理区域におけるユーザとロボットの位置を示し、(b)は仮想管理区域における位置関係の表示例を示す。
【
図38】ユーザが管理区域の中央付近に位置する場合の表示例を示す図であり、(a)は管理区域におけるユーザとロボットの位置を示し、(b)は仮想管理区域における位置関係の表示例を示す。
【
図39】ユーザとロボットが近くに位置する場合の他の表示例を示す図であり、(a)は管理区域におけるユーザとロボットの位置を示し、(b)は仮想管理区域における位置関係の表示例を示す。
【
図40】ユーザとロボットが近くに位置する場合の他の表示例を示す図であり、(a)は管理区域におけるユーザとロボットの位置を示し、(b)は仮想管理区域における位置関係の表示例を示す。
【
図41】管理区域内に複数のロボットが位置する場合の表示例を示す図であり、(a)は管理区域におけるユーザと2台のロボットの位置関係を示し、(b)は仮想管理区域における位置関係の表示例を示す。
【
図42】管理区域内における複数のロボットの位置関係が変化した場合の表示例を示す図であり、(a)は管理区域におけるユーザと2台のロボットの位置関係を示し、(b)は仮想管理区域における位置関係の表示例を示す。
【
図43】表示画面内に他の作業画面が表示された場合の表示例を示す図であり、(a)は管理区域におけるユーザと2台のロボットの位置関係を示し、(b)は仮想管理区域における位置関係の表示例を示す。
【
図44】他の作業画面の表示寸法が変化する場合の仮想管理区域の形状変化を説明する図であり、(a)は他の作業画面が表示される前の表示例を示し、(b)は他の作業画面が表示された直後の表示例を示し、(c)は他の作業画面の表示面積が変更された後の表示例を示す。
【
図45】ロボットが管理区域内でユーザから遠ざかる場合の表示例を説明する図であり、(a)は管理区域におけるユーザとロボットの位置関係を示し、(b)はロボットが遠ざかる様子を表現する表示例を示し、(c)はロボットが遠ざかる様子を表現する他の表示例を示す。
【
図46】ロボットが管理区域内でユーザに近づく場合の表示例を説明する図であり、(a)は管理区域におけるユーザとロボットの位置関係を示し、(b)はロボットが近づく様子を表現する表示例を示し、(c)はロボットが近づく様子を表現する他の表示例を示す。
【
図47】複数の管理区域に位置している複数のロボットを1つの表示画面で管理する場合の表示例を説明する図であり、(a)は2つの管理区域におけるロボットの位置を示し、(b)は表示画面の表示例を示す。
【
図48】表示画面を用いてロボットに指示を出す場合の表示例を説明する図であり、(a)はロボットからの指示要求画面例を示し、(b)はユーザによる指示の入力例を示し、(c)はロボットからの応答画面例を示す。
【
図49】ロボットに実行させたい機能を表す画像を、ロボットに紐付けられた画像に重ね合わせることで機能の実行を指示する場合の表示例を説明する図であり、(a)はロボットに対する機能の実行指示操作を示し、(b)はロボットからの応答画面例を示し、(c)はロボットの稼働動作を示す。
【
図50】ロボットに紐付けられた画像の位置を表示画面上で移動させる移動動作があると、管理区域上でロボットが実際に移動される様子を説明する図であり、(a)は表示画面の表示例を示し、(b)は実空間である管理区域におけるロボットの移動を示す。
【
図51】実空間上でのロボットの移動量に対応する仮想管理区域での画像の変化量が仮想管理区域の形状に応じて変化する様子を説明する図であり、(a)は実空間上でのロボットの移動量を示し、(b)は仮想管理区域の表示面積が大きい場合の画像の変化量を示し、(c)は仮想管理区域の表示面積が小さい場合の画像の変化量を示す。
【
図52】仮想管理区域の表示寸法に応じて画像の変化範囲が制約を受けることを説明する図であり、(a)は仮想管理区域の表示寸法が大きい場合の画像の変化範囲を示し、(b)は仮想管理区域の表示寸法が小さい場合の画像の変化範囲を示す。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
【0010】
<システム構成例>
図1は、実施形態の一例である情報処理システム1の概念構成を示す図である。
情報処理システム1は、ユーザ3によって操作される情報端末100と、ユーザ3の管理下にあるロボット200とによって構成されている。
情報端末100は情報処理装置の一例であり、ロボット200は移動体の一例である。
【0011】
図1では、情報端末100としてノート型のコンピュータを例示しているが、情報端末100は、搭載する表示デバイス又は外部の表示デバイスとの連携により、ロボット200の位置情報を表示できる機能を備える機器であれば種類を問わない。
例えば情報端末100は、(1)据え置き型のコンピュータ、タブレット型のコンピュータ、スマートウォッチ、スマートフォン、デジタルカメラ、ビデオカメラ、モニタ等の画像表示装置、画像記録装置、画像再生装置、ゲーム機等の電子機器、(2)冷蔵庫、調理器、洗濯機等の家庭用電気製品、(3)家電モニタ等の住宅設備、(4)自動車等の車両、(5)工作機械等でもよい。
【0012】
本実施の形態において、「移動体」は、実空間において位置が固定されていない物であればよく、例えばぬいぐるみ等の人形や玩具、装飾品、ノート型のコンピュータ、タブレット型のコンピュータ、スマートウォッチ、スマートフォン、デジタルカメラ、ビデオカメラ、ボイスレコーダ、医療器具等の可搬型の物品の他、自動車、電車、船、飛行機、ドローン等の自走機構によって実空間内を移動する有人又は無人の輸送用機器も含まれる。また、移動体には、自転車やベビーカーのように人力で移動する車両も含まれる。
移動体の移動は、面内に限らず線上を含み、水平方向に限らず上下方向を含み、屋内に限らず屋外を含み、地上に限らず、水中、空中、地中、体内を含む。
【0013】
図1の場合、ユーザ3は、情報端末100において実行される処理機能を通じ、管理区域300内にあるロボット200の所在や稼働状態を把握する。
管理区域300は、管理対象とする移動体の所在や状態の管理のために現実の空間で定められる区域であり、物理的に定まる場合(例えば建物、オフィスや店舗のフロア、壁やパーテーションで仕切られた部屋や区画など)だけでなく、基準点との関係で物理的に定まる場合、ユーザの指定により定まる場合を含む。
基準点には、構造物、物品、人、動物、植物などの物理的に特定可能な対象が用いられる。
基準点との関係には、基準点を含む区画、基準点を含む部屋、基準点を含むフロア、基準点を含む建物、基準点を含む地域の他、基準点からの距離なども含まれる。
【0014】
図2及び
図3は、移動体が移動可能な最大範囲を与える実空間400の一部分を管理区域300に設定した例を表している。
図2は、ユーザ3を含むように管理区域300を定める例を示す図である。
図3は、基準点5から一定の距離又は一定の範囲を管理区域300に定める例を示す図である。
図3においては、管理区域300として、保護対象としての子供やペット、防犯対象として貴金属などが基準点5として指定された例を表している。
基準点5は必ずしも不動点に限らず、移動点であってもよい。基準点5が移動点の場合、管理区域300の範囲は基準点5の移動に伴って移動する。
【0015】
図4は、実施形態の他の例である情報処理システム10の概念構成を示す図である。
図4には
図1との対応部分に同一符号を付して表している。
情報処理システム10では、情報端末100がネットワーク500を通じてサーバ600に接続されている。この点が、情報処理システム10と情報処理システム1(
図1参照)との違いである。
情報処理システム10の場合、ロボット200の所在や稼働状態はサーバ600で実行される処理機能を通じて情報端末100に提供される。従って、
図4における情報端末100はいわゆる入出力装置として使用され、後述する処理機能はサーバ600側で実行される。その意味で、サーバ600は情報処理装置の一例である。
【0016】
<ロボットの構成>
・外観構成
図5は、本実施の形態で使用するロボット200の外観構成を説明する図である。ロボット200は、人形や玩具の一形態である。
ロボット200の外観構成は、
図5に示すヒト型に限らず、犬やネコなどの動物、花や木などの植物、車(電車を含む)や飛行機等の乗り物を題材として表現したものでよい。本実施の形態における乗り物には有人機だけでなく無人機も含まれる。
【0017】
図5に例示したヒト型のロボット200は、胴部201、頭部202、腕203、205、手204、206、足207、208を有している。
本実施の形態における胴部201には、信号処理のための電子部品が格納されている。胴部201には、表示デバイスや音響機器が搭載されてもよい。
もっとも、ロボット200が単なる人形である場合、胴部201には詰め物が充填される。
【0018】
本実施の形態における頭部202は、首の部分に設けられたジョイント機構を介して胴部201に連結されている。
本実施の形態の場合、ジョイント機構は、3軸まわりに回転可能である。3軸まわりの回転とは、ヨー(z軸まわりの回転)、ロール(x軸まわりの回転)、ピッチ(y軸まわりの回転)の3つである。
3軸の全てに対して回転可能である必要はなく、1軸のみ又は2軸について回転可能でよい。これらの回転は手動で行われてもよいし、不図示のモーターによる回転駆動により実現してもよい。もっとも、頭部202が胴部201に対して固定される場合を妨げない。
頭部202には目202A、202Bが設けられている。目202A及び202Bは、装飾的に配置されていてもよいし、撮像装置、投影機、照明等を内蔵してもよい。頭部202には可動式の耳が配置されていてもよい。
【0019】
本実施の形態における腕203及び205は、胴部201とジョイント機構を介して連結されている。腕203及び205の上腕と前腕は、ジョイント機構を介して連結されている。
本実施の形態の場合、ジョイント機構は、頭部202と同様に多軸でも単軸でもよい。また、軸周りの回転は手動で実現されてもよいし、不図示のモーターによる回転駆動により実現してもよい。
もっとも、腕203及び205は、胴部201に固定されていてもよい。
なお、腕203及び205を予め定めた角度に折り曲げれば、物の運搬に用いることができる。
【0020】
手204及び206は、手首の部分に設けられたジョイント機構を介して腕203及び205に連結されている。手204及び206の手の平と指は、いずれもジョイント機構を介して連結されている。
本実施の形態におけるジョイント機構は、頭部202と同様に多軸でも単軸でもよい。また、軸周りの回転は手動で実現されてもよいし、不図示のモーターによる回転駆動によって実現してもよい。
本実施の形態の場合、手204及び206は、指の開閉により物を掴むことができる。
手204及び206は、腕203及び205に対して固定でもよい。
【0021】
足207及び208は、ジョイント機構を介して胴部201に連結されてもよいし、車輪やキャタピラー等の自走機構として胴部201に取り付けられてもよい。
足207及び208がジョイント機構を介して胴部201に連結される場合、ジョイント機構は、頭部202と同じく多軸でも単軸でもよい。
また、軸周りの回転は手動で実現されてもよいし、不図示のモーターによる回転駆動によって実現してもよい。なお、足207及び208は、胴部201に対して固定でもよい。
【0022】
・ハードウェア構成
図6は、本実施の形態におけるロボット200のハードウェア構成を説明する図である。
ロボット200は、装置全体の動きを制御する制御部210と、静止画像又は動画像を撮像するカメラ211と、会話用の音声、楽曲、効果音を再生するスピーカ212と、音の入力又は取得に用いられるマイク213と、ジョイント機構などの可動機構214と、外部装置との通信に用いられる通信部215と、画像を表示する表示部216と、装置全体を移動させる移動機構217と、各部に電力を供給する電源218と、各部の状態や周辺情報の収集に使用されるセンサ219と、位置情報の取得に用いられる位置検知部220とを有している。これらの各部は、例えばバス221により互いに接続されている。
【0023】
言うまでもなく、
図6に示すハードウェア構成は一例である。従って、ロボット200は、前述した全ての部材を搭載する必要はない。
また、ロボット200は、不図示の部材を更に搭載してもよい。例えばロボット200は、電源ボタン、記憶装置(ハードディスク装置、半導体メモリ等)、熱源(冷却源を含む。)等を搭載してもよい。
【0024】
制御部210は、いわゆるコンピュータであり、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)を有している。
ROMには、CPUにより実行されるプログラムが記憶されている。CPUは、ROMに記憶されているプログラムを読み出し、RAMを作業エリアに使用してプログラムを実行する。プログラムの実行を通じ、CPUはロボット200を構成する各部の動作を制御する。
【0025】
制御部210は、例えばカメラ211、マイク213、センサ219を通じて取得される情報をプログラムに従って処理する機能を有している。
ここでの情報には、例えば視覚、聴覚、触覚、味覚、嗅覚、平衡感覚、温度が含まれる。
視覚は、カメラ211で撮像された画像の認識処理を通じて実現される。
聴覚は、マイク213で取得された音の認識処理を通じて実現される。
触覚には、例えば表在感覚(触覚、痛覚、温度覚)、深部覚(圧覚、位置覚、振動覚など)、皮質性感覚(二点識別覚、立体識別能力など)が含まれる。制御部210は、触覚の違いを分別できる。
触覚、味覚、臭覚、平衡感覚、温度は、各種のセンサ219による情報の検知を通じて実現される。なお、温度には、周辺温度、内部温度、ヒトや動物の体温なども含まれる。
更に、制御部210が取得する情報には、ヒトや動物の脳波も含み得る。この場合、脳波は、ヒト等に装着された脳波検知デバイスから発信される情報を通信部215で受信すればよい。
【0026】
制御部210には、取得した情報を認識し、処理するための機能が備えられている。これらの機能は、内蔵されたプログラムや通信部215を通じて接続された外部のコンピュータで実行されるプログラムを通じて実現される。
認識処理では、人工知能に基づく機械学習を採用してもよく、当該技術を採用すればヒトに近い判断結果が得られる。最近では、ニューラルネットワーク型のディープラーニングが発達している。また部分的に学習分野を強化する強化学習などによる認識精度の向上も進んでいる。
さらに、制御部210には、不明な事態が発生した場合に、インターネット検索や外部のコンピュータとの通信を通じて情報を収集し、検索事象との類似度によって解決策を発見する機能を搭載してもよい。
【0027】
制御部210は、認識結果や処理結果に基づいて、各種の動作を実行する。例えばスピーカ212を通じて音声を出力したり、通信部215を通じてメッセージを送信したり、表示部216を通じて画像を出力してもよい。
これら情報の入出力や可動機構214の動きを通じ、制御部210は、ユーザとの間でコミュニケーションを成立させることができる。コミュニケーションの応用例には、例えば接客や会議の進行なども含まれる。
また、制御部210は、コミュニケーションの記録機能や議事録の作成機能を有してもよい。
【0028】
通信を確立できない外部機器が存在する場合、制御部210は、外部機器の遠隔操作のために用意されたコントローラを画像認識(例えば形状やリモコンに記載されている文字による認識)により特定し、特定されたコントローラに対する操作を通じて外部機器に対して指示を送信できるようにしてもよい。
【0029】
本実施の形態の場合、カメラ211は、目202A及び202B(
図5参照)の位置に配置される。
また、表示部216として投影機が用いられる場合、投影機は、例えば目202A及び202B(
図5参照)のいずれか一方又は両方に配置することができる。なお、投影機は胴部201や頭部202に配置してもよい。
【0030】
可動機構214は、物の搬送の他、感情を表現する目的でも使用される。
物の搬送に使用される場合、可動機構214は、腕203、205や手204、206の変形を通じて、例えば物を掴む、抱える、支える等の動作を実現する。
感情の表現に使用される場合、可動機構214は、例えば頭部202、腕203、205等(
図5参照)の駆動を通じて、頭を傾げる、見上げる、周囲を見回す(キョロキョロする)、万歳する、指さし等の動作を実行する。
【0031】
本実施の形態における通信部215は、無線方式によって外部と通信する。
ロボット200には、通信先として想定する外部装置で用いられる通信方式の数だけ通信部215が搭載される。
通信方式には、例えば赤外線通信、可視光通信、近接無線通信、WiFi(登録商標)、ブルートゥース(登録商標)、RFID(登録商標)、ZigBee(登録商標)、IEEE802.11a(登録商標)、MulteFire、LPWA(Low Power Wide Area)等がある。
無線通信に使用する帯域には、短波長帯(例えば800MHz~920MHz)、長波長帯(例えば2.4GHz、5GHz)等がある。
なお、通信部215と外部装置との接続には通信ケーブルを使用してもよい。
【0032】
これらの通信機能の応用例として、ロボット200は、仮想通貨による決済機能を有してもよい。
決済機能には、事前に預託された金額の範囲での決済が可能なプリペイド式、後払い型のクレジット決済、指定口座から代金を決済するデビットカード決済等を用いてもよい。
通貨は、ビットコイン(登録商標)のような仮想通貨でもよい。
なお、ロボット200の胴部201に現金を収容する空間を設け、必要に応じて決済に必要な金額を排出する機能、収容されている現金を取り出せるように扉を開閉する機能などを設けてもよい。
スピーカ212と連動して、ヒトに現金を借りる機能を設けてもよい。
【0033】
表示部216は、ユーザとの間で視覚的なコミュニケーションを実現するために用いられる。
本実施の形態の場合、表示部216には、文字や図形が表示される。
表示部216が頭部202に配置される場合、表示部216に表情を表示してもよい。
【0034】
本実施の形態の場合、移動機構217には車輪やキャタピラーを用いるが、プロペラや圧縮空気の吹き出し機構を用い、空気の力でロボット200を移動させてもよい。
本実施の形態における電源218には二次電池を使用するが、電力を発生できれば一次電池、燃料電池、太陽電池のいずれを用いてもよい。
また、電源218の代わりに、電源ケーブルを通じて外部から電力の供給を受ける構成を採用してもよい。
【0035】
本実施の形態の場合、ロボット200には、位置検知部220が搭載されている。
位置検知部220には、例えばGPS(Global Positioning System)信号から地点情報を読み取る方式、GPSと同等の信号を用いて屋内の位置を測位するIMES(Indoor Messaging System)方式、WiFiの複数のアクセスポイントから送信された電波の強度や到達時間等から位置を測位するWiFi測位方式、基地局から定期的に発生される信号に対する応答の方角と遅延時間から位置を測位する基地局測位方式、不可聴域の超音波を受信して位置を測位する音波測位方式、ブルートゥースを使ったビーコンからの電波を受信して位置を測位するブルートゥース測位方式、LED(Light Emitting Diode)等の照明光の点滅によって伝達される位置情報を用いて位置を測位する可視光測位方式、加速度センサやジャイロセンサ等を用いて現在位置を測位する自律航法方式等を利用する。
【0036】
図7は、ビーコンを用いる測位方式を説明する図である。
図7の場合、発振器700Aが壁に配置され、発振器700Bが床に配置され、発振器700Cが天井に配置され、発振器700Dが画像形成装置700の内部に配置されている。各発信器からは、固有の位置情報によって変調されたビーコンが発せられる。
位置検出技術には、屋内用の技術に限らず、屋外用の技術を用いてもよい。ロボット200が屋内と屋外の両方で使用される場合、屋内用と屋外用の2種類の位置検知部220を搭載してもよい。
検出又は推定された位置情報は、通信部215を通じて情報端末100やサーバ600に通知される。
【0037】
本実施の形態の場合、ロボット200に位置検知部220が搭載されているが、位置検知部220が搭載されていない場合には、外部設備を通じてロボット200の位置情報を取得又は推定してもよい。
図8は、ロボット200から送信される通信用の電波からロボット200の位置を測位する方式を説明する図である。
ロボット200から送信された電波225は、位置が既知のアクセスポイント800A、800B、800Cで受信される。位置測位部900は、アクセスポイント800A、800B、800Cで受信された電波225の強度や遅延時間等からロボット200の位置を測位する。測位された位置情報は、位置測位部900から情報端末100やサーバ600に通知される。
もっとも、位置測位部900としての機能を情報端末100やサーバ600が実行してもよい。
【0038】
この他、ロボット200との間で近接無線通信が確立した読取装置(いわゆるリーダ)の位置情報をロボット200の位置として用いてもよい。
また、屋内や屋外に配置された監視カメラなどによって撮像された画像にロボット200の画像が含まれる場合、ロボット200を撮像した監視カメラの位置などをロボット200の位置として用いてもよい。ロボット200の検出には画像認識技術を使用する。
ここでの監視カメラを使用する方法は、ロボット200が電子部品を搭載しない人形の場合にも適用できる。
【0039】
<情報端末及びサーバの構成>
続いて、情報端末100及びサーバ600の構成について説明する。以下では、情報端末100の構成について説明する。
【0040】
・ハードウェア構成
図9は、本実施の形態における情報端末100のハードウェア構成を説明する図である。
情報端末100は、装置全体の動きを制御する制御部110と、ユーザによる操作入力を受け付ける操作部111と、外部装置との通信に用いられる通信部112と、各種のデータの記憶に用いられる記憶部113と、各種のアプリケーションに対応する作業画面を表示する表示部114と、音声や楽曲、効果音などを出力するスピーカ115とを有している。これらの各部は、例えばバス116により互いに接続されている。
【0041】
言うまでもなく、
図9に示すハードウェア構成は一例である。従って、情報端末100は、前述した全ての部材を搭載する必要はない。また、情報端末100は、不図示の部材を更に搭載してもよい。
なお、サーバ600の場合は、制御部110、通信部112、記憶部113が搭載されていればよい。
【0042】
制御部110は、いわゆるコンピュータであり、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)を有している。
ROMには、CPUにより実行されるプログラムが記憶されている。CPUは、ROMに記憶されているプログラムを読み出し、RAMを作業エリアに使用してプログラムを実行する。プログラムの実行を通じ、CPUは情報端末100を構成する各部の動作を制御する。
本実施の形態における制御部110は表示制御部の一例である。表示制御部としての機能については後述する。
【0043】
操作部111には、マウス、キーボード、タッチパネル等が用いられる。タッチパネルは、表示部114の前面側に配置される。
通信部112は、有線方式により又は無線方式により外部装置と通信するための装置である。本実施の形態における通信部112は、無線方式により外部装置と通信する。外部装置の一例がロボット200である。
記憶部113は、ハードディスク装置その他の大容量の記憶装置である。CPUで実行されるプログラムは記憶部113に記憶されていてもよい。
【0044】
表示部114には、液晶ディスプレイパネル、有機EL(electroluminescence)ディスプレイパネル等が用いられる。なお、表示部114は、情報端末100に対して外付けされるモニタでもよい。
【0045】
・ソフトウェア構成
図10は、本実施の形態に係る情報端末100のソフトウェア構成を説明する図である。
図10に示すソフトウェア構成は、制御部110によるプログラムの実行を通じて実現される。
【0046】
制御部110は、実空間400(
図2、
図3参照)上におけるロボット200の位置情報を取得する位置情報取得部1101と、ロボット200の位置管理に用いる基準位置を取得する基準位置取得部1102と、基準位置からロボット200の距離を計算する距離計算部1103として機能する。
【0047】
位置情報取得部1101は、通信部112(
図9参照)を通じてロボット200の位置情報を取得してもよいし、無線基地局における受信強度や遅延時間等に基づいてロボット200の位置情報を計算してもよい。
基準位置取得部1102は、基準位置として情報端末100を操作するユーザの位置、管理区域300の中心位置、ユーザによって指定された基準点5(
図3参照)等のいずれを使用するかを取得する。
基準位置の情報は、指示受付部1107から与えられる。
【0048】
距離計算部1103は、基準位置とロボット200との距離Lを計算する。
距離Lの例を
図11~
図13に示す。
図11は、ユーザ3とロボット200との距離Lを説明する図である。この場合、ユーザ3とロボット200は管理区域300内に位置する。
図12は、管理区域300の中心位置Pcとロボット200との距離Lを説明する図である。この場合、ユーザ3は管理区域300の内側に位置してもよいし、ユーザ3Aのように管理区域300の外側に位置してもよい。
図13は、子供やペット等の基準点5とロボット200との距離Lを説明する図である。この場合も、ユーザ3は管理区域300の内側に位置してもよいし、ユーザ3Aのように管理区域300の外側に位置してもよい。
【0049】
図10の説明に戻る。制御部110は、ロボット200の管理範囲を規定する管理区域300(
図1~
図4参照)の位置情報を取得する管理区域情報取得部1104と、表示部114(
図9参照)の画面上で管理区域300の表示に使用される表示領域の情報を取得する表示領域情報取得部1105と、取得された表示領域の形状に応じて画面上に配置する管理区域300の形状を変形する管理区域形状変形部1106として機能する。
【0050】
管理区域情報取得部1104は、ユーザによって指定された管理区域300のレイアウト情報等を不図示のデータベース等から取得する。
データベースは記憶部113(
図9参照)に保存されていてもよいし、通信部112(
図9参照)を通じて接続された外部の記憶装置に格納されていてもよい。
本実施の形態における管理区域情報取得部1104は、管理区域300の情報として、レイアウト情報、実空間内に配置又は存在する備品の情報、位置の把握に必要なランドマーク等の情報も取得する。
【0051】
本実施の形態における管理区域情報取得部1104は、取得された管理区域300の情報のうち少なくともレイアウト情報を管理区域形状変形部1106に出力する。
もっとも、管理区域情報取得部1104は、前述したレイアウト以外の情報も含めて管理区域形状変形部1106に出力してもよい。
なお、レイアウト情報は、設計図や地図レベルの精密かつ正確な情報に限らず、おおよその形状を表現した簡略的な情報でもよい。
【0052】
レイアウト情報には、管理区域300内の領域の把握に有用な情報、例えば部署やチームの名称、店舗の名称等を含めてもよい。
備品やランドマークは、概念的なイメージを表す記号やマークによって表示画面114Aに表現されてもよい。
ただし、位置関係の把握の実現には、表示される情報量が増えすぎないことが好ましい。
また、位置関係の把握には、おおよそのレイアウトとレイアウト内の位置関係が分かればよい。このため、備品やランドマーク等に関する情報のうち実際に表示される情報は、表示画像生成部1110において選択してもよい。
管理区域300の設定又は選択に関する情報は、指示受付部1107から与えられる。
【0053】
表示領域情報取得部1105は、管理区域300の表示に使用できる表示領域の情報を取得する。
表示領域情報取得部1105は、表示画面114Aの物理的な情報(例えば7インチディスプレイ、解像度等)を取得する他、指示受付部1107を通じて受け付けた他の作業画面の寸法や配置位置に関する情報も取得する。
表示画面114A上に他の作業画面が表示されていない場合、表示上の管理区域(以下「仮想管理区域」という。)の表示には、表示部114の画面全体(表示画面114A)を使用できる。もっとも、仮想管理区域の表示に使用できる最大範囲は、ユーザが設定し又は調整してもよい。
表示画面114A上に他の作業画面が表示される場合、仮想管理区域300Aの表示には、表示画面114Aから他の作業画面を除いた部分が用いられる。
【0054】
管理区域形状変形部1106は、管理区域300のレイアウト情報を例えば
図14~
図17に示すように変形する。
図14は、実空間における管理区域300が楕円形状であるのに対し、表示部114の表示画面114Aが概略矩形である場合の変形処理を説明する図であり、(a)は実空間における管理区域300の形状を示し、(b)は仮想管理区域300Aに加えられる部分領域別の変形の方向と大きさを示す。矢印の向きと長さは変形の方向と変形量を表している。
【0055】
図14の場合、管理区域形状変形部1106は、変形後の仮想管理区域300Aが表示画面114Aの形状(例えば5インチディスプレイ)と一致するように、管理区域情報取得部1104から与えられた仮想管理区域300Aの全体を非線形に変形している。変形後の仮想管理区域300Aは、ロボット200に紐付けられた画像(
図19等で後述する画像200A)の位置表示に使用される表示領域の一例である。
非線形に変形されるので、変形前のレイアウトと変形後のレイアウトは相似にはならない。
【0056】
図14の例では、仮想管理区域300Aのうち、表示画面114Aから領域の一部がはみ出す水平方向には圧縮変換が適用され、表示画面114Aの四隅の領域では伸長変換が適用される。
このように、
図14に示す変形処理は、領域によって圧縮変換と伸長変換が適用される不均一な変形であり、変形後の仮想管理区域300Aには、圧縮される領域と伸長される領域が混在する。すなわち、
図14に示す仮想管理区域300Aには、縮尺が異なる領域が混在している。
なお、管理区域形状変形部1106による仮想管理区域300Aの変形は、基準点に対するロボット200の遠近と基準点に対するロボット200のおおよその方向を把握できる程度に情報が保存される変形であればよい。
【0057】
このような変形を実現する手法は1つではなく、様々な手法が考えられる。
例えば個々の領域における変形量が表示画面114Aの中心から遠いほど大きく、表示画面114Aの中心に近いほど小さくなるようにしてもよい。
また、方向や領域別に圧縮すべき量や伸長すべき量を特定し、その大きさに応じて各方向や領域に対する変形量を定めてもよい。
【0058】
なお、管理区域情報取得部1104から与えられた仮想管理区域300Aの形状と表示画面114Aの形状が相似である場合には、管理区域形状変形部1106が、仮想管理区域300Aを相似変換してもよい。
もっとも、管理区域情報取得部1104から与えられた仮想管理区域300Aの形状と表示画面114Aの形状が相似でも、仮想管理区域300Aの一部領域を非線形に変形することは可能である。
【0059】
図15は、ユーザ3が位置する管理区域300の端部が画面左端に位置するように仮想管理区域300Aを変形する例を説明する図であり、(a)は実空間における管理区域300の形状を示し、(b)は表示上の仮想管理区域300Aに加えられる部分領域別の変形の方向と大きさを示す。矢印の向きと長さは変形の方向と変形量を表している。
【0060】
図15の例では、仮想管理区域300Aのうち、表示画面114Aから領域の一部がはみ出す水平方向には左端に向けて全体的に圧縮変形する処理が適用され、表示画面114Aの左上隅と左下隅の領域では伸長変換が適用される。
この変形手法でも、仮想管理区域300Aが表示画面114Aと同じ概略矩形に変形されるが、実空間上における地点と表示画面上の地点の対応関係の分布は
図14の例とは異なるものになる。
【0061】
図16は、実空間における管理区域300が一方向に長い長方形状(例えば細長い通路)であるのに対し、表示部114の表示画面114Aが概略矩形である場合の変形処理を説明する図であり、(a)は実空間における管理区域300の形状を示し、(b)は仮想管理区域300Aに加えられる部分領域別の変形の方向と大きさを示す。矢印の向きと長さは変形の方向と変形量を表している。
【0062】
図16の例では、仮想管理区域300Aのうち、表示画面114Aから領域の一部がはみ出す水平方向には圧縮変換が適用され、表示画面114Aの上下方向には伸長変換が適用される。
図16に示すように一方向の長い長方形状の場合にも、
図15に例示したように、ユーザ3が位置する管理区域300の端部が画面左端に位置するように仮想管理区域300Aを変形してもよい。
【0063】
ところで、
図14~
図16に示す変形の例では、変形後の仮想管理区域300Aの形状を表示画面114Aの形状に一致させているが、変形後の仮想管理区域300Aの形状が表示画面114Aの形状に一致しなくてもよい。
このような例を
図17に示す。
図17は、変形後の仮想管理区域300Aの形状が表示画面114Aの形状に一致しない例を説明する図であり、(a)は実空間における管理区域300の形状を示し、(b)は仮想管理区域300Aに加えられる部分領域別の変形の方向と大きさを示す。
図17は、実空間における管理区域300が一方向に長い長方形状(例えば細長い通路)であるのに対し、表示画面114Aが概略矩形である場合を表している。
【0064】
図17の例では、表示画面114Aからはみ出す領域がある水平方向についてのみ圧縮しているので、表示画面114Aには仮想管理区域300Aの上下位置に余白が生じている。
しかし、左右方向については、表示画面114Aに収まるように変形しているので、
図17に示す変形も、特許請求の範囲における「表示領域の形状に応じて変形する」の一例である。
【0065】
続いて、表示画面114A上に他の作業画面が表示されている又は新たに表示される場合における仮想管理区域300Aの変形例について説明する。
図18は、表示画面114A上に他の作業画面114Bが表示される場合に、他の作業画面と重ならないように仮想管理区域300Aを変形させる例を説明する図であり、(a)は実空間における管理区域300の形状を示し、(b)は仮想管理区域300Aに加えられる部分領域別の変形の方向と大きさを示す。
ここでの他の作業画面114Bは、特許請求の範囲における「他の作業領域」の一例である。
【0066】
図18の場合、変形前は楕円形状であった仮想管理区域300AがL字形状に変形されている。
なお、仮想管理区域300Aの形状は、他の作業画面114Bの形状が変化すると又は閉じられると、他の作業画面114Bの形状変化に連動して変化する。
【0067】
図10の説明に戻る。制御部110は、ユーザ3からの指示を受け付ける指示受付部1107としての機能を有している。
ここでの指示には、前述した基準位置の指定、管理区域300の指定などが含まれる。
【0068】
また、制御部110は、指示受付部1107で受け付けた指示のうち外部装置(例えばロボット200)に対する指示内容を通信部112により送信する指示送信部1108として機能する。
例えば表示画面114A上で、ロボット200に実行させたい機能を表す画像がロボット200に紐付けられた画像200A(
図19参照)に重ね合わせるように移動された場合、指示送信部1108は、該当する機能の実行を指示するコマンドをロボット200に送信する。ここでの「ロボット200に実行させたい機能を表す画像」は、特許請求の範囲における「他の画像」の一例である。
【0069】
また、制御部110は、位置情報取得部1101から与えられるロボット200やユーザ3(又は3A)の位置情報を表示画面114Aに表示される仮想管理区域300A上にマッピングするマッピング部1109として機能する。
マッピング部1109は、ロボット200やユーザ3(又は3A)が管理区域300内に位置するか否かを判断する機能も有している。
【0070】
本実施の形態におけるマッピング部1109は、管理区域形状変形部1106で実行された変形処理の情報を取得し、又は、管理区域300と仮想管理区域300Aの間の座標の対応関係に関する情報を取得し、仮想管理区域300A上にロボット200やユーザ3の位置をマッピングする(対応付ける)処理を実行する。
マッピング処理の際には、表示部114の解像度も考慮される。従って、ディスプレイの寸法が同じでも解像度が異なればロボット200やユーザ3のマッピング位置は異なる可能性がある。
【0071】
さらに、制御部110は、ロボット200の位置情報がマッピングされた後の仮想管理区域300Aに基づいて、仮想管理区域300Aの画像を生成する表示画像生成部1110としても機能する。
ここで、表示画像生成部1110は、ロボット200の位置をアイコンや画像等によって仮想管理区域300A上に表示する。
【0072】
管理区域300に配置されたカメラが撮像したロボット200の画像が画像取得部1111から与えられる場合、表示画像生成部1110は、アイコンに代えてロボット200の実画像を表示することもできる。
図19は、表示画面114Aにおけるロボット200の位置表示に実画像を用いる例を説明する図であり、(a)はカメラ910の配置例を示し、(b)は仮想管理区域300Aにおける表示例を示す。
実画像(画像200A)を用いることで、仮想管理区域300A上で管理される物品が複数の場合にも、ユーザ3による位置の把握が容易になる。
【0073】
また、表示画像生成部1110は、距離計算部1103から距離情報を入力してもよい。この場合、表示画像生成部1110は、表示画面114A上に距離を表す数値を表示することができる。表示例については後述する。
また、表示画像生成部1110は、距離に応じて画像200Aの表示寸法を変更することもできる。表示例については後述する。
【0074】
また、表示画像生成部1110は、仮想管理区域300A以外の作業画面(他の作業画面114B)が画面上に表示された場合に、仮想管理区域300Aの表示寸法はそのままに他の作業画面114Bを避けるように表示位置を移動させる機能を有してもよい。
図20~
図23に表示位置の移動例を示す。
【0075】
図20は、表示画面114A上に他の作業画面114Bが表示される場合に、仮想管理区域300Aを表示画面114A内で移動する例を説明する図であり、(a)は他の作業画面114Bが表示される前の仮想管理区域300Aの表示位置を示し、(b)は他の作業画面114Bが表示された後の仮想管理区域300Aの表示位置を示す。
【0076】
図21は、表示画面114A上に他の作業画面114Bが表示される場合に、仮想管理区域300Aを表示画面114Aと仮想管理画面114Cを跨ぐ位置に移動する例を説明する図であり、(a)は他の作業画面114Bが表示される前の仮想管理区域300Aの表示位置を示し、(b)は他の作業画面114Bが表示された後の仮想管理区域300Aの表示位置を示す。
ここで、仮想管理画面114Cは、物理的な表示画面114Aの外側に位置する非表示のページである。非表示のページは仮想空間の一例である。
図21では、非表示のページが1つの例を表しているが、非表示のページ数は複数でもよい。
【0077】
図21の例では、仮想管理区域300Aの形状を変化させずに表示位置を移動させているが、新たに表示された他の作業画面114Bに応じて仮想管理区域300Aの形状を変化させた後に表示位置を移動させてもよい。
例えば他の作業画面114Bに応じて単純に変形したのでは仮想管理区域300Aの表示面積が小さくなりすぎて、ロボット200の位置の理解そのものが困難になる可能性がある。
そこで、仮想管理区域300Aの表示面積が予め定めた面積より小さくならないように変形し、その後、仮想管理区域300Aの表示位置を移動させてもよい。
【0078】
図22は、表示画面114A上に他の作業画面114Bが表示される場合に、仮想管理区域300Aを仮想管理画面114Cに移動する例を説明する図であり、(a)は他の作業画面114Bが表示される前の仮想管理区域300Aの表示位置を示し、(b)は他の作業画面114Bが表示された後の仮想管理区域300Aの表示位置を示す。
この場合も、仮想管理区域300Aの形状を変形した後に表示位置を移動させてもよい。
【0079】
また、表示画像生成部1110には、ロボット200に紐付けられた画像200Aの表示寸法を基準位置からの距離に応じて変化させる機能を搭載してもよい。
図23は、距離Lに応じてロボット200に紐付けられた画像200Aの表示寸法を変化させる例を説明する図であり、(a)は実空間上におけるユーザ3とロボット200の距離Lの関係を示し、(b)は表示寸法の変化が連続的である場合を示し、(c)は表示寸法の変化がステップ的である場合を示す。
【0080】
図23に示すように、表示画像生成部1110は、距離Lが近くなるほど大きな表示寸法で画像200Aを表示し、距離Lが遠くなるほど小さい表示寸法で画像200Aを表示する。このように表示寸法を変化させることで、ユーザ3によるロボット200の位置の把握が容易になる。
なお、ステップ的な表示寸法の変化は、距離Lと閾値との比較により実現される。例えば距離Lが閾値を超えるタイミングで(大きい方に超える場合と小さい方に超える場合の2種類がある)、表示画像生成部1110は画像200Aの表示寸法を変化させる。
本実施の形態では、画像200Aの表示寸法を変化させる機能を、仮想管理区域300Aを表示画面114Aの形状に応じて変形させる機能と組み合わせて用いるが、表示領域の形状の変形とは無関係に画像200Aの表示寸法を変化させてもよい。
【0081】
なお、表示画面114Aでの表示寸法の変化によってロボット200が近いか遠いかを把握することはできても実際の距離までは分からない。
距離の理解には、仮想管理区域300A上における各位置の表示縮尺や距離情報の表示が必要である。
図24は仮想管理区域300Aの各部に表示縮尺(スケールバー)を表示する例を示す図である。
図24の例では表示画面114Aの4隅部分に比して画面中央側の十字領域の圧縮比率が高いことを表している。
表示縮尺は、縮尺情報の一例であり、表示画面114Aにマッピングされた画像200Aに対応するロボット200の実空間400上における位置を補足する情報として用いられる。
【0082】
図25は表示寸法が表す距離情報を画面上に表示する例を説明する図であり、(a)は表示寸法と距離の対応見本を示し、(b)は画像200Aの近傍に距離の目安が表示される例を示す。
図26はロボット200の位置を特定するエリア名で表示する例を説明する図であり、(a)は管理区域300で規定されているエリア名を示し、(b)は仮想管理区域300A上にロボット200が存在するエリア名を表示する表示例を示す。
図26では、セクションAに行くことが文字で表示されている。
【0083】
図27はロボット200までの距離を画面上に表示する例を説明する図であり、(a)は管理区域300内にあるロボット200の位置を示し、(b)は仮想管理区域300Aにロボット200までの距離Lを数値で表示する表示例を示す。
これらの表示機能の組み合わせにより、ユーザ3は、ロボット200の位置を容易に把握できるのに加え、より正確な位置を理解できる。
【0084】
また、表示画像生成部1110にはロボット200が管理区域300を超えることを表示画面上で予告する機能を設けてもよい。
図28はロボット200が管理区域300を超えることを予告する画面の例を説明する図であり、(a)は管理区域300とロボット200の位置関係を示し、(b)は表示画面114Aに表示される予告画面の例を示し、(c)は予告表示後の表示を示す。
本実施の形態の場合、「予告」とは、画像200Aが表示画面114Aから消滅することの報知又は示唆することを意味する。
図28の例では、ロボット200が管理区域300から出ることが「さようなら」との文字で表示され、その後、画像200Aが画面上から消えている。これによりユーザ3はロボット200が管理区域300から外れることを表示画面114A上で理解できる。
【0085】
図29はロボット200が管理区域300を超えることを予告する画面の他の例を説明する図であり、(a)は管理区域300とロボット200の位置関係を示し、(b)は表示画面114Aに表示される予告画面の例を示し、(c)は予告表示後の表示を示す。
図29の例では、ロボット200が管理区域300から出ることが手を振る動作で表示され、その後、画像200Aが画面上から消えている。これによりユーザ3はロボット200が管理区域300から外れることを表示画面114A上で理解できる。
【0086】
また、表示画像生成部1110には、ロボット200が管理区域300に復帰することを表示画面上で予告する機能を設けてもよい。
図30はロボット200が管理区域300に復帰することを予告する画面の例を説明する図であり、(a)は管理区域300とロボット200の位置関係を示し、(b)は表示画面114Aに表示される予告画面の例を示し、(c)は予告表示後の表示を示す。
図30の例では、ロボット200が管理区域300に戻ることが「ただいま」との文字とともに画像200Aが画面上に出現されている。すなわち、画像200Aが再表示されている。これによりユーザ3はロボット200が管理区域300に復帰したことを表示画面114A上で理解できる。
【0087】
図31はロボット200が管理区域300に復帰することを予告する画面の例を説明する図であり、(a)は管理区域300とロボット200の位置関係を示し、(b)は表示画面114Aに表示される予告画面の例を示し、(c)は予告表示後の表示を示す。
図31の例では、ロボット200が管理区域300に復帰することが、お辞儀をする画像200Aを画面上に出現させることで示されている。すなわち、画像200Aが再表示されている。これによりユーザ3はロボット200が管理区域300に復帰したことを表示画面114A上で理解できる。
【0088】
また、表示画像生成部1110には、ロボット200が管理区域300の中にあっても通信不良となることを表示する機能を設けてもよい。
図32は、管理区域300の中央でロボット200との通信が途切れる場合の表示例を説明する図であり、(a)は管理区域300とロボット200の位置関係を示し、(b)は通信不良を予告する画面の例を示し、(c)は予告表示後の表示を示す。
図32の例では、ロボット200と通信できなくなったことが手を振る動作で表示され、その後、画像200Aが画面上から消えている。
仮想管理区域300Aの中央に位置するにもかかわらず、このような動作の後にロボット200に紐付けられた画像200Aが消えることでロボット200との通信が途切れたことを、ユーザ3は表示画面114A上で理解できる。
なお、通信不良となったことを文字によって画面上に表示してもよい。
【0089】
図33は、管理区域300の中央でロボット200との通信が再開される場合の表示例を説明する図であり、(a)は管理区域300とロボット200の位置関係を示し、(b)は通信再開前の画面の例を示し、(c)は通信の再開を示す画面の例を示す。
図33の例では、ロボット200との通信が復帰したことが、お辞儀した画像200Aの出現で表示されている。
仮想管理区域300Aの中央に位置するにもかかわらず、お辞儀した画像200Aが出現することで、ロボット200との通信が再開したことを、ユーザ3は表示画面114A上で理解できる。
なお、通信が再開したことを文字によって画面上に表示してもよい。因みに画像200Aの表示が消える際の表示寸法と表示が回復する際の表示寸法は同じになる。
【0090】
図10の説明に戻る。制御部110は、ロボット200から稼働情報を取得する稼働情報取得部1112としての機能も有している。
ロボット200の稼働状態を取得できれば、表示画面114Aにロボット200の稼働状態を表示することができる。
【0091】
図34は、稼働情報取得部1112から稼働情報を取得した表示画像生成部1110による表示例を説明する図であり、(a)は実空間上でのロボット200の稼働状態を示し、(b)は表示画面上の表示態様を示す。
図34では、ロボット200が荷物230を運んでいる状態を表している。このため、表示画面114Aには荷物230Aを運ぶ画像200Aが表示されている。この表示よりユーザ3は、ロボット200が荷物230を運んでいることを確認できる。
【0092】
図35は、稼働情報取得部1112から稼働情報を取得した表示画像生成部1110による表示の他の例を説明する図であり、(a)は実空間上でのロボット200の稼働状態を示し、(b)は表示画面上の表示態様を示す。
図35では、ロボット200が荷物230を落とした状態を表している。この例では、表示画面114Aでも、荷物230Aを持っていない画像200Aが表示されるとともに「HELP」、「荷物落とした」、「荷物拾いに来て」等の救援を要請する表記(文字)が表示されている。この表示よりユーザ3は、ロボット200を視認できなくてもトラブルの発生を知り、対応動作をとることが可能になる。
【0093】
<操作画面例>
以下では、実施の形態に係る情報端末100による操作画面例について説明する。
・画面例1
図36は、ユーザ3とロボット200が近くに位置する場合の表示例を示す図であり、(a)は管理区域300におけるユーザ3とロボット200の位置を示し、(b)は仮想管理区域300Aにおける位置関係の表示例を示す。
図36ではユーザ3の近くにロボット200が位置する場合の表示例であるので、ユーザ3を表す画像3Bの近くに比較的大きな表示寸法でロボット200に紐付けられた画像200Aが表示されている。
図36からは、ロボット200が管理区域300の中央付近に位置することもわかる。
【0094】
図37は、ユーザ3とロボット200が離れて位置する場合の表示例を示す図であり、(a)は管理区域300におけるユーザ3とロボット200の位置を示し、(b)は仮想管理区域300Aにおける位置関係の表示例を示す。
図37ではユーザ3の遠くにロボット200が位置する場合の表示例であるので、ユーザ3を表す画像3Bから遠く離れた位置に小さい表示寸法でロボット200に紐付けられた画像200Aが表示されている。
図37からは、ロボット200が管理区域300の隅付近に位置することも分かる。
【0095】
なお、
図36と
図37ではロボット200に紐付けられた画像200Aの表示寸法をユーザ3との距離に応じて変化させているが、表示寸法は画面上の位置によらず同じとしてもよい。
【0096】
・画面例2
図38は、ユーザ3が管理区域300の中央付近に位置する場合の表示例を示す図であり、(a)は管理区域300におけるユーザ3とロボット200の位置を示し、(b)は仮想管理区域300Aにおける位置関係の表示例を示す。
図38は、ロボット200が管理区域300の隅に位置する点で
図37の例と同じであるが、ユーザ3とロボット200との距離が近いため、ロボット200に紐付けられた画像200Aの表示寸法はあまり小さくなっていない。
【0097】
・画像例3
図39は、ユーザ3とロボット200が近くに位置する場合の他の表示例を示す図であり、(a)は管理区域300におけるユーザ3とロボット200の位置を示し、(b)は仮想管理区域300Aにおける位置関係の表示例を示す。
ユーザ3とロボット200の位置関係は
図36と同じである。ただし、
図39の場合には、表示領域に対応する距離の目安が表示されている。例えば
図39の例では、ロボット200が100mほど離れたところに位置することが分かる。
ロボット200に紐付けられた画像200Aの表示寸法と画面上の距離の目安から、ユーザ3はロボット200の位置関係を容易に把握できる。
【0098】
・画面例4
図40は、ユーザ3とロボット200が近くに位置する場合の他の表示例を示す図であり、(a)は管理区域300におけるユーザ3とロボット200の位置を示し、(b)は仮想管理区域300Aにおける位置関係の表示例を示す。
ユーザ3とロボット200の位置関係は
図39と同じである。ただし、
図40の場合には、表示領域に対応する縮尺情報が表示されている。具体的には、同じ長さでも画面の左側は5m、中央付近は10m、右側は100mであることが分かる。
ロボット200に紐付けられた画像200Aの表示寸法と画面上の縮尺情報から、ユーザ3はロボット200の位置関係を容易に把握できる。
【0099】
・画面例5
図41は、管理区域300内に複数のロボット200が位置する場合の表示例を示す図であり、(a)は管理区域300におけるユーザ3と2台のロボット200(1)、200(2)の位置関係を示し、(b)は仮想管理区域300Aにおける位置関係の表示例を示す。
図41に示す表示例では、近くに位置するロボット200(1)と200(2)を表す画像200A(1)と200A(2)が同じ表示寸法で表示されている。
ただし、画像200A(1)と200A(2)の表示形態が同じでは2台のロボット200(1)と200(2)を区別できない。
そこで、
図41では、2つの画像200A(1)と200A(2)の表示形態を変えて2台のロボット200(1)と200(2)の位置関係を区別できるようにしている。なお、
図41では、画像200A(1)と画像200A(2)の色を変えている。
【0100】
図42は、管理区域300内における複数のロボット200の位置関係が変化した場合の表示例を示す図であり、(a)は管理区域300におけるユーザ3と2台のロボット200(1)、200(2)の位置関係を示し、(b)は仮想管理区域300Aにおける位置関係の表示例を示す。
図42に示す表示例では、ロボット200(1)がユーザ3に近づいた一方で、ロボット200(2)はユーザ3から遠ざかっている。加えて
図42では、画像200A(1)の表示寸法が大きく変化し、画像200A(2)の表示寸法が小さく変化している。
この表示の変化により、ユーザ3は2台のロボット200(1)と200(2)の位置関係を容易に把握できる。
【0101】
・画面例6
図43は、表示画面114A内に他の作業画面114Bが表示された場合の表示例を示す図であり、(a)は管理区域300におけるユーザ3と2台のロボット200(1)、200(2)の位置関係を示し、(b)は仮想管理区域300Aにおける位置関係の表示例を示す。
図43では仮想管理区域300Aの形状が他の作業画面114Bを避けるように変形されており、その結果として、ロボット200(2)を表す画像200A(2)が表示画面114Aの真ん中付近に移動されている。
ただし、この表示位置は管理区域300の端に対応するため、ロボット200(2)を表す画像200A(2)の表示寸法は他方のロボット200(1)を表す画像200A(1)の表示寸法に対して格段に小さくなっている。
これによりユーザ3はロボット200(1)が近くに位置し、ロボット200(2)が遠くに位置することを容易に把握できる。
【0102】
・画面例7
図44は、他の作業画面114Bの表示寸法が変化する場合の仮想管理区域300Aの形状変化を説明する図であり、(a)は他の作業画面114Bが表示される前の表示例を示し、(b)は他の作業画面114Bが表示された直後の表示例を示し、(c)は他の作業画面114Bの表示面積が変更された後の表示例を示す。
図44では、仮想管理区域300Aの形状が変化しているが、ロボット200に紐付けられた画像200Aの表示寸法は変化していない。このように仮想管理区域300Aの変化によらず、ユーザ3はロボット200の位置を容易に把握できる。
【0103】
・画面例8
図45は、ロボット200が管理区域300内でユーザ3から遠ざかる場合の表示例を説明する図であり、(a)は管理区域300におけるユーザ3とロボット200の位置関係を示し、(b)はロボット200が遠ざかる様子を表現する表示例を示し、(c)はロボット200が遠ざかる様子を表現する他の表示例を示す。
(b)では、ユーザ3に対応する画像3Bに対してロボット200に紐付けられた画像200Aが背を向けている。(c)では、表示画面114Aを見ているユーザ3に対してロボット200に紐付けられた画像200Aが背を向けている。
【0104】
図46は、ロボット200が管理区域300内でユーザ3に近づく場合の表示例を説明する図であり、(a)は管理区域300におけるユーザ3とロボット200の位置関係を示し、(b)はロボット200が近づく様子を表現する表示例を示し、(c)はロボット200が近づく様子を表現する他の表示例を示す。
(b)では、ユーザ3に対応する画像3Bに対してロボット200に紐付けられた画像200Aが正面を向けている。(c)では、表示画面114Aを見ているユーザ3に対してロボット200に紐付けられた画像200Aが正面を向けている。
【0105】
・画面例9
図47は、複数の管理区域300に位置している複数のロボット200(1)と200(2)を1つの表示画面114Aで管理する場合の表示例を説明する図であり、(a)は2つの管理区域300(1)と300(2)におけるロボット200の位置を示し、(b)は表示画面114Aの表示例を示す。
表示画面114Aには、2つの管理区域300(1)と300(2)に対応する2つの仮想管理区域300A(1)と300A(2)が並んで表示されている。
仮想管理区域300A(1)では、ロボット200(1)に対応する画像200A(1)の表示寸法が大きく表示され、仮想管理区域300A(2)では、ロボット200(2)に対応する画像200A(2)の表示寸法が小さく表示されている。
【0106】
・画面例10
図48は、表示画面114Aを用いてロボット200に指示を出す場合の表示例を説明する図であり、(a)はロボット200からの指示要求画面例を示し、(b)はユーザによる指示の入力例を示し、(c)はロボット200からの応答画面例を示す。
例えばロボット200に紐付けられた画像200Aの上にカーソルを合わせて右クリックすると、指示要求画面が表示される。
図48の例では、ユーザ3がロボット200に印刷物の配送を要求する場合の例を示している。
【0107】
・画面例11
図49は、ロボット200に実行させたい機能を表す画像250をロボット200に紐付けられた画像200Aに重ね合わせることで機能の実行を指示する場合の表示例を説明する図であり、(a)はロボット200に対する機能の実行指示操作を示し、(b)はロボット200からの応答画面例を示し、(c)はロボット200の動作状態を示す。
図49の例では、ユーザ3がロボット200に印刷物の配送を要求する場合の例を示している。(c)では、ロボット200に紐付けられた画像200Aが印刷物230Bを抱えており、配送中であることが分かる。
【0108】
・画面例12
図50は、ロボット200に紐付けられた画像200Aの位置を表示画面114A上で移動させる移動操作があると、管理区域300上でロボット200が実際に移動される様子を説明する図であり、(a)は表示画面114Aの表示例を示し、(b)は実空間である管理区域300におけるロボット200の移動を示す。
図50の例では、カーソル240をロボット200に紐付けられた画像200Aの上に合わせてドラッグアンドドロップすることで、実空間上のロボット200に対して移動の指示が送信される。
なお、
図50の例では、ドラッグの過程で画像200Aの位置がユーザ3から遠ざかるため、表示画面114A上における画像200Aの表示寸法が小さくなっている。
【0109】
・画面例13
図51は、実空間400上でのロボット200の移動量に対応する仮想管理区域300Aでの画像200Aの変化量が仮想管理区域300Aの形状に応じて変化する様子を説明する図であり、(a)は実空間400上でのロボット200の移動量を示し、(b)は仮想管理区域300Aの表示面積が大きい場合の画像200Aの変化量を示し、(c)は仮想管理区域300Aの表示面積が小さい場合の画像200Aの変化量を示す。
図中の各矢印は実空間400又は仮想管理区域300A内での変化量を表している。
図51の場合、ロボット200に紐付けられた画像200Aの表示寸法は仮想管理区域300Aの違いによらず同じであり、画像200Aの変化量だけが変化している。
【0110】
図51では、実空間400内に管理区域300が設定されていないので、
図51における仮想管理区域300Aはロボット200の周辺領域に対応する。ここでの仮想管理区域300Aは、ロボット200の位置表示に使用される表示領域の一例である。
管理区域300を設定しない場合、管理区域情報取得部1104(
図10参照)は、ロボット200が実在する地点周辺の地図情報やレイアウト情報をデータベースなどから取得してもよい。
この場合でも、表示画面114A内の仮想管理区域300Aの形状に応じてロボット200の位置表示が変化されることで、ユーザによる移動体の位置の把握が容易になる。
【0111】
・画面例14
図52は、仮想管理区域300Aの表示寸法に応じて画像200Aの変化範囲が制約を受けることを説明する図であり、(a)は仮想管理区域300Aの表示寸法が大きい場合の画像200Aの変化範囲を示し、(b)は仮想管理区域300Aの表示寸法が小さい場合の画像200Aの変化範囲を示す。
図52の場合、表示画面114A上で画像200Aが左右方向に移動できる範囲は(a)の方が(b)よりも長くなっている。
このように、画像200Aを表示画面114A上で移動できる範囲は仮想管理区域300Aの表示寸法の制約を受ける。
なお、画像200Aの表示寸法の変化範囲が仮想管理区域300Aの表示寸法の制約を受ける表示としてもよい。
【0112】
<他の実施の形態>
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【符号の説明】
【0113】
1…情報処理システム、3、3A…ユーザ、5…基準点、100…情報端末、110…制御部、114A…表示画面、114B…他の作業画面、200…ロボット、200A…ロボットを表す画像、221…電波、300…管理区域、300A…仮想管理区域、400…実空間、600…サーバ、700…画像形成装置、700A、700B、700C、700D…発信器、800A、800B、800C…アクセスポイント、900…位置測定部、910…カメラ、1101…位置情報取得部、1102…基準位置取得部、1103…距離計算部、1104…管理区域情報取得部、1105…表示領域情報取得部、1106…管理区域形状変形部、1107…指示受付部、1108…指示送信部、1109…マッピング部、1110…表示画像生成部、1111…画像取得部、1112…稼働情報取得部