特許 7685981 画像表示装置及び画像表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-05-22

(45)【発行日】2025-05-30

(54)【発明の名称】画像表示装置及び画像表示方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20250523BHJP

   G06T 19/00 20110101ALI20250523BHJP

   G05D 1/00 20240101ALI20250523BHJP

【ＦＩ】

H04N7/18 J

G06T19/00 A

G05D1/00

【請求項の数】 10

(21)【出願番号】P 2022194664

(22)【出願日】2022-12-06

(65)【公開番号】P2024081209

(43)【公開日】2024-06-18

【審査請求日】2024-10-28

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】100088672

【弁理士】

【氏名又は名称】吉竹 英俊

(74)【代理人】

【識別番号】100088845

【弁理士】

【氏名又は名称】有田 貴弘

(72)【発明者】

【氏名】永谷 達也

(72)【発明者】

【氏名】松野 文俊

(72)【発明者】

【氏名】遠藤 孝浩

【審査官】公文代 康祐

(56)【参考文献】

【文献】特開２０２２－１４６８８８（ＪＰ，Ａ）

【文献】国際公開第２０２１／００２１１６（ＷＯ，Ａ１）

【文献】国際公開第２０１７／０４２８７３（ＷＯ，Ａ１）

【文献】特開２０２０－１６１８９５（ＪＰ，Ａ）

【文献】特開２０１９－１２５３５４（ＪＰ，Ａ）

【文献】特開２０１８－１８６３７５（ＪＰ，Ａ）

【文献】特開平１１－２５９６５９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／００８４２４２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １１／６０－１３／８０

Ｇ０６Ｔ １７／０５

Ｇ０６Ｔ １９／００－１９／２０

Ｇ０５Ｄ １／００－ １／８７

Ｂ６５Ｇ １／００－ １／２０

(57)【特許請求の範囲】

【請求項1】

移動体への遠隔操作の要請と、前記移動体の移動を含む作業を示す作業情報と、前記移動体から撮影される撮影画像とを取得する取得部と、
前記要請と、前記作業情報とに基づいて、前記要請が取得された際の前記移動体の作業位置を算出する作業位置算出部と、
前記移動体の作業空間を示す地図情報と、前記作業空間内の障害物に関する障害物情報とを含む作業環境情報と、前記作業位置とに基づいて、前記作業位置の画像を含む前記撮影画像を撮影可能な領域を撮影可能領域として算出する撮影可能領域算出部と、
前記作業情報と、前記撮影可能領域とに基づいて、前記移動体が過去に移動した移動経路内の位置のうち、前記撮影可能領域に含まれる位置を視点位置として抽出する第１視点位置抽出部と、
前記撮影画像と前記作業位置と前記視点位置とに基づいて、前記視点位置で撮影された前記撮影画像に、前記作業位置を示す対応位置画像を重畳した重畳画像を生成する重畳画像生成部と、
前記重畳画像を表示する表示部と
を備える、画像表示装置。

【請求項2】

請求項１に記載の画像表示装置であって、
前記対応位置画像は、前記要請が取得された際に前記移動体が実施していた作業を示す作業画像を含む、画像表示装置。

【請求項3】

請求項１または請求項２に記載の画像表示装置であって、
前記作業環境情報は、前記作業空間内の固定物についての３次元空間の位置姿勢情報を含み、
時系列の前記撮影画像と、前記位置姿勢情報とに基づいて、時系列で変更可能な３次元の仮想環境画像を、前記重畳画像生成部で用いられる前記撮影画像として生成する環境画像生成部をさらに備える、画像表示装置。

【請求項4】

請求項１または請求項２に記載の画像表示装置であって、
前記作業環境情報の前記障害物情報は、前記作業空間内の固定障害物の位置姿勢情報を含み、
前記作業空間内の物体の位置姿勢情報と、前記作業空間内の前記固定障害物の前記位置姿勢情報とに基づいて、前記固定障害物と区別して前記表示部で表示される移動障害物の位置姿勢情報を算出する移動障害物情報算出部をさらに備える、画像表示装置。

【請求項5】

請求項１または請求項２に記載の画像表示装置であって、
別の移動体が過去に移動した別の移動経路上の位置のうち、前記撮影可能領域に含まれる位置を別の視点位置として抽出する第２視点位置抽出部をさらに備え、
前記重畳画像生成部は、
前記別の移動体から撮影された別の撮影画像と、前記作業位置と、前記別の視点位置とに基づいて、前記別の視点位置で撮影された前記別の撮影画像に前記対応位置画像を重畳することによって、前記表示部で表示される前記重畳画像を生成する、画像表示装置。

【請求項6】

請求項１または請求項２に記載の画像表示装置であって、
前記表示部で前記重畳画像と重畳表示され、操作者からの前記遠隔操作に基づいて前記移動体に作業を仮想的に実施させた場合のシミュレーション画像を生成する仮想画像生成部をさらに備える、画像表示装置。

【請求項7】

請求項１または請求項２に記載の画像表示装置であって、
前記要請が取得された際に前記移動体が実施している作業が、前記移動体から被作業物体への作業である場合に、前記表示部で表示される前記被作業物体が撮影された画像を取得する被作業物体画像取得部をさらに備える、画像表示装置。

【請求項8】

請求項１または請求項２に記載の画像表示装置であって、
前記作業空間のうち、前記撮影画像が撮影されてから予め定められた時間が経過した地点を、撮影位置として取得する撮影位置取得部と、
前記撮影位置に基づいて前記移動体が移動すべき経路の計画を作成する計画作成部と
をさらに備える、画像表示装置。

【請求項9】

請求項１または請求項２に記載の画像表示装置であって、
前記作業空間のうち、人が作業を完了した地点を、撮影位置として取得する作業完了位置取得部と、
前記撮影位置に基づいて前記移動体が移動すべき経路の計画を作成する計画作成部と
をさらに備える、画像表示装置。

【請求項10】

移動体への遠隔操作の要請と、前記移動体の移動を含む作業を示す作業情報と、前記移動体から撮影される撮影画像とを取得し、
前記要請と、前記作業情報とに基づいて、前記要請が取得された際の前記移動体の作業位置を算出し、
前記移動体の作業空間を示す地図情報と、前記作業空間内の障害物に関する障害物情報とを含む作業環境情報と、前記作業位置とに基づいて、前記作業位置の画像を含む前記撮影画像を撮影可能な領域を撮影可能領域として算出し、
前記作業情報と、前記撮影可能領域とに基づいて、前記移動体が過去に移動した移動経路内の位置のうち、前記撮影可能領域に含まれる位置を視点位置として抽出し、
前記撮影画像と前記作業位置と前記視点位置とに基づいて、前記視点位置で撮影された前記撮影画像に、前記作業位置を示す対応位置画像を重畳した重畳画像を生成し、
前記重畳画像を表示する、画像表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像表示装置及び画像表示方法に関する。

【背景技術】

【0002】

操作対象である移動体の遠隔操作に不慣れな操作者は、移動体の車体感覚がつかめないため、移動体に搭載されたカメラからリアルタイムに撮影される撮影画像だけで、移動体を遠隔操作することが困難である。そこで、カメラで撮影した過去の撮影画像のうち、現在の移動体を客観視可能な撮影画像に、移動体の画像を重畳表示することで移動体の操作性を高める技術が提案されている（例えば特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１０－１２８９３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、障害物が多い屋内などで操作者が移動体を遠隔操作する場合には、移動体の後方から一定距離だけ離れた視点位置から視た画像は、操作者にとって好ましくない場合がある。

【0005】

例えば、操作者が、移動体の後方から一定距離だけ離れた視点位置から視た画像を見ながら、移動体が右折して屋内の通路の奥に移動した後に戻ってくる移動を遠隔操作で行う場合を考える。この場合において、移動体が右折した直後には、通路を構成する壁または棚などの障害物によって移動体を表示できないという問題がある。また、移動体が戻って来る時に、一定距離を確保しようとすると、視点位置が大きく変更されるため、操作者は移動体の状況を容易に把握できないという問題がある。このように、障害物が多い屋内で遠隔操作を行うためには、移動体及びその周囲の表示の基準となる客観的な視点位置を適切化することが必要であった。

【0006】

特に、操作者の遠隔操作による作業だけでなく、自律的に作業を行う移動体に対しては、移動体が自律的に作業できない状況を打開する時にだけ、操作者が、移動体を遠隔操作する運用が想定される。このような運用では、操作者は、遠隔操作を開始するまで移動体を監視しないため、遠隔操作の開始時に移動体の状況を適切に把握するためには、適切化された客観的な視点位置から視た画像が必要であった。

【0007】

そこで、本開示は、上記のような問題点に鑑みてなされたものであり、客観的な視点位置を適切化可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

本開示に係る画像表示装置は、移動体への遠隔操作の要請と、前記移動体の移動を含む作業を示す作業情報と、前記移動体から撮影される撮影画像とを取得する取得部と、前記要請と、前記作業情報とに基づいて、前記要請が取得された際の前記移動体の作業位置を算出する作業位置算出部と、前記移動体の作業空間を示す地図情報と、前記作業空間内の障害物に関する障害物情報とを含む作業環境情報と、前記作業位置とに基づいて、前記作業位置の画像を含む前記撮影画像を撮影可能な領域を撮影可能領域として算出する撮影可能領域算出部と、前記作業情報と、前記撮影可能領域とに基づいて、前記移動体が過去に移動した移動経路内の位置のうち、前記撮影可能領域に含まれる位置を視点位置として抽出する第１視点位置抽出部と、前記撮影画像と前記作業位置と前記視点位置とに基づいて、前記視点位置で撮影された前記撮影画像に、前記作業位置を示す対応位置画像を重畳した重畳画像を生成する重畳画像生成部と、前記重畳画像を表示する表示部とを備える。

【発明の効果】

【0009】

本開示によれば、作業位置の画像を含む撮影画像を撮影可能な領域を撮影可能領域として算出し、作業情報と、撮影可能領域とに基づいて、移動体が過去に移動した移動経路内の位置のうち、撮影可能領域に含まれる位置を視点位置として抽出し、撮影画像と作業位置と視点位置とに基づいて、視点位置で撮影された撮影画像に、作業位置を示す対応位置画像を重畳した重畳画像を生成する。このような構成によれば、客観的な視点位置を適切化することができる。

【図面の簡単な説明】

【0010】

【図1】実施の形態１に係る画像表示装置の構成を示すブロック図である。

【図2】撮影可能領域の算出方法の一例を説明するための鳥観図である。

【図3】視点位置の抽出方法の一例を説明するための鳥観図である。

【図4】変形例に係る表示例を示す図である。

【図5】変形例に係る表示例を示す図である。

【図6】実施の形態２に係る画像表示装置の構成を示すブロック図である。

【図7】実施の形態２に係る作業状況再現画像を生成するための画面例である。

【図8】実施の形態３に係る画像表示装置の構成を示すブロック図である。

【図9】実施の形態４に係る画像表示装置の構成を示すブロック図である。

【図10】実施の形態４に係る表示例を示す図である。

【図11】実施の形態５に係る画像表示装置の構成を示すブロック図である。

【図12】実施の形態６に係る画像表示装置の構成を示すブロック図である。

【図13】実施の形態７に係る画像表示装置の構成を示すブロック図である。

【図14】実施の形態８に係る画像表示装置の構成を示すブロック図である。

【図15】その他の変形例に係る画像表示装置のハードウェア構成を示すブロック図である。

【図16】その他の変形例に係る画像表示装置のハードウェア構成を示すブロック図である。

【発明を実施するための形態】

【0011】

＜実施の形態１＞
従来、工場などの環境では、移動型ロボットに作業し易い環境が整えられ、従業員が規則を守って行動することによって、移動型ロボットが完全に自動化される運用が実現されてきた。移動型ロボットに作業し易い環境としては、例えば、床面の色及び照度が一定であること、通路が広く死角が少ないこと、通路に障害物を設置しないことなどが挙げられる。従業員が守る規則としては、例えば、移動型ロボットを避ける、移動型ロボットの移動経路を占領しないなどが挙げられる。

【0012】

一方、移動型ロボットを構成するバッテリー及びセンサなどの機器の性能向上と、安全センサの普及と、ＡＩ（artificial intelligence）技術の進歩による状況判断能力向上とによって、移動型ロボットの自律的な作業遂行能力が高まってきている。これに伴い、工場だけでなく、人の作業空間で自律的に作業する自律移動型ロボットの需要が高まり、その結果として、人と作業空間を共有する自律移動型ロボットの運用が増えてきている。

【0013】

しかしながら、人向けに設計された作業空間で、自律移動型ロボットが完全に自動化された運用を実現することは難しい。例えば、顧客が訪れる商業施設または一般のオフィスでは、人が好印象を受ける装飾が施され、自律移動型ロボットと環境を共有する人は、自律移動型ロボットに対して特別な配慮を払わないことが多い。そのため、自律移動型ロボットが、人の作業空間で完全に自動化された運用できる状態にまで、自律移動型ロボットが遭遇する状況及び対応策を予め想定し尽くすことは困難である。

【0014】

ところで、作業空間を共有する人の安全を優先するため、自律移動型ロボットが、センサからの不十分な情報により安全を確認できない、または、接触の可能性がある場所に人がいると判定した場合には、自律移動型ロボットの駆動が停止されることが多い。また、人は、想定外の状況であっても、自律移動型ロボットよりも画像情報などから柔軟に状況を把握することができるため、接触事故のリスクを適切に捉えることができる。加えて、人は、周囲への注意喚起、及び、映像から近くの人の動きを予想することもできる。

【0015】

これらを考慮して、自律移動型ロボットが自律的に作業を遂行できない状況に陥った場合に、操作者が遠隔操作で自律移動型ロボットを作業に復帰させる運用が提案されている。操作者によって自律移動型ロボットが遠隔操作で作業に復帰できる状況は多く、予め想定すべき状況及び対応策を減らすことができるので、このような運用であれば、人の作業空間内でも自律移動型ロボットを適用可能な範囲を広げることができる。

【0016】

このような運用では、操作者が、自律移動型ロボットを遠隔操作する機会は少ないため、複数の自律移動型ロボットを複数の操作対象として一人で遠隔操作することが想定される。作業環境は多種多様であるから、操作者が、自律移動型ロボットに対する復旧作業などの遠隔操作を適切に行うためには、複数の自律移動型ロボットの状況を容易に把握できることが重要である。

【0017】

屋内の復旧作業ではなく、公道を走行する自動運転車両の復旧作業であれば、注意をすべき対象を道路に限定できるため、操作者は、自動運転車両の状況、形状及び移動特性を把握し易い。このため、ＬｉＤＥＲ（Light Detection and Ranging）または全方位カメラなどの、車載センサから得られる一人称視点の情報だけでも、操作者は自動運転車両の状況を容易に把握することができる。

【0018】

しかしながら、屋内環境では、注意をすべき対象も、操作対象の形状及び移動特性も様々であるため、操作対象に搭載されたカメラによる一人称視点の映像では、操作者は、操作対象の状況、形状及び移動特性を把握することは困難である。このため、操作者が、操作対象の状況などを容易に把握するためには、一人称視点のような操作対象自身の視点から視た映像よりも、客観的な視点位置から視た、操作対象及びその周囲の映像を含む映像のほうが好ましい。

【0019】

このような客観的な視点位置からの映像は、作業空間の天井などに設置された固定カメラで取得することは可能である。しかしながら、例えばオフィス環境などの机及び棚が多い場所では、机及び棚が死角となり、そのような固定カメラでは床面の状況が把握できない箇所がある。また例えば、商業施設では多くの監視カメラが設置されているが、オフィス環境では監視カメラは、出入口のみに設置されていたり、室内の監視カメラが少なかったりする。

【0020】

そこで、自律移動型ロボットに搭載されたカメラの映像を処理して、当該カメラの映像から、客観的な視点位置から視た映像を生成すれば、作業空間の死角を低減することができる。また、遠隔操作を要請した自律移動型ロボットに搭載されたカメラの映像を、処理対象の映像として用いることにより、自律移動型ロボットが自律的に作業を遂行できなくなった地点の映像が撮影される可能性を高めることもできる。

【0021】

以下で説明する本実施の形態１では、移動体から撮影された画像から、客観的な視点位置から視た、遠隔操作可能な移動体の位置を示す画像を生成及び表示可能に構成されている。以下では、画像撮影及び遠隔操作可能な移動体は、自律移動型ロボットであるものとして説明するが、これに限ったものではなく、例えば、遠隔操作で動作するその他の移動体、または、搭乗型の移動体などであってもよい。これらの移動体であっても、以下で説明する自律移動型ロボットと同様に、移動体の移動に支障が生じた場合などに、操作者は、客観的な視点位置からの画像を見ながら遠隔操作を行うことが可能となっている。

【0022】

図１は、本実施の形態１に係る画像表示装置の構成を示すブロック図である。図１の画像表示装置には、自律移動型ロボットの作業情報と、カメラで撮影した撮影画像とが入力される。

【0023】

作業情報は、自律移動型ロボットの移動を含む作業を示す情報であり、自律移動型ロボットが実施してきた作業、及び、自律移動型ロボットが今後に実施する予定の作業を示す。作業情報は、例えば、自律移動型ロボットがこれまでに移動した位置を時系列で示す移動経路情報、自律移動型ロボットに搭載されたセンサにて時系列で検出された情報、自律移動型ロボットを駆動する駆動部の駆動情報のログ情報などを含んでもよい。また、作業情報は、自律移動型ロボットの作業を示すだけでなく、自律移動型ロボットの作業空間内の監視カメラ及び自動ドアなどの周辺機器の作業を示す情報であってもよい。

【0024】

撮影画像は、自律移動型ロボットから撮影される画像であり、自律移動型ロボットに搭載されたカメラで撮影される画像である。以下、自律移動型ロボットなどの移動体に搭載されたカメラを「搭載カメラ」と記すこともある。本実施の形態１では、搭載カメラは、自律移動型ロボットの全方向を撮影可能な全方位カメラであるとする。撮影画像は、例えば、時系列で撮影された画像であり、動画形式の画像であってもよいし、静止画形式の画像であってもよい。また撮影画像は、撮影された物体と搭載カメラとの間の距離を示す距離情報を含んでもよい。以下では説明を簡単にするために、撮影画像は、搭載カメラで撮影された、距離情報を含まない静止画形式の画像であるとして説明する。なお、撮影画像は、動画形式の画像から抽出可能な静止画形式の画像であってもよい。

【0025】

図１の例では、作業環境情報は、自律移動型ロボットの作業実行中において変更が少ない情報であり、作業情報及び撮影画像と同様に画像表示装置に入力されてもよいし、画像表示装置に予め記憶されてもよい。作業環境情報は、自律移動型ロボットの作業空間を示す地図情報と、当該作業空間内の障害物に関する障害物情報とを含む。作業環境情報は、例えば自律移動型ロボットの形状及び型式といった移動体情報と、作業空間内の机、棚、監視カメラ、自動ドアの設置位置及び形状とを含んでもよい。地図情報は、例えば、事前に計測された３次元空間の情報と、自律移動型ロボットに搭載された距離センサの時系列情報から計算された３次元空間の情報とを含んでもよい。

【0026】

なお、図１には示されていないが、自律移動型ロボットには、自律移動型ロボットを遠隔操作するための情報が入力される。自律移動型ロボットは、当該情報に基づいて遠隔操作される。

【0027】

図１の画像表示装置は、取得部１と、作業位置算出部２と、撮影可能領域算出部３と、第１視点位置抽出部である自機視点位置抽出部４と、重畳画像生成部５と、表示部６とを備える。以下、画像表示装置の構成要素について詳細に説明する。

【0028】

＜取得部１＞
取得部１は、自律移動型ロボットへの遠隔操作の要請である遠隔操作要請と、作業情報と、撮影画像とを取得する。遠隔操作要請は、自律移動型ロボットが自律的に作業を遂行することが困難と判定された場合などに、自律的な作業を再開可能にするための、操作者に対する遠隔操作の要請である。複数の自律移動型ロボット全体を管理する管理システム、または、自律移動型ロボットは、自律的な作業の遂行が困難と判定された場合などに、遠隔操作要請によって操作者に自律移動型ロボットへの遠隔操作を要請し、かつ、遠隔操作要請を取得部１に出力する。

【0029】

遠隔操作要請は、遠隔操作が必要となった自律移動型ロボットを指定する情報を含むが、その他の付加情報を含んでもよい。付加情報は、例えば要請時間、作業優先度、要請理由、遠隔操作案などを含む。作業優先度は、例えば、人との衝突、または、人が近くにいる状況での事故のように、自律移動型ロボットが人に危害を与える危険が高い場合では「高」に設定され、危険が低く、かつ、作業を急いでいる場合には「中」に設定され、危険が低く、かつ、作業を急いでない場合には「低」に設定される。要請理由は、例えば、エラーコード、及び、遠隔操作を要請した理由などを示し、遠隔操作案は、要請理由に対する対応案を示す。

【0030】

取得部１は、遠隔操作要請を取得するだけでなく、遠隔操作を要請した自律移動型ロボットに関する情報を取得する。自律移動型ロボットに関する情報は、自律移動型ロボットの作業情報と、それに関連する撮影画像とを含む。作業環境情報が予め記憶されていない場合には、取得部１は作業環境情報を取得する。遠隔操作要請などの取得後には、作業位置算出部２に処理が移行する。

【0031】

＜作業位置算出部２＞
作業位置算出部２は、遠隔操作要請と、作業情報とに基づいて、遠隔操作要請が取得された際に自律移動型ロボットが作業していた位置を、作業位置として算出する。

【0032】

本実施の形態１では、まず、作業位置算出部２は、取得部１で取得された作業情報から、遠隔操作要請が取得された際に自律移動型ロボットが実施していた実施作業が、特定の位置周辺で実施する特定の作業であるか、特定の位置間の移動であるかを判定する。特定の作業は、例えば物品配送地点での積み降ろしまたは移載作業などの、移動が目的ではない一般作業である。

【0033】

実施作業が特定の作業であると判定された場合には、作業位置算出部２は、特定の作業における一連の動作が実施されている地点を作業位置として決定する。実施作業が、特定の位置間の移動であると判定された場合には、作業位置算出部２は、遠隔操作の要請時点までの予め定められた期間の移動範囲、または、遠隔操作の要請時点後の停止位置までの予め定められた距離の移動範囲を作業位置として決定する。予め定められた期間は、例えば、要請時点までの１０秒などのような規定の時間、または、停止した後の時間は含まない要請時点までの５秒などのような規定の時間である。一定距離は、例えば、要請時点後の停止位置までの５ｍなどのような規定の距離、または、自律移動型ロボットの大きさに比例した距離である。作業位置の算出後には、撮影可能領域算出部３に処理が移行する。

【0034】

＜撮影可能領域算出部３＞
撮影可能領域算出部３は、作業環境情報と、作業位置算出部２で算出された作業位置とに基づいて、作業位置の画像を含む撮影画像を撮影可能な領域を撮影可能領域として算出する。

【0035】

図２は、撮影可能領域の算出方法の一例を説明するための鳥観図である。図２では、自律移動型ロボットが棚に移載作業をしている時に、遠隔操作が要請された場面が示されている。図２には、黒丸で示される、遠隔操作を要請した自律移動型ロボット２１と、ハッチングで示される作業位置２２と、棚などの障害物２３と、一点鎖線で囲まれた撮影可能領域２４とが示されている。

【0036】

本実施の形態１では、まず、撮影可能領域算出部３は、作業環境情報に含まれる地図情報の地図に、作業位置算出部２で算出された作業位置２２と、作業環境情報に含まれる障害物情報が示す棚などの障害物２３とを組み合わせる。そして、撮影可能領域算出部３は、障害物２３に邪魔されずに作業位置２２の画像を含む撮影画像を撮影可能な領域を、撮影可能領域２４として算出する。例えば、撮影可能領域算出部３は、障害物２３に当たることなく、作業位置２２の各領域へ直線を引ける地点を集めた領域を、撮影可能領域２４として算出する。

【0037】

撮影可能領域２４の算出方法は、作業位置２２及び障害物２３を多面体として地図情報の地図に投影し、その頂点を結ぶ幾何学的な算出方法でもよいし、適当に抽出した代表点が撮影可能領域２４の点であるかを判定する探索的な算出方法でもよい。なお、撮影可能領域２４の算出方法は、これらに限ったものではない。また、図２の例では、撮影可能領域算出部３は、鳥観図のような平面で撮影可能領域２４を算出しているが、３次元的な立体空間で撮影可能領域２４を算出してもよい。撮影可能領域２４の算出後には、自機視点位置抽出部４に処理が移行する。

【0038】

＜自機視点位置抽出部４＞
自機視点位置抽出部４は、作業情報と、撮影可能領域算出部３で算出された撮影可能領域２４とに基づいて、自律移動型ロボット２１が過去に移動した移動経路内の位置のうち、撮影可能領域２４に含まれる位置を視点位置として抽出する。自機視点位置抽出部４は、例えば、視点位置を抽出する場合に、作業情報に含まれる上記移動経路情報を用いる。視点位置は、表示部６で表示される画像の視点となる位置である。なお、自機視点位置抽出部４は、自律移動型ロボット２１の搭載カメラの光学系情報も考慮して視点位置を抽出してもよい。

【0039】

図３は、視点位置の抽出方法の一例を説明するための鳥観図である。本実施の形態１では、まず、自機視点位置抽出部４は、移動経路情報に基づいて、これまで自律移動型ロボットが移動してきた移動経路２５を撮影可能領域２４に重ね、移動経路２５のうち撮影可能領域２４に含まれる部分を、抽出経路として抽出する。図３の例では、連続的な抽出経路２５ａ，２５ｂが抽出されている。

【0040】

それから、自機視点位置抽出部４は、作業位置２２からの距離と、撮影可能領域２４の境界からの距離と、抽出経路を通過した時間とに基づいて、抽出経路内の各位置の評価値を算出する。例えば、自機視点位置抽出部４は、移動経路情報と、自律移動型ロボット２１の搭載カメラの光学系情報と、自律移動型ロボット２１の大きさを示す情報とに基づいて、抽出経路内の位置での撮影画像に自律移動型ロボット２１を重畳する。そして、自機視点位置抽出部４は、自律移動型ロボット２１が撮影画像内に占める割合が一定範囲に近づくほど、当該位置の評価値を高くしてもよい。また例えば、自機視点位置抽出部４は、抽出経路内の位置の撮影可能領域２４の境界からの距離が、一定値よりも小さくなるほど、当該位置の評価値を低くしてもよい。また例えば、自機視点位置抽出部４は、抽出経路内の位置を自律移動型ロボット２１が通過した時間から現在の時間までの期間が長いほど、当該位置の評価値を低くしてもよい。

【0041】

なお、評価値が算出される位置は、例えば、抽出経路を適当に分割し、各分割内の位置であってもよいし、撮影距離のような評価値を計算するための一部の指標が極大値を取る位置であってもよい。また、評価値が算出される位置は、これらに限ったものではない。

【0042】

次に、自機視点位置抽出部４は、各抽出経路について、評価値が一番高い位置を視点位置の候補として決定する。そして、自機視点位置抽出部４は、視点位置の候補の評価値を比較し、評価値が一番高い候補を視点位置として決定する。

【0043】

図３の例では、自機視点位置抽出部４は、抽出経路２５ａ内の各位置で評価値を算出し、評価値が一番高い位置を視点位置の候補２６ａとして決定する。同様に、自機視点位置抽出部４は、抽出経路２５ｂ内の各位置で評価値を算出し、評価値が一番高い位置を視点位置の候補２６ｂとして決定する。自機視点位置抽出部４は、視点位置の候補２６ａ，２６ｂの評価値を比較し、評価値が一番高い候補を視点位置として決定する。例えば、候補２６ｂは、候補２６ａよりも撮影画像の撮影が過去ではあるが、候補２６ａよりも作業位置２２から一定距離が確保できる場合には、候補２６ｂの評価値は候補２６ａの評価値よりも高くなり、候補２６ｂが視点位置として決定される。視点位置の抽出後には、重畳画像生成部５に処理が移行する。

【0044】

＜重畳画像生成部５＞
重畳画像生成部５は、撮影画像と、作業位置算出部２で算出された作業位置２２と、自機視点位置抽出部４で抽出された視点位置とに基づいて、視点位置で撮影された撮影画像に作業位置２２を示す対応位置画像を重畳した重畳画像を生成する。本実施の形態１では、対応位置画像には、遠隔操作要請が取得部１で取得された際に自律移動型ロボット２１が実施していた作業を示す作業画像が用いられる。

【0045】

本実施の形態１では、まず、重畳画像生成部５は、取得部１で取得された撮影画像の中から、自機視点位置抽出部４で抽出された視点位置を自律移動型ロボット２１が通過した時に撮影された撮影画像を、客観視点環境画像として抽出する。例えば、重畳画像生成部５は、自律移動型ロボット２１が視点位置を複数回通過または複数回停止するなどして、視点位置について複数の撮影画像が存在する場合には、その中から最新の撮影画像を、客観視点環境画像として抽出する。また例えば、重畳画像生成部５は、視点位置を通過した時に撮影された撮影画像が存在しない場合には、視点位置を通過した時点前後で、かつ、その時点に最も近い時点で撮影された撮影画像を、客観視点環境画像として抽出する。

【0046】

それから、重畳画像生成部５は、作業情報に基づいて、遠隔操作要請が取得部１で取得された際に自律移動型ロボット２１が実施していた作業を再現する作業画像を生成する。再現される作業は、例えば、作業位置算出部２で作業位置の算出対象とした実施作業である。作業画像は、背景などの環境の画像を含まずに、自律移動型ロボット２１の動作のみを含んでもよい。作業画像は、例えば自律移動型ロボット２１の３Ｄモデルを動作させる画像であってもよい。

【0047】

次に、重畳画像生成部５は、客観視点環境画像に作業画像を重畳することで、重畳画像である作業状況再現画像を生成する。複数の画像間における、各画像の座標系の校正方法などは、広く知られているためその詳細な説明は省略する。作業状況再現画像の生成後には、情報表示操作部に処理が移行する。

【0048】

なお、以上の説明では、重畳画像生成部５は、視点位置で撮影された撮影画像を、客観視点環境画像としてそのまま用いたが、他の実施の形態で説明するようにこれに限ったものではない。また、重畳画像生成部５は、撮影画像内に示される物品の名前、及び、他機能で得られた付加情報などを、客観視点環境画像に重畳してもよい。

【0049】

＜表示部６＞
表示部６は、重畳画像である作業状況再現画像を表示する。なお、表示部６は、例えば、遠隔操作の要請状態、施設の地図情報、操作対象の情報、長時間にわたる過去の撮影画像など、遠隔操作に有用な情報も表示してもよい。また、表示部６は、操作者の操作によって、表示情報を切り替えてもよい。また、表示部６は、例えば、無線ＬＡＮ（Local Area Network）など無線技術によって重畳画像生成部５と通信可能に構成され、自律移動型ロボット２１の遠隔に位置する操作者が見ることが可能な表示装置である。

【0050】

＜実施の形態１のまとめ＞
以上のような本実施の形態１に係る画像表示装置によれば、自律移動型ロボット２１が過去に移動した移動経路２５のうち、撮影可能領域２４に含まれる位置を視点位置として抽出し、撮影画像と作業位置２２と視点位置とに基づいて、視点位置で撮影された撮影画像に作業位置２２を示す対応位置画像を重畳した作業状況再現画像を生成して表示することが可能となっている。このような構成によれば、操作者は、自律移動型ロボット２１が作業を継続できなくなった状況を、客観的な視点位置から視た作業状況再現画像によって確認することで、自律移動型ロボット２１の状況を容易に把握することができる。

【0051】

特に、障害物が多い屋内作業では、客観的な視点位置から視た自律移動型ロボット２１の作業位置の表示が、障害物などによって妨げられることがある。これに対して本実施の形態１では、撮影可能領域２４によって客観的な視点位置を適切化することができるので、客観的な視点位置から視た自律移動型ロボット２１の作業位置の表示が、障害物などによって妨げられることを抑制することができる。また、操作者が、取得部１で取得された撮影画像の中から、作業状況再現画像を生成するための撮影画像を探す手間をなくすことができる。

【0052】

また本実施の形態１では、作業位置２２を示す対応位置画像は、遠隔操作要請が取得された際に自律移動型ロボット２１が実施していた作業を示す作業画像を含む。このような構成によれば、操作者は、自律的に作業が遂行できない状態に陥った自律移動型ロボット２１の作業を容易に把握することができる。

【0053】

＜変形例＞
実施の形態１では、自機視点位置抽出部４は、視点位置の候補の決定のような視点位置の抽出だけでなく、視点位置そのものの決定を行ったが、これに限ったものではない。例えば、自機視点位置抽出部４における視点位置の抽出が、視点位置の候補の決定と、当該候補の評価値の算出とを含み、操作者が、評価値に基づいて視点位置の候補の中から視点位置を決定してもよい。この場合、自機視点位置抽出部４は、視点位置の候補と、当該候補の評価値とを操作者に表示してもよい。

【0054】

図４は、操作者への自機視点位置抽出部４の表示例を示す図である。この図４の例では、地図上に自律移動型ロボット２１と、作業位置２２と、障害物２３と、撮影可能領域２４と、自律移動型ロボット２１の移動経路２５とが表示されている。また、撮影可能領域２４内の抽出経路２５ａ，２５ｂの中で、評価値が高い位置が、視点位置の候補２６ａ，２６ｂとして操作者に表示されている。このような場合に、自機視点位置抽出部４は、候補２６ａ，２６ｂの中から操作者に選択された候補を、視点位置として決定してもよい。

【0055】

なお、操作者は、候補２６ａ，２６ｂの中から視点位置を決定するのではなく、抽出経路２５ａ，２５ｂ上の任意の地点を視点位置として決定してもよい。この場合、自機視点位置抽出部４は、撮影可能領域２４内の抽出経路２５ａ，２５ｂを強調表示してもよい。また、抽出経路２５ａ，２５ｂは、線の色または太さで撮影時間を識別可能に表示されてもよい。例えば、抽出経路内の位置を自律移動型ロボット２１が通過した時間から現在の時間までの期間が長いほど、当該位置の線の色を薄くしたり、当該位置の線の赤及び青などの色合いを変化させたり、当該位置の線を細くしたりしてもよい。

【0056】

また、自律移動型ロボット２１の搭載カメラが全方位カメラでない場合には、図５のように、候補２６ａ，２６ｂについて、搭載カメラの撮影範囲２７ａ，２７ｂが表示されてもよい。このような構成によれば、搭載カメラが全方位カメラでなくても、適切な撮影画像を作業状況再現画像に用いることができる。

【0057】

また例えば、自機視点位置抽出部４における視点位置の抽出が、視点位置の候補の決定と、その評価値の算出とを含み、重畳画像生成部５が、評価値に基づいて視点位置の候補の中から視点位置を決定してもよい。

【0058】

＜実施の形態２＞
本実施の形態２では、周辺環境の３次元空間のテクスチャ画像に、時系列の撮影画像を使用して更新することで、重畳画像生成部５の客観視点環境画像として使用可能、かつ、時系列で変更可能な３次元の仮想環境画像を生成するように構成されている。

【0059】

図６は、本実施の形態２に係る画像表示装置の構成を示すブロック図である。図６の画像表示装置の構成は、図１の画像表示装置の構成に、環境画像生成部７が追加された構成と同様である。

【0060】

本実施の形態２では、作業環境情報は、作業空間内の固定物についての３次元空間の位置姿勢情報を含み、３次元空間の位置姿勢情報は、固定物の３次元オブジェクトを示す。

【0061】

環境画像生成部７は、時系列の撮影画像と、作業環境情報に含まれる位置姿勢情報とに基づいて、３次元オブジェクトに、時系列の撮影画像をテクスチャとして貼り付けることによって、時系列で変更可能な３次元の仮想環境画像を生成する。以下、仮想環境画像の生成例について説明する。

【0062】

まず、本実施の形態２では、環境画像生成部７は、位置姿勢情報のうち、自機視点位置抽出部４で抽出された視点位置から撮影可能な３次元オブジェクトを示す位置姿勢情報を、視界内物体情報として抽出する。視界内物体情報は、例えば、どの３次元オブジェクトのどの表面が撮影可能かについての情報を含む。

【0063】

それから、環境画像生成部７は、遠隔操作が要請されるまでに撮り貯めた撮影画像に、視界内物体情報の３次元オブジェクトに対応する撮影画像が含まれているかを、時系列に沿って判定する。

【0064】

３次元オブジェクトに対応する撮影画像が含まれていると判定された場合には、環境画像生成部７は、時系列に沿って、当該３次元オブジェクトに撮影画像をテクスチャとして貼り付けることによって仮想環境画像を生成する。これにより、自機視点位置抽出部４で抽出された視点位置から視た、時系列で変更可能な３次元の仮想環境画像が生成される。

【0065】

３次元オブジェクトに対応する撮影画像が含まれていると判定されなかった場合には、環境画像生成部７は、取得部１で取得された撮影画像の中から、自機視点位置抽出部４で抽出された視点位置で撮影された撮影画像を抽出する。

【0066】

重畳画像生成部５は、環境画像生成部７で生成された仮想環境画像、または、抽出された撮影画像を、実施の形態１で説明した客観視点環境画像として用いることによって、作業状況再現画像を生成する。実施の形態１では、視点位置で撮影した静的な撮影画像を客観視点環境画像として用いたが、本実施の形態２では、時系列で変更可能な３次元の仮想環境画像を客観視点環境画像として用いることが可能である。仮想環境画像からなる客観視点環境画像に、自律移動型ロボット２１の作業を示す作業画像を重畳する場合、作業画像の時間と、客観視点環境画像の時間とを合わせれば、自律移動型ロボット２１の状況の再現度を高めることができる。

【0067】

なお、作業画像の時間と、客観視点環境画像の時間とを異ならせてもよい。図７は、作業画像の時間と、客観視点環境画像の時間とを異ならせて、作業状況再現画像を生成するための画面例である。図７の画面下部には、自律移動型ロボットの作業画像の時間と、３次元オブジェクトを規定する視点位置の時間と、３次元オブジェクトにテクスチャとして貼り付けられる撮影画像の時間とを指定するシークバーが設けられている。この例では、視点位置の時間と、撮影画像の時間とが、客観視点環境画像の時間に含まれる。

【0068】

操作者が、シークバーの時間を指定する操作を行うことで、作業画像、視点位置及び撮影画像に対して指定された時間の組合せで、客観視点環境画像が再現される。なお、３次元オブジェクトと撮影画像とを組み合わせる手法は様々な方法が既に提案されており、上記に限ったものではない。

【0069】

＜実施の形態２のまとめ＞
本実施の形態２によれば、時系列の前記撮影画像と、作業空間内の固定物についての３次元空間の位置姿勢情報とに基づいて、時系列で変更可能な３次元の仮想環境画像を生成する。このような構成によれば、操作者は、自律的に作業が遂行できない状態に陥った自律移動型ロボット２１の状況をさらに容易に把握することができる。

【0070】

＜実施の形態３＞
本実施の形態３では、移動障害物の位置姿勢情報を算出するように構成されている。

【0071】

図８は、本実施の形態３に係る画像表示装置の構成を示すブロック図である。図８の画像表示装置の構成は、図１の画像表示装置の構成に、移動障害物情報算出部８が追加された構成と同様である。

【0072】

なお、本実施の形態３に係る物体は、固定障害物と移動障害物との少なくともいずれか１つを含む。固定障害物は、例えば、壁、扉、棚、及び、机などの位置姿勢の変更が少ない障害物である。移動障害物は、例えば、人及び移動型ロボットなどの移動体、並びに、椅子などの位置姿勢の変更が多い障害物である。

【0073】

本実施の形態３では、作業環境情報の障害物情報は、作業空間内の固定障害物の位置姿勢情報を含む。

【0074】

移動障害物情報算出部８は、作業空間内の物体の位置姿勢情報と、作業環境情報に含まれる固定障害物の位置姿勢情報とに基づいて、固定障害物と区別して表示部６で表示される移動障害物の位置姿勢情報を算出する。作業空間内の物体の位置姿勢情報は、例えば、自律移動型ロボット２１などに搭載されたセンサで認識された、固定障害物と移動障害物との少なくともいずれか１つを含む物体の位置姿勢情報である。移動障害物情報算出部８は、作業空間内の物体の位置姿勢情報から、固定障害物の位置姿勢情報を差し引くことで、移動障害物の位置姿勢情報を算出する。例えば、ＬｉＤＥＲまたはステレオカメラによって認識される距離情報が、物体の位置姿勢情報として用いられてもよい。この場合、移動障害物情報算出部８は、距離情報から固定障害物の位置姿勢情報を除去することによって、移動障害物の情報を算出してもよい。

【0075】

移動障害物は、例えば、重畳画像生成部５の客観視点環境画像において、色及び文字、その他画像効果などで、強調表示される。重畳画像生成部５の客観視点環境画像における強調表示は、表示部６で表示される作業状況再現画像に反映される。なお、算出された位置姿勢情報で示される移動障害物は、重畳画像生成部５の客観視点環境画像を経由せずに、表示部６の作業状況再現画像において強調表示されてもよい。

【0076】

なお、以上の構成において、事前に移動障害物のモデルが得られる場合には、移動障害物情報算出部８は、距離情報を含まない撮影画像の物体の中からモデルマッチングによって移動障害物を認識して、移動障害物の位置姿勢情報を算出してもよい。例えば椅子、人、及び、移動型ロボットなどの移動障害物のモデルを作業環境情報に含めておき、移動障害物情報算出部８は、そのモデルを参照してモデルマッチングを行う。人に関しては精確なモデルマッチングではなく、人という一括りのモデルマッチングが行われてもよい。また、移動障害物情報算出部８は、物体にタグ付けを行うことによって、例えば、人、移動型ロボット、椅子などの物体を区別するタグ情報を生成してもよい。このタグ情報は、重畳画像生成部５の客観視点環境画像、または、表示部６の作業状況再現画像において、移動障害物の種別に合わせた強調表現の変更、または、移動障害物の名前の付加などに用いられてもよい。

【0077】

作業環境情報に含まれる固定障害物の位置姿勢情報において、運用中に固定障害物と移動障害物とが切り換えられてもよい。例えば、距離情報による認識結果が前回の認識結果と異なる場合には、前回の認識時点における固定障害物が、移動障害物に切り換えられてもよい。逆に、距離情報による認識結果が一定期間変化しない場合には、前回の認識時点における移動障害物が、固定障害物に切り換えられてもよい。

【0078】

＜実施の形態３のまとめ＞
固定障害物の影響は、作業を計画する際に予め想定しているため、自律移動型ロボット２１の作業遂行を阻害する可能性が低い。一方、移動障害物の影響は、作業を計画する際に予め想定し尽くすことができないため、自律移動型ロボット２１の作業遂行を阻害する可能性が比較的高くなる。

【0079】

そこで、本実施の形態３によれば、固定障害物と区別して表示部６で表示される移動障害物の位置姿勢情報を算出する。このような構成によれば、移動障害物を固定障害物と区別して表示することができるため、操作者は、自律的に作業が遂行できない状態に陥った自律移動型ロボット２１の状況をさらに容易に把握することができる。

【0080】

＜実施の形態４＞
本実施の形態４では、遠隔操作を要請した自律移動型ロボット２１の搭載カメラ以外の別のカメラの画像を利用可能に構成されている。

【0081】

図９は、本実施の形態４に係る画像表示装置の構成を示すブロック図である。図９の画像表示装置の構成は、図１の画像表示装置の構成に、第２視点位置抽出部である他機視点位置抽出部９が追加された構成と同様である。

【0082】

他機視点位置抽出部９は、遠隔操作を要請した自律移動型ロボット２１の搭載カメラ以外の別のカメラについて別の視点位置を算出する。以下では、別のカメラは、遠隔操作を要請した自律移動型ロボット２１以外の別の自律移動型ロボット（つまり別の移動体）に搭載されたカメラである場合について主に説明する。

【0083】

移動経路が異なる点を除けば、他機視点位置抽出部９の処理は、自機視点位置抽出部４の処理と同様である。つまり、他機視点位置抽出部９は、別の自律移動型ロボットが過去に移動した別の移動経路上の位置のうち、撮影可能領域２４に含まれる位置を別の視点位置として抽出する。

【0084】

具体的には、撮影可能領域２４が算出された後、他機視点位置抽出部９は、別の自律移動型ロボットの移動経路情報に基づいて、これまで別の自律移動型ロボットが移動してきた別の移動経路を撮影可能領域２４に重ね、別の移動経路のうち撮影可能領域２４に含まれる部分を、別の抽出経路として抽出する。他機視点位置抽出部９は、別の抽出経路内の各位置の評価値を算出し、評価値に基づいて別の視点位置を決定する。

【0085】

重畳画像生成部５は、別の自律移動型ロボットから撮影された別の撮影画像と、作業位置２２と、他機視点位置抽出部９で決定された別の視点位置とに基づいて、別の視点位置で撮影された別の撮影画像に対応位置画像を重畳する。重畳画像生成部５は、このような重畳を行うことによって、表示部６で表示される作業状況再現画像を生成する。なお、重畳画像生成部５は、自機視点位置抽出部４で算出された視点位置の評価値と、他機視点位置抽出部９で算出された別の視点位置の評価値とを比較し、それらの中から評価値が高い方についてのみ作業状況再現画像を生成してもよい。

【0086】

重畳画像生成部５は、自律移動型ロボットの搭載カメラの画像ではなく、例えば、天井に固定された監視カメラなどの画像を用いてもよい。監視カメラなどの画像では、別の視点位置は変更されない。

【0087】

また、適切な別の視点位置が得られない場合には、操作者は遠隔操作によって別の自律移動型ロボットを移動させてもよい。

【0088】

図１０は、操作者への表示例を示す図である。図１０では、図４の表示に、固定された監視カメラの視点位置２８及び撮影範囲２９と、別の自律移動型ロボットの移動先３０とが追加されている。図１０のような地図が操作者に表示され、操作者が移動先３０を地図上で選択した場合に、別の自律移動型ロボットは当該移動先３０に移動するように構成されてもよい。なお、別の自律移動型ロボットでは、自律移動型ロボット２１が遠隔操作を要請した後でも撮影可能である。このため、表示部６が、別の自律移動型ロボットで撮影された画像を表示する場合には、当該画像が遠隔操作要請後の画像であるか、遠隔操作要請前の画像であるかを、表示アイコンの色などで識別表示してもよい。また、表示部６は、シークバーなどで指定された撮影時間の画像を表示してもよい。

【0089】

＜実施の形態４のまとめ＞
本実施の形態４によれば、別の自律移動型ロボットなどの別の移動体から撮影された画像を利用することができる。これにより、自律移動型ロボット２１の撮影画像に撮影可能領域２４内で適切な撮影画像がない場合、または、操作者が撮影画像と撮影方向が異なる画像が欲しい場合などに、別の移動体から撮影された画像を用いることができる。この結果、操作者は、自律的に作業が遂行できない状態に陥った自律移動型ロボット２１の状況をさらに容易に把握することができる。

【0090】

＜実施の形態５＞
本実施の形態５では、操作者からの遠隔操作に基づいて自律移動型ロボット２１に作業を仮想的に実施させた場合のシミュレーション画像を生成可能に構成されている。

【0091】

図１１は、本実施の形態５に係る画像表示装置の構成を示すブロック図である。図１１の画像表示装置の構成は、図１の画像表示装置の構成に、仮想画像生成部１０が追加された構成と同様である。

【0092】

仮想画像生成部１０は、操作者からの遠隔操作に基づいて自律移動型ロボット２１に作業を仮想的に実施させた場合のシミュレーション画像を生成する。仮想画像生成部１０は、遠隔操作によって自律移動型ロボット２１を操作する前に、当該遠隔操作に従って自律移動型ロボット２１の３Ｄモデルなどを動作させた場合のシミュレーション画像を生成する。シミュレーション画像は、表示部６で作業状況再現画像と重畳表示される。なお、シミュレーション画像は、表示部６で作業状況再現画像と重畳表示されるように、重畳画像生成部５の客観視点環境画像と重畳されてもよい。

【0093】

＜実施の形態５のまとめ＞
操作者が複数の自律移動型ロボットを遠隔操作する運用が想定されており、そのような運用では、遠隔操作要請後の遠隔操作ミスが事故に繋がる可能性がある。特に、自律移動型ロボットの種類は多種多様であり、自律移動型ロボットごとに操作方法及び挙動が異なるため、そのような可能性は比較的高くなると考えられる。

【0094】

これに対して、本実施の形態５によれば、操作者からの遠隔操作に基づいて自律移動型ロボット２１に作業を仮想的に実施させた場合のシミュレーション画像を生成する。このような構成によれば、操作者は、実際に自律移動型ロボット２１を遠隔操作する前に、作業状況再現画像と重畳表示されるシミュレーション画像を見て、遠隔操作に問題無いかを確認することができる。これにより、操作者は、遠隔操作に問題無いことが確認できるまで、遠隔操作を変更することができるので、遠隔操作ミスを低減することができる。

【0095】

＜実施の形態６＞
本実施の形態６では、遠隔操作要請が取得された際に自律移動型ロボット２１が実施している作業が、自律移動型ロボット２１から被作業物体への作業である場合に、被作業物体が撮影された画像を取得可能に構成されている。

【0096】

図１２は、本実施の形態６に係る画像表示装置の構成を示すブロック図である。図１２の画像表示装置の構成は、図１の画像表示装置の構成に、被作業物体画像取得部１１が追加された構成と同様である。

【0097】

被作業物体画像取得部１１は、遠隔操作要請が取得された際に自律移動型ロボット２１が実施している作業が、自律移動型ロボット２１から被作業物体への作業である場合に、被作業物体が撮影された画像を取得する。自律移動型ロボット２１から被作業物体への作業は、自律移動型ロボット２１のエンドエフェクターなどを用いた作業を含む。被作業物体の画像の撮影には、例えば、搭載カメラのうち、３次元空間画像をリアルタイムで撮影可能であり、自律移動型ロボット２１本体から移動可能な移動型カメラが用いられる。被作業物体画像取得部１１は、被作業物体を認識し易い画像が撮影されるように、移動型カメラを移動させることにより、移動型カメラの視点位置を変更してもよい。

【0098】

まず、本実施の形態６では、被作業物体画像取得部１１は、被作業物体またはエンドエフェクターの３次元空間画像が必要であるか否かを判定する。例えば、遠隔操作要請が取得された際に自律移動型ロボット２１が実施していた作業内容が、エンドエフェクターを用いた被作業物体への操作である場合には、３次元空間画像が必要であると判定される。また、エンドエフェクターが操作されている場合、または、エンドエフェクターの近くに何らかの物体がある場合などにも、３次元空間画像が必要であると判定されてもよい。３次元空間画像が必要であると判定されている場合に、被作業物体画像取得部１１は、被作業物体を撮影している移動型カメラの視点位置を、被作業物体撮影位置として決定する。

【0099】

表示部６は、被作業物体撮影位置からの被作業物体画像を操作者に表示する。遠隔操作要請時の作業前後でエンドエフェクターのみが動作する場合には、表示部６は、客観視点環境画像を表示せずに、被作業物体画像のみを表示してもよい。

【0100】

ところで、作業内容によって操作者に適した画像は異なる。自律移動型ロボット２１本体を移動させる作業では、自律移動型ロボット２１の全体を確認可能な客観的な視点位置での画像が、操作者の状況判断に適している。一方、自律移動型ロボット２１が、エンドエフェクターを用いて被作業物体の移載作業などを行う場合には、エンドエフェクターと被作業物体とを中心とし、視点位置を自由に変更可能な３次元空間画像が、操作者の状況判断に適している。

【0101】

特に、被作業物体を操作する際には、固定された視点だけの画像では距離感が把握し難いため、作業者が視点位置を変更しながら作業を確認できることが望まれる。一方、被作業物体を大きく移動させる作業を行う際には、作業者が、自律移動型ロボット２１本体の状態と、エンドエフェクターによる被作業物体の状態との両方を同時に確認できることが望ましい。そこで、表示部６は、遠隔操作要請時の作業内容に基づいて、客観視点環境画像と被作業物体画像とを並べた表示と、客観視点環境画像及び被作業物体画像のいずれかの表示とを選択的に行ってもよい。なお、客観視点環境画像と被作業物体画像とを並べた表示は、作業者が遠隔操作要請時に作業を確認する場合に有用だけでなく、作業者が遠隔操作を行う場合にも有用である。

【0102】

被作業物体画像取得部１１は、自律移動型ロボット２１が作業を開始する前の時点（例えばシステム立上げ時点または他の作業時点）に撮影した３次元空間画像と、リアルタイムの被作業物体画像とを組み合わせることで、死角などを低減してもよい。また、３次元空間画像を拡張できる場合には、拡張された３次元空間画像が表示部６に表示されてもよい。このような表示を行っている場合に、操作者が３次元空間画像内で視点位置を変更した場合には、移動型カメラの視点位置が変更されてもよい。このような構成によれば、操作者は、３次元空間画像内で視点位置を変更することで、被作業物体とエンドエフェクターとを確認することができる。

【0103】

＜実施の形態６のまとめ＞
本実施の形態６によれば、遠隔操作要請が取得された際に自律移動型ロボット２１が実施している作業が、自律移動型ロボット２１から被作業物体への作業である場合に、被作業物体が撮影された画像を取得する。このような構成によれば、操作者は、自律的に作業が遂行できない状態に陥った自律移動型ロボット２１が被作業物体に対して行う作業を容易に把握することができる。

【0104】

＜実施の形態７＞
本実施の形態７では、作業空間のうち、撮影画像が撮影されてから予め定められた時間が経過した地点において、撮影画像が取得できるように自律移動型ロボット２１を移動可能に構成されている。

【0105】

図１３は、本実施の形態７に係る画像表示装置の構成を示すブロック図である。図１３の画像表示装置の構成は、図１の画像表示装置の構成に、撮影位置取得部１２と、計画作成部１３とが追加された構成と同様である。

【0106】

撮影位置取得部１２は、作業空間のうち、撮影画像が撮影されてから予め定められた時間が経過した地点を、撮影位置として取得する。撮影位置取得部１２は、作業情報と作業環境情報とに基づいて、作業空間内の各地点で撮影画像が撮影された時間を管理し、例えば１５分などの一定時間に亘って撮影画像が撮影されていない地点があれば、その地点を撮影位置として取得する。

【0107】

計画作成部１３は、撮影位置に基づいて、自律移動型ロボット２１が移動すべき経路の計画、つまり自律移動型ロボット２１の移動経路の計画を作成する。計画作成部１３は、自律移動型ロボット２１の作業計画に基づいて移動経路及び作業指示を計画するが、撮影位置取得部１２が撮影位置を取得している場合には、当該撮影位置を考慮して移動経路及び作業指示を計画する。撮影位置は、自律移動型ロボット２１の移動経路の目的地に用いられてもよいし、当該移動経路の経由地に用いられてもよい。自律移動型ロボット２１の移動経路の計画方法などは、広く知られているため、その詳細な説明は省略する。

【0108】

なお、実施の形態１の変形例で説明した、視点位置の候補の表示、及び、操作者による候補の選択と同様に、撮影位置の候補の表示、及び、選択者による候補の選択が行われてもよい。例えば、撮影位置取得部１２は、各撮影位置の候補について、撮影画像が撮影されてから経過した時間に比例する要求度を算出し、各撮影位置の候補と、その要求度とを表示してもよい。そして、撮影位置取得部１２は、操作者によって選択された撮影位置の候補の要求度を一定値だけ大きくし、要求度が閾値以上である撮影位置の候補を、撮影位置として取得してもよい。

【0109】

＜実施の形態７のまとめ＞
本実施の形態７によれば、作業空間のうち、撮影画像が撮影されてから予め定められた時間が経過した地点を、自律移動型ロボット２１に移動させる。このような構成によれば、当該地点の撮影画像を更新することができ、客観視点環境画像に適切な撮影画像が得られる可能性を高めることができる。

【0110】

＜実施の形態８＞
本実施の形態８では、作業空間のうち、人が作業を完了した地点において、撮影画像が取得できるように自律移動型ロボット２１を移動可能に構成されている。

【0111】

図１４は、本実施の形態８に係る画像表示装置の構成を示すブロック図である。図１４の画像表示装置の構成は、図１の画像表示装置の構成に、計画作成部１３と、作業完了位置取得部１４とが追加された構成と同様である。

【0112】

作業完了位置取得部１４は、作業空間のうち、人が作業を完了した地点を、撮影位置として取得する。例えば、作業完了位置取得部１４は、人が一定時間以上に亘って留まった後に移動した地点を、人が作業を完了した位置が行われた地点、つまり撮影位置として取得する。人の移動の判定は、カメラ画像などによるトラッキングで判定されてもよいし、人が従業員である場合には、作業員の作業情報から判定されてもよい。

【0113】

計画作成部１３は、実施の形態７に係る計画作成部１３と同様である。

【0114】

＜実施の形態８のまとめ＞
人が作業を完了した後では、設置物の設置状況が変更されている可能性が高い。例えば、オフィス環境では、設置物の設置状況の変更として、椅子の移動などがある。物品の販売施設では、設置物の設置状況の変更として、物品の設置位置の変更などがある。飲食店では、店員及び客が作業をした後に、設置物の設置状況が変更されている可能性が高い。

【0115】

そこで、本実施の形態８によれば、作業空間のうち、人が作業を完了した地点を、自律移動型ロボット２１に移動させる。このような構成によれば、作業環境が変更された可能性が高い、人が作業を完了した後の環境から画像を撮影することができるので、操作者の遠隔操作が要請される可能性が高い地点の画像を確保することができる。

【0116】

＜その他の変形例＞
上述した図１の取得部１と、作業位置算出部２と、撮影可能領域算出部３と、自機視点位置抽出部４と、重畳画像生成部５とを、以下「取得部１等」と記す。取得部１等は、図１５に示す処理回路８１により実現される。すなわち、処理回路８１は、移動体への遠隔操作の要請と、移動体の移動を含む作業を示す作業情報と、移動体から撮影される撮影画像とを取得する取得部１と、要請と、作業情報とに基づいて、要請が取得された際の移動体の作業位置を算出する作業位置算出部２と、移動体の作業空間を示す地図情報と、作業空間内の障害物に関する障害物情報とを含む作業環境情報と、作業位置とに基づいて、作業位置の画像を含む撮影画像を撮影可能な領域を撮影可能領域として算出する撮影可能領域算出部３と、作業情報と、撮影可能領域とに基づいて、移動体が過去に移動した移動経路内の位置のうち、撮影可能領域に含まれる位置を視点位置として抽出する自機視点位置抽出部４と、撮影画像と作業位置と視点位置とに基づいて、視点位置で撮影された撮影画像に、作業位置を示す対応位置画像を重畳した重畳画像を生成する重畳画像生成部５と、を備える。処理回路８１には、専用のハードウェアが適用されてもよいし、メモリに格納されるプログラムを実行するプロセッサが適用されてもよい。プロセッサには、例えば、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）などが該当する。

【0117】

処理回路８１が専用のハードウェアである場合、処理回路８１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、またはこれらを組み合わせたものが該当する。取得部１等の各部の機能それぞれは、処理回路を分散させた回路で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。

【0118】

処理回路８１がプロセッサである場合、取得部１等の機能は、ソフトウェア等との組み合わせにより実現される。なお、ソフトウェア等には、例えば、ソフトウェア、ファームウェア、または、ソフトウェア及びファームウェアが該当する。ソフトウェア等はプログラムとして記述され、メモリに格納される。図１６に示すように、処理回路８１に適用されるプロセッサ８２は、メモリ８３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、画像表示装置は、処理回路８１により実行されるときに、移動体への遠隔操作の要請と、移動体の移動を含む作業を示す作業情報と、移動体から撮影される撮影画像とを取得するステップと、要請と、作業情報とに基づいて、要請が取得された際の移動体の作業位置を算出するステップと、移動体の作業空間を示す地図情報と、作業空間内の障害物に関する障害物情報とを含む作業環境情報と、作業位置とに基づいて、作業位置の画像を含む撮影画像を撮影可能な領域を撮影可能領域として算出するステップと、作業情報と、撮影可能領域とに基づいて、移動体が過去に移動した移動経路内の位置のうち、撮影可能領域に含まれる位置を視点位置として抽出するステップと、撮影画像と作業位置と視点位置とに基づいて、視点位置で撮影された撮影画像に、作業位置を示す対応位置画像を重畳した重畳画像を生成するステップと、重畳画像を表示するステップと、が結果的に実行されることになるプログラムを格納するためのメモリ８３を備える。換言すれば、このプログラムは、取得部１等の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ８３は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）、それらのドライブ装置、または、今後使用されるあらゆる記憶媒体であってもよい。

【0119】

以上、取得部１等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、取得部１等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、取得部１については専用のハードウェアとしての処理回路８１でその機能を実現し、それ以外についてはプロセッサ８２としての処理回路８１がメモリ８３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

【0120】

以上のように、処理回路８１は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。

【0121】

また、以上で説明した画像表示装置は、情報処理装置と、携帯電話、スマートフォン及びタブレットなどの携帯端末を含む通信端末と、情報処理装置にインストールされるアプリケーションの機能と、サーバとを適宜に組み合わせてシステムとして構築される画像表示システムにも適用することができる。この場合、以上で説明した画像表示装置の各機能あるいは各構成要素は、前記システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。

【0122】

なお、各実施の形態及び各変形例を自由に組み合わせたり、各実施の形態及び各変形例を適宜、変形、省略したりすることが可能である。

【0123】

以下、本開示の諸態様を付記としてまとめて記載する。

【0124】

（付記１）
移動体への遠隔操作の要請と、前記移動体の移動を含む作業を示す作業情報と、前記移動体から撮影される撮影画像とを取得する取得部と、
前記要請と、前記作業情報とに基づいて、前記要請が取得された際の前記移動体の作業位置を算出する作業位置算出部と、
前記移動体の作業空間を示す地図情報と、前記作業空間内の障害物に関する障害物情報とを含む作業環境情報と、前記作業位置とに基づいて、前記作業位置の画像を含む前記撮影画像を撮影可能な領域を撮影可能領域として算出する撮影可能領域算出部と、
前記作業情報と、前記撮影可能領域とに基づいて、前記移動体が過去に移動した移動経路内の位置のうち、前記撮影可能領域に含まれる位置を視点位置として抽出する第１視点位置抽出部と、
前記撮影画像と前記作業位置と前記視点位置とに基づいて、前記視点位置で撮影された前記撮影画像に、前記作業位置を示す対応位置画像を重畳した重畳画像を生成する重畳画像生成部と、
前記重畳画像を表示する表示部と
を備える、画像表示装置。

【0125】

（付記２）
前記対応位置画像は、前記要請が取得された際に前記移動体が実施していた作業を示す作業画像を含む、付記１に記載の画像表示装置。

【0126】

（付記３）
前記作業環境情報は、前記作業空間内の固定物についての３次元空間の位置姿勢情報を含み、
時系列の前記撮影画像と、前記位置姿勢情報とに基づいて、時系列で変更可能な３次元の仮想環境画像を、前記重畳画像生成部で用いられる前記撮影画像として生成する環境画像生成部をさらに備える、付記１または付記２に記載の画像表示装置。

【0127】

（付記４）
前記作業環境情報の前記障害物情報は、前記作業空間内の固定障害物の位置姿勢情報を含み、
前記作業空間内の物体の位置姿勢情報と、前記作業空間内の前記固定障害物の前記位置姿勢情報とに基づいて、前記固定障害物と区別して前記表示部で表示される移動障害物の位置姿勢情報を算出する移動障害物情報算出部をさらに備える、付記１から付記３のうちのいずれか１項に記載の画像表示装置。

【0128】

（付記５）
別の移動体が過去に移動した別の移動経路上の位置のうち、前記撮影可能領域に含まれる位置を別の視点位置として抽出する第２視点位置抽出部をさらに備え、
前記重畳画像生成部は、
前記別の移動体から撮影された別の撮影画像と、前記作業位置と、前記別の視点位置とに基づいて、前記別の視点位置で撮影された前記別の撮影画像に前記対応位置画像を重畳することによって、前記表示部で表示される前記重畳画像を生成する、付記１から付記４のうちのいずれか１項に記載の画像表示装置。

【0129】

（付記６）
前記表示部で前記重畳画像と重畳表示され、操作者からの前記遠隔操作に基づいて前記移動体に作業を仮想的に実施させた場合のシミュレーション画像を生成する仮想画像生成部をさらに備える、付記１から付記５のうちのいずれか１項に記載の画像表示装置。

【0130】

（付記７）
前記要請が取得された際に前記移動体が実施している作業が、前記移動体から被作業物体への作業である場合に、前記表示部で表示される前記被作業物体が撮影された画像を取得する被作業物体画像取得部をさらに備える、付記１から付記６のうちのいずれか１項に記載の画像表示装置。

【0131】

（付記８）
前記作業空間のうち、前記撮影画像が撮影されてから予め定められた時間が経過した地点を、撮影位置として取得する撮影位置取得部と、
前記撮影位置に基づいて前記移動体が移動すべき経路の計画を作成する計画作成部と
をさらに備える、付記１から付記７のうちのいずれか１項に記載の画像表示装置。

【0132】

（付記９）
前記作業空間のうち、人が作業を完了した地点を、撮影位置として取得する作業完了位置取得部と、
前記撮影位置に基づいて前記移動体が移動すべき経路の計画を作成する計画作成部と
をさらに備える、付記１から付記７のうちのいずれか１項に記載の画像表示装置。

【0133】

（付記１０）
移動体への遠隔操作の要請と、前記移動体の移動を含む作業を示す作業情報と、前記移動体から撮影される撮影画像とを取得し、
前記要請と、前記作業情報とに基づいて、前記要請が取得された際の前記移動体の作業位置を算出し、
前記移動体の作業空間を示す地図情報と、前記作業空間内の障害物に関する障害物情報とを含む作業環境情報と、前記作業位置とに基づいて、前記作業位置の画像を含む前記撮影画像を撮影可能な領域を撮影可能領域として算出し、
前記作業情報と、前記撮影可能領域とに基づいて、前記移動体が過去に移動した移動経路内の位置のうち、前記撮影可能領域に含まれる位置を視点位置として抽出し、
前記撮影画像と前記作業位置と前記視点位置とに基づいて、前記視点位置で撮影された前記撮影画像に、前記作業位置を示す対応位置画像を重畳した重畳画像を生成し、
前記重畳画像を表示する、画像表示方法。

【符号の説明】

【0134】

１ 取得部、２ 作業位置算出部、３ 撮影可能領域算出部、４ 自機視点位置抽出部、５ 重畳画像生成部、６ 表示部、７ 環境画像生成部、８ 移動障害物情報算出部、９ 他機視点位置抽出部、１０ 仮想画像生成部、１１ 被作業物体画像取得部、１２ 撮影位置取得部、１３ 計画作成部、１４ 作業完了位置取得部、２１ 自律移動型ロボット、２２ 作業位置、２３ 障害物、２４ 撮影可能領域、２５ 移動経路。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】