特開 2024-102426 画像の生成方法、自由視点画像の生成方法、および、提供方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024102426

(43)【公開日】2024-07-31

(54)【発明の名称】画像の生成方法、自由視点画像の生成方法、および、提供方法

(51)【国際特許分類】

   B25J 3/00 20060101AFI20240724BHJP

【ＦＩ】

B25J3/00 Z

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023006296

(22)【出願日】2023-01-19

(71)【出願人】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】溝口 安志

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS07

3C707BS12

3C707JT04

3C707JU03

3C707JU12

3C707KS03

3C707KS04

3C707KS16

3C707KS17

3C707MT01

(57)【要約】

【課題】多数のカメラを使用することなく自由視点画像を生成する。
【解決手段】自由視点画像を生成するための対象物の画像の生成方法は、（ａ）撮像装置が取り付けられた多関節ロボットを準備するステップと、（ｂ）撮像装置が対象物を撮像することにより撮像画像を取得するステップと、（ｃ）多関節ロボットを制御して、撮像装置の対象物に対する相対位置を、直前に実行されたステップ（ｂ）における相対位置から変えるステップと、（ｄ）ステップ（ｂ）とステップ（ｃ）とを繰り返すステップと、を含む。
【選択図】図４

【特許請求の範囲】

【請求項1】

自由視点画像を生成するための対象物の画像の生成方法であって、
（ａ）撮像装置が取り付けられた多関節ロボットを準備するステップと、
（ｂ）前記撮像装置が対象物を撮像することにより撮像画像を取得するステップと、
（ｃ）前記多関節ロボットを制御して、前記撮像装置の前記対象物に対する相対位置を、直前に実行された前記ステップ（ｂ）における相対位置から変えるステップと、
（ｄ）前記ステップ（ｂ）と前記ステップ（ｃ）とを繰り返すステップと、
を含む、
画像の生成方法。

【請求項2】

請求項１に記載の生成方法であって、
前記ステップ（ａ）は、
（ａ１）移動体に搭載された前記多関節ロボットであって、前記対象物の周囲を移動可能な自律走行搬送ロボットを準備するステップ、
を含み、
前記ステップ（ｃ）は、
（ｃ１）前記自律走行搬送ロボットを移動させることにより、前記撮像装置の前記対象物に対する前記相対位置を、直前に実行された前記ステップ（ｂ）における相対位置から変えるステップを含む、
画像の生成方法。

【請求項3】

請求項２に記載の生成方法により生成された画像を用いて自由視点画像を生成する自由視点画像の生成方法であって、
（ｅ）複数の前記撮像画像を用いて、所望の仮想的な視点から見たときの前記対象物の画像を表すことができる自由視点画像を表すデータを生成するステップ、
を含む自由視点画像の生成方法。

【請求項4】

請求項３に記載の自由視点画像の生成方法により生成された自由視点画像を用いた画像の提供方法であって、
（ｆ）前記ステップ（ｅ）が実行されることにより生成された前記自由視点画像をユーザーに提示するステップと、
（ｇ）前記対象物における所望の部位と所望の視点とについての指示を前記ユーザーから受け付けるステップと、
（ｈ）前記多関節ロボットを制御して、前記撮像装置の前記対象物に対する前記相対位置を、指示された前記所望の部位を指示された前記所望の視点で撮像できる相対位置に変えるステップと、
（ｉ）前記撮像装置が前記所望の部位を拡大して撮像することにより拡大撮像画像を取得するステップと、
（ｊ）前記拡大撮像画像を表示するステップと、
を含む提供方法。

【請求項5】

請求項４に記載の提供方法であって、
前記ステップ（ａ）は、
（ａ２）前記撮像装置が取り付けられ、遠隔地にあるコンピューターと通信可能な前記多関節ロボットを準備するステップ、
を含み、
前記ステップ（ｇ）は、
（ｇ１）前記コンピューターを介して前記遠隔地にいる前記ユーザーから、前記対象物における前記所望の部位と前記所望の視点とについての前記指示を受け付けるステップ、
を含む、
提供方法。

【請求項6】

請求項５に記載の提供方法であって、
前記ステップ（ｂ）は、
（ｂ１）前記撮像装置が、前記対象物を含む限定された範囲以外の範囲を撮像することなく、前記対象物を含む前記限定された範囲を撮像することにより、前記撮像画像を取得するステップ、
を含み、
前記提供方法は、前記限定された範囲以外の範囲を撮像するステップ、を含まない、
提供方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像の生成方法、自由視点画像の生成方法、および、提供方法に関する。

【背景技術】

【0002】

特許文献１には、競技施設において配置された多数のカメラを用いて自由視点画像を生成する技術について記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１９／０２１３７５号

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載された技術においては、多数のカメラを用意する必要である。このため、それぞれのカメラの姿勢の調節およびメンテナンスも必要となり、手間がかかる。よって、多数のカメラを使用することなく自由視点画像を生成できる技術が望まれていた。

【課題を解決するための手段】

【0005】

本開示は、以下の形態として実現することが可能である。

【0006】

本開示の第１形態によれば、自由視点画像を生成するための対象物の画像の生成方法が提供される。この画像の生成方法は、（ａ）撮像装置が取り付けられた多関節ロボットを準備するステップと、（ｂ）前記撮像装置が対象物を撮像することにより撮像画像を取得するステップと、（ｃ）前記多関節ロボットを制御して、前記撮像装置の前記対象物に対する相対位置を、直前に実行された前記ステップ（ｂ）における相対位置から変えるステップと、（ｄ）前記ステップ（ｂ）と前記ステップ（ｃ）とを繰り返すステップと、を含む。

【0007】

本開示の第２形態によれば、上記形態の画像の生成方法により生成された画像を用いて自由視点画像を生成する自由視点画像の生成方法が提供される。この自由視点画像の生成方法は、（ｅ）複数の前記撮像画像を用いて、所望の仮想的な視点から見たときの前記対象物の画像を表すことができる自由視点画像を表すデータを生成するステップ、を含む。

【0008】

本開示の第３形態によれば、上記形態の自由視点画像の生成方法により生成された自由視点画像を用いた画像の提供方法が提供される。この提供方法は、（ｆ）前記ステップ（ｅ）が実行されることにより生成された前記自由視点画像をユーザーに提示するステップと、（ｇ）前記対象物における所望の部位と所望の視点とについての指示を前記ユーザーから受け付けるステップと、（ｈ）前記多関節ロボットを制御して、前記撮像装置の前記対象物に対する前記相対位置を、指示された前記所望の部位を指示された前記所望の視点で撮像できる相対位置に変えるステップと、（ｉ）前記撮像装置が前記所望の部位を拡大して撮像することにより拡大撮像画像を取得するステップと、（ｊ）前記拡大撮像画像を表示するステップと、を含む。

【図面の簡単な説明】

【0009】

【図1】遠隔操作支援システムの全体構成を示す概略図である。

【図2】自律移動ロボットの主要部および監視装置の概略構成を表すブロック図である。

【図3】監視装置が実行する処理を表すフローチャートである。

【図4】図３に示すステップＳ１０の詳細なフローチャートである。

【図5】あらかじめ設定されたポイントに配置される撮像装置と、監視対象であるマニピュレーターとの位置関係の一例を示す図である。

【図6】図３に示すステップＳ２０の詳細なフローチャートである。

【図7】視点の切り換えの指示についての説明図である。

【図8】拡大表示の指示についての説明図である。

【発明を実施するための形態】

【0010】

Ａ．実施形態：
図１は、本実施形態にかかる遠隔操作支援システム１の全体構成を示す概略図である。遠隔操作支援システム１は、ロボットシステムＲＢ１を遠隔地にいるユーザーが監視し、制御することを可能とする。

【0011】

監視対象であるロボットシステムＲＢ１は、６軸ロボットであるマニピュレーター９１と、マニピュレーター９１に装着されているエンドエフェクター９２と、マニピュレーター９１を制御するロボットコントローラー９３と、作業台９４とを備える。エンドエフェクター９２は、例えば、ワークＷ１を把持するグリッパーである。

【0012】

実施形態においては、監視対象のマニピュレーター９１は精密な作業を行う。このため、遠隔地にいるユーザーは、遠隔操作支援システム１を利用して、ロボットシステムＲＢ１を観察しながら、ロボットシステムＲＢ１の動作を制御する。監視対象であるロボットシステムＲＢ１を対象物ともよぶ。マニピュレーター９１は、自動運転モードと手動運転モードとのいずれかのモードで動作する。自動運転モードでは、マニピュレーター９１は、動作の途中でユーザーからの指示を受けることなく自動的に動作する。手動運転モードでは、マニピュレーター９１は、ユーザーから逐次受けた指令に応じて動作する。

【0013】

遠隔操作支援システム１は、自律移動ロボット１０と、監視装置８０とを備える。

【0014】

自律移動ロボット１０は、自律走行搬送ロボット（Autonomous Mobile Robot: AMR）である。自律移動ロボット１０は、ロボットシステムＲＢ１が設置されている工場内を移動する。自律移動ロボット１０は、マニピュレーター２０と、撮像装置３０と、車両４０と、ロボットコントローラー５０とを備える。車両４０を移動体ともよぶ。

【0015】

マニピュレーター２０は、６軸ロボットである。マニピュレーター２０は、基台２１と、アーム２２とを備える。基台２１は、アーム２２を支持している。基台２１は、車両４０に固定されている。アーム２２が備える６つの関節Ｊ１～Ｊ６それぞれには、サーボモーターと減速機と角度センサーとがそれぞれ設けられている。サーボモーターは、ロボットコントローラー５０から電流を供給され、各関節を駆動するための回転出力を生成する。減速機は、対応するサーボモーターから与えられた回転入力を減速する。角度センサーは、例えば、エンコーダー、ポテンションメーター、レゾルバーである。角度センサーは、対応するサーボモーターの出力軸の回転角度（軸の位置）をその関節の回転角度として検出する。検出された回転角度は、ロボットコントローラー５０に出力される。

【0016】

ロボット座標系ＲＣにおけるマニピュレーター２０の制御点の位置は、ロボットコントローラー５０により制御される。マニピュレーター２０の制御点は、例えば、アーム２２の先端の決められた位置に設定される。制御点をＴＣＰ（Tool Center Point）とよぶことがある。ロボット座標系ＲＣは、基台２１の位置に対して固定されている座標系である。ロボット座標系ＲＣは、水平面上において互いに直交するＸ軸およびＹ軸と、鉛直上向きを正方向とするＺ軸と、によって規定される三次元直交座標系である。ロボット座標系ＲＣにおける位置は、Ｘ軸方向の位置と、Ｙ軸方向の位置と、Ｚ軸方向の位置とにより表すことができる。また、ロボット座標系ＲＣにおける姿勢は、Ｘ軸回りの回転の角度位置と、Ｙ軸回りの回転の角度位置と、Ｚ軸回りの回転の角度位置とにより表すことができる。

【0017】

撮像装置３０は、フルカラーの静止画像またはフルカラーの動画像を撮像できるカメラである。撮像装置３０は、マニピュレーター２０のアーム２２の先端に固定されている。

【0018】

図２は、自律移動ロボット１０の主要部および監視装置８０の概略構成を表すブロック図である。なお、図２においてマニピュレーター２０の図示を省略している。

【0019】

撮像装置３０は、メモリー３１と、通信部３２と、撮像部３３とを備える。メモリー３１は、撮像装置３０を制御するための各種のデータおよびプログラムを記憶する。通信部３２は、無線通信または有線通信により監視装置８０と通信する。撮像部３３は、監視対象を撮像し、撮像した画像のデータを出力する。撮像された画像のデータは、通信部３２により監視装置８０に送信される。

【0020】

図１に示すように、車両４０は、基台２１を支持している。車両４０は、マニピュレーター２０を床面上の任意の位置に移動させることができる。車両４０は、１組の駆動輪ＤＷと、２組の従動輪ＦＷ１，ＦＷ２と、駆動部４１と、車両制御部４２と、を備える。１組の駆動輪ＤＷは、駆動部４１により回転駆動させられる。従動輪ＦＷ１，ＦＷ２は、外力を加えられて回転する。

【0021】

駆動部４１は、１組の駆動輪ＤＷを駆動する。駆動部４１は、一組の駆動輪ＤＷそれぞれを駆動するため、一組のサーボモーターと、一組の減速機と、一組の角度センサーとを備える。一組のサーボモーターそれぞれは、車両制御部４２の制御に従って、その出力軸を回転させる。一組の減速機それぞれは、対応するサーボモーターの出力軸の回転を減速させて対応する駆動輪ＤＷに伝達する。一組の角度センサーそれぞれは、例えば、エンコーダー、ポテンションメーター、レゾルバーである。角度センサーは、対応するサーボモーターの出力軸の回転角度を検出する。検出された回転角度は、車両制御部４２に出力される。

【0022】

図２に示すように、車両制御部４２は、メモリー４５と、通信部４６と、検知部４７と、プロセッサー４８とを備える。メモリー４５は、車両４０を制御するための各種のデータおよびプログラムを記憶する。例えば、メモリー４５には、車両４０を制御するためのプログラム、自律移動ロボット１０が移動する工場内の地図データ、車両４０の走行速度の指定値を示す速度データが格納されている。通信部４６は、無線通信または有線通信により、ロボットコントローラー５０および監視装置８０と通信する。検知部４７は、車両４０の周囲状況を検知する。検知部４７は、例えば、ＬｉＤＡＲ（Light Detection and Ranging）、カメラ、ソナーである。検知部４７は、これらのセンサーのうち２つ以上のセンサーを含んでもよい。プロセッサー４８は、メモリー４５に記憶されたプログラムを実行することにより様々な機能を実現する。例えば、プロセッサー４８は、メモリー４５に記憶されたプログラムを実行することにより、車両４０が指定された目的地に到達するよう、駆動部４１の駆動を制御する。

【0023】

ロボットコントローラー５０は、マニピュレーター２０の各関節を駆動することによって、マニピュレーター２０の位置および姿勢を変化させる。実施形態においては、ロボットコントローラー５０がマニピュレーター２０を駆動することにより、撮像装置３０が指定された位置に指定された姿勢で配される。図１に示すように、ロボットコントローラー５０は、基台２１の筐体２１ａの内部に配置されている。

【0024】

図２に示すように、ロボットコントローラー５０は、メモリー５１と、通信部５２と、プロセッサー５３とを備える。メモリー５１は、ロボットコントローラー５０を制御するための各種のデータおよびプログラムを記憶する。例えば、メモリー５１には、マニピュレーター２０を動作させるための制御プログラムが格納されている。通信部５２は、無線通信または有線通信により、車両制御部４２および監視装置８０と通信する。プロセッサー５３は、メモリー５１に格納されている各種のプログラムを実行することにより、様々な機能を実現する。

【0025】

プロセッサー５３は、マニピュレーター２０の位置および姿勢を算出する。マニピュレーター２０の姿勢とは、３次元空間におけるマニピュレーター２０全体の位置および姿勢を意味する。具体的には、プロセッサー５３は、マニピュレーター２０の制御点を与えられた座標が表す位置に移動させるために必要な各関節の回転角度を算出し、各関節の回転角度を制御する。これにより、マニピュレーター２０の制御点が与えられた座標が表す位置に移動させられる。

【0026】

監視装置８０は、自律移動ロボット１０を使用してロボットシステムＲＢ１を遠隔地から監視するコンピューターである。監視装置８０は、ロボットシステムＲＢ１および自律移動ロボット１０が配置されている工場とは異なる他の施設に設置されている。

【0027】

監視装置８０は、メモリー８１と、通信部８２と、入力装置８３と、表示装置８４と、プロセッサー８５と、を備える。メモリー８１は、監視装置８０が実行する各種処理に使用される各種のプログラムおよびデータを記憶する。通信部８２は、ネットワークＮＷを介して無線通信または有線通信により、撮像装置３０、車両制御部４２、および、ロボットコントローラー５０と通信する。図１に示す、ネットワークＮＷは、例えば、ＬＡＮ（Local Area Network）、インターネット、専用線である。図２に示す、入力装置８３は、例えば、キーボード、マウスである。表示装置８４は、例えば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイである。

【0028】

プロセッサー８５は、メモリー８１に記憶されているプログラムを実行することにより、様々な機能を実現する。プロセッサー８５は、メモリー８１に記憶されているプログラムを実行することで、画像生成部８１０と、視点切換部８２０として機能する。

【0029】

画像生成部８１０は、複数の視点から撮像されたロボットシステムＲＢ１の複数の画像を用いて、所望の仮想的な視点から見たときのロボットシステムＲＢ１の画像を表すことができる自由視点画像を表すデータを生成する。画像生成部８１０は、自由視点画像を表すデータに基づいて自由視点画像を表示装置８４に表示する。

【0030】

視点切換部８２０は、ユーザーが所望する視点についての指示を受け付ける。実施形態において、ユーザーは、監視対象であるロボットシステムＲＢ１についての細部を確認するため、表示された指定画像に基づいて所望の部位および所望の視点を決定し、所望の部位および所望の視点を指示する。視点切換部８２０は、指示された部位を指示された視点でユーザーが視認できるように、自由視点画像の表示を切り換える。また、視点切換部８２０は、指示された部位を指示された視点でユーザーが視認できるように、マニピュレーター２０を制御して、監視対象であるロボットシステムＲＢ１を撮像する。

【0031】

図３は、監視装置８０が実行する処理を表すフローチャートである。図３に示すように、ステップＳ１０において、自由視点画像を生成するための画像が生成される。ステップＳ２０において、自由視点画像が生成される。図３に示す処理は、画像生成部８１０と視点切換部８２０として機能するプロセッサー８５により実行される。例えば、ユーザーが入力装置８３を介して処理の開始を指示すると、プロセッサー８５は図３に示す処理を開始する。図３に示す処理の実行の開始前にあらかじめ自律移動ロボット１０が準備される。

【0032】

図４は、図３に示すステップＳ１０の詳細なフローチャートである。以下、自由視点画像を生成するための監視対象の画像の生成方法について説明する。ステップＳ１０１において、プロセッサー８５は監視対象を指定する指示を受け付けたか否かを判定する。プロセッサー８５は監視対象を指定する指示を受け付けた場合（ステップＳ１０１；ＹＥＳ）、ステップＳ１０２の処理を実行する。以下、ユーザーが監視対象としてロボットシステムＲＢ１を指定した例を説明する。

【0033】

また、ユーザーは、別途、監視対象であるロボットシステムＲＢ１のロボットコントローラー９３に対して、マニピュレーター９１の動作についての指令を逐次出すものとする。マニピュレーター９１の先端には不図示のカメラが備えられており、ユーザーは、マニピュレーター９１のカメラが撮像したマニピュレーター９１の周囲の状況を表す画像を見ながら指令を出す。よって、マニピュレーター９１は指令に応じた動作を行う。

【0034】

ステップＳ１０１において、監視対象を指定する指示を受けていない場合、（ステップＳ１０１；ＮＯ）、プロセッサー８５は待機する。

【0035】

ステップＳ１０２において、プロセッサー８５は、ロボットシステムＲＢ１の工場内における位置を示す情報を目的地として指定した上で、移動の指示を、車両４０の車両制御部４２に送信する。

【0036】

指示を受けた自律移動ロボット１０は、ロボットシステムＲＢ１の工場内における位置を示す情報と、メモリー４５に格納されている地図データとを用いて、指定された目的地へ移動する。例えば、車両４０は、駆動部４１が備えるエンコーダーが検出した回転角度を用いて、ＳＬＡＭ（Simultaneous Localization and Mapping）アルゴリズムにより自己位置を推定しながら目的地に移動する。自律移動ロボット１０は、移動が完了すると、移動が完了したことをプロセッサー８５に通知する。

【0037】

ステップＳ１０３において、プロセッサー８５は、自由視点画像を生成するため監視対象の画像の生成を開始する開始条件が満たされたか否かを判定する。実施形態においては、開始条件とは、自律移動ロボット１０の移動が完了したこと、および、監視対象であるマニピュレーター９１がユーザーから出される逐次の指令に従って動作し、あらかじめ決められた位置および姿勢を取ったこと、を含む。

【0038】

図１に示すように、マニピュレーター９１は、例えば、把持したワークＷＫ１を他のワークＷＫ２に形成された穴に差し込む動作を行うものとする。あらかじめ決められた位置および姿勢は、マニピュレーター９１がワークＷＫ１をワークＷＫ２に形成された穴に差し込む直前の位置および姿勢である。マニピュレーター９１は、ワークＷＫ１をワークＷＫ２に形成された穴の中心に正確に差し込む必要がある。このため、ユーザーは、ワークＷＫ１をワークＷＫ２の穴に差し込む直前にマニピュレーター９１の動作を停止させる。

【0039】

図４に示す、ステップＳ１０３において、プロセッサー８５は、開始条件が満たされていると判定すると（ステップＳ１０３；ＹＥＳ）、ステップＳ１０４を実行する。一方、開始条件が満たされていない場合、（ステップＳ１０３；ＮＯ）、プロセッサー８５は待機する。

【0040】

ステップＳ１０４において、プロセッサー８５は、マニピュレーター２０が撮像用の動作経路ＰＩに沿って移動するように、ロボットコントローラー５０を介してマニピュレーター２０を駆動する。

【0041】

図５は、マニピュレーター２０が撮像用の動作経路ＰＩに沿って移動することにより、あらかじめ設定された複数のポイントそれぞれに配置される撮像装置３０と、監視対象であるロボットシステムＲＢ１のマニピュレーター９１との位置関係の一例を示す図である。なお、図４では、マニピュレーター２０を図示していない。複数の視点からマニピュレーター９１を撮像することができるポイントが動作経路ＰＩにおいて設定されている。マニピュレーター２０が移動することにより、撮像装置３０は、あらかじめ設定された撮像のための複数のポイントに順次配置される。また、マニピュレーター２０は、撮像用の動作経路ＰＩにおいて設定された複数のポイントに到達するたび、停止するようにプログラムされている。

【0042】

図４に示す、ステップＳ１０５において、プロセッサー８５は、マニピュレーター２０が次のポイントに到達したか否かを判定する。プロセッサー８５は、マニピュレーター２０が次のポイントに到達したと判定した場合（ステップＳ１０５；ＹＥＳ）、ステップＳ１０６を実行する。マニピュレーター２０が次のポイントに到達していない場合（ステップＳ１０５；ＮＯ）、プロセッサー８５は待機する。

【0043】

ステップＳ１０６において、プロセッサー８５は、現在のポイントにおける監視対象の画像ＩＭ１０を取得する。具体的には、プロセッサー８５は、撮像装置３０により監視対象を撮像させる。画像ＩＭ１０は、例えば、監視対象であるマニピュレーター９１の手先部分と、ワークＷ１と、ワークＷ２とが撮像された画像である。さらに、プロセッサー８５は、ロボットコントローラー５０を介してマニピュレーター２０の関節Ｊ１～Ｊ６それぞれに設けられた角度センサーの検出値をセンサー情報として取得する。プロセッサー８５は、現在のポイントを表す情報と、画像ＩＭ１０と、センサー情報とを対応付けてメモリー８１に格納する。

【0044】

ステップＳ１０７において、プロセッサー８５は、動作経路ＰＩにおいて設定されているすべてのポイントにおいて撮像が行われたかを判定する。すべてのポイントでの撮像が行われた場合（ステップＳ１０７；ＹＥＳ）、図４に示す処理が終了される。一方、すべてのポイントで撮像が行われていない場合（ステップＳ１０７；ＮＯ）、プロセッサー８５は、再びステップＳ１０４の処理を実行する。よって、マニピュレーター２０は撮像用の動作経路ＰＩに沿って移動する。このようにして、プロセッサー８５は、撮像装置３０のマニピュレーター９１に対する相対位置を、直前に実行された撮像時における撮像装置３０のマニピュレーター９１に対する相対位置から変更する。今回の撮像と前回の撮像との間に他の撮像が行われていないときに、前回の撮像を直前に実行された撮像という。

【0045】

図４に示す処理が実行されることにより、ロボットシステムＲＢ１についての自由視点画像を生成するための複数の画像ＩＭ１０が収集される。

【0046】

図６は、図３に示すステップＳ２０の詳細なフローチャートである。以下、図４に示す画像の生成方法により生成された画像を用いて自由視点画像を生成する自由視点画像の生成方法、および、生成された自由視点画像を用いた画像の提供方法を説明する。図６に示す処理が実行される前に、図４に示す処理が実行されていることを前提とする。

【0047】

ステップＳ２０１において、プロセッサー８５は、複数のポイントそれぞれで取得された画像ＩＭ１０および対応するセンサー情報Ｓ１をメモリー８１から読み出す。プロセッサー８５は、撮像が行われた各ポイントにおける、各関節の変位量を用いて順運動学に基づいてそれぞれのポイントにおけるマニピュレーター２０の手先の位置および姿勢を表すロボット座標系ＲＣにおける座標値を算出する。

【0048】

ステップＳ２０２において、プロセッサー８５は、自由視点画像を表すデータを生成する。具体的には、プロセッサー８５は、複数の画像ＩＭ１０とそれぞれについて算出した座標値とを用いて、複数の仮想的な視点それぞれからロボットシステムＲＢ１を見たときの複数の視点画像を生成する。生成された複数の視点画像は、自由視点画像を構成する。プロセッサー８５は、生成した視点画像と、複数の画像ＩＭ１０とを含む、自由視点画像を表すデータをメモリー８１に格納する。

【0049】

ステップＳ２０３において、プロセッサー８５は、自由視点画像を表すデータを用いて、ロボットシステムＲＢ１をあらかじめ設定された初期視点から見た場合の視点画像を表示装置８４に表示する。このようにして、生成された自由視点画像がユーザーに提示される。

【0050】

ステップＳ２０４において、プロセッサー８５は、ユーザーから視点の切り換えについての指示を受けたか否かを判定する。ユーザーは、ロボットシステムＲＢ１の所望の部位を所望の視点で見た場合の画像を表示装置８４に表示することを指示するため、入力装置８３を用いて視点の切り換え操作を行うことができる。

【0051】

図７は、視点の切り換えの指示についての説明図である。例えば、ステップＳ２０３において、プロセッサー８５は、図７の上部に示すように、マニピュレーター９１の手先部分の視点画像と、ロール、ピッチ、ヨーそれぞれの回転を調整するためのボタンの画像とを表示装置８４に表示する。ユーザーは、入力装置８３を用いてボタンを操作し、所望の視点から見た場合のロボットシステムＲＢ１を表示装置８４に表示させることができる。例えば、ロールは、ロボットシステムＲＢ１に設定されているロボット座標系におけるＹ軸まわりの回転である。ピッチは、ロボットシステムＲＢ１に設定されているロボット座標系におけるＸ軸まわりの回転である。ヨーは、ロボットシステムＲＢ１に設定されているロボット座標系におけるＺ軸まわりの回転である。

【0052】

図６に示すように、ステップＳ２０４において、プロセッサー８５は、ユーザーから視点の切り換えについての指示を受けると（ステップＳ２０４；ＹＥＳ）、ステップＳ２０５の処理を実行する。プロセッサー８５は、ユーザーから視点の切り換えについての指示がない場合（ステップＳ２０４；ＮＯ）、ステップＳ２０６の処理を実行する。

【0053】

ステップＳ２０５において、プロセッサー８５は、ユーザーが所望する部位を所望の視点で見た場合の視点画像を表示装置８４に表示する。例えば、ユーザーの視点の切り換えについての指示に応じて、プロセッサー８５は、図７の下部に示すような画像を表示装置８４に表示する。

【0054】

図６に示す、ステップＳ２０６において、プロセッサー８５は、ユーザーから拡大表示についての指示を受けたか否かを判定する。ユーザーは、ロボットシステムＲＢ１を拡大して撮像した画像を表示装置８４に表示することを、入力装置８３を用いて指示することができる。

【0055】

図８は、拡大表示の指示についての説明図である。例えば、ステップＳ２０３において、プロセッサー８５は、図８の上部に示すように、マニピュレーター９１の手先部分の画像と、選択可能な視点方向を示す番号とを重ね合わせた画像を表示装置８４に表示する。ユーザーは、入力装置８３を用いて所望の視点方向を示す番号を選択することができる。

【0056】

図６に示すように、ステップＳ２０６において、プロセッサー８５は、ユーザーから拡大表示についての指示を受けると（ステップＳ２０６；ＹＥＳ）、ステップＳ２０７の処理を実行する。プロセッサー８５は、ユーザーから拡大表示についての指示がない場合（ステップＳ２０６；ＮＯ）、ステップＳ２０８の処理を実行する。

【0057】

ステップＳ２０７において、プロセッサー８５は、マニピュレーター９１の所望の部位を所望の視点で拡大して撮像した画像を表示装置８４に表示する。まず、プロセッサー８５は、ロボットコントローラー５０を介してマニピュレーター２０を駆動することにより、マニピュレーター９１を指定された視点で指定された部位を撮像できる位置および姿勢に、撮像装置３０を配置する。その後、プロセッサー８５は、撮像装置３０にマニピュレーター９１を撮像させる。このとき、プロセッサー８５は、自由視点画像を生成するために用いられた画像ＩＭ１０を撮像したときよりも、撮像装置３０のズーム倍率を高くするように撮像装置３０を制御する。あるいは、プロセッサー８５は、自由視点画像を生成するために用いられた画像ＩＭ１０を撮像したときよりも、撮像装置３０とマニピュレーター９１との距離が近くなるようにマニピュレーター２０を制御してもよい。その後、プロセッサー８５は、撮像装置３０により撮像された画像を表示装置８４に表示する。拡大して撮像された画像を拡大撮像画像ともよぶ。例えば、図８の上部のような画像が表示装置８４に表示されているときに、ユーザーが所望の視点方向として「０８」番が選択したとする。この場合、図８の下部に示すような画像が撮像装置３０により撮像され、表示装置８４に表示される。

【0058】

よって、ユーザーは、自由視点画像に基づいて監視対象の所望の部位および所望の視点を決定した上で、監視対象であるマニピュレーター９１の所望の部位を所望の視点で拡大して見た場合の画像を視認できる。ユーザーは、ロボットコントローラー９３を介してマニピュレーター９１の動作を再開させる。ユーザーは、拡大された状態で撮像されているマニピュレーター９１を確認しながら、マニピュレーター９１の動作についての指令をロボットコントローラー９３に対して逐次出すことにより、マニピュレーター９１にワークＷＫ２をワークＷＫ１に形成された穴に差し込む動作を行わせる。ユーザーは、必要に応じた回数だけ、自由視点画像における視点の切り換えについての指示と、拡大表示についての指示と、を監視装置８０に出す。これにより、撮像装置３０のマニピュレーター９１に対する相対位置が、直前に実行された撮像時における撮像装置３０のマニピュレーター９１に対する相対位置から変更される。

【0059】

ステップＳ２０８において、プロセッサー８５は、処理を継続するか否かを判定する。例えば、プロセッサー８５は、ユーザーの操作により処理を停止する指示を示す情報が入力されるまで図６に示す処理を継続すると判定する。プロセッサー８５は、ユーザーの操作により処理を停止する指示を示す情報が入力された場合に図６に示す処理を終了すると判定する。処理を継続する場合（ステップＳ２０８；ＹＥＳ）、プロセッサー８５は、再びステップＳ２０４の処理を実行する。処理を継続しない場合（ステップＳ２０８；ＮＯ）、プロセッサー８５は、図６に示す処理を終了する。

【0060】

以上説明したように、実施形態においては、多数のカメラを使用することなく、自由視点画像を生成するための、異なる視点から対象物を撮像した複数の撮像画像を得ることができる。よって、多数のカメラを使用することなく、自由視点画像を生成することができる。多数のカメラを用意する態様によれば、個々のカメラの姿勢の調節に加えてメンテナンスも必要となるが、実施形態においては、多数のカメラについての調節、メンテナンス等の手間が不要である。

【0061】

さらに、６軸ロボットであるマニピュレーター２０を備える自律移動ロボット１０が監視対象の周囲を移動して対象物を撮像することができるので、所望の視点で監視対象を撮像することが容易である。また、ユーザーが遠隔地にいる場合であっても、ユーザーは、自由視点画像に基づいて監視対象の所望の部位および所望の視点を決定した上で、監視対象の所望の部位を所望の視点で拡大された状態で視認できる。また、複数のロボットシステムが監視対象である場合であっても、自律移動ロボット１０がそれぞれのロボットシステムの配置位置に移動できるので、ユーザーは、それぞれのロボットシステムを遠隔地から監視できる。

【0062】

Ｂ．他の実施形態：
Ｂ１．他の実施形態１
また、撮像装置３０が撮像できる範囲が限定されてもよい。具体的には、撮像装置３０はマニピュレーター９１を含む限定された範囲だけを撮像する。例えば、自律移動ロボット１０が走行可能な範囲をあらかじめ設定された範囲に限定することにより、撮像装置３０がマニピュレーター９１を含む限定された範囲だけを撮像するような制御が行われてもよい。あるいは、自律移動ロボット１０があらかじめ設定された範囲内に位置しているときだけ、撮像装置３０の撮像の機能が有効にされるような制御が行われてもよい。よって、撮像装置３０は限定された範囲以外の範囲を撮像しない。これにより、監視対象であるロボットシステムＲＢ１が配置されている工場、施設等において、視認されることが好ましくない設備、情報等をユーザーに視認させない。よって、例えば、営業秘密にかかる設備、情報等が遠隔地から視認されることを防止できる。

【0063】

Ｂ２．他の実施形態２
実施形態においては、撮像装置３０が取り付けられたマニピュレーター２０が、自律移動ロボット１０により監視対象の周囲を移動可能である例を説明した。しかしながら、マニピュレーター２０は、車両４０に支持されておらず、監視対象の周囲を移動できなくてもよい。この場合であっても、マニピュレーター２０を、ロボットシステムＲＢ１の近傍であって、マニピュレーター９１を撮像することができる位置に配置することで、自由視点画像を生成するための画像を取得することができる。

【0064】

実施形態においては、監視装置８０が、ロボットシステムＲＢ１および自律移動ロボット１０が配置されている工場とは異なる他の施設に設置されており、ユーザーが遠隔でロボットシステムＲＢ１を監視、制御する例を説明した。しかしながら、ロボットシステムＲＢ１は、遠隔から制御されなくてもよい。この場合、監視装置８０は、ロボットシステムＲＢ１および自律移動ロボット１０が配置されている工場に設置される。例えば、複数のロボットシステムが監視対象である場合、ユーザーは、監視装置８０を使用して、複数のロボットシステムを監視、制御を行うことができる。

【0065】

実施形態においては、１つの撮像装置３０がマニピュレーター２０に取り付けられている例を説明したが、２つ以上の撮像装置がマニピュレーター２０に取り付けられていてもよい。

【0066】

また、自律移動ロボット１０が備えるマニピュレーター２０が有する関節の数は６つに限られない。また、実施形態のマニピュレーター２０は垂直多関節ロボットであったが、マニピュレーター２０は水平多関節ロボットであってもよい。

【0067】

監視装置８０の機能を実現する手段は、ソフトウェアに限られず、その一部または全部を、専用のハードウェアによって実現してもよい。例えば、専用のハードウェアとして、ＦＰＧＡ（Field Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit）に代表される回路を使用してもよい。

【0068】

Ｃ．他の形態：
本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替え、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【0069】

（１）本開示の第１形態によれば、自由視点画像を生成するための対象物の画像の生成方法が提供される。この画像の生成方法は、（ａ）撮像装置が取り付けられた多関節ロボットを準備するステップと、（ｂ）前記撮像装置が対象物を撮像することにより撮像画像を取得するステップと、（ｃ）前記多関節ロボットを制御して、前記撮像装置の前記対象物に対する相対位置を、直前に実行された前記ステップ（ｂ）における相対位置から変えるステップと、（ｄ）前記ステップ（ｂ）と前記ステップ（ｃ）とを繰り返すステップと、を含む。
上記形態によれば、多数のカメラを使用することなく、自由視点画像を生成するための、異なる視点から対象物を撮像した複数の撮像画像が得られる。

【0070】

（２）上記形態において、前記ステップ（ａ）は、（ａ１）移動体に搭載された前記多関節ロボットであって、前記対象物の周囲を移動可能な自律走行搬送ロボットを準備するステップ、を含み、前記ステップ（ｃ）は、（ｃ１）前記自律走行搬送ロボットを移動させることにより、前記撮像装置の前記対象物に対する前記相対位置を、直前に実行された前記ステップ（ｂ）における相対位置から変えるステップを含んでもよい。
この形態によれば、多関節ロボットが対象物の周囲を移動して対象物を撮像することができるので、所望の視点で対象物を撮像することが容易である。

【0071】

（３）本開示の第２形態によれば、上記形態の画像の生成方法により生成された画像を用いて自由視点画像を生成する自由視点画像の生成方法が提供される。この自由視点画像の生成方法は、（ｅ）複数の前記撮像画像を用いて、所望の仮想的な視点から見たときの前記対象物の画像を表すことができる自由視点画像を表すデータを生成するステップ、を含む。
この形態によれば、多数のカメラを使用することなく、自由視点画像を生成することができる。

【0072】

（４）本開示の第３形態によれば、上記形態の自由視点画像の生成方法により生成された自由視点画像を用いた画像の提供方法が提供される。この提供方法は、（ｆ）前記ステップ（ｅ）が実行されることにより生成された前記自由視点画像をユーザーに提示するステップと、（ｇ）前記対象物における所望の部位と所望の視点とについての指示を前記ユーザーから受け付けるステップと、（ｈ）前記多関節ロボットを制御して、前記撮像装置の前記対象物に対する前記相対位置を、指示された前記所望の部位を指示された前記所望の視点で撮像できる相対位置に変えるステップと、（ｉ）前記撮像装置が前記所望の部位を拡大して撮像することにより拡大撮像画像を取得するステップと、（ｊ）前記拡大撮像画像を表示するステップと、を含む。
上記形態によれば、ユーザーは、自由視点画像に基づいて、対象物の所望の部位および所望の視点を決定した上で、対象物の所望の部位を所望の視点で拡大された状態で視認できる。

【0073】

（５）上記形態において、前記ステップ（ａ）は、（ａ２）前記撮像装置が取り付けられ、遠隔地にあるコンピューターと通信可能な前記多関節ロボットを準備するステップ、を含み、前記ステップ（ｇ）は、（ｇ１）前記コンピューターを介して前記遠隔地にいる前記ユーザーから、前記対象物における前記所望の部位と前記所望の視点とについての前記指示を受け付けるステップ、を含んでもよい。
この形態によれば、遠隔地にいるユーザーが対象物の所望の部位を所望の視点で拡大された状態で視認できる。

【0074】

（６）上記形態において、前記ステップ（ｂ）は、（ｂ１）前記撮像装置が、前記対象物を含む限定された範囲以外の範囲を撮像することなく、前記対象物を含む前記限定された範囲を撮像することにより、前記撮像画像を取得するステップ、を含み、前記提供方法は、前記限定された範囲以外の範囲を撮像するステップ、を含まなくてもよい。
この形態によれば、撮像装置が撮像できる範囲が限定される。例えば、多関節ロボットが配置されている工場、施設等において、撮像装置が撮像できる範囲に、視認されることが好ましくない設備、情報等が含まれないように設定する。これにより、視認されることが好ましくない設備、情報等を遠隔地にいるユーザーに視認させない。よって、例えば、営業秘密にかかる設備、情報等が遠隔地から視認されることを防止できる。

【符号の説明】

【0075】

１…遠隔操作支援システム、１０…自律移動ロボット、２０…マニピュレーター、２１…基台、２１ａ…筐体、２２…アーム、３０…撮像装置、３１…メモリー、３２…通信部、３３…撮像部、４０…車両、４１…駆動部、４２…車両制御部、４５…メモリー、４６…通信部、４７…検知部、４８…プロセッサー、５０…ロボットコントローラー、５１…メモリー、５２…通信部、５３…プロセッサー、８０…監視装置、８１…メモリー、８２…通信部、８３…入力装置、８４…表示装置、８５…プロセッサー、９１…マニピュレーター、９２…エンドエフェクター、９３…ロボットコントローラー、９４…作業台、８１０…画像生成部、８２０…視点切換部、ＤＷ…駆動輪、ＦＷ１，ＦＷ２…従動輪、ＩＭ１０…画像、ＮＷ…ネットワーク、ＰＩ…動作経路、ＲＢ１…ロボットシステム、ＲＣ…ロボット座標系、Ｓ１…センサー情報、ＷＫ１，ＷＫ２…ワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】