特許 7547994 撮影システム、その撮影方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-02

(45)【発行日】2024-09-10

(54)【発明の名称】撮影システム、その撮影方法及びプログラム

(51)【国際特許分類】

   H04N 5/222 20060101AFI20240903BHJP

   H04N 23/70 20230101ALI20240903BHJP

   B25J 13/08 20060101ALI20240903BHJP

   G16Y 20/10 20200101ALI20240903BHJP

   G16Y 40/30 20200101ALI20240903BHJP

【ＦＩ】

H04N5/222

H04N23/70

B25J13/08 A

G16Y20/10

G16Y40/30

【請求項の数】 7

(21)【出願番号】P 2020212177

(22)【出願日】2020-12-22

(65)【公開番号】P2022098658

(43)【公開日】2022-07-04

【審査請求日】2023-07-18

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】森 健光

【審査官】門田 宏

(56)【参考文献】

【文献】特開２００３－２９８９３６（ＪＰ，Ａ）

【文献】特開２０２０－００４１８２（ＪＰ，Ａ）

【文献】特開２０１９－０４６１５９（ＪＰ，Ａ）

【文献】特開２０１１－２２３１７３（ＪＰ，Ａ）

【文献】特開２０１６－０１９０９２（ＪＰ，Ａ）

【文献】特開平１１－１９６３２９（ＪＰ，Ａ）

【文献】国際公開第２０１７／０２９９８２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－ ５／２５７

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０ －２３／７６

Ｈ０４Ｎ ２３／９０ －２３／９５９

Ｈ０４Ｎ ７／１８

Ｂ２５Ｊ １／００ －２１／０２

Ｇ１６Ｙ １０／００ －４０／６０

Ｈ０４Ｎ ５／２６２－ ５／２８

Ｇ０５Ｄ １／００ － １／８７

(57)【特許請求の範囲】

【請求項1】

対象物を表示する表示部を有すると共に、遠隔的に操作される遠隔操作型ロボットと、
前記遠隔操作型ロボットの撮影を行う第１撮像手段と、
前記第１撮像手段の撮影範囲に前記遠隔操作型ロボットの表示部が含まれる場合、前記第１撮像手段が撮影した撮影画像における該表示部の対象物の画像がより鮮明となるように、前記第１撮像手段により撮影された撮影画像における前記表示部の対象物の画像を別の画像に置き換える、前記遠隔操作型ロボットが有する前記対象物を表示する前記表示部の画像を調整する、前記遠隔操作型ロボットが有する前記対象物を表示する前記表示部の位置を変更する、及び、前記遠隔操作型ロボットが有する前記対象物を表示する前記表示部の姿勢を変更する、のうちの少なくとも１つを実行する画像制御手段と、
を備える、撮影システム。

【請求項2】

請求項１記載の撮影システムであって、
前記第１撮像手段により撮影された表示部の対象物の画像に基づいて、該対象物の画像の画質の良否を判定する判定手段を更に備え、
前記画像制御手段は、前記判定手段により、前記対象物の画像の画質が良くないと判定された場合に、前記第１撮像手段により撮影された前記表示部の対象物の画像を別の画像に置き換える、前記表示部の画像を調整する、前記表示部の位置を変更する、及び、前記表示部の姿勢を変更する、のうちの少なくとも１つを実行する、
撮影システム。

【請求項3】

請求項２記載の撮影システムであって、
前記画像制御手段は、前記判定手段により、前記対象物の画像の画質が良くないと判定された場合に、前記第１撮像手段により撮影された前記表示部の対象物の画像を、予め記憶手段に記憶されている対象物の画像に置き換える、
撮影システム。

【請求項4】

請求項２記載の撮影システムであって、
前記対象物を撮影する第２撮像手段を更に備え、
前記画像制御手段は、前記判定手段により、前記対象物の画像の画質が良くないと判定された場合に、前記第１撮像手段により撮影された前記表示部の対象物の画像を、前記第２撮像手段により撮影された対象物の画像、に置き換える、
撮影システム。

【請求項5】

請求項２乃至４のうちのいずれか１項記載の撮影システムであって、
前記判定手段は、前記第１撮像手段により撮影された表示部の対象物の画像に基づいて、該対象物の画像の画質の良否を判定すると共に、該画像の状態を判定し、
前記画像制御手段は、前記判定手段により、前記対象物の画像の画質が良くないと判定され、該対象物の画像の輝度が第１所定値以下で暗いと判定された場合に、該対象物の画像の輝度が第１所定値よりも大きくなるように前記表示部の輝度を制御し、該対象物の画像の輝度が第２所定値以上で明るいと判定された場合に、該対象物の画像の輝度が第２所定値よりも小さくなるように前記表示部の輝度を制御する、
撮影システム。

【請求項6】

対象物を表示する表示部を有すると共に、遠隔的に操作される遠隔操作型ロボットと、
前記遠隔操作型ロボットの撮影を行う第１撮像手段と、を備える撮影システムの撮影方法であって、
前記第１撮像手段の撮影範囲に前記遠隔操作型ロボットの表示部が含まれる場合、前記第１撮像手段が撮影した撮影画像における該表示部の対象物の画像がより鮮明となるように、前記第１撮像手段により撮影された撮影画像における前記表示部の対象物の画像を別の画像に置き換える、前記遠隔操作型ロボットが有する前記対象物を表示する前記表示部の画像を調整する、前記遠隔操作型ロボットが有する前記対象物を表示する前記表示部の位置を変更する、及び、前記遠隔操作型ロボットが有する前記対象物を表示する前記表示部の姿勢を変更する、のうちの少なくとも１つを実行する、
撮影システムの撮影方法。

【請求項7】

対象物を表示する表示部を有すると共に、遠隔的に操作される遠隔操作型ロボットと、
前記遠隔操作型ロボットの撮影を行う第１撮像手段と、を備える撮影システムのプログラムであって、
前記第１撮像手段の撮影範囲に前記遠隔操作型ロボットの表示部が含まれる場合、前記第１撮像手段が撮影した撮影画像における該表示部の対象物の画像がより鮮明となるように、前記第１撮像手段により撮影された撮影画像における前記表示部の対象物の画像を別の画像に置き換える、前記遠隔操作型ロボットが有する前記対象物を表示する前記表示部の画像を調整する、前記遠隔操作型ロボットが有する前記対象物を表示する前記表示部の位置を変更する、及び、前記遠隔操作型ロボットが有する前記対象物を表示する前記表示部の姿勢を変更する、のうちの少なくとも１つを実行する処理をコンピュータに実行させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔操作型ロボットの撮影を行う撮影システム、その撮影方法及びプログラムに関する。

【背景技術】

【0002】

対象物を表示する表示部を有すると共に、遠隔的に操作される遠隔操作型ロボットと、 遠隔操作型ロボットの撮影を行う撮像手段と、を備える撮影システムが知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第０６３５２２１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記撮影システムにおいては、遠隔操作型ロボットの表示部の画像が、例えば、暗過ぎるあるいは明る過ぎるなどの画質が悪い場合に、表示部に表示された対象物を撮像手段により撮影するのが困難となる虞がある。

【0005】

本発明は、かかる課題を解決するためになされたものであり、遠隔操作型ロボットの表示部に表示された対象物を良好に撮影できる撮影システム、その撮影方法及びプログラムを提供することを主たる目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するための本発明の一態様は、
対象物を表示する表示部を有すると共に、遠隔的に操作される遠隔操作型ロボットと、
前記遠隔操作型ロボットの撮影を行う第１撮像手段と、
前記第１撮像手段の撮影範囲に前記遠隔操作型ロボットの表示部が含まれる場合、該表示部の対象物の画像がより鮮明となるように、前記第１撮像手段のより撮影された前記表示部の対象物の画像を別の画像に置き換える、前記表示部の画像を調整する、前記表示部の位置を変更する、及び、前記表示部の姿勢を変更する、のうちの少なくとも１つを実行する画像制御手段と、
を備える、撮影システム
である。
この一態様において、前記第１撮像手段により撮影された表示部の対象物の画像に基づいて、該対象物の画像の画質の良否を判定する判定手段を更に備え、前記画像制御手段は、前記判定手段により、前記対象物の画像の画質が良くないと判定された場合に、前記第１撮像手段のより撮影された前記表示部の対象物の画像を別の画像に置き換える、前記表示部の画像を調整する、前記表示部の位置を変更する、及び、前記表示部の姿勢を変更する、のうちの少なくとも１つを実行してもよい。
この一態様において、前記画像制御手段は、前記判定手段により、前記対象物の画像の画質が良くないと判定された場合に、前記第１撮像手段により撮影された前記表示部の対象物の画像を、予め記憶手段に記憶されている対象物の画像に置き換えてもよい。
この一態様において、前記対象物を撮影する第２撮像手段を更に備え、前記画像制御手段は、前記判定手段により、前記対象物の画像の画質が良くないと判定された場合に、前記第１撮像手段により撮影された前記表示部の対象物の画像を、前記第２撮像手段により撮影された対象物の画像、に置き換えてもよい。
この一態様において、前記判定手段は、前記第１撮像手段により撮影された表示部の対象物の画像に基づいて、該対象物の画像の画質の良否を判定すると共に、該画像の状態を判定し、前記画像制御手段は、前記判定手段により、前記対象物の画像の画質が良くないと判定され、該対象物の画像の輝度が第１所定値以下で暗いと判定された場合に、該対象物の画像の輝度が第１所定値よりも大きくなるように前記表示部の輝度を制御し、該対象物の画像の輝度が第２所定値以上で明るいと判定された場合に、該対象物の画像の輝度が第２所定値よりも小さくなるように前記表示部の輝度を制御してもよい。
上記目的を達成するための本発明の一態様は、
対象物を表示する表示部を有すると共に、遠隔的に操作される遠隔操作型ロボットと、
前記遠隔操作型ロボットの撮影を行う第１撮像手段と、を備える撮影システムの撮影方法であって、
前記第１撮像手段の撮影範囲に前記遠隔操作型ロボットの表示部が含まれる場合、該表示部の対象物の画像がより鮮明となるように、前記第１撮像手段のより撮影された前記表示部の対象物の画像を別の画像に置き換える、前記表示部の画像を調整する、前記表示部の位置を変更する、及び、前記表示部の姿勢を変更する、のうちの少なくとも１つを実行する、
撮影システムの撮影方法
であってもよい。
上記目的を達成するための本発明の一態様は、
対象物を表示する表示部を有すると共に、遠隔的に操作される遠隔操作型ロボットと、
前記遠隔操作型ロボットの撮影を行う第１撮像手段と、を備える撮影システムのプログラムであって、
前記第１撮像手段の撮影範囲に前記遠隔操作型ロボットの表示部が含まれる場合、該表示部の対象物の画像がより鮮明となるように、前記第１撮像手段のより撮影された前記表示部の対象物の画像を別の画像に置き換える、前記表示部の画像を調整する、前記表示部の位置を変更する、及び、前記表示部の姿勢を変更する、のうちの少なくとも１つを実行する処理をコンピュータに実行させる、
プログラム
であってもよい。

【発明の効果】

【0007】

本発明によれば、遠隔操作型ロボットの表示部に表示された対象物を良好に撮影できる撮影システム、その撮影方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0008】

【図1】本実施形態に係る撮影システムの概略的なシステム構成を示すブロック図である。

【図2】テレプレゼンスロボットとユーザとの撮影を示す図である。

【図3】本実施形態に係るサーバの概略的なシステム構成を示すブロック図である。

【図4】本実施形態に係る撮影方法のフローを示すフローチャートである。

【図5】本実施形態に係る撮影システムの別のシステム構成を示すブロック図である。

【図6】本実施形態に係る撮影システムの概略的なシステム構成を示すブロック図である。

【図7】本実施形態に係る撮影方法のフローを示すフローチャートである。

【図8】本実施形態に係る撮影システムの別のシステム構成を示すブロック図である。

【発明を実施するための形態】

【0009】

実施形態１
以下、図面を参照して本発明の実施形態について説明する。図１は、本実施形態に係る撮影システムの概略的なシステム構成を示すブロック図である。本実施形態に係る撮影システム１は、遠隔操作型ロボット２と、遠隔操作装置３と、第１カメラ４と、サーバ５と、を備えている。

【0010】

遠隔操作型ロボット２、遠隔操作装置３、第１カメラ４、及び、サーバ５は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などの通信ネットワーク６を介して、相互に通信接続されていてもよい。

【0011】

遠隔操作型ロボット２は、対象物を表示する表示部２１を有すると共に、遠隔的に操作される。表示部２１は、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイなどで構成されている。表示部２１は、遠隔操作型ロボット２の頭部や胴体部などに設けられている。表示部２１は、遠隔操作型ロボット２の操作を行う遠隔操作者の画像、キャラクタ、文字、記号などの対象物を表示する。

【0012】

遠隔操作型ロボット２は、遠隔操作装置３から送信される操作信号に応じて、移動、動作、対話などを行うことができる。遠隔操作型ロボット２は、ヒューマノイドロボット、多関節ロボット、テレプレゼンスロボットなどとして構成されてもよい。

【0013】

遠隔操作装置３は、サーバ５を介して遠隔操作型ロボット２に操作信号を送信することで、遠隔操作型ロボット２を遠隔的に操作する。遠隔操作装置３は、表示部、スイッチ、タッチパネル、通信部などを有するタブレット端末、スマートフォン、パーソナルコンピュータなどの端末装置として構成されている。

【0014】

遠隔操作者は、遠隔操作型ロボット２に動作などを指示するための指示情報を遠隔操作装置３に入力する。遠隔操作装置３は、その指示情報に応じた操作信号を生成し、生成した操作信号を、サーバ５を介して、遠隔操作型ロボット２に送信する。なお、サーバ５は、遠隔操作装置３から送信される指示情報に基づいて操作信号を生成し、生成した操作信号を遠隔操作型ロボット２に送信してもよい。

【0015】

遠隔操作装置３は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉｆｉ（登録商標）、無線ＬＡＮ（Local Area Network）などの無線通信を用いて、操作信号をサーバ５に送信する。サーバ５は、遠隔操作装置３からの操作信号を、無線通信を用いて遠隔操作型ロボット２に送信する。

【0016】

第１カメラ４は、第１撮像手段の一具体例である。第１カメラ４は、遠隔操作型ロボット２の撮影を行う。第１カメラ４は、遠隔操作型ロボット２の動画像や静止画像を撮影することができる。第１カメラ４の撮影範囲は、遠隔操作型ロボット２の表示部２１を含む。例えば、図２に示す如く、第１カメラ４は、表示部２１に遠隔操作者の画像が表示されたテレプレゼンスロボットと、ユーザとの記念撮影などを行うことができる。

【0017】

第１カメラ４は、例えば、遠隔操作型ロボット２が移動する環境内に設けられたカメラ、別のロボットに設けられたカメラ、遠隔操作型ロボット２の移動環境内にいるユーザが所持するカメラなどである。第１カメラ４は、無線通信を用いて、撮影した画像情報をサーバ５に送信する。

【0018】

サーバ５は、遠隔操作型ロボット２、遠隔操作装置３、及び第１カメラ４と通信を行う機能、第１カメラ４から送信された画像に対して画像処理を行う機能、遠隔操作装置３から送信される操作信号に基づいて、遠隔操作型ロボット２を遠隔的に制御する機能などを有している。

【0019】

サーバ５は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサ５ａと、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などの内部メモリ５ｂと、ＨＤＤ（Hard Disk Drive）やＳＤＤ（Solid State Drive）などのストレージデバイス５ｃと、ディスプレイなどの周辺機器を接続するための入出力Ｉ／Ｆ５ｄと、装置外部の機器と通信を行う通信Ｉ／Ｆ５ｅと、を備えた通常のコンピュータのハードウェア構成を有する。

【0020】

サーバ５は、例えば、プロセッサ５ａが内部メモリ５ｂを利用しながら、ストレージデバイス５ｃや内部メモリ５ｂなどに格納されたプログラムを実行することで、各機能を実現することができる。

【0021】

ところで、遠隔操作型ロボットの表示部の画像が、例えば、明る過ぎるあるいは暗過ぎる場合や、逆光あるいは光の反射などにより、明確に映らない場合に、表示部に表示された対象物を第１カメラにより撮影するのが困難となる虞がある。

【0022】

これに対し、本実施形態に係る撮影システム１は、第１カメラ４の撮影範囲に遠隔操作型ロボット２の表示部２１が含まれる場合、第１カメラ４のより撮影された表示部２１の対象物の画像がより鮮明となるように、その画像を別の画像に置き換える。撮影システム１は、第１カメラ４のより撮影された表示部２１の対象物の画像を別の鮮明な画像に置き換えることで、その表示部２１に表示された対象物を良好に撮影できる。

【0023】

図３は、本実施形態に係るサーバの概略的なシステム構成を示すブロック図である。本実施形態に係るサーバ５は、画像を記憶する記憶部５１と、第１カメラ４のより撮影された表示部２１の対象物の画像を記憶部５１に記憶された画像に置き換える画像制御部５２と、を有している。

【0024】

記憶部５１は、記憶手段の一具体例である。記憶部５１は、例えば、上記ストレージデバイス５ｃとして構成されている。記憶部５１は、予め対象物に対応付けられた鮮明な画像を記憶している。例えば、対象物が遠隔操作者である場合、記憶部５１は、遠隔操作者の上半身や顔の画像を記憶している。

【0025】

画像制御部５２は、第１カメラ４の撮影範囲に遠隔操作型ロボット２の表示部２１が含まれる場合、第１カメラ４のより撮影された表示部２１の対象物の画像を、記憶部５１に記憶された別の鮮明な画像に置き換える。画像制御部５２は、画像制御手段の一具体例である。

【0026】

第１カメラ４は、撮影した画像を、サーバ５を介して、遠隔操作装置３に送信している。遠隔操作者は、遠隔操作装置３に表示され遠隔操作型ロボット２の表示部２１の対象物の画像を確認することで、その表示部２１の対象物の画像が鮮明であるか否かを判断することができる。

【0027】

遠隔操作者は、例えば、遠隔操作型ロボット２の表示部２１の対象物の画像が、明る過ぎる、暗過ぎる、光を反射している、などの理由で、鮮明でないと判断した場合、その鮮明でない画像を置き換えるための操作を遠隔操作装置３に対して行う。

【0028】

遠隔操作者が、上述のような操作を行うと、遠隔操作装置３は、その操作に応じて、画像を置き換えるための置換信号をサーバ５に送信する。サーバ５の画像制御部５２は、遠隔操作装置３から送信される置換信号に応じて、第１カメラ４のより撮影された表示部２１の対象物の画像を、記憶部５１に記憶された別の鮮明な画像に置き換える。

【0029】

画像制御部５２は、第１カメラ４から送信された画像のうち、不鮮明な遠隔操作型ロボット２の表示部２１の対象物の画像のみを、記憶部５１に記憶された別の鮮明な画像に、部分的に置き換え、画像全体の合成処理を行う。画像制御部５２は、合成処理した鮮明な画像を、遠隔操作装置３、他の画像出力装置や記憶装置などに送信してもよい。

【0030】

続いて、本実施形態に係る撮影方法について、詳細に説明する。図４は、本実施形態に係る撮影方法のフローを示すフローチャートである。

【0031】

第１カメラ４は、遠隔操作型ロボット２の撮影を行い（ステップＳ１０１）、撮影した画像を、サーバ５を介して遠隔操作装置３に送信する。

【0032】

遠隔操作者は、遠隔操作装置３の表示部などで、第１カメラ４から送信された遠隔操作型ロボット２の表示部２１の対象物の画像が不鮮明であるか否かを確認する（ステップＳ１０２）。

【0033】

遠隔操作者は、遠隔操作型ロボット２の表示部２１の対象物の画像が鮮明でないと判断した場合（ステップＳ１０３）、その鮮明でない画像を置き換えるための操作を遠隔操作装置３に対して行う（ステップＳ１０４）。遠隔操作装置３は、その操作に応じて、画像を置き換えるための置換信号をサーバ５に送信する。一方で、遠隔操作者は、遠隔操作型ロボット２の表示部２１の対象物の画像が鮮明であると判断した場合（ステップＳ１０５）、本処理を終了する。

【0034】

サーバ５の画像制御部５２は、遠隔操作装置３から送信される置換信号に応じて、第１カメラ４のより撮影された表示部２１の対象物の画像を、記憶部５１に記憶された別の鮮明な画像に置き換える（ステップＳ１０６）。

【0035】

本実施形態に係る撮影システム１は、図５に示す如く、遠隔操作者を撮影する第２カメラ７を更に備えていてもよい。第２カメラ７は第２撮像手段の一具体例である。第２カメラは、例えば、遠隔操作装置３に設けられている。

【0036】

サーバ５の画像制御部５２は、遠隔操作装置３から送信される置換信号に応じて、第１カメラ４のより撮影された表示部２１の対象物の画像を、第２カメラ７により撮影された遠隔操作者の画像、に置き換える。このように、第１カメラ４のより撮影された表示部２１の対象物の画像を、第２カメラ７により撮影された鮮明な画像に置き換えることで、その表示部２１に表示された対象物を良好に撮影できる。

【0037】

以上、本実施形態に係る撮影システム１は、第１カメラ４の撮影範囲に遠隔操作型ロボット２の表示部２１が含まれる場合、第１カメラ４のより撮影された表示部２１の対象物の画像がより鮮明となるようにその画像を別の画像に置き換える。撮影システム１は、第１カメラ４のより撮影された表示部２１の対象物の画像を別の鮮明な画像に置き換えることで、その表示部２１に表示された対象物を良好に撮影できる。

【0038】

実施形態２
図６は、本実施形態に係る撮影システムの概略的なシステム構成を示すブロック図である。本実施形態に係るサーバ５０は、第１カメラ４により撮影された遠隔操作型ロボット２の表示部２１の対象物の画像に基づいて、該対象物の画像の画質の良否を判定する画質判定部５３を更に備えている。

【0039】

画像制御部５２は、画質判定部５３により、対象物の画像の画質が良くないと判定された場合に、第１カメラ４のより撮影された遠隔操作型ロボット２の表示部２１の対象物の画像を別の画像に置き換える。

【0040】

画質判定部５３は、判定手段の一具体例である。第１カメラ４は、撮影した画像を、サーバ５０に送信する。サーバ５０の画質判定部５３は、第１カメラ４から送信される画像の明るさ、暗さ、コントラストなどに基づいて、遠隔操作型ロボット２の表示部２１の対象物の画像が鮮明であるか否かを判断してもよい。

【0041】

例えば、画質判定部５３は、学習器を用いて、遠隔操作型ロボット２の表示部２１の対象物の画像が鮮明であるか否かを判断してもよい。学習器は、顔などの対象物の画像を予め学習する。学習器は、入力画像に対して、その入力画像が対象物であるか否かを示す出力信号を出力する。

【0042】

画質判定部５３は、第１カメラ４から送信される対象物の画像を上記学習済みの学習器に入力し、その入力画像が対象物であることを示す出力信号を出力することで、対象物の画像を正しく認識できた場合に、遠隔操作型ロボット２の表示部２１の対象物の画像が鮮明であると判断してもよい。

【0043】

学習器は、例えば、ＲＮＮ（Recurrent neural Network）などのニューラルネットワークで構成されている。このＲＮＮは、中間層にＬＳＴＭ（Long Short Term Memory）を有していてもよい。学習器は、ニューラルネットワークの代わりに、ＳＶＭ（Support Vector Machine）などの他の学習器で構成されてもよい。

【0044】

また、画質判定部５３は、例えば、遠隔操作型ロボット２の表示部２１の対象物の画像の画素値の標準偏差に基づいて、逆光や光の反射などによりその表示部２１の対象物の画像が鮮明でないとの判定を行っても良い。

【0045】

画質判定部５３は、遠隔操作型ロボット２の表示部２１の対象物の画像が鮮明でないと判定した場合、その不鮮明さを示す不鮮明信号を画像制御部５２に送信する。画像制御部５２は、画質判定部５３から送信される不鮮明信号に応じて、第１カメラ４のより撮影された遠隔操作型ロボット２の表示部２１の対象物の画像を、記憶部５１に記憶された別の鮮明な画像に置き換える。

【0046】

なお、本実施形態において、画質判定部５３はサーバ５０に設けられる構成であるが、これに限定されない。画質判定部５３は、遠隔操作型ロボット２、遠隔操作装置３、第１カメラ４、あるいは、別のサーバに設けられる構成であってもよい。本実施形態において、上記実施形態と同一部分には同一符号を付して詳細な説明は省略する。

【0047】

実施形態３
本実施形態において、画像制御部５２は、第１カメラ４の撮影範囲に遠隔操作型ロボットの表示部２１が含まれる場合、第１カメラ４のより撮影された表示部２１の対象物の画像がより鮮明となるように、その画像を調整する。このように、画像制御部５２は、第１カメラ４のより撮影された表示部２１の対象物の画像を鮮明となるように調整することで、その表示部２１に表示された対象物を良好に撮影できる。

【0048】

例えば、遠隔操作者は、遠隔操作型ロボット２の表示部２１の対象物の画像が、明る過ぎる、暗過ぎる、光を反射している、などの理由で、鮮明でないと判断した場合、その鮮明でない画像を調整するための調整操作を遠隔操作装置３に対して行う。

【0049】

遠隔操作者が、上述のような調整操作を行うと、遠隔操作装置３は、その調整操作に応じて、画像を調整するための調整信号をサーバ５に送信する。サーバ５の画像制御部５２は、遠隔操作装置３から送信される調整信号に応じて、第１カメラ４のより撮影された表示部２１の対象物の画像がより鮮明となるように、その画像を調整する。

【0050】

画像制御部５２は、第１カメラ４のより撮影された表示部２１の対象物の画像がより鮮明となるように、その画像を自動的に調整してもよい。

【0051】

画質判定部５３は、第１カメラ４により撮影された表示部２１の対象物の画像に基づいて、対象物の画像の画質の良否を判定すると共に、その画像が明過ぎる、暗過ぎる、光を反射している、などの画像の状態を判定してもよい。

【0052】

例えば、画質判定部５３は、遠隔操作型ロボット２の表示部２１に表示された対象物の画像の輝度が第１所定値以下で暗過ぎると判定する。この場合、画像制御部５２は、画質判定部５３によるその判定結果に応じて、遠隔操作型ロボット２の表示部２１に表示された対象物の画像の輝度を第１所定値よりも大きく設定し直し、その画像がより鮮明となるように表示部２１の輝度を制御する。

【0053】

画質判定部５３は、遠隔操作型ロボット２の表示部２１に表示された対象物の画像の輝度が第２所定値以上で明過ぎると判定する。この場合、画像制御部５２は、画質判定部５３によるその判定結果に応じて、遠隔操作型ロボット２の表示部２１に表示された対象物の画像の輝度を第２所定値よりも小さく設定し直し、その画像がより鮮明となるように表示部２１の輝度を制御する。

【0054】

画質判定部５３は、第１カメラ４により撮影された遠隔操作型ロボット２の表示部２１の対象物の画像に基づいて、対象物の画像が光を反射している、あるいは、逆光の状態にあると判定する。この場合、画像制御部５２は、画質判定部５３によるその判定結果に応じて、遠隔操作型ロボット２の表示部２１に表示された対象物の画像がより鮮明となるように、その表示部２１の画像の黒色あるいは白色の強弱を調整する。

【0055】

画質判定部５３は、第１カメラ４により撮影された遠隔操作型ロボット２の表示部２１の対象物の画像に基づいて、第１カメラ４の露光のタイミングによりその画像が不鮮明になっているか否かを判定する。この場合、画像制御部５２は、画質判定部５３によるその判定結果に応じて、遠隔操作型ロボット２の表示部２１に表示された対象物の画像がより鮮明となるように、その表示部２１の画像の走査タイミングを調整する。

【0056】

続いて、本実施形態に係る撮影方法について、詳細に説明する。図７は、本実施形態に係る撮影方法のフローを示すフローチャートである。

【0057】

第１カメラ４は、遠隔操作型ロボット２の撮影を行い（ステップＳ３０１）、撮影した画像を、サーバ５０に送信する。

【0058】

サーバ５０の画質判定部５３は、第１カメラ４により撮影された表示部２１の対象物の画像に基づいて、対象物の画像の画質の良否を判定すると共に、その画像が明過ぎる、暗過ぎる、光を反射している、などの画像の状態を判定する（ステップＳ３０２）。

【0059】

画質判定部５３は遠隔操作型ロボット２の表示部２１の対象物の画像が鮮明でないと判定する（ステップＳ３０３）。この場合、画像制御部５２は、画質判定部５３によるその判定結果に応じて、第１カメラ４のより撮影された表示部２１の対象物の画像がより鮮明となるように、その画像を調整する（ステップＳ３０４）。一方で、画質判定部５３は遠隔操作型ロボット２の表示部２１の対象物の画像が鮮明であると判定した場合（ステップＳ３０５）、本処理を終了する。なお、本実施形態において、上記実施形態と同一部分には同一符号を付して詳細な説明は省略する。

【0060】

実施形態４
本実施形態において、画像制御部５２は、第１カメラ４の撮影範囲に遠隔操作型ロボット２の表示部２１が含まれる場合、第１カメラ４のより撮影された表示部２１の対象物の画像がより鮮明となるように、表示部２１の位置や姿勢を変更する。このように、画像制御部５２は、第１カメラ４のより撮影された表示部２１の対象物の画像がより鮮明となるように表示部２１の位置や姿勢を調整することで、その表示部２１に表示された対象物を良好に撮影できる。

【0061】

例えば、画質判定部５３は、第１カメラ４により撮影された遠隔操作型ロボット２の表示部２１の対象物の画像に基づいて、対象物の画像が光を反射していると判定する。この場合、画像制御部５２は、画質判定部５３によるその判定結果に応じて、第１カメラ４のより撮影された表示部２１の対象物の画像がより鮮明となるように、表示部２１の位置や姿勢を変更する。

【0062】

画像制御部５２は、遠隔操作型ロボット２の移動を制御することで、表示部２１の位置を変更することができる。また、画像制御部５２は、遠隔操作型ロボット２の各関節を制御し、その姿勢を制御することで、表示部２１の姿勢を変更することができる。

【0063】

なお、表示部２１には、その姿勢を変更するためのサーボモータなどのアクチュエータが設けられていてもよい。画像制御部５２は、このアクチュエータを制御することで、表示部２１の姿勢を直接的に変更することができる。なお、本実施形態において、上記実施形態と同一部分には同一符号を付して詳細な説明は省略する。

【0064】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他のさまざまな形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0065】

上記実施形態において、撮影システムは、図８に示す如く、サーバ５を備えない構成であってもよい。この場合、画像制御部５２及び記憶部５１は、例えば、遠隔操作型ロボット２０に設けられる構成であってもよい。遠隔操作型ロボット２０と、遠隔操作装置３、及び、第１カメラ４は、直接的に無線通信を行ってもよく、ネットワークを介して無線通信を行ってもよい。

【0066】

本発明は、例えば、図４及び図７に示す処理を、プロセッサにコンピュータプログラムを実行させることにより実現することも可能である。

【0067】

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。

【0068】

プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0069】

上述した各実施形態に係る撮影システムを構成する各部は、プログラムにより実現するだけでなく、その一部または全部を、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）などの専用のハードウェアにより実現することもできる。

【符号の説明】

【0070】

１ 撮影システム、２ 遠隔操作型ロボット、３ 遠隔操作装置、４ 第１カメラ、５ サーバ、６ 通信ネットワーク、７ 第２カメラ、２０ 遠隔操作型ロボット、２１ 表示部、５０ サーバ、５１ 記憶部、５２ 画像制御部、５３ 画質判定部、５ａ プロセッサ、５ｂ 内部メモリ、５ｃ ストレージデバイス、５ｄ 入出力Ｉ／Ｆ、５ｅ 通信Ｉ／Ｆ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】