特許 7330926 撮影システムおよび遠隔操作システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-14

(45)【発行日】2023-08-22

(54)【発明の名称】撮影システムおよび遠隔操作システム

(51)【国際特許分類】

   H04N 23/66 20230101AFI20230815BHJP

   H04N 13/239 20180101ALI20230815BHJP

   H04N 13/194 20180101ALI20230815BHJP

   H04N 13/344 20180101ALI20230815BHJP

   H04N 7/18 20060101ALI20230815BHJP

   H04N 23/55 20230101ALI20230815BHJP

   H04N 23/69 20230101ALI20230815BHJP

   G03B 35/08 20210101ALI20230815BHJP

   G03B 35/18 20210101ALI20230815BHJP

【ＦＩ】

H04N23/66

H04N13/239

H04N13/194

H04N13/344

H04N7/18 J

H04N23/55

H04N23/69

G03B35/08

G03B35/18

【請求項の数】 2

(21)【出願番号】P 2020085101

(22)【出願日】2020-05-14

(65)【公開番号】P2021180415

(43)【公開日】2021-11-18

【審査請求日】2022-07-12

(73)【特許権者】

【識別番号】000206211

【氏名又は名称】大成建設株式会社

(74)【代理人】

【識別番号】110001807

【氏名又は名称】弁理士法人磯野国際特許商標事務所

(72)【発明者】

【氏名】木下 勇人

(72)【発明者】

【氏名】西田 与志雄

(72)【発明者】

【氏名】加藤 崇

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１８－１２１１９５（ＪＰ，Ａ）

【文献】特開２０１３－０９３０１３（ＪＰ，Ａ）

【文献】特開２０１１－２０５３５８（ＪＰ，Ａ）

【文献】特開平０８－１２５９４８（ＪＰ，Ａ）

【文献】韓国登録特許第１０－１４８５０７５（ＫＲ，Ｂ１）

【文献】特開２０１４－２３９８４１（ＪＰ，Ａ）

【文献】特開２００２－１２５１７６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６６

Ｈ０４Ｎ １３／２３９

Ｈ０４Ｎ １３／１９４

Ｈ０４Ｎ １３／３４４

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／５５

Ｈ０４Ｎ ２３／６９

Ｇ０３Ｂ ３５／０８

Ｇ０３Ｂ ３５／１８

(57)【特許請求の範囲】

【請求項1】

作業機械を遠隔操作するための映像を撮影する撮影システムであって、
前記作業機械の運転室に設けられるステレオカメラと、
前記ステレオカメラを遠隔操作するための第一遠隔操作装置と、を備え、
前記ステレオカメラは、魚眼レンズと、光学式ズーム機構とを有し、前記第一遠隔操作装置の操作に応じて前記光学式ズーム機構が動作し、
前記第一遠隔操作装置は、二つのフットペダルを有しており、
第一のフットペダルによってズームインおよびズームアウトを操作し、第二のフットペダルによってズームのスピードを調整する、
ことを特徴とする撮影システム。

【請求項2】

請求項１に記載の撮影システムと、
前記撮影システムによって撮影した映像を表示するヘッドマウントディスプレイと、
前記作業機械を遠隔操作するための第二遠隔操作装置と、を備える、
ことを特徴とする遠隔操作システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影システムおよび遠隔操作システムに関する。

【背景技術】

【0002】

地震、洪水、土砂崩れ等による災害復旧工事において、有人の作業機械による作業は二次災害のおそれがあるため、遠隔操作した無人の作業機械による作業が行われる場合がある。例えば、特許文献１には、建設機械に設置した２台の魚眼カメラ映像を、遠隔操縦室にいるオペレータが装着したヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）に両眼視差を再現して表示する遠隔操作システムが記載されている。

【0003】

特許文献１に記載される遠隔操作システムによれば、両眼視差があるため、単眼カメラでは得られない奥行感や遠近感が得られる。また、魚眼レンズを用いているために視界が広範囲であり、さらに、ヘッドマウントディスプレイの方向と映像方向とが同期しているため、ヘッドマウントディスプレイを装着した頭を左右に振ることで、見たい方向の映像を見ることができる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－１２１１９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、カメラの画質と画角とはトレードオフの関係である。魚眼レンズは広範囲の映像を取得できるが、カメラのセンサ画素を最大限利用できないため解像度が低くなるという問題があった。そのため、遠隔操作によって細かい作業を行う場合に、適切な視認性を確保するのが難しい場合があった。

【0006】

このような観点から、本発明は、広範囲の視界を有しながら細かい作業に必要な視認性を確保できる撮影システムおよび遠隔操作システムを提供する。

【課題を解決するための手段】

【0007】

本発明に係る撮影システムは、作業機械を遠隔操作するための映像を撮影する撮影システムである。この撮影システムは、前記作業機械の運転室に設けられるステレオカメラと、前記ステレオカメラを遠隔操作するための第一遠隔操作装置とを備える。
前記ステレオカメラは、魚眼レンズと、光学式ズーム機構とを有し、前記第一遠隔操作装置の操作に応じて前記光学式ズーム機構が動作する。

【0008】

本発明に係る撮影システムにおいては、ステレオカメラが魚眼レンズを備えているので、超広角の範囲（例えば、１８０°）の撮影が可能である。また、遠隔操作で光学式ズーム機構を制御できるので、広角撮影および望遠撮影を切り替えることができる。そのため、広範囲の視界を有しながら細かい作業に必要な視認性を確保できるので、従来よりも作業機械を遠隔操作しやすい。

【0009】

前記第一遠隔操作装置は、二つのフットペダルを有しており、第一のフットペダルによってズームインおよびズームアウトを操作し、第二のフットペダルによってズームのスピードを調整するものである。

【0010】

このようにすると、操作者は、作業機械を手で操作しながら、脚で広角撮影および望遠撮影の切り替え、および、当該切り替えスピードの変更を行うことができる。そのため、作業機械の遠隔操作がより容易である。

【0011】

また、本発明に係る遠隔操作システムは、前述した撮影システムと、前記撮影システムによって撮影した映像を表示するヘッドマウントディスプレイと、前記作業機械を遠隔操作するための第二遠隔操作装置と、を備えるものである。

【0012】

本発明に係る撮影システムにおいては、操作者は、両眼視差を再現した奥行き感のある画像（３Ｄ画像）を見ることができる。また、遠隔操作で光学式ズーム機構を制御できるので、広角撮影および望遠撮影を切り替えることができる。そのため、広範囲の視界を有しながら細かい作業に必要な視認性を確保できるので、従来よりも作業機械を遠隔操作しやすい。

【発明の効果】

【0013】

本発明によれば、広範囲の視界を有しながら細かい作業に必要な視認性を確保できる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施形態に係る遠隔操作システムの概略構成図である。

【図2】光学式ズーム機構の概略構成図であり、（ａ）は広角撮影時の状態であり、（ｂ）は望遠撮影時の状態である。

【図3】魚眼光学式ズーム機構の概略構成図であり、（ａ）は広角撮影時の状態であり、（ｂ）は望遠撮影時の状態である。

【図4】魚眼レンズにおける被写体からの映像の入射ルートを示した図である。

【発明を実施するための形態】

【0015】

以下、本発明の実施をするための形態を、適宜図面を参照しながら詳細に説明する。各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。

【0016】

＜実施形態に係る遠隔操作システムの構成＞
図１を参照して、実施形態に係る遠隔操作システム１の構成について説明する。図１は、遠隔操作システム１の概略構成図である。遠隔操作システム１は、作業機械を遠隔操作するためのシステムである。遠隔操作システム１は、作業機械を用いる様々な場面で使用することができ、遠隔操作を行う対象の作業機械や作業機械を用いて行う作業などは特に限定されない。

【0017】

図１に示すように、遠隔操作システム１は、主に、作業機械に搭載される装置類と、操作室内に設けられる装置類とで構成される。作業機械は、例えば平常時には作業員が搭乗して操作することが可能なものであってよい。作業機械は、例えば建設機械の一種であるバックホウ、振動ローラ、ブレーカ、ブルドーザ、ダンプトラックなどである。

【0018】

作業機械側の構成は、複数（ここでは、二つ）のカメラ２０，２０で構成されるステレオカメラ２と、各々のカメラ２０に接続される変換器３，３と、通信装置４とを備える。
操作室側の構成は、通信装置５と、変換器６，６と、情報処理装置７と、ステレオカメラ２を遠隔操作するための遠隔操作装置８と、ステレオカメラ２の映像を表示するヘッドマウントディスプレイ９と、作業機械を遠隔操作するための遠隔操作装置１０とを備える。変換器６は、変換器３と対となるために、変換器３と同様の個数（ここでは、二つ）になっている。

【0019】

操作者は、ヘッドマウントディスプレイ９を頭部に装着した状態で遠隔操作装置１０を操作することによって作業機械を操作する。以下では、遠隔操作システム１から作業機械を操作する構成要素を除いたもの、つまり作業機械を遠隔操作するための映像を撮影する構成要素をまとめて「撮影システム１Ａ」と称することにする。撮影システム１Ａは、ステレオカメラ２および遠隔操作装置８を含むものである。

【0020】

ステレオカメラ２は、例えば作業機械の運転室に設置され、作業機械の遠隔操作に用いる映像を撮影する。ステレオカメラ２が備える二つのカメラ２０，２０は、平常時において搭乗する操作者の左右の目に相当する。カメラ２０は、作業現場の状況を認識できる解像度を有しており、また、遠隔操作に支障をきたさない程度のフレームレートであるものがよい。カメラ２０は、例えば４Ｋ解像度以上のビデオカメラであるのがよい。ステレオカメラ２を構成する各々のカメラ２０は、光学式ズーム機構２１と、魚眼レンズ２２とを備える。光学式ズームは、レンズの移動によって光学的に焦点距離を変化させ、望遠能力を得る方式のことである。光学式ズーム機構２１は、数種類のレンズを備え、レンズ間距離などを調整可能である。魚眼レンズ２２は、超広角の範囲（例えば、１８０°）の撮影を可能にするレンズである。

【0021】

なお、従来から様々な種類の光学式ズーム機構が開発されているが、遠隔操作システム１では特に種類を限定することなく使用することができる。光学式ズーム機構２１は、作業機械の移動時や作業時の振動等に対して映像の乱れが少ないものであるのが望ましい。光学式ズーム機構２１は、手振補正機能を有するものであるのがよい。

【0022】

ステレオカメラ２は、ＬＡＮ（Local Area Network）を介して通信装置４に接続されており、操作室から送信された制御信号を受信する。また、ステレオカメラ２は、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）回線を介して変換器３に接続されており、撮影した映像を変換器３に送信する。なお、ＨＤＭＩ回線は一例であり、映像回線はＨＤＭＩ回線に限定されない。映像回線は、同軸回線、ＳＤＩ（Serial Digital Interface）回線等であってもよい。変換器６と情報処理装置７との接続についても同様である。その場合、変換器３，６は、映像回線に対応した形式に変換するものになる。

【0023】

変換器３は、ＨＤＭＩ形式の映像信号をＩＰ（Internet Protocol）形式に変換する。変換器３は、ＬＡＮ（Local Area Network）を介して通信装置４に接続されており、変換後の映像信号を通信装置４に送信する。なお、操作室内にも変換器３と同様の装置（変換器６）が設けられており、変換器３とは逆の処理が行われる。

【0024】

通信装置４，５は、アンテナを備え、無線通信を実現する装置である。通信装置４は、前述した通りにステレオカメラ２および変換器３に接続されている。通信装置５は、ＬＡＮを介して情報処理装置７に接続されており、情報処理装置７から受信した制御信号を作業機械側に無線通信によって送信する。また、通信装置５は、ＬＡＮを介して変換器６に接続されており、無線通信によって受信した映像信号を変換器６に送信する。

【0025】

変換器６は、ＩＰ形式の映像信号をＨＤＭＩ形式に変換する。変換器６は、ＨＤＭＩ回線を介して情報処理装置７に接続されており、変換後の映像信号を情報処理装置７に送信する。

【0026】

情報処理装置７は、遠隔操作システム１を統括制御する装置である。情報処理装置７は、例えば、ステレオカメラ２で撮影した映像をヘッドマウントディスプレイ９に表示する映像表示に関する機能や、作業機械およびステレオカメラ２の制御に関する機能を備える。情報処理装置７が備えるこれらの機能は、例えばＣＰＵ（Central Processing Unit）が図示しないＲＯＭ（Read Only Memory）等から所定のプログラムを読み出して実行することにより実現される。情報処理装置７は、例えばＵＳＢ（Universal Serial Bus）やＤｉｓｐｌａｙＰｏｒｔなどによって、遠隔操作装置８、ヘッドマウントディスプレイ９、遠隔操作装置１０に接続されている。

【0027】

遠隔操作装置８は、ステレオカメラ２を遠隔操作するための装置である。本実施形態における遠隔操作装置８は、二つのフットペダル３０Ａ，３０Ｂを含んで構成されている。一方のフットペダル３０Ａを踏み込むことによって、ステレオカメラ２はズームインする。また、他方のフットペダル３０Ｂを踏み込むことによって、ステレオカメラ２はズームアウトする。なお、遠隔操作装置８は、フットペダル３０Ａ，３０Ｂ以外の構成要素を含んでいてもよく、例えばステレオカメラ２による撮影の開始、終了などを指示するものであってもよい。フットペダル３０Ａ，３０Ｂは、情報処理装置７を介してズームイン／ズームアウトの指令をステレオカメラ２に送信する。

【0028】

ヘッドマウントディスプレイ９は、ステレオカメラ２が撮影した映像を表示する。ヘッドマウントディスプレイ９は、操作室内の操作者に装着される。ヘッドマウントディスプレイ９には、ステレオカメラ２を構成する二つのカメラ２０，２０からの映像が、ヘッドマウントディスプレイ９の左眼部分と右眼部分とに両眼視差を再現して投影される。つまり、ステレオカメラ２は、二個の魚眼レンズ２２，２２により対象物を異なる角度から撮像しており、操作者は、両眼視差を再現した奥行き感のある画像（３Ｄ画像）を見ることができる。

【0029】

ヘッドマウントディスプレイ９は、図示しない角度センサやジャイロセンサ等を備えており、角度センサやジャイロセンサ等によって操作者の頭の向き、動き等を感知する。感知した操作者の頭の向きや動き等は、ヘッドマウントディスプレイ９に投影する映像との連動に用いられる。なお、ヘッドマウントディスプレイ９が有するセンサの種類や数は、ヘッドマウントディスプレイ３０を装着する操作者と投影する映像とを連動させることができるものであれば特に限定されない。

【0030】

このように、本実施形態に係る遠隔操作システム１によれば、作業機械の運転室からの視界をほぼリアルタイムで忠実にヘッドマウントディスプレイ９に投影することができる。操作者は、奥行き感のある映像をほぼリアルタイムで見ながら作業することができるため、作業機械を正確に操作することができる。また、ステレオカメラ２は、運転室に設置されている各種メーターを常時撮像しているため、操作者は、必要時にこのメーターを視認することにより、実際の運転室と同じ情報を得ることができる。

【0031】

遠隔操作装置１０は、作業機械を遠隔操作するための装置である。図１では遠隔操作装置１０としてジョイステック型のコントローラを例示しているが、遠隔操作装置１０がこれに限定されるものではない。

【0032】

＜光学式ズーム機構について＞
図２を参照して、光学式ズーム機構２１について説明する。図２は、光学式ズーム機構２１の概略構成図であり、（ａ）は広角撮影時の状態であり、（ｂ）は望遠撮影時の状態である。図２は、光学式ズーム機構２１の一例であり、「２グループ式」の概略図である。図２に示す光学式ズーム機構２１は、説明を簡単にするために凸レンズ２１ａと凹レンズ２１ｂとを組み合わせたモデルを例示しているが、凸レンズ２１ａおよび凹レンズ２１ｂはレンズ群として構成されてもよい。凹レンズ２１ｂ（またはレンズ群）は、焦点距離を変える役割を担い、「バリエーター」と呼ばれる。凸レンズ２１ａ（またはレンズ群）は、焦点位置を合わせる役割を担い、「コンペンセンター」と呼ばれる。

【0033】

カメラ２０の画角（広角か望遠か）は、焦点距離に依存する。図２では、撮像範囲線を太い実線で描画し、焦点模式線を細い一点鎖線で描画している。
広角撮影時では、図２（ａ）に示すように、凸レンズ２１ａをイメージセンサ２３に近づけて、焦点距離を短くする。この際、凹レンズ２１ｂを凸レンズ２１ａから離してレンズ間距離を広げる。
一方、望遠撮影時では、図２（ｂ）に示すように、凸レンズ２１ａをイメージセンサ２３から離して、焦点距離を長くする。この際、凹レンズ２１ｂを凸レンズ２１ａに近づけてレンズ間距離を短くする。

【0034】

＜光学式ズーム機構に魚眼レンズを組合わせた構成について＞
図３を参照して、光学式ズーム機構２１に魚眼レンズ２２を組合わせた構成（「魚眼光学式ズーム機構」と称する）について説明する。図３は、魚眼光学式ズーム機構の概略構成図であり、（ａ）は広角撮影時の状態であり、（ｂ）は望遠撮影時の状態である。図３では、撮像範囲線を太い実線で描画し、焦点模式線を細い一点鎖線で描画している。

【0035】

広角撮影時では、図３（ａ）に示すように、撮像範囲線が魚眼レンズ２２の周縁部に位置する。ここで、図４に示すように、魚眼レンズ２２は、最大で約１８０°の範囲に含まれる被写体からの映像を取得することができる。そのため、イメージセンサ２３には、広い範囲の対象物が投影され、超広角（例えば、画角１８０°）の撮影が可能である。
一方、望遠撮影時では、図３（ｂ）に示すように、撮像範囲線が魚眼レンズ２２の中心付近に位置する。そのため、イメージセンサ２３には、狭い範囲（カメラ２０の正面）の対象物が投影され、この範囲の対象物の解像度が向上するので望遠の撮影が可能になる。

【0036】

以上のように、本実施形態に係る撮影システム１Ａおよび撮影システム１Ａを用いた遠隔操作システム１では、ステレオカメラ２が魚眼レンズ２２を備えているので、超広角の範囲（例えば、１８０°）の撮影が可能である。また、遠隔操作で光学式ズーム機構２１を制御できるので、広角撮影および望遠撮影を切り替えることができる。そのため、広範囲の視界を有しながら細かい作業に必要な視認性を確保できるので、従来よりも作業機械を遠隔操作しやすい。

【0037】

特に、本実施形態の遠隔操作装置８は、二つのフットペダル３０Ａ，３０Ｂを有しており、一方のフットペダル３０Ａの踏み込みによってズームインし、他方のフットペダル３０Ｂの踏み込みによってズームアウトするものである。操作者は、作業機械を手で操作しながら脚で広角撮影および望遠撮影を切り替えることができるので、作業機械の遠隔操作がより容易である。

【0038】

以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。

【0039】

実施形態の遠隔操作装置８は、一方のフットペダル３０Ａの踏み込みによってズームインし、他方のフットペダル３０Ｂの踏み込みによってズームアウトするものであった。しかしながら、遠隔操作装置８の構成はこれに限定されない。例えば、一方のフットペダル３０Ａでズームインやズームアウトを操作し、他方のフットペダル３０Ｂでズームのスピードを調整するものであってもよい。

【符号の説明】

【0040】

１ 遠隔操作システム
１Ａ 撮影システム
２ ステレオカメラ
２０ カメラ
２１ 光学式ズーム機構
２２ 魚眼レンズ
８ 遠隔操作装置（第一遠隔操作装置）
９ ヘッドマウントディスプレイ
１０ 遠隔操作装置（第二遠隔操作装置）
３０Ａ，３０Ｂ フットペダル

【図1】

【図2】

【図3】

【図4】