特開 2022-176990 全方位撮影システムおよび全方位撮影方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022176990

(43)【公開日】2022-11-30

(54)【発明の名称】全方位撮影システムおよび全方位撮影方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221122BHJP

   H04N 7/18 20060101ALI20221122BHJP

   G03B 37/00 20210101ALI20221122BHJP

   G03B 15/00 20210101ALI20221122BHJP

【ＦＩ】

H04N5/232 290

H04N7/18 D

H04N7/18 U

G03B37/00 A

G03B15/00 W

【審査請求】有

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022132366

(22)【出願日】2022-08-23

(62)【分割の表示】P 2020530275の分割

【原出願日】2019-07-12

(31)【優先権主張番号】P 2018132399

(32)【優先日】2018-07-12

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(71)【出願人】

【識別番号】317015294

【氏名又は名称】東芝エネルギーシステムズ株式会社

(74)【代理人】

【識別番号】110001380

【氏名又は名称】弁理士法人東京国際特許事務所

(72)【発明者】

【氏名】柏瀬 翔一

(72)【発明者】

【氏名】尾崎 健司

(72)【発明者】

【氏名】菱沼 朋美

(57)【要約】

【課題】装着者の周囲全方位を同時に撮影することができる全方位撮影技術を提供する。
【解決手段】全方位撮影システム１は、魚眼レンズ付きの少なくとも２つのカメラ５と、カメラ５がそれぞれ異なる方向を向いて設けられて装着者Ｗが装着する装着具４と、カメラ５で撮影された画像に基づいて装着者Ｗの周囲を映した全天球画像を生成する画像処理部１３，１８とを備え、画像処理部１３，１８は、カメラ５で撮影された画像に位置の基準となる基準被写体２８が映っている場合に、カメラ５で撮影された画像に映る基準被写体２８に基づいて装着者Ｗの位置を算出し、かつ装着者Ｗの位置を連続して記憶することで装着者Ｗの移動の軌跡を算出するように構成されている。
【選択図】図７

【特許請求の範囲】

【請求項1】

魚眼レンズ付きの少なくとも２つのカメラと、
前記カメラがそれぞれ異なる方向を向いて設けられて装着者が装着する装着具と、
前記カメラで撮影された画像に基づいて前記装着者の周囲を映した全天球画像を生成する画像処理部と、
を備え、
前記画像処理部は、前記カメラで撮影された画像に位置の基準となる基準被写体が映っている場合に、前記カメラで撮影された画像に映る前記基準被写体に基づいて前記装着者の位置を算出し、かつ前記装着者の位置を連続して記憶することで前記装着者の移動の軌跡を算出する、ように構成されている、
全方位撮影システム。

【請求項2】

前記カメラが水平方向に異なる方向を向き、それぞれの前記カメラの画角の一部が互いに重なり、前記装着者の前記水平方向の全周囲の撮影が可能な数の前記カメラが前記装着具に設けられる、
請求項１に記載の全方位撮影システム。

【請求項3】

前記画像処理部は、前記全天球画像に基づいて前記装着者を直上から見たときの直上視点画像を生成する、
請求項１または請求項２に記載の全方位撮影システム。

【請求項4】

前記カメラの互いの位置が前記装着具により固定され、前記画像処理部は、前記カメラで撮影された被写体の画像と前記カメラ同士の距離とに基づいて前記装着者から前記被写体までの距離を求める、
請求項１から請求項３のいずれか１項に記載の全方位撮影システム。

【請求項5】

前記装着具が前記装着者の頭部に装着され、画角１８０度以上の前記カメラが前記装着者の側頭部に対応する位置にそれぞれ設けられる、
請求項１から請求項４のいずれか１項に記載の全方位撮影システム。

【請求項6】

前記装着具は、前記装着者がかぶるヘルメットである、
請求項１から請求項５のいずれか１項に記載の全方位撮影システム。

【請求項7】

前記カメラで撮影された画像を無線通信により取得する管理装置に設けられ、前記画像処理部で生成された画像を表示可能な管理用画像表示部を備える、
請求項１から請求項６のいずれか１項に記載の全方位撮影システム。

【請求項8】

前記画像処理部で生成された画像に基づいて、前記装着者の管理を行う管理者または前記管理装置が前記装着者の周囲の状況を把握可能となっている、
請求項７に記載の全方位撮影システム。

【請求項9】

前記管理者または前記管理装置が前記装着者に対して指示を送るための通信装置を備える、
請求項８に記載の全方位撮影システム。

【請求項10】

前記画像処理部は、前記管理装置に設けられる、
請求項７から請求項９のいずれか１項に記載の全方位撮影システム。

【請求項11】

前記装着具に設けられ、前記画像処理部で生成された画像を表示可能な装着用画像表示部を備える、
請求項１から請求項１０のいずれか１項に記載の全方位撮影システム。

【請求項12】

前記画像処理部は、前記装着者が装着する装着装置に設けられる、
請求項１から請求項１１のいずれか１項に記載の全方位撮影システム。

【請求項13】

前記装着具に設けられ、前記カメラで撮影された画像を記憶する装着用画像記憶部を備える、
請求項１から請求項１２のいずれか１項に記載の全方位撮影システム。

【請求項14】

魚眼レンズ付きの少なくとも２つのカメラがそれぞれ異なる方向を向いて設けられる装着具を装着者が装着した状態で前記カメラにより撮影が行われるステップと、
画像処理部が、前記カメラで撮影された画像に基づいて前記装着者の周囲を映した全天球画像を生成するステップと、
前記画像処理部が、前記カメラで撮影された画像に位置の基準となる基準被写体が映っている場合に、前記カメラで撮影された画像に映る前記基準被写体に基づいて前記装着者の位置を算出するステップと、
前記画像処理部が、前記装着者の位置を連続して記憶することで前記装着者の移動の軌跡を算出するステップと、
を含む、
全方位撮影方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、全方位撮影システムおよび全方位撮影方法に関する。

【背景技術】

【0002】

従来、ＣＣＤカメラが取り付けられたヘルメットを用いて、このヘルメットを装着した装着者の前方領域を撮影する技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００６－１４８８４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

前述の技術では、装着者の前方の領域しか撮影できないので、撮影された画像に基づいて装着者の周囲の状況を把握することができない。装着者の周囲を撮影したい場合には、装着者が周囲を見渡す必要があり、作業が中断されるので作業効率が悪くなる。そこで、装着者の周囲を同時に撮影したいという要望がある。

【0005】

本発明の実施形態は、このような事情を考慮してなされたもので、装着者の周囲全方位を同時に撮影することができる全方位撮影技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の実施形態に係る全方位撮影システムは、魚眼レンズ付きの少なくとも２つのカメラと、前記カメラがそれぞれ異なる方向を向いて設けられて装着者が装着する装着具と、前記カメラで撮影された画像に基づいて前記装着者の周囲を映した全天球画像を生成する画像処理部と、を備え、前記画像処理部は、前記カメラで撮影された画像に位置の基準となる基準被写体が映っている場合に、前記カメラで撮影された画像に映る前記基準被写体に基づいて前記装着者の位置を算出し、かつ前記装着者の位置を連続して記憶することで前記装着者の移動の軌跡を算出する、ように構成されている。

【発明の効果】

【0007】

本発明の実施形態により、装着者の周囲全方位を同時に撮影することができる全方位撮影技術が提供される。

【図面の簡単な説明】

【0008】

【図1】全方位撮影システムを示すシステム構成図。

【図2】全方位撮影システムを示すブロック図。

【図3】ヘルメットを示す正面図。

【図4】ヘルメットを示す側面図。

【図5】カメラの撮影範囲および全天球画像の合成範囲を示す説明図。

【図6】ヘルメットを直上から見たときのカメラの撮影範囲を示す説明図。

【図7】直上視点画像を示す画像図。

【図8】全方位撮影方法を示すフローチャート。

【図9】変形例のヘルメットを直上から見たときのカメラの撮影範囲を示す説明図。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら、全方位撮影システムの実施形態について詳細に説明する。図１の符号１は、本実施形態の全方位撮影システムである。

【0010】

図１および図２に示すように、本実施形態の全方位撮影システム１は、装着者Ｗが装着する装着装置２と、装着者Ｗの管理を行う管理者Ｍが扱う管理装置３とを備える。この全方位撮影システム１は、原子力プラントまたは工場などの作業現場において、作業を行う装着者Ｗの周囲状況を管理者Ｍが監視をして、装着者Ｗに対して的確な指示を行えるようにするものである。

【0011】

作業現場で工事などの作業を行う複数の装着者Ｗに対して管理者Ｍが遠隔地から指示を行う形態を例示する。なお、装着者Ｗが１人の場合であっても良い。また、複数の管理装置３を用いて複数の管理者Ｍが装着者Ｗの監視を行っても良い。

【0012】

装着者Ｗは、装着具としての作業用ヘルメット４をかぶって作業を行う。このヘルメット４は、魚眼レンズ付きの２つのカメラ５を備える。これらのカメラ５を用いて装着者Ｗの周囲を同時に撮影可能となっている。つまり、２つのカメラ５を用いて装着者Ｗの上下左右全方位の３６０度パノラマ画像である全天球画像の同時撮影が可能となっている。なお、本実施形態の画像は、動画像であっても良いし、静止画像であっても良い。

【0013】

また、装着者Ｗは、透過型ヘッドマウントディスプレイ６と装着用ヘッドセット７を装着して作業を行う。なお、ヘルメット４と透過型ヘッドマウントディスプレイ６と装着用ヘッドセット７は、装着装置２を構成する。装着装置２を装着することで、装着者Ｗはハンズフリーで作業を行うことができる。

【0014】

管理者Ｍは、中央コンピュータ８を扱い、この中央コンピュータ８に接続されたディスプレイ９を視認しながら装着者Ｗの周囲の状況の監視を行う。ディスプレイ９には、装着者Ｗのヘルメット４のカメラ５により撮影された画像がリアルタイムで表示される。

【0015】

また、管理者Ｍは、管理用ヘッドセット１０を装着して装着者Ｗに指示を行う。中央コンピュータ８には、それぞれの装着者Ｗが装着する装着装置２と無線通信を行う中央無線通信装置１１が接続される。なお、中央コンピュータ８とディスプレイ９と中央無線通信装置１１と管理用ヘッドセット１０とは、管理装置３を構成する。

【0016】

装着者Ｗと管理者Ｍが装着するヘッドセット７，１０は、マイクおよびスピーカを備えている。これらのヘッドセット７，１０を介して互いの対話が可能となっている。

【0017】

また、装着装置２と中央無線通信装置１１との間で無線通信ネットワークが構成されても良い。さらに、複数の装着装置２同士で無線通信が行われても良い。なお、無線通信によりカメラ５で撮影された画像に関する情報のやり取りが行われる。また、無線が使えない環境下で装着者Ｗが作業を行う場合には、装着装置２と中央無線通信装置１１とを有線で接続して通信を行っても良い。

【0018】

次に、全方位撮影システム１のシステム構成を図２に示すブロック図を参照して説明する。

【0019】

装着装置２は、この装着装置２の制御を行う制御部１２と、ヘルメット４に設けられた２つの魚眼レンズ付きのカメラ５と、カメラ５で撮影された画像を取得してこの画像の処理を行う装着用画像処理部１３と、装着用画像処理部１３で処理された画像を表示する装着用画像表示部１４と、装着用画像処理部１３で処理された画像を記憶する装着用画像記憶部１５と、管理装置３と無線通信を行う無線通信部１６と、装着用ヘッドセット７とを備える。

【0020】

なお、装着用画像表示部１４は、透過型ヘッドマウントディスプレイ６に搭載された表示画面である。また、装着用画像処理部１３と装着用画像記憶部１５と無線通信部１６は、ヘルメット４または装着者Ｗの腰などに装着される所定の端末（図示略）に搭載されている。また、装着装置２の装着用画像処理部１３は、メモリまたはＨＤＤに記憶されたプログラムがＣＰＵによって実行されることで実現される。

【0021】

管理装置３は、この管理装置３の制御を行う制御部１７と、装着装置２から取得した画像の処理を行う管理用画像処理部１８と、管理用画像処理部１８で処理された画像を表示する管理用画像表示部１９と、管理用画像処理部１８で処理された画像を記憶する管理用画像記憶部２０と、装着装置２と無線通信を行う無線通信部２１と、管理用ヘッドセット１０とを備える

【0022】

なお、管理用画像表示部１９は、ディスプレイ９に搭載された表示画面である。また、無線通信部２１は、中央無線通信装置１１に搭載されている。また、制御部１７と管理用画像処理部１８と管理用画像記憶部２０は、中央コンピュータ８に搭載されている。また、管理装置３の管理用画像処理部１８は、メモリまたはＨＤＤに記憶されたプログラムがＣＰＵによって実行されることで実現される。

【0023】

図３は、ヘルメット４を示す正面図である。図４は、ヘルメット４を示す側面図である。図４の紙面右側をヘルメット４の正面側（前方側）として説明する。

【0024】

図３および図４に示すように、ヘルメット４は、ほぼ半球形状を成し、装着者Ｗの頭部に装着されるものである。このヘルメット４の外周面において、装着者の側頭部に対応する左右のそれぞれの位置に、魚眼レンズ付きのカメラ５が固定される。つまり、２つのカメラ５がヘルメット４を間に介して離れて配置されている。なお、ヘルメット４は装着者Ｗの頭部に装着されるものなので、２つのカメラ５は装着者Ｗの体の一部を間に介して離れて配置されている。

【0025】

これらのカメラ５は、ヘルメットバンド２２および取付具２３を介してヘルメット４の外周面に着脱可能に取り付けられる。このようにすれば、一般的な作業用ヘルメット４にカメラ５を設けることができる。また、カメラ５が必要ない場合には、ヘルメット４から取り外すことができる。

【0026】

左右の２つのカメラ５は、それぞれ異なる方向を向いてヘルメット４に設けられる。例えば、ヘルメット４の右側のカメラ５は、その画角の中心が右側方に向くとともに、ヘルメット４の左側のカメラ５は、その画角の中心が左側方に向く。そして、これらのカメラ５は、平面視で水平方向に１８０度反転した互いに異なる方向を向いて配置される。

【0027】

カメラ５は、ヘルメット４のつば２４の部分の近傍に設けられる。好ましくは、つば２４の部分から上方に１０ｃｍ以内の部分にカメラ５を設けると良い。このようにすれば、装着者Ｗの目の高さ位置に、カメラ５の高さ位置を近づけることができるので、装着者Ｗの視界に対応した撮影範囲を確保することができる。

【0028】

また、カメラ５は、ヘルメット４の頭頂部以外の部分に設けられる。このようにすれば、上方から落下してきた障害物がヘルメット４に当たった場合に、カメラ５に対する障害物の直撃を避けることができる。また、ヘルメット４の周辺の物体との干渉も生じ難くなる。

【0029】

仮に、カメラ５同士の距離を離さずに近接して配置して全周囲を撮影する場合には、ヘルメット４の頭頂部などにカメラ５を設けなければならない。すると、カメラ５の画角の大半が装着者Ｗの死角となり撮影範囲が狭くなる。また、管理者Ｍは装着者Ｗの目線の画像が得られなくなる。本実施形態は、このような課題を解決することができる。

【0030】

本実施形態の魚眼レンズ付きのカメラ５の画角は、１８０度以上となっている。例えば、カメラ５は、２２０度以上の画角を有する。好ましくは、カメラ５が２３５度以上の画角を有すると良い。

【0031】

図５に示すように、画角の中心が斜め上方を向くようにカメラ５が位置決めされている。例えば、左側のカメラ５の撮影範囲Ｌと右側のカメラ５の撮影範囲Ｒとが、ヘルメット４（装着者Ｗ）の直上位置で互いに重なるようになっている。

【0032】

なお、図５では、カメラ５の画角を１８０度として例示してあるが、画角が１８０度以上である場合には、必ずしもカメラ５の画角の中心が斜め上方を向かなくても良い。例えば、画角を２２０度以上とし、この画角の中心が水平方向を向くようにカメラ５を位置決めすることで、上下方向の画角の一部が、ヘルメット４の直上位置で重なるようにしても良い。

【0033】

本実施形態では、左右のカメラ５により撮影した画像に基づいて、装着者Ｗの周囲を映した全天球画像を生成する。例えば、ヘルメット４の直上位置の仮想点Ｖを中心とした球形を成す仮想の撮影範囲Ｓである全天球画像を生成する。つまり、２つのカメラ５により撮影した画像を合成し、仮想点Ｖを中心とした球面画像に変換する。

【0034】

具体的には、カメラ５で撮影された画像を装着用画像処理部１３（図２参照）が取得する。この装着用画像処理部１３では、取得した画像の曲率と大きさとを調整する。さらに、カメラ５で撮影された各々の部分画像の歪曲、または装着者Ｗの動作による画像のブレを補正する。これら補正された画像をつなぎ合わせて全天球画像を自動的に生成する。

【0035】

また、カメラ５と装着者Ｗの位置関係に基づいて、全天球画像の曲率と大きさとを変換して、装着者Ｗを直上から見たときの直上視点画像２５（図７参照）を生成する。この直上視点画像２５には、装着者Ｗが映っていないので、自動的に装着者Ｗの頭部画像またはそれに準ずる補助画像を生成し、直上視点画像２５に合成する。

【0036】

そして、装着用画像処理部１３により生成された直上視点画像２５を装着用画像表示部１４に表示する。このようにすれば、カメラ５で撮影された画像に基づいて周囲の状況を装着者Ｗが把握することができる。また、生成された直上視点画像２５を管理装置３に送信しても良い。

【0037】

また、生成された直上視点画像２５を装着用画像記憶部１５に記憶する。このようにすれば、装着装置２が外部と通信が行えない状況にあっても、カメラ５で撮影された画像を記憶しておくことができる。

【0038】

本実施形態では、管理装置３の管理用画像処理部１８においても直上視点画像２５の生成を行う。例えば、装着用画像処理部１３（図２参照）が取得したカメラ５で撮影された画像を管理装置３に送信する。

【0039】

管理装置３の管理用画像処理部１８では、取得した画像の曲率と大きさとを調整し、画像の歪曲またはブレの補正をし、全天球画像を自動的に生成し、直上視点画像２５（図７参照）を生成する。そして、管理用画像処理部１８により生成された直上視点画像２５を管理用画像表示部１９に表示する。このようにすれば、カメラ５で撮影された画像に基づいて装着者Ｗの周囲の状況を管理者Ｍが把握することができ、管理者Ｍが適切な指示を装着者Ｗに与えることができる。

【0040】

また、生成された直上視点画像２５を管理用画像記憶部２０に記憶する。このようにすれば、管理者Ｍが画像の管理を行うことができる。

【0041】

なお、本実施形態では、装着装置２および管理装置３の両方に画像処理部１３，１８が設けられる態様を例示しているが、画像処理部１３，１８は、装着装置２または管理装置３のいずれか一方に設けられる構成でも良い。例えば、装着装置２に装着用画像処理部１３を設けないことで、装着装置２の重量を軽減することができる。そのため、装着者Ｗの負荷が軽減される。また、管理装置３に管理用画像処理部１８を設けないことで、既に処理された画像データのみが管理装置３に送信されるので、送信されるデータ量を軽減させることができる。

【0042】

本実施形態では、画像処理部１３，１８が全天球画像に基づいて装着者Ｗを直上から見たときの直上視点画像２５を生成し、画像表示部１４，１９に表示することで、カメラ５で撮影された画像に基づいて装着者Ｗの周囲の状況を、装着者Ｗまたは管理者Ｍが把握することができる。

【0043】

図６は、ヘルメット４を直上から見たときのカメラの撮影範囲を示す説明図である。図６の紙面上側をヘルメット４の正面側（前方側）として説明する。

【0044】

図６に示すように、ヘルメット４の左右側部にカメラ５が設けられている場合に、それぞれのカメラ５の画角の一部が互いに重なるようになっている。例えば、水平方向の画角が２３５度である魚眼レンズ付きのカメラ５を設けた場合には、装着者Ｗの前方領域Ｆおよび後方領域Ｂで左右のカメラ５の撮影範囲Ｌ，Ｒが重なるようになっている。つまり、装着者Ｗの水平方向の全周囲の撮影が可能な数のカメラ５がヘルメット４に設けられる。このようにすれば、装着者Ｗの水平方向の全周囲を撮影した画像に基づいて全天球画像を生成することができる。

【0045】

本実施形態では、左右のカメラ５の互いの位置がヘルメット４により固定されている。つまり、左右のカメラ５の間の距離Ｋがヘルメット４により固定される。ここで、装着者Ｗの前方領域Ｆに所定の被写体２６がある場合に、カメラ５で撮影された被写体２６の画像の位置、つまり、左右のそれぞれのカメラ５の被写体２６に対する方向Ｄ１，Ｄ２が求められる。そして、左右のカメラ５の間の距離Ｋと被写体２６に対する方向Ｄ１，Ｄ２とに基づいて、装着者Ｗから被写体２６までの距離を求めることができる。なお、距離Ｋは、５ｃｍ以上、２０ｃｍ以下の範囲にあることが好ましい。

【0046】

画像処理部１３，１８（図２参照）は、カメラ５で撮影された被写体２６の画像とカメラ５同士の距離Ｋとに基づいて装着者Ｗから被写体２６までの距離を求める。このようにすれば、カメラ５に関する情報に基づいて装着者Ｗから被写体２６までの距離を把握することができる。

【0047】

なお、装着者Ｗの前方領域Ｆのみならず、後方領域Ｂに所定の被写体がある場合にも、装着者Ｗから被写体までの距離を求めることができる。つまり、被写体が、２つのカメラ５の撮影範囲Ｌ，Ｒが重なる領域にある場合に、装着者Ｗから被写体までの距離を求めることができる。

【0048】

また、装着者Ｗを中心とした所定の範囲内に被写体としての危険物がある場合に、装着者Ｗまたは管理者Ｍに対して警告を行う報知出力を行っても良い。

【0049】

なお、管理者Ｍが視認するディスプレイ９を、立体画像を表示可能な３次元ディスプレイとし、このディスプレイ９に、被写体２６が映る立体画像であって、左右のカメラ５の視差を利用した立体画像を表示しても良い。

【0050】

本実施形態では、画角１８０度以上のカメラ５が装着者Ｗの側頭部に対応する位置にそれぞれ設けられることで、装着者Ｗの前方領域Ｆまたは後方領域Ｂを２つのカメラ５でそれぞれ撮影できる。そのため、生成された画像に基づいて前方領域Ｆまたは後方領域Ｂに存在する被写体２６の距離などの３次元情報を得ることができる。特に、装着者Ｗの手元の領域Ｈなどの前方領域Ｆを立体視可能な画像を生成することができる。また、装着者Ｗの視点の位置に近い位置から撮影を行うことができる。

【0051】

図７に示すように、直上視点画像２５には、装着者Ｗから被写体２７までの距離を示す補足情報２９が含まれる。例えば、補足情報２９に基づいて、管理者Ｍが装着者Ｗに適切な指示を与えることができる。

【0052】

また、直上視点画像２５に基準となる基準被写体２８が映っている場合に、画像処理部１３，１８は、画面上の基準被写体２８に基づいて、装着者Ｗの位置を算出することができる。また、装着者Ｗの位置を連続して記憶することで、装着者Ｗの移動の軌跡を算出することができる。

【0053】

また、一方の装着者Ｗの直上視点画像２５に、他の装着者Ｗが映っている場合に、画像処理部１３，１８は、画面上の他の装着者Ｗに基づいて、一方の装着者Ｗを中心としたときの他の装着者Ｗの位置を算出することができる。さらに、一方の装着者Ｗの位置が判明している場合には、他の装着者Ｗの位置を算出することができる。また、他の装着者Ｗの位置を連続して記憶することで、他の装着者Ｗの移動の軌跡を算出することができる。なお、この他の装着者Ｗは、装着装置２を装着していない者であっても良い。

【0054】

装着者Ｗは、透過型ヘッドマウントディスプレイ６の装着用画像表示部１４を視認することで、自分の周囲の状況を把握することができる。また、装着者Ｗが防護マスクをして視野が狭められている場合であっても、周囲の状況を的確に把握することができる。

【0055】

管理者Ｍは、ディスプレイ９の管理用画像表示部１９を視認することで、遠隔地で作業を行う装着者Ｗの周囲の状況を把握することができる。また、装着者Ｗに的確な指示を与えることができる。

【0056】

次に、全方位撮影システム１が実行する全方位撮影方法について図８のフローチャートを用いて説明する。なお、図２に示すブロック図を適宜参照する。

【0057】

この処理は、一定時間毎に繰り返される処理である。この処理が繰り返されることで、全方位撮影システム１で全方位撮影方法が実行される。なお、全方位撮影システム１が他のメイン処理を実行中に、この処理を割り込ませて実行しても良い。

【0058】

図８に示すように、まず、ステップＳ１１において、魚眼レンズ付きの複数のカメラ５がそれぞれ異なる方向を向いて設けられるヘルメット４を含む装着装置２を装着者Ｗが装着する。

【0059】

次のステップＳ１２において、ヘルメット４に設けられた複数のカメラ５を用いて装着者Ｗの周囲を同時に撮影する。

【0060】

次のステップＳ１３において、装着装置２の装着用画像処理部１３は、カメラ５で撮影された画像を取得する。または、管理装置３の管理用画像処理部１８は、装着装置２からカメラ５で撮影された画像を取得する。

【0061】

次のステップＳ１４において、装着用画像処理部１３または管理用画像処理部１８は、取得した画像の曲率と大きさとを調整し、画像の歪曲またはブレの補正を行う。

【0062】

次のステップＳ１５において、装着用画像処理部１３または管理用画像処理部１８は、カメラ５で撮影した画像に基づいて、装着者Ｗの周囲を映した全天球画像を生成する。

【0063】

次のステップＳ１６において、装着用画像処理部１３または管理用画像処理部１８は、全天球画像の曲率と大きさとを変換して、装着者Ｗを直上から見たときの直上視点画像を生成する。

【0064】

次のステップＳ１７において、装着装置２の装着用画像表示部１４または管理装置３の管理用画像表示部１９は、直上視点画像の表示を行う。

【0065】

次のステップＳ１８において、装着用画像処理部１３または管理用画像処理部１８は、カメラ５で撮影された被写体２７の画像とカメラ５同士の距離Ｋとに基づいて装着者Ｗから被写体２７までの距離の演算を行う。

【0066】

次のステップＳ１９において、装着用画像表示部１４または管理用画像表示部１９は、装着者Ｗから被写体２７までの距離を示す補足情報２９を表示する。

【0067】

次のステップＳ２０において、装着装置２の装着用画像記憶部１５または管理装置３の管理用画像記憶部２０は、直上視点画像の記憶を行う。

【0068】

本実施形態の装着具が、装着者Ｗがかぶるヘルメット４であることで、装着者Ｗが装着具の装着を簡便に行うことができる。また、装着者Ｗがハンズフリーで作業を行うことができ、搭載されるカメラ５が作業の邪魔にならずに済む。

【0069】

また、カメラ５で撮影された各々の部分画像の歪曲、または装着者Ｗの動作によるブレを補正することで、画像を見ている者の画面酔い（３Ｄ酔い）を防ぐことができる。

【0070】

また、魚眼レンズ付きのカメラ５を用いることで、ヘルメット４に搭載するカメラ５の個数を少なくすることができる。そのため、ヘルメット４の軽量化を図ることができる。さらに、装着装置２の製造コストの低減を図ることができる。

【0071】

次に変形例としてのヘルメット４を説明する。図９は、ヘルメット４を直上から見たときのカメラの撮影範囲を示す説明図である。図９の紙面上側をヘルメット４の正面側（前方側）として説明する。

【0072】

図９に示すように、変形例のヘルメット４では、前部と左後部と右後部との３箇所に、魚眼レンズ付きのカメラ５が設けられる。これら３つのカメラ５の画角は、１８０度となっている。それぞれのカメラ５の位置は、平面視でヘルメット４を中心とした１２０度の回転対称となっている。

【0073】

この変形例では、装着者Ｗの左前の領域Ｑ１と右前の領域Ｑ２と後方領域Ｑ３で、それぞれのカメラ５の撮影範囲が重なるようになっている。つまり、装着者Ｗの水平方向の全周囲の撮影が可能な数のカメラ５がヘルメット４に設けられる。このようにすれば、画角が狭い魚眼レンズ付きのカメラ５を用いても、装着者Ｗの水平方向の全周囲の撮影を行うことができる。

【0074】

本実施形態の全方位撮影システムは、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤなどのハードウェア資源を有し、ＣＰＵが各種プログラムを実行することで、ソフトウェアによる情報処理がハードウェア資源を用いて実現されるコンピュータで構成される。さらに、本実施形態の全方位撮影方法は、プログラムをコンピュータに実行させることで実現される。

【0075】

なお、本実施形態のフローチャートにおいて、各ステップが直列に実行される形態を例示しているが、必ずしも各ステップの前後関係が固定されるものでなく、一部のステップの前後関係が入れ替わっても良い。また、一部のステップが他のステップと並列に実行されても良い。

【0076】

本実施形態のシステムは、専用のチップ、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、またはＣＰＵ（Central Processing Unit）などのプロセッサを高集積化させた制御装置と、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memory）などの記憶装置と、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）などの外部記憶装置と、ディスプレイなどの表示装置と、マウスまたはキーボードなどの入力装置と、通信インターフェースとを備える。このシステムは、通常のコンピュータを利用したハードウェア構成で実現できる。

【0077】

なお、本実施形態のシステムで実行されるプログラムは、ＲＯＭなどに予め組み込んで提供される。もしくは、このプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）などのコンピュータで読み取り可能な非一過性の記憶媒体に記憶されて提供するようにしても良い。

【0078】

また、このシステムで実行されるプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせて提供するようにしても良い。また、このシステムは、構成要素の各機能を独立して発揮する別々のモジュールを、ネットワークまたは専用線で相互に接続し、組み合わせて構成することもできる。

【0079】

なお、本実施形態では、管理用画像表示部１９がディスプレイ９の表示画面となっているが、その他の形態でも良い。例えば、管理用画像表示部１９は、非透過型ヘッドマウントディスプレイに搭載された表示画面であっても良い。そして、この非透過型ヘッドマウントディスプレイを管理者Ｍが装着し、装着者Ｗの周囲を示す全天球画像を視認できるようにしても良い。

【0080】

なお、本実施形態では、ヘルメット４の外周面にカメラ５が設けられているが、その他の位置にカメラ５を設けても良い。例えば、ヘルメット４のつば２４の下面側にカメラ５を設け、装着者Ｗの周囲を撮影可能としても良い。このようにすれば、雨天に作業を行う場合にカメラ５が濡れることがなくなる。また、ヘルメット４が障害物に当たったときにカメラ５の破損を防止できる。

【0081】

なお、本実施形態では、装着具としてヘルメット４を例示したが、その他の装着具でも良い。例えば、ぼうし、メガネ、ゴーグル、ヘッドマウントディスプレイ、防護マスクなどの頭部に装着する物に、カメラ５を設け、装着者Ｗの周囲を撮影可能としても良い。

【0082】

なお、本実施形態では、カメラ５により撮影した画像により、まず、全天球画像を生成し、この全天球画像に基づいて直上視点画像２５を生成しているが、その他の実施形態でも良い。例えば、全天球画像を生成せずに、カメラ５により撮影した画像に基づいて直上視点画像２５を生成しても良い。

【0083】

なお、本実施形態では、２つまたは３つのカメラ５がヘルメット４に設けられているが、４つ以上のカメラ５をヘルメット４に設けるようにしても良い。

【0084】

なお、本実施形態では、装着者Ｗの周囲状況を管理者Ｍが監視をし、この管理者Ｍが装着者Ｗに対して的確な指示を行えるようにしているが、その他の態様であっても良い。例えば、人工知能（ＡＩ：Artificial Intelligence）を備える管理装置３が装着者Ｗの周囲状況を監視し、この人工知能が装着者Ｗに対して的確な指示を行えるようにしても良い。また、人工知能を備える装着装置２が装着者Ｗの周囲状況を監視して指示を行えるようにしても良い。

【0085】

本実施形態のコンピュータを用いた画像の解析には、人工知能の学習に基づく解析技術を用いることができる。例えば、ニューラルネットワークによる機械学習により生成された学習モデル、その他の機械学習により生成された学習モデル、深層学習アルゴリズム、回帰分析などの数学的アルゴリズムを用いることができる。また、機械学習の形態には、クラスタリング、深層学習などの形態が含まれる。

【0086】

本実施形態の全方位撮影システム１は、機械学習を行う人工知能を備えるコンピュータを含む。例えば、ニューラルネットワークを備える１台のコンピュータで全方位撮影システム１を構成しても良いし、ニューラルネットワークを備える複数台のコンピュータで全方位撮影システム１を構成しても良い。

【0087】

ここで、ニューラルネットワークとは、脳機能の特性をコンピュータによるシミュレーションによって表現した数学モデルである。例えば、シナプスの結合によりネットワークを形成した人工ニューロン（ノード）が、学習によってシナプスの結合強度を変化させ、問題解決能力を持つようになるモデルを示す。さらに、ニューラルネットワークは、深層学習（Deep Learning）により問題解決能力を取得する。

【0088】

例えば、ニューラルネットワークには、６層のレイヤーを有する中間層が設けられる。この中間層の各レイヤーは、３００個のユニットで構成されている。また、多層のニューラルネットワークに学習用データを用いて予め学ばせておくことで、回路またはシステムの状態の変化のパターンの中にある特徴量を自動で抽出することができる。なお、多層のニューラルネットワークは、ユーザインターフェース上で、任意の中間層数、ユニット数、学習率、学習回数、活性化関数を設定することができる。

【0089】

なお、学習の対象となる各種情報に報酬関数を設定し、この報酬関数に基づいて価値が最も高くなるものを抽出する深層強化学習を用いても良い。

【0090】

例えば、画像認識で実績のあるＣＮＮ（Convolution Neural Network）を用いる。このＣＮＮでは、中間層が畳み込み層とプーリング層で構成される。畳み込み層は、前の層で近くにあるノードにフィルタ処理を施すことで特徴マップを取得する。プーリング層は、畳込み層から出力された特徴マップを、さらに縮小して新たな特徴マップとする。この際に着目する領域のいずれの値を用いるかによって、画像の多少のずれも吸収することができる。

【0091】

畳み込み層は、画像の局所的な特徴を抽出し、プーリング層は、局所的な特徴をまとめる処理を行う。これらの処理では、入力画像の特徴を維持しながら画像を縮小処理する。つまり、ＣＮＮでは、画像の持つ情報量を大幅に圧縮（抽象化）することができる。そして、ニューラルネットワークに記憶された抽象化された画像イメージを用いて、入力される画像を認識し、画像の分類を行うことができる。

【0092】

なお、深層学習には、オートエンコーダ、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）、ＧＡＮ（Generative Adversarial Network）などの各種手法がある。これらの手法を本実施形態の深層学習に適用しても良い。

【0093】

以上説明した実施形態によれば、魚眼レンズ付きの少なくとも２つのカメラがそれぞれ異なる方向を向いて設けられて装着者が装着する装着具を備えることにより、装着者の周囲全方位を同時に撮影することができる。

【0094】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0095】

１…全方位撮影システム、２…装着装置、３…管理装置、４…ヘルメット、５…カメラ、６…ヘッドマウントディスプレイ、７…装着用ヘッドセット、８…中央コンピュータ、９…ディスプレイ、１０…管理用ヘッドセット、１１…中央無線通信装置、１２…制御部、１３…装着用画像処理部、１４…装着用画像表示部、１５…装着用画像記憶部、１６…無線通信部、１７…制御部、１８…管理用画像処理部、１９…管理用画像表示部、２０…管理用画像記憶部、２１…無線通信部、２２…ヘルメットバンド、２３…取付具、２４…つば、２５…直上視点画像、２６，２７…被写体、２８…基準被写体、２９…補足情報、Ｂ…後方領域、Ｄ１，Ｄ２…被写体に対する方向、Ｆ…前方領域、Ｋ…カメラ間の距離、Ｌ…左側のカメラの撮影範囲、Ｍ…管理者、Ｑ１…左前の領域、Ｑ２…右前の領域、Ｑ３…後方領域、Ｒ…右側のカメラの撮影範囲、Ｓ…仮想の撮影範囲、Ｖ…仮想点、Ｗ…装着者。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】