特許 7452768 撮像システム、および撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-11

(45)【発行日】2024-03-19

(54)【発明の名称】撮像システム、および撮像方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240312BHJP

   H04N 23/63 20230101ALI20240312BHJP

   H04N 7/18 20060101ALI20240312BHJP

【ＦＩ】

H04N23/60 500

H04N23/63

H04N7/18 D

【請求項の数】 20

(21)【出願番号】P 2023548141

(86)(22)【出願日】2022-07-08

(86)【国際出願番号】 JP2022027111

(87)【国際公開番号】W WO2023042531

(87)【国際公開日】2023-03-23

【審査請求日】2023-10-11

(31)【優先権主張番号】P 2021149115

(32)【優先日】2021-09-14

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001993

【氏名又は名称】株式会社島津製作所

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】永島 知貴

(72)【発明者】

【氏名】田川 雄介

(72)【発明者】

【氏名】▲高▼原 一真

(72)【発明者】

【氏名】今井 慎司

(72)【発明者】

【氏名】倉田 星哉

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特開２００７－２４９７２２（ＪＰ，Ａ）

【文献】特開２０１８－７４５２８（ＪＰ，Ａ）

【文献】特開２０１５－１９１３３（ＪＰ，Ａ）

【文献】特開平９－２８２４５９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６３

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

実空間に配置された物体を撮像する第１カメラと、
制御部とを備え、
前記制御部は、
実空間における第１範囲を設定する設定部と、
前記第１カメラの位置および姿勢を取得する取得部と、
前記第１カメラの位置および姿勢に基づいて、前記第１カメラが撮像する画像に含まれる物体が前記第１範囲に含まれるか否かを判定する判定部と、
前記判定部による判定結果に応じて、前記第１カメラが撮像した画像に対して異なる画像処理を施す画像処理部とを含む、撮像システム。

【請求項2】

前記画像処理部は、前記判定部によって前記第１範囲に含まれないと判定された物体を対象として、前記第１カメラが撮像した画像にマスク処理を実行する、請求項１に記載の撮像システム。

【請求項3】

前記第１カメラは慣性センサを含み、
前記取得部は、前記慣性センサの検出値を用いて、前記第１範囲が設定されたときの前記第１カメラの姿勢に対する前記第１カメラの姿勢を取得する、請求項１に記載の撮像システム。

【請求項4】

前記第１カメラは位置センサを含み、
前記取得部は、前記位置センサの検出値を用いて、前記第１カメラの位置を取得する、請求項１に記載の撮像システム。

【請求項5】

前記取得部は、前記第１カメラが撮像する画像に含まれる物体の画像内における位置の変化量に基づいて、前記第１カメラの位置および姿勢の少なくとも一方を取得する、請求項１に記載の撮像システム。

【請求項6】

前記取得部は、Ｖｉｓｕａｌ ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）技術、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）技術、および、ＶＯ（Ｖｉｓｕａｌ Ｏｄｏｍｅｔｒｙ）技術の少なくとも１つに基づいて、前記第１カメラの位置および姿勢を取得する、請求項５に記載の撮像システム。

【請求項7】

前記取得部は、前記画像に含まれるマーカーを抽出し、前記マーカーの基準形状からの変化量に基づいて、前記第１カメラの位置および姿勢を取得する、請求項１に記載の撮像システム。

【請求項8】

前記第１カメラを撮像する第２カメラをさらに備え、
前記取得部は、前記第２カメラによって撮像された画像に含まれる前記第１カメラの基準形状からの変化量に基づいて、前記第１カメラの位置および姿勢を取得する、請求項１に記載の撮像システム。

【請求項9】

前記判定部は、実空間に配置される物体と前記第１カメラとの間の距離に基づいて、前記画像に含まれる物体が前記第１範囲に含まれるか否かを判定する、請求項１に記載の撮像システム。

【請求項10】

実空間に配置される物体と前記第１カメラとの間の距離を検出する距離センサをさらに備える、請求項９に記載の撮像システム。

【請求項11】

前記制御部は、機械学習を行うことで生成された推定モデルおよび前記第１カメラが撮像する画像に基づいて、実空間に配置される物体と前記第１カメラとの間の距離を推定する、請求項９に記載の撮像システム。

【請求項12】

前記判定部は、前記第１カメラの位置および姿勢に基づいて、前記第１カメラが撮像する画像に含まれる物体が前記第１範囲に含まれるか否かを判定する、請求項１に記載の撮像システム。

【請求項13】

入力装置をさらに備え、
前記入力装置は、前記取得部が取得する前記第１カメラの位置および姿勢に対する前記第１範囲の位置情報を受け付け、
前記設定部は、前記第１範囲の位置情報に基づいて前記第１範囲を設定する、請求項１に記載の撮像システム。

【請求項14】

入力装置をさらに備え、
前記制御部は、前記第１カメラによって撮像された画像から鉛直方向に垂直な平面を検出し、
前記設定部は、ユーザから入力された画像内の座標が検出された平面内に含まれる場合には、当該座標に基づいて定められる領域を前記第１範囲として設定する、請求項１に記載の撮像システム。

【請求項15】

前記設定部は、前記画像に含まれるマーカーを抽出し、前記マーカーの基準形状からの変化量に基づいて前記第１範囲を設定する、請求項１に記載の撮像システム。

【請求項16】

記憶部をさらに備え、
前記記憶部は、実空間を表わす特定情報を記憶し、
前記設定部は、前記特定情報に基づいて前記第１範囲を設定する、請求項１に記載の撮像システム。

【請求項17】

前記制御部は、Ｖｉｓｕａｌ ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）技術、またはＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）技術に基づいて、前記特定情報を作成する、請求項１６に記載の撮像システム。

【請求項18】

前記設定部は、ユーザからの入力に基づいて設定した前記第１範囲を変更する、請求項１に記載の撮像システム。

【請求項19】

表示装置をさらに備え、
前記制御部は、前記画像処理部によってマスク処理が実行された後の前記画像を前記表示装置に表示させる、請求項２に記載の撮像システム。

【請求項20】

カメラを用いて実空間に配置された物体を撮像する撮像方法であって、
実空間における第１範囲を設定するステップと、
前記カメラの位置および姿勢を取得するステップと、
前記カメラの位置および姿勢に基づいて、前記カメラによって撮像される画像に含まれる物体が前記第１範囲に含まれるか否かを判定するステップと、
前記判定するステップにおける判定結果に応じて、前記カメラが撮像した画像に対して異なる画像処理を施すステップとを含む、撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮像システム、および撮像方法に関する。

【背景技術】

【0002】

従来、カメラで撮像された画像に映し出されている任意の物体をリアルタイムで認識する技術が知られている。たとえば、画像に映し出されている人物の顔を認識する顔認識技術が知られている（「岩井儀雄他著、「画像処理による顔検出と顔認識」、情報処理学会研究報告．ＣＶＩＭ、[コンピュータビジョンとイメージメディア]１４９、２００５年５月１３日、ｐ３４３－３６８」非特許文献１参照）。

【0003】

非特許文献１には、画像に含まれる各画素が有する情報、および各画素の相関関係などから特徴量を抽出し、当該特徴量に基づいて人物の顔を認識することが開示されている。また、非特許文献１には、サンプル画像を学習することによって顔認識のための認識モデルを生成することが記載されている。

【先行技術文献】

【非特許文献】

【0004】

【文献】岩井儀雄他著、「画像処理による顔検出と顔認識」、情報処理学会研究報告．ＣＶＩＭ、[コンピュータビジョンとイメージメディア]１４９、２００５年５月１３日、ｐ３４３－３６８

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、実空間にはあらゆる種類の物体が存在する。撮像された画像に含まれる様々な種類の物体のうちから、表示すべき物体と表示すべきではない物体とを区別するために、各物体に対応した個別の認識モデルを生成することは、コストの増大に繋がる。

【0006】

本発明はこのような課題を解決するためになされたものであり、その目的は、撮像システムにおいて、認識モデルを生成することなく、撮像された画像内において表示すべき物体と表示すべきではない物体とを区別して、コストの増大を抑制することである。

【課題を解決するための手段】

【0007】

本開示の撮像システムは、実空間に配置された物体を撮像する第１カメラと、制御部とを備える。制御部は、設定部と、取得部と、判定部と、画像処理部とを含む。設定部は、実空間における第１範囲を設定する。取得部は、第１カメラの位置および姿勢を取得する。判定部は、第１カメラの位置および姿勢に基づいて、第１カメラが撮像する画像に含まれる物体が第１範囲に含まれるか否かを判定する。画像処理部は、判定部による判定結果に応じて、第１カメラが撮像した画像に対して異なる画像処理を施す。

【0008】

本開示に係る撮像方法は、カメラを用いて実空間に配置された物体を撮像する撮像方法である。本開示に係る撮像方法は、実空間における第１範囲を設定するステップと、カメラの位置および姿勢を取得するステップと、カメラの位置および姿勢に基づいて、カメラによって撮像される画像に含まれる物体が第１範囲に含まれるか否かを判定するステップと、判定するステップにおける判定結果に応じて、第１カメラが撮像した画像に対して異なる画像処理を施すステップとを含む。

【発明の効果】

【0009】

本開示に係る撮像システムでは、設定部によって第１範囲が設定され、判定部は、撮像した画像に含まれる物体が当該第１範囲に含まれない物体であるか否かを判定する。画像処理部は、判定部の判定結果に応じて、撮像された画像に対して異なる画像処理を施す。すなわち、撮像システムは、第１範囲に配置されている物体と、第１範囲に配置されていない物体とを区別して表示する画像を生成する。このような構成によって、撮像システムでは、認識モデルを生成することなく、画像内において表示すべき物体と、表示すべきではない物体とを区別することができ、コストの増大を抑制できる。

【図面の簡単な説明】

【0010】

【図1】本実施の形態における撮像システムの構成を示すブロック図である。

【図2】本実施の形態における撮像システムによる撮像を説明するための図である。

【図3】位置Ｐｓ１からカメラが対象範囲を撮像したときの画像を示す図である。

【図4】位置Ｐｓ２からカメラが対象範囲を撮像したときの画像を示す図である。

【図5】本実施の形態の撮像システムがマスク処理を実行するためのフローチャートである。

【図6】図５に示す画像がマスク処理された後の画像を示す図である。

【図7】図６に示す画像がマスク処理された後の画像を示す図である。

【図8】対象範囲の設定をするためのフローチャートを示す図である。

【図9】カメラの位置および姿勢と対象範囲の関係を示す図である。

【図10】距離センサの検出結果と、カメラの画像を合成した画像を示す図である。

【図11】平面検出に基づいて、対象範囲を設定することを説明するための図である。

【図12】平面検出を用いた対象範囲の設定方法のためのフローチャートを示す図である。

【図13】マーカーを用いた対象範囲を設定する方法について説明するための図である。

【図14】画像の変化量とカメラの移動量との関係を説明するための図である。

【図15】実空間を表わす３Ｄデータが記憶部によって記憶されていることを示す図である。

【図16】変形例５における撮像システムの構成を示すブロック図である。

【図17】変形例５における撮像システムによる撮像を説明するための図である。

【発明を実施するための形態】

【0011】

［実施の形態］
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分には同一符号を付してその説明は繰り返さない。

【0012】

＜撮像システムの全体構成＞
図１は、本実施の形態における撮像システム１００の構成を示すブロック図である。本実施の形態における撮像システム１００は、カメラ２０を備え、カメラ２０が撮像した画像の処理をするシステムである。撮像システム１００は、実空間に配置された様々な物体を動画像として撮像し、当該動画像に含まれる物体のうち、表示すべき物体と、表示すべきではない物体とを区別して表示および記録するシステムである。

【0013】

撮像システム１００は、カメラ２０に加えて、制御部１０と、入力装置３０と、表示装置４０と、記憶部５０とを備える。本実施の形態において、撮像システム１００は、たとえば、制御部１０と、カメラ２０と、入力装置３０と、表示装置４０と、記憶部５０とを備える１つのスマートフォンとして実現される。

【0014】

なお、撮像システム１００を構成する各要素の一部は、別体の機器として設けられてもよい。たとえば、撮像システム１００は、制御部１０と、入力装置３０と、表示装置４０と、記憶部５０とを備える汎用コンピュータに加えて、該汎用コンピュータとは別体のカメラ２０を備える構成であってもよい。たとえば、カメラ２０は、一般的なビデオカメラ等であり得る。

【0015】

制御部１０は、設定部１１と、取得部１２と、判定部１３と、画像処理部１４と、入出力部１５とを備える。設定部１１は、ユーザの選択にしたがって実空間における対象範囲を設定する。取得部１２は、カメラ２０の位置（実空間における三次元座標）および姿勢（ピッチ、ロール、ヘディング）を取得する。判定部１３は、カメラ２０の位置および姿勢に基づいて、カメラ２０が撮像する画像に含まれる物体が対象範囲に含まれるか否かを判定する。画像処理部１４は、判定部１３が対象範囲に含まれないと判定した物体に対してマスク処理を実行する。入出力部１５は、カメラ２０と、入力装置３０と、表示装置４０と、記憶部５０との各々と信号の授受を行う。

【0016】

制御部１０は、ハードウェア構成として、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）とを含む。ＣＰＵは、ＲＡＭに読み込まれた各種プログラムおよびデータを実行または参照する。ある局面において、ＣＰＵは、組み込みＣＰＵ、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらの組み合わせ等によって代用され得る。

【0017】

ＲＡＭは、ＣＰＵによって実行されるプログラムと、ＣＰＵによって参照されるデータとを格納する。ある局面において、ＲＡＭは、ＤＲＡＭ（Dynamic Random Access Memory）またはＳＲＡＭ（Static Random Access Memory）によって実現され得る。

【0018】

カメラ２０は、実空間に配置された物体を撮像する。本実施の形態におけるカメラ２０は、慣性センサ２１と、位置センサ２２と、距離センサ２３とを含む。なお、カメラ２０は、本開示の「第１カメラ」に対応する。

【0019】

慣性センサ２１は、典型的には、慣性計測装置（ＩＭＵ：inertial measurement unit）であって、たとえば、加速度センサおよびジャイロセンサを組み合わせたもの、または、これに地磁気センサを組み合わせたものである。

【0020】

位置センサ２２は、カメラ２０の位置を特定するセンサである。たとえば、位置センサ２２は、ＧＰＳ（Global Positioning System）受信機である。また、位置センサ２２は、カメラ２０の位置をより精緻に特定するため、赤外線センサ、超音波センサなどと組合せられてもよい。

【0021】

距離センサ２３は、実空間に配置される物体とカメラ２０との間の距離を検出する。たとえば、距離センサ２３は、ＴＯＦ（Time Of Flight）形式の光を用いて、物体との距離を検出する。また、距離センサ２３は、ＬＩＤＡＲ（Laser Imaging Detection and Ranging）、距離計測が可能なステレオカメラ、または深度カメラであってもよい。また、距離センサ２３は、カメラ２０と別体として設けられてもよい。

【0022】

入力装置３０は、典型的には、キーボードまたはマウスなどである。また、表示装置４０は、典型的には、液晶ディスプレイまたは有機ＥＬ（Electro Luminescence）ディスプレイである。なお、入力装置３０と表示装置４０とは、タッチスクリーンとして一体的に設けられてもよい。入力装置３０は、ユーザから対象範囲Ｒｇ１の情報の入力を受け付ける。

【0023】

記憶部５０は、典型的にはＲＯＭ（Read Only Memory）である。すなわち、記憶部５０は、不揮発性メモリであり、ＣＰＵによって実行されるプログラム等を格納する。ＣＰＵは、ＲＯＭからＲＡＭに読み出されたプログラムを実行する。ある局面において、ＲＯＭは、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）またはフラッシュメモリによって実現されてもよい。また、記憶部５０は、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Flash Solid State Drive）等を含んでもよい。

【0024】

＜撮像システムの具体例＞
図２は、本実施の形態における撮像システム１００による撮像を説明するための図である。上述したように、撮像システム１００は、実空間に配置された様々な物体を動画像として撮像し、当該動画像のうち、対象範囲Ｒｇ１以外に配置された物体と、対象範囲Ｒｇ１に配置された物体とを区別する。

【0025】

動画の撮像または配信を行う場合において、撮像された動画に映し出された物体のうち、たとえば、撮像が許可されていない領域に配置された物体だけにマスク処理を実行する場合に、本実施の形態における撮像システム１００が用いられ得る。本実施の形態における撮像システム１００は、工場あるいは研究所の内部の装置や作業内容を撮像して動画像として記録または他の機器に送信する場合において、撮像された画像に含まれる機密情報に関する部分を取り除く際に適用される。

【0026】

図２には、工場内部において、作業員Ｈｍ１とロボットＲｂ１とが撮像対象となる例が示されている。図２には、本実施の形態の撮像システム１００の一例であるスマートフォンと、対象範囲Ｒｇ１と、その他様々な種類の物体とが示されている。

【0027】

図２における対象範囲Ｒｇ１は、直方体形状を有する。なお、対象範囲Ｒｇ１は、直方体形状に限らず、空間的な領域を有する範囲であれば、どのような形状であってもよい。たとえば、対象範囲Ｒｇ１は、多面体、球形状、または柱形状などであり得る。対象範囲Ｒｇ１の情報は、記憶部５０によって記憶される。対象範囲Ｒｇ１の情報とは、対象範囲Ｒｇ１が占める領域の情報であって、たとえば、対象範囲Ｒｇ１が占める領域を示す座標が含まれる。

【0028】

以降の説明において、鉛直方向をＺ軸方向とし、Ｚ軸方向に垂直な面をＸ軸およびＹ軸として規定する。Ｘ軸方向およびＹ軸方向は、直方体形状である対象範囲Ｒｇ１が有する辺に沿う方向である。また、各図におけるＺ軸の正方向を上方側、負方向を下方側と称する場合がある。なお、対象範囲Ｒｇ１は、本開示における「第１範囲」に対応する。

【0029】

図２に示されているように、対象範囲Ｒｇ１には、撮像対象である作業員Ｈｍ１と、ロボットＲｂ１とが配置されている。また、対象範囲Ｒｇ１のＸ軸の正方向側には、撮像対象ではないロボットＲｂ２と、物体Ｏｂ１とが配置されている。図２においては、物体Ｏｂ１は、３つの箱である。なお、物体Ｏｂ１は、たとえば、テーブル、椅子、または産業機器などの用具であってもよく、形状を有する物体であればよい。さらに、対象範囲Ｒｇ１のＹ軸の正方向側には、撮像対象ではない作業員Ｈｍ２，Ｈｍ３，Ｈｍ４が配置されている。

【0030】

図２に示されている本実施の形態の撮像システム１００の一例であるスマートフォンは、カメラ２０を備えている。スマートフォンを有する撮影者（不図示）は、カメラ２０の画角内に撮像対象である作業員Ｈｍ１およびロボットＲｂ１を含むように撮像を開始する。また、スマートフォンを有する撮影者は、位置Ｐｓ１から位置Ｐｓ２へ向かって移動しながらカメラ２０による動画像を撮像する。位置Ｐｓ１は、対象範囲Ｒｇ１のＸ軸の負方向側の位置である。位置Ｐｓ２は、対象範囲Ｒｇ１のＹ軸の負方向側の位置である。

【0031】

以下では、図３および図４を用いて、カメラ２０によって撮像される生画像について説明する。図３および図４に示される画像の各々は、撮像される動画像に含まれる複数のフレームのうちの１フレームに対応する生画像である。

【0032】

図３は、位置Ｐｓ１からカメラ２０が対象範囲Ｒｇ１を撮像したときの画像ＲｗＩｍ１を示す図である。図３に示されるように、位置Ｐｓ１から撮像したときの画像ＲｗＩｍ１には、撮像対象であるロボットＲｂ１および作業員Ｈｍ１に加えて、撮像対象ではないロボットＲｂ２、物体Ｏｂ１、および作業員Ｈｍ４が含まれている。

【0033】

図４は、位置Ｐｓ２からカメラ２０が対象範囲Ｒｇ１を撮像したときの画像ＲｗＩｍ２を示す図である。図４に示されるように、位置Ｐｓ２から撮像したときの画像ＲｗＩｍ２には、撮像対象であるロボットＲｂ１および作業員Ｈｍ１に加えて撮像対象ではない作業員Ｈｍ２～Ｈｍ４が含まれている。

【0034】

このように、カメラ２０で撮像した生画像には、撮像対象である物体に加えて、撮像対象ではない物体が表示および記録されてしまう。撮像対象ではない物体が機密情報を含む場合、カメラ２０で撮像された画像が使用できない場合が生じ得る。そこで、撮像システム１００は、図３および図４に示す生画像に対して、図５に示す手順でマスク処理を実行する。撮像システム１００は、図３および図４に示す画像のみならず、カメラ２０が撮像した動画像に含まれる複数のフレームの各々に対して、マスク処理を実行する。

【0035】

＜マスク処理のフローチャート＞
図５は、本実施の形態の撮像システム１００におけるマスク処理のフローチャートである。図５のフローチャートは、制御部１０において、所定の開始条件が成立して、ＲＯＭに記憶されたプログラムが呼び出されることによって実行される。あるいは、フローチャートにおけるステップの一部およびすべては、専用のハードウェア回路で実行されてもよい。

【0036】

制御部１０は、ユーザからの入力にしたがって対象範囲Ｒｇ１を設定する（ステップＳ１１）。ステップＳ１１における詳細な対象範囲Ｒｇ１の設定方法は、図８を用いて後述する。制御部１０は、カメラ２０の位置および姿勢を取得する（ステップＳ１２）。本実施の形態においては、取得部１２は、カメラ２０が含む慣性センサ２１および位置センサ２２の検出値に基づいて、カメラ２０の位置および姿勢を取得する。

【0037】

カメラ２０の位置は、記憶部５０に記憶される座標空間内の座標によって表わされる。座標空間とは、ＸＹＺ軸からなる３次元空間である。取得部１２は、カメラ２０に含まれる位置センサ２２の検出値からカメラ２０の位置を取得する。カメラ２０の姿勢とは、上記のカメラ２０の位置において、カメラ２０が正対している方向であり、たとえば、ＸＹＺ軸に対する角度、あるいは、各軸回りの角度によって表わされる。取得部１２は、カメラ２０に含まれる慣性センサ２１の検出値からカメラ２０の姿勢を取得する。

【0038】

制御部１０には、カメラ２０が撮像する画像に含まれる物体が対象範囲Ｒｇ１に含まれるか否かを判定する（ステップＳ１３）。本実施の形態においては、判定部１３は、取得部１２が取得するカメラ２０の位置および姿勢と距離センサ２３の検出値とに基づいて判定する。

【0039】

制御部１０は、判定部１３による判定結果に応じて、カメラ２０が撮像した画像に対して異なる画像処理を施す（ステップＳ１４）。本実施の形態の撮像システム１００では、対象範囲Ｒｇ１に含まれないと判定された物体に対してマスク処理を実行する。マスク処理とは、画像内の対象領域を視認し難くする処理であって、たとえば、モザイク化する処理が含まれる。また、マスク処理には、あらかじめ定められた画像を当該対象領域に重畳させる処理も含まれる。

【0040】

制御部１０は、マスク処理後の画像をたとえば、表示用バッファあるいは記憶部５０に記憶させる（ステップＳ１５）。制御部１０は、ユーザから撮像終了命令を受け付けたか否かを判定する（ステップＳ１６）。制御部１０は、ユーザから撮像終了命令を受け付けていないと判定した場合（ステップＳ１６でＮＯ）、ステップＳ１２に処理が戻されて、カメラ２０が撮像する動画像に含まれる１フレームごとの画像に対してステップＳ１２～Ｓ１５の処理を繰り返す。図２で説明したように、カメラ２０は、移動しながら動画を撮像する。そのため、カメラ２０が撮像する動画に含まれる１フレームごとの生画像の表示内容は変化し得る。同様に、ステップＳ１２で取得されるカメラ２０の位置および姿勢も１フレームごとに変化し得る。制御部１０は、ユーザから撮像終了命令を受け付けたと判定した場合（ステップＳ１６でＹＥＳ）、処理を終了する。

【0041】

このように撮像システム１００においては、制御部１０が図５に示すフローチャートを実行することにより、図２に示す対象範囲Ｒｇ１以外に配置されている物体に対してマスク処理が実行される。これにより、撮像システム１００においては、認識モデルを生成することなく、画像内において表示すべき物体と表示すべきではない物体とを区別してマスク処理をすることができる。

【0042】

図６は、図５に示す画像ＲｗＩｍ１がマスク処理された後の画像ＥｄＩｍ１を示す図である。図７は、図６に示す画像ＲｗＩｍ２がマスク処理された後の画像ＥｄＩｍ２を示す図である。図６および図７に示されているように、対象範囲Ｒｇ１以外に配置されている物体はマスク処理によって認識することができない。

【0043】

なお、図６に示すように、撮像対象の物体が含まれる領域を対象範囲Ｒｇ１として設定してもよいし、逆に、撮像対象でない物体が含まれる領域を対象範囲Ｒｇ１として設定してもよい。たとえば、図２において、対象範囲Ｒｇ１に機密情報を含む物体が配置されている場合、制御部１０は、対象範囲Ｒｇ１に対してマスク処理を実行する。

【0044】

続いて、図８を用いて、対象範囲Ｒｇ１の設定方法の一例を説明する。図８は、対象範囲Ｒｇ１の設定をするためのフローチャートを示す図である。図８に示すフローチャートは、ユーザから対象範囲Ｒｇ１の設定命令を受け付けたときに制御部１０によって実行される。

【0045】

制御部１０は、対象範囲Ｒｇ１を初期化する（ステップＳ２１）。すなわち、ステップＳ２１において、設定部１１は、記憶部５０の対象範囲Ｒｇ１に対して記憶領域を初期化する。

【0046】

制御部１０は、カメラ２０の位置および姿勢を初期位置および初期姿勢として取得する（ステップＳ２２）。すなわち、ステップＳ２２において制御部１０は、慣性センサ２１および位置センサ２２の検出値に基づいて、初期位置および初期姿勢となるカメラ２０の位置および姿勢を取得する。初期位置となるカメラ２０の位置は、記憶部５０によって座標空間上の座標として記憶される。同様に、初期姿勢となるカメラ２０の姿勢は、記憶部５０によってカメラ２０の初期位置において、カメラ２０が正対している方向として記憶される。

【0047】

制御部１０は、カメラ２０の初期位置に対する対象範囲Ｒｇ１の情報をユーザから受け付けたか否かを判断する（ステップＳ２３）。対象範囲Ｒｇ１の情報は、座標空間上において、対象範囲Ｒｇ１が占める領域の情報である。たとえば、対象範囲Ｒｇ１が立方体である場合、入力装置３０は、カメラ２０の初期位置から撮像方向に向かってどれだけ先の座標を中心位置とするかを示す情報（当該立方体とカメラ２０との距離）および立方体の一辺の長さを示す情報の入力をユーザから受け付ける。

【0048】

制御部１０は、対象範囲Ｒｇ１の情報を受け付けていないと判断した場合（ステップＳ２３でＮＯ）、ステップＳ２３の処理を繰り返す。制御部１０は、対象範囲Ｒｇ１の情報を受け付けたと判断した場合（ステップＳ２３でＹＥＳ）、制御部１０は、ユーザから受け付けた対象範囲Ｒｇ１の情報に基づ いて、座標空間上の対応する領域を対象範囲Ｒｇ１として記憶部５０に記憶 させる。すなわち、設定部１１は、ユーザから受け付けた対象範囲Ｒｇ１の情報にしたがって、当該立方体が占める空間的な領域を対象範囲Ｒｇ１として設定する。

【0049】

同一の座標空間上に、カメラ２０の位置と対象範囲Ｒｇ１の位置とが記憶されているため、制御部１０は、座標空間を参照することにより、カメラ２０の位置と対象範囲Ｒｇ１の位置との相対的な関係を取得することができる。相対的な関係とは、座標空間上におけるカメラ２０と対象範囲Ｒｇ１との間の距離、カメラ２０を中心としたときに対象範囲Ｒｇ１が位置している方向などを含む。

【0050】

また、制御部１０は、カメラ２０が移動した場合であっても、取得部１２が１フレームごとにカメラ２０の位置および姿勢を取得するため、初期位置および初期姿勢からの移動量を算出することができる。すなわち、制御部１０は、カメラ２０が移動すれば、座標空間上のカメラ２０の位置および姿勢を更新する。そのため、制御部１０は、カメラ２０が移動した後であっても、移動した後のカメラ２０の位置および姿勢と対象範囲Ｒｇ１の位置との間の相対的な関係を算出することができる。

【0051】

以下では、画像に含まれる物体が対象範囲Ｒｇ１に含まれるか否かを判定する方法について説明する。上述したように、制御部１０は、取得部１２が取得するカメラ２０の位置および姿勢と、カメラ２０に含まれる距離センサ２３の検出値とに基づいて判定する。図９では、カメラ２０の位置および姿勢だけに基づいて、判定する例について説明する。図８で説明したように、取得部１２は、対象範囲Ｒｇ１が設定されたときのカメラ２０の位置および姿勢を初期位置および初期姿勢として取得する。

【0052】

上述したように、カメラ２０の初期位置および初期姿勢を取得した後、取得部１２は、動画の１フレームごとにカメラ２０の位置および姿勢を取得し続ける。そのため、判定部１３は、カメラ２０が移動した後においても、カメラ２０の位置および姿勢と対象範囲Ｒｇ１の位置との相対的な関係を取得することができる。換言すれば、制御部１０は、カメラ２０の移動後の位置および姿勢と、記憶された対象範囲Ｒｇ１の情報とを比較することに基づいて、カメラ２０と対象範囲Ｒｇ１との相対的な位置関係を取得できる。

【0053】

図９は、カメラ２０の位置および姿勢と対象範囲Ｒｇ１の関係を示す図である。図９には、カメラ２０が位置Ｐｓ１に位置しているときに、設定部１１が対象範囲Ｒｇ１を設定した例が示されている。すなわち、位置Ｐｓ１は、カメラ２０の初期位置および初期姿勢である。

【0054】

図９には、カメラ２０が有するイメージセンサＩＳおよびイメージセンサＩＳの焦点Ｆｃが示されている。角度Ａｇ１は、カメラ２０の画角である。判定部１３は、カメラ２０の位置および姿勢と対象範囲Ｒｇ１の位置との相対的な関係を用いて、カメラ２０の画角である角度Ａｇ１のうち、対象範囲Ｒｇ１が映し出される角度が角度Ａｇ２であることを算出できる。図９に示されるように、イメージセンサＩＳ上の角度Ａｇ２に対応する範囲には、ロボットＲｂ１および作業員Ｈｍ１に加えて、ロボットＲｂ２と物体Ｏｂ１とが含まれる。一方で、イメージセンサＩＳ上の角度Ａｇ２に対応する範囲には、作業員Ｈｍ４は含まれてない。

【0055】

そのため、制御部１０は、カメラ２０の位置および姿勢と対象範囲Ｒｇ１の位置との相対的な関係に基づいて、作業員Ｈｍ４は、対象範囲Ｒｇ１に含まれないと判定することができる。すなわち、制御部１０は、イメージセンサＩＳ上において、少なくとも角度Ａｇ２に対応しない範囲の物体が対象範囲Ｒｇ１に含まれないと判定することができる。

【0056】

カメラ２０が位置Ｐｓ３に移動した場合も同様に、制御部１０は、移動後のカメラ２０の位置および姿勢と対象範囲Ｒｇ１の位置との相対的な関係に基づいて、カメラ２０の画角である角度Ａｇ１のうち、対象範囲Ｒｇ１が映し出される角度が角度Ａｇ３であることを算出できる。そのため、制御部１０は、イメージセンサＩＳ上において、少なくとも角度Ａｇ３に対応しない範囲の物体が対象範囲Ｒｇ１に含まれないと判定することができる。

【0057】

このように、制御部１０は、カメラ２０の位置および姿勢に基づいて、位 置Ｐｓ１の場合には、作業員Ｈｍ４が対象範囲Ｒｇ１に含まれないことを判定できる。しかしながら、画角のみに基づいて対象範囲Ｒｇ１内かどうかを 判定すると、たとえば、ロボットＲｂ２と物体Ｏｂ１のように、角度Ａｇ２に対応する範囲には含まれるが対象範囲Ｒｇ１には含まれない物体を認識できない。

【0058】

そこで、本実施の形態においては、距離センサ２３を用いて、カメラ２０から物体までの距離を測定することによって、ロボットＲｂ２および物体Ｏｂ１が対象範囲Ｒｇ１に含まれるか否かを判定する。図１０は、距離センサ２３の検出結果と、カメラ２０の画像ＲｗＩｍ１を合成した画像ＤｉＩｍ２を示す図である。距離センサ２３は、カメラ２０が撮像した画像に含まれる物体とカメラ２０との間の距離を検出する。

【0059】

図１０に示す画像ＤｉＩｍ２においては、物体とカメラ２０との距離に応じて画像内に含まれる作業員Ｈｍ１～Ｈｍ４、ロボットＲｂ１に対して異なるハッチングＨｔ１～Ｈｔ５がそれぞれ付されている。図１０では、説明のためにハッチングＨｔ１～Ｈｔ５が付されている例を示しているが、物体とカメラ２０との距離は、色の種類、濃淡などによって示されてもよい。

【0060】

制御部１０は、カメラ２０の位置および姿勢と対象範囲Ｒｇ１の位置との相対的な関係から、対象範囲Ｒｇ１のＹ軸方向の境界までの距離を算出することができる。そのため、制御部１０は、対象範囲Ｒｇ１よりも後方（Ｙ軸方向の正方向側）に配置されている作業員Ｈｍ２～Ｈｍ４が対象範囲Ｒｇ１に含まれていないことを判定できる。これにより、制御部１０は、イメージセンサＩＳ上の角度Ａｇ２に対応する範囲に配置されている物体についても、対象範囲Ｒｇ１に含まれているか否かを判定できる。制御部１０は、対象範囲Ｒｇ１に含まれないと判定する物体に対してマスク処理を実行する。

【0061】

このように、本実施の形態における撮像システム１００は、対象範囲Ｒｇ１を設定して、画像に含まれる物体が対象範囲Ｒｇ１に含まれないと判定する場合、マスク処理を実行する。そのため、対象範囲Ｒｇ１以外に配置されている物体である作業員Ｈｍ２～Ｈｍ４、ロボットＲｂ２、物体Ｏｂ１などを認識するための認識モデルを生成する必要がない。これにより、撮像システム１００では、認識モデルを生成することなく、画像内において表示すべき物体と、表示すべきではない物体とを区別することができ、コストの増大を抑制できる。

【0062】

[変形例１]
本実施の形態では、対象範囲Ｒｇ１の設定に関して、対象範囲Ｒｇ１の情報をユーザから入力装置３０を介して受け付ける例について説明した。変形例１では、カメラ２０からの距離、立方体の辺の長さなどの直接的な対象範囲Ｒｇ１の情報をユーザに入力させるのではなく、カメラ２０によって撮像される画像を用いて対象範囲Ｒｇ１をユーザに設定させる撮像システム１００について説明する。なお、変形例１の撮像システム１００において、本実施の形態の撮像システム１００と重複する構成の説明については繰り返さない。

【0063】

図１１は、平面検出に基づいて、対象範囲Ｒｇ１を設定することを説明するための図である。平面検出のための処理は、種々のＡＲシステムにおけるライブラリを適用することができる。たとえば、ＵｎｉｔｙまたはＡＲｋｉｔ（登録商標）等の開発環境で使用可能なライブラリが適用され得る。制御部１０は、これらのライブラリを用いてカメラ２０が撮像する画像を解析し、鉛直方向と垂直なＸＹ平面と略平行な平面を検出する。図１１（Ａ）は、平面検出後の画像ＰＬＩｍ１を示す。制御部１０は、平面検出により、床ＦＬ１の座標空間上の位置情報を取得する。

【0064】

画像ＰＬＩｍ１には、作業員Ｈｍ１、ロボットＲｂ１、および物体Ｏｂ２が示されている。また、画像ＰＬＩｍ１には、壁ＷＡ１および床ＦＬ１が示されている。作業員Ｈｍ１、ロボットＲｂ１、および物体Ｏｂ２のいずれも床ＦＬ１上に配置されている。また、ロボットＲｂ１および物体Ｏｂ２は、一部が壁ＷＡ１に面するように配置されている。

【0065】

図１１の例において、制御部１０は、ロボットＲｂ１の一部である平面ＰＬ１、ＰＬ２、ＰＬ３、および床ＦＬ１をＸＹ平面に平行な面として検出する。さらに、制御部１０は、検出した平面のうちから物体が配置され得る面積以上を有する平面に対して、色を付して表示装置４０に表示させる。物体が配置され得る面積は、あらかじめ定められており、たとえば、１平方メートルである。

【0066】

図１１の例では、制御部１０は、１平方メートル以上の面積を有する床ＦＬ１に色を付し、画像ＰＬＩｍ１を表示する。制御部１０は、色を付した床ＦＬ１から対象範囲Ｒｇ１を設定するための座標をユーザに選択させる。図１１の例では、画像ＰＬＩｍ１が表示されている画像を表示する画面のうち、床ＦＬ１の一部がユーザによって選択Ｔｐ１されている。制御部１０は、ユーザの選択Ｔｐ１によって選ばれた点に対応する座標空間上の座標Ｐ１を取得する。すなわち、選択Ｔｐ１は、床ＦＬ１に含まれる座標Ｐ１を示す情報である。

【0067】

制御部１０は、表示する画面のうち、床ＦＬ１上の座標Ｐ１に対応する位置が選択されたことに基づいて、座標Ｐ１に基づく領域を対象範囲Ｒｇ１として設定する。図１１（Ｂ）は、選択Ｔｐ１に基づいて設定された対象範囲Ｒｇ１を示す図である。図１１の例では、座標Ｐ１を底面の中心とする立方体が対象範囲Ｒｇ１として示されている。なお、制御部１０は、座標Ｐ１を底面の中心とするのではなく、立方体の中心としてもよいし、立方体が有する８つの角部のうちのいずれかの角としてもよい。また、設定部１１は、一度設定した対象範囲Ｒｇ１を変更してもよい。すなわち、既に対象範囲Ｒｇ１が設定されている場合においても、図１１に示されるように平面検出を行い、ユーザに新たに選択された座標に基づいて、設定部１１は、新たに対象範囲Ｒｇ１を設定する。

【0068】

図１２は、平面検出を用いた対象範囲Ｒｇ１の設定方法のためのフローチャートを示す図である。制御部１０は、カメラ２０が撮像した画像に対して、平面検出を実行し、平面に対して色を付して画像ＰＬＩｍ１を表示する（ステップＳ３１）。制御部１０は、入力装置３０を介して、平面に含まれる座標Ｐ１を示す情報をユーザから受け付けたか否かを判定する（ステップＳ３２）。制御部１０は、座標Ｐ１を示す情報を受け付けていない場合（ステップＳ３２でＮＯ）、ステップＳ３２の処理を繰り返す。

【0069】

制御部１０に含まれる設定部１１は、座標Ｐ１を示す情報を受け付けた場合（ステップＳ３２でＹＥＳ）、受け付けた座標Ｐ１に基づいた領域を対象範囲Ｒｇ１として設定する（ステップＳ３３）。すなわち、設定部１１は、対象範囲Ｒｇ１の情報を記憶部５０に記憶させる。また、既に対象範囲Ｒｇ１の情報が記憶部５０によって記憶されている場合、設定部１１は、ユーザによって選択された新たな対象範囲Ｒｇ１の情報に変更する。

【0070】

このように、変形例１の撮像システム１００においては、平面検出を用いて、対象範囲Ｒｇ１が設定される。これにより、撮像システム１００においては、カメラ２０が撮像する画像に基づいて、いずれの位置を対象範囲Ｒｇ１とするかを簡便にユーザに設定させることができる。

【0071】

[変形例２]
本実施の形態では、慣性センサ２１、位置センサ２２に基づいてカメラ２０の位置および姿勢を取得する例について説明した。また、変形例１においては、平面検出により対象範囲Ｒｇ１を設定する例について説明した。変形例２では、実空間に配置されたマーカーＭｋ１に基づき、カメラ２０の位置および姿勢を取得し、対象範囲Ｒｇ１の設定する例について説明する。なお、変形例２の撮像システム１００において、本実施の形態の撮像システム１００と重複する構成の説明については繰り返さない。

【0072】

図１３は、マーカーＭｋ１を用いた対象範囲Ｒｇ１を設定する方法について説明するための図である。図１３（Ａ）は、カメラ２０が撮像した画像ＲｗＩｍ３を示す図である。図１３（Ｂ）は、設定された対象範囲Ｒｇ１を示す図である。画像ＲｗＩｍ３には、作業員Ｈｍ１と、ロボットＲｂ１とに加えてマーカーＭｋ１が示されている。図１３の例では、マーカーＭｋ１は、星形形状を表わすマークであるが、たとえばＱＲコード（登録商標）であってもよい。

【0073】

設定部１１は、画像ＲｗＩｍ３に映し出されているマーカーＭｋ１に基づいた領域を対象範囲Ｒｇ１として設定する。制御部１０は、画像ＲｗＩｍ３からマーカーＭｋ１を抽出し、マーカーＭｋ１の基準形状からの変化量に基づいて、座標空間上のマーカーＭｋ１の位置を画像解析により取得する。基準形状とは、マーカーＭｋ１の実空間のサイズ、形状である。記憶部５０は、マーカーＭｋ１の基準形状を予め記憶する。制御部１０は、画像ＲｗＩｍ３に映し出されているマーカーＭｋ１の基準形状からの変化量を算出する。

【0074】

形状の変化量とは、基準形状からの幾何学変換を行ったときの度合いを意味する。すなわち、基準形状を画像ＲｗＩｍ３に映し出されているマーカーＭｋ１に一致させるための拡縮率、回転角度、せん断率などが変化量に含まれ得る。これにより、制御部１０は、カメラ２０の位置からマーカーＭｋ１までの距離およびマーカーＭｋ１の姿勢を算出することができる。すなわち、制御部１０は、カメラ２０の位置に対する相対的なマーカーＭｋ１の位置情報を取得する。設定部１１は、マーカーＭｋ１の位置情報に基づいた領域を、対象範囲Ｒｇ１とする。

【0075】

図１３（Ｂ）の例では、マーカーＭｋ１を底面の中心とする立方体が対象範囲Ｒｇ１として示されている。なお、制御部１０は、マーカーＭｋ１を底面の中心とするのではなく、立方体の中心としてもよいし、立方体が有する８つの角部のうちのいずれかとしてもよい。

【0076】

また、制御部１０は、マーカーＭｋ１の位置に対する相対的なカメラ２０の位置および姿勢を画像解析により取得する。対象範囲Ｒｇ１は、マーカーＭｋ１の位置に基づいて設定されているため、制御部１０は、カメラ２０の位置および姿勢と対象範囲Ｒｇ１との相対的な関係を取得できる。すなわち、判定部１３は、カメラ２０の画角内に対象範囲Ｒｇ１が位置しているかを判定することができる。

【0077】

このように、変形例２の撮像システム１００では、カメラ２０が慣性センサ２１、位置センサ２２、距離センサ２３を備えなくとも、カメラ２０が撮像する画像に含まれるマーカーＭｋ１の基準形状からの変形量に基づいて、対象範囲Ｒｇ１を設定でき、カメラ２０の位置および姿勢を取得できる。これにより、変形例２では、慣性センサ２１、位置センサ２２、および距離センサ２３が不要となるため、コストを低減することができる。

【0078】

[変形例３]
変形例２では、画像に含まれるマーカーＭｋ１に基づいて、カメラ２０の位置および姿勢を取得し、また、対象範囲Ｒｇ１を設定する例について説明した。変形例３では、マーカーＭｋ１が映し出されていなくとも、カメラ２０が撮像する動画像の変化から、カメラ２０の位置および姿勢を取得し、また、対象範囲Ｒｇ１を設定する例について説明する。なお、変形例３の撮像システム１００において、本実施の形態の撮像システム１００と重複する構成の説明については繰り返さない。

【0079】

変形例３における制御部１０は、Ｖｉｓｕａｌ ＳＬＡＭ（Simultaneous Localization and Mapping）技術を用いて、動画像に含まれる１フレームごとの画像の内容の変化から、カメラ２０の周囲の実空間の地形情報を作成（マッピング）する。制御部１０は、Ｖｉｓｕａｌ ＳＬＡＭ技術に代えて、ＳｆＭ（Structure from Motion）技術を用いて、マッピング処理をしてもよいし、これらの技術を組み合わせてもよい。

【0080】

マッピング処理は、環境地図の作成処理とも称されており、カメラ２０の周囲の実空間を表わす３Ｄデータを作成する処理である。制御部１０は、マッピング処理によって、カメラ２０の周囲の実空間を表わす３Ｄデータを取得し、当該３Ｄデータを記憶部５０の座標空間上に記憶させる。制御部１０は、カメラ２０の周囲の実空間を表わす３Ｄデータを、ＸＹ平面を平面視したときの地図情報などに変換して記憶部５０に記憶させてもよい。なお、実空間を表わす３Ｄデータ、またはこれに基づく地図情報は、本開示の「特定情報」に対応する。制御部１０は、Ｖｉｓｕａｌ ＳＬＡＭ技術またはＳｆＭ技術に基づいて、特定情報を生成する。

【0081】

制御部１０は、実空間を表わす３Ｄデータを表示装置４０に表示させる。制御部１０は、図１１で説明したように、座標空間上の当該３Ｄデータに含まれる座標をユーザに選択させて、座標に基づく領域を対象範囲Ｒｇ１として設定する。

【0082】

また、制御部１０は、Ｖｉｓｕａｌ ＳＬＡＭ技術を用いて、カメラ２０自身の自己位置を推定する。すなわち、制御部１０は、マッピング処理によって作成されたカメラ２０の周囲の地形情報におけるカメラ２０自身の位置を推定する。制御部１０は、Ｖｉｓｕａｌ ＳＬＡＭ技術に代えて、ＳｆＭ技術、および、ＶＯ（Visual Odometry）技術を用いてカメラ２０自身の自己位置を推定してもよいし、これらの技術を組み合わせてもよい。

【0083】

以下、Ｖｉｓｕａｌ ＳＬＡＭ技術等の画像解析により、カメラ２０の位置および姿勢を推定する方法について説明する。図１４は、画像の変化量とカメラ２０の移動量との関係を説明するための図である。図１４（Ａ）は、カメラ２０が位置Ｐｓ４から他の位置Ｐｓ５に移動することを示す図である。図１４（Ｂ）は、カメラ２０が位置Ｐｓ４から他の位置Ｐｓ５に移動したときの画像ＲｗＩｍ４，ＲｗＩｍ５の変化を示す図である。

【0084】

制御部１０は、画像解析により、図１４（Ｂ）に示されているように、画像に含まれる物体のフレーム間の位置の変化量Ｍ２に基づき、カメラ２０自身の位置Ｐｓ４からの移動量Ｍ１を推定することができる。このように、変形例３においては、取得部１２は、カメラ２０自身の移動量Ｍ１に基づいて、マッピング処理により作成された地形情報に対する相対的なカメラ２０の位置および姿勢を取得する。

【0085】

また、カメラ２０と画像に含まれる物体との間の距離は、機械学習を行うことで生成された推定モデルを用いて推定されてもよい。すなわち、制御部１０は、サンプル画像を学習することによって生成された生成された推定モデルを用いて、実空間に配置された物体とカメラ２０との間の距離を推定する。

【0086】

これにより、変形例３の撮像システム１００では、変形例２と同様に、慣性センサ２１、位置センサ２２、距離センサ２３を備えることなく、カメラ２０の位置および姿勢を取得し、対象範囲Ｒｇ１を設定することができる。そのため、変形例３の撮像システム１００においてもコストを低減することができる。さらに、変形例３の撮像システム１００では、マーカーＭｋ１を実空間に配置することなく、カメラ２０の位置および姿勢を取得し、対象範囲Ｒｇ１を設定することができる。

【0087】

[変形例４]
変形例３では、Ｖｉｓｕａｌ ＳＬＡＭ技術を用いて、動画像に含まれる１フレームごとの画像の内容の変化から、カメラ２０の周囲の実空間の地形情報を作成（マッピング）する構成について説明した。変形例４では、実空間の地形情報を表わす３Ｄデータが予め準備されている例について説明する。なお、変形例４の撮像システム１００において、本実施の形態の撮像システム１００と重複する構成の説明については繰り返さない。

【0088】

３Ｄデータ等の地形情報は、Ｖｉｓｕａｌ ＳＬＡＭ技術のみならず、ＬＩＤＡＲなどを用いて、生成され得る。また、３Ｄデータ等の地形情報は、自治体などの公共団体によって、防災の観点からインターネット上に公開されている場合があり得る。

【0089】

図１５は、実空間を表わす３ＤデータＤａｔ１が予め記憶部５０によって記憶されていることを示す図である。変形例４では、記憶部５０は、実空間を表わす３ＤデータＤａｔ１等の地形情報を座標空間上に予め記憶する。制御部１０は、実空間を表わす３ＤデータＤａｔ１を表示装置４０などに表示させて、ユーザに３ＤデータＤａｔ１における対象範囲Ｒｇ１を設定させる。

【0090】

制御部１０は、慣性センサ２１および位置センサ２２の検出値に基づいて、座標空間上におけるカメラ２０の位置および姿勢を取得する。すなわち、制御部１０は、カメラ２０の位置および姿勢と対象範囲Ｒｇ１の位置との間の相対的な関係を取得することができる。

【0091】

このように、変形例４における撮像システム１００では、記憶部５０が実空間を表わす３ＤデータＤａｔ１を予め記憶し、設定部１１は、３ＤデータＤａｔ１に基づいて対象範囲Ｒｇ１を設定する。これにより、変形例４における撮像システム１００では、判定部１３が、カメラ２０の画角に含まれる物体が対象範囲Ｒｇ１に含まれるか否かを判定することができる。そのため、変形例４の撮像システム１００では、距離センサ２３が不要となるため、コストを低減することができる。

【0092】

[変形例５]
本実施の形態の撮像システム１００においては、慣性センサ２１および位置センサ２２の検出値に基づいて、カメラ２０の位置および姿勢を取得する構成について説明した。変形例５においては、カメラ２０とは異なるカメラ２５が撮像する画像に基づき、カメラ２０の位置および姿勢を取得する構成について説明する。なお、変形例５の撮像システム１００Ａにおいて、本実施の形態の撮像システム１００と重複する構成の説明については繰り返さない。

【0093】

図１６は、変形例５における撮像システム１００Ａの構成を示すブロック図である。撮像システム１００Ａは、カメラ２５と、表示装置４５とをさらに備える。また、カメラ２０は、慣性センサ２１および位置センサ２２を有さない。

【0094】

図１７は、変形例５における撮像システム１００Ａによる撮像を説明するための図である。図１７には、カメラ２０を撮像するカメラ２５および表示装置４５が示されている。カメラ２５および表示装置４５の各々は、本実施の形態におけるスマートフォンとは別体であり、当該スマートフォンに格納されている制御部１０と無線を介して接続されている。

【0095】

カメラ２５は、配置が固定されたカメラであって、たとえば、監視カメラなどの定点カメラである。取得部１２は、画像解析により、カメラ２５が撮像する画像に含まれるスマートフォンの形状の基準形状からの変化量に基づいて、カメラ２０の位置および姿勢を取得する。なお、カメラ２５は、本開示の「第２カメラ」に対応する。

【0096】

制御部１０は、変形例２において基準形状からのマーカーＭｋ１の形状の変化量から、座標空間上のマーカーＭｋ１の位置情報を取得したように、カメラ２０の位置情報を取得する。すなわち、記憶部５０は、カメラ２０が格納されているスマートフォンの実空間の形状を基準形状として記憶する。制御部１０は、スマートフォンの基準形状から、カメラ２５が撮像する画像に含まれるスマートフォンの形状への変化量に基づいて、カメラ２０の位置および姿勢の少なくとも一方を取得する。なお、制御部１０は、カメラ２５の撮像する画像からカメラ２０の姿勢だけを取得し、位置センサを用いてカメラ２０の位置を取得してもよい。また、制御部１０は、カメラ２５の撮像する画像からカメラ２０の位置だけを取得し、慣性センサを用いてカメラ２０の姿勢を取得してもよい。

【0097】

これにより、変形例５における撮像システム１００Ａでは、取得部１２は、慣性センサ２１および位置センサ２２の少なくとも一方を用いずとも、カメラ２０の位置および姿勢を取得することができる。そのため、変形例５の撮像システム１００Ａにおいても、コストを低減することができる。また、判定部１３は、カメラ２５が撮像する画像の解析によって取得された座標空間上のカメラ２０の位置および姿勢を用いて、カメラ２０が撮像する画像に含まれる物体が対象範囲Ｒｇ１に含まれるか否かを判定する。

【0098】

画像処理部１４は、対象範囲Ｒｇ１に含まれないと判定した物体に対して、マスク処理を実行する。図１７の例では、画像処理部１４は、位置Ｐｓ２から撮像された画像ＲｗＩｍ２に対して、マスク処理を実行し、画像ＥｄＩｍ２を生成する。図１７に示されるように、制御部１０は、画像ＥｄＩｍ２を表示装置４５に表示させる。これにより、対象範囲Ｒｇ１以外に配置されている作業員Ｈｍ２～Ｈｍ４は、適切にマスク処理が実行されていることにより、画像ＥｄＩｍ２に自身が表示されていないことを確認することができる。

【0099】

［態様］
上述した複数の例示的な実施の形態は、以下の態様の具体例であることが当業者により理解される。

【0100】

（第１項） 一態様に係る撮像システムは、実空間に配置された物体を撮像する第１カメラと、制御部とを備える。制御部は、実空間における第１範囲を設定する設定部と、第１カメラの位置および姿勢を取得する取得部と、第１カメラの位置および姿勢に基づいて、第１カメラが撮像する画像に含まれる物体が第１範囲に含まれるか否かを判定する判定部と、判定部による判定結果に応じて、第１カメラが撮像した画像に対して異なる画像処理を施す画像処理部とを含む。

【0101】

第１項に記載の撮像システムによれば、認識モデルを生成することなく、画像内において表示すべき物体と表示すべきではない物体とを区別することができ、コストの増大を抑制できる。

【0102】

（第２項） 第１項に係る画像処理部は、判定部によって第１範囲に含まれないと判定された物体を対象として、第１カメラが撮像した画像にマスク処理を実行する。

【0103】

第２項に記載の撮像システムによれば、第１カメラが撮像した画像において、第１範囲に含まれないと判定された物体を非表示にすることができる。

【0104】

（第３項） 第１項または第２項に係る第１カメラは慣性センサを含む。取得部は、慣性センサの検出値を用いて、第１範囲が設定されたときの第１カメラの姿勢に対する第１カメラの姿勢を取得する。

【0105】

第３項に記載の撮像システムによれば、慣性センサを用いて、第１カメラの姿勢に関する情報を取得することができる。

【0106】

（第４項） 第１項～第３項のいずれかの項に係る第１カメラは位置センサを含む。取得部は、位置センサの検出値を用いて、第１カメラの位置を取得する。

【0107】

第４項に記載の撮像システムによれば、位置センサを用いて、第１カメラの位置に関する情報を取得することができる。

【0108】

（第５項） 第１項に係る取得部は、第１カメラが撮像する画像に含まれる物体の画像内における位置の変化量に基づいて、第１カメラの位置および姿勢の少なくとも一方を取得する。

【0109】

第５項に記載の撮像システムによれば、慣性センサ、位置センサを備えずとも、単眼カメラで撮像した動画像から第１カメラの位置および姿勢に関する情報を取得することができ、コストを低減することができる。

【0110】

（第６項） 第５項に係る取得部は、Ｖｉｓｕａｌ ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）技術、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）技術、および、ＶＯ（Ｖｉｓｕａｌ Ｏｄｏｍｅｔｒｙ）技術の少なくとも１つに基づいて、第１カメラの位置および姿勢を取得する。

【0111】

第６項に記載の撮像システムによれば、慣性センサ、位置センサを備えずとも、ＳＬＡＭ技術を用いて、単眼カメラで撮像した動画像から第１カメラの位置および姿勢に関する情報を取得でき、コストを低減することができる。

【0112】

（第７項） 第１項に係る取得部は、画像に含まれるマーカーを抽出し、マーカーの基準形状からの変化量に基づいて、第１カメラの位置および姿勢を取得する。

【0113】

第７項に記載の撮像システムによれば、慣性センサ、位置センサを備えずとも、実空間に配置されたマーカーを撮像することによって、単眼カメラで撮像した動画像から第１カメラの位置および姿勢に関する情報を取得することができ、コストを低減することができる。

【0114】

（第８項） 第１項に係る第１カメラを撮像する第２カメラをさらに備える。取得部は、第２カメラによって撮像された画像に含まれる第１カメラの基準形状からの変化量に基づいて、第１カメラの位置および姿勢を取得する。

【0115】

第８項に記載の撮像システムによれば、慣性センサ、位置センサを備えずとも、第２カメラが撮像する画像から第１カメラの位置および姿勢に関する情報を取得することができ、コストを低減することができる。

【0116】

（第９項） 第１項～第８項のいずれかの項に係る判定部は、実空間に配置される物体と第１カメラとの間の距離に基づいて、画像に含まれる物体が第１範囲に含まれるか否かを判定する。

【0117】

第９項に記載の撮像システムによれば、図９に示されるように、第１カメラの画角のいずれの角度に対象範囲が位置しているかという情報に加えて、撮像方向に対する物体の配置を取得することができるため、画像内に含まれる物体が対象範囲に含まれるか否かをより正確に判断することができる。

【0118】

（第１０項） 第９項に係る実空間に配置される物体と第１カメラとの間の距離を検出する距離センサをさらに備える。

【0119】

第１０項に記載の撮像システムによれば、距離センサを用いて、物体と第１カメラとの間の距離を検出することができる。

【0120】

（第１１項） 第９項に係る機械学習を行うことで生成された推定モデルおよび第１カメラが撮像する画像に基づいて、実空間に配置される物体と第１カメラとの間の距離を推定する。

【0121】

第１１項に記載の撮像システムによれば、距離センサを用いずに、物体と第１カメラとの間の距離を検出することができるため、コストを低減することができる。

【0122】

（第１２項） 第１項～第８項のいずれかの項に係る判定部は、第１カメラの位置および姿勢に基づいて、第１カメラが撮像する画像に含まれる物体が第１範囲に含まれるか否かを判定する。

【0123】

第１２項に記載の撮像システムによれば、図９に示されるように、第１カメラの位置および姿勢だけから、第１カメラの画角内における第１範囲が占める領域を判定し、当該領域に含まれる物体を第１範囲に含まれると判定することができる。

【0124】

（第１３項） 第１項～第１２項のいずれかの項に係る入力装置をさらに備える。入力装置は、取得部が取得する第１カメラの位置および姿勢に対する第１範囲の位置情報を受け付ける。設定部は、第１範囲の位置情報に基づいて第１範囲を設定する。

【0125】

第１３項に記載の撮像システムによれば、入力装置を介してユーザから受け付けた第１範囲の位置情報に基づいて、第１範囲の位置を設定することができる。

【0126】

（第１４項） 第１項～第１２項のいずれかの項に係る入力装置をさらに備える。制御部は、第１カメラによって撮像された画像から鉛直方向に垂直な平面を検する。設定部は、ユーザから入力された画像内の座標が検出された平面内に含まれる場合には、当該座標に基づいて定められる領域を前記第１範囲として設定する。

【0127】

第１４項に記載の撮像システムによれば、カメラ２０が撮像する画像に基づいて、平面検出によって検出された平面内において、いずれの位置に対象範囲を配置するかを直感的にユーザに設定させることができる。

【0128】

（第１５項） 第１項～第１２項のいずれかの項に係る設定部は、画像に含まれるマーカーを抽出し、マーカーの基準形状からの変化量の映り方に基づいて、第１範囲を設定する。

【0129】

第１５項に記載の撮像システムによれば、実空間にマーカーを配置するだけで、対象範囲を設定することができる。

【0130】

（第１６項） 第１項～第１２項のいずれかの項に係る記憶部をさらに備える。記憶部は、実空間を表わす特定情報を記憶する。設定部は、特定情報に基づいて第１範囲を設定する。

【0131】

第１６項に記載の撮像システムによれば、実空間を表わす特定情報から、第１範囲を設定することができる。

【0132】

（第１７項） 第１６項に係る制御部は、Ｖｉｓｕａｌ ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）技術、またはＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）技術に基づいて、特定情報を作成する。

【0133】

第１７項に記載の撮像システムによれば、実空間を表わす３Ｄデータなどの特定情報が予め準備されていなくとも、第１カメラの撮像によって特定情報を作成することができる。

【0134】

（第１８項） 第１項～第１７項のいずれかの項に係る設定部は、ユーザからの入力に基づいて設定した第１範囲を変更する。

【0135】

第１８項に記載の撮像システムによれば、第１カメラの撮像中においても設定した対象範囲を変更することができる。

【0136】

（第１９項） 第２項～第１８項のいずれかの項に係る表示装置をさらに備える。制御部は、画像処理部によってマスク処理が実行された後の画像を表示装置に表示させる。

【0137】

第１９項に記載の撮像システムによれば、画像処理部のマスク処理が適切に実行されているかを容易に確認させることができる。

【0138】

（第２０項） 一態様に係る撮像方法は、カメラを用いて実空間に配置された物体を撮像する撮像方法であって、実空間における第１範囲を設定するステップと、カメラの位置および姿勢を取得するステップと、カメラの位置および姿勢に基づいて、カメラによって撮像される画像に含まれる物体が第１範囲に含まれるか否かを判定するステップと、判定するステップにおける判定結果に応じて、カメラが撮像した画像に対して異なる画像処理を施すステップとを含む。

【0139】

第２０項に記載の撮像方法によれば、認識モデルを生成することなく、画像内において表示すべき物体と表示すべきではない物体とを区別することができ、コストの増大を抑制できる。

【0140】

なお、上述した実施の形態および変更例について、明細書内で言及されていない組み合わせを含めて、不都合または矛盾が生じない範囲内で、実施の形態で説明された構成を適宜組み合わせることは出願当初から予定されている。

【0141】

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0142】

１０ 制御部、１１ 設定部、１２ 取得部、１３ 判定部、１４ 画像処理部、２０，２５ カメラ、２１ 慣性センサ、２２ 位置センサ、２３ 距離センサ、３０ 入力装置、４０，４５ 表示装置、５０ 記憶部、１００，１００Ａ 撮像システム、Ａｇ１～Ａｇ３ 角度、Ｏｂ１，Ｏｂ２ 物体、Ｄａｔ１ データ、ＥｄＩｍ１，ＥｄＩｍ２，ＰＬＩｍ１，ＰＬＩｍ２，ＲｗＩｍ１～ＲｗＩｍ５ 画像、ＦＬ１ 床、Ｆｃ 焦点、Ｈｍ１～Ｈｍ４ 作業員、Ｈｔ１～Ｈｔ５ ハッチング、ＩＳ イメージセンサ、Ｍ１ 移動量、Ｍｋ１ マーカー、Ｐ１ 座標、ＰＬ１ 平面、Ｐｓ１～Ｐｓ５ 位置、Ｒｂ１，Ｒｂ２ ロボット、Ｒｇ１ 対象範囲、Ｔｐ１ 選択、ＷＡ１ 壁。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】