特許 7494573 画像処理装置、画像処理システム、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-27

(45)【発行日】2024-06-04

(54)【発明の名称】画像処理装置、画像処理システム、画像処理方法およびプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240528BHJP

   H04N 23/698 20230101ALI20240528BHJP

   H04N 23/45 20230101ALI20240528BHJP

   G06T 3/00 20240101ALI20240528BHJP

   G06T 7/00 20170101ALI20240528BHJP

【ＦＩ】

H04N23/60 500

H04N23/698

H04N23/45

G06T3/00 775

G06T7/00 Z

【請求項の数】 14

(21)【出願番号】P 2020094123

(22)【出願日】2020-05-29

(65)【公開番号】P2021190826

(43)【公開日】2021-12-13

【審査請求日】2023-02-27

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】安中 英邦

(72)【発明者】

【氏名】後藤 芳和

(72)【発明者】

【氏名】森田 健一郎

(72)【発明者】

【氏名】相川 智慎

(72)【発明者】

【氏名】城 英樹

(72)【発明者】

【氏名】秋本 佑哉

(72)【発明者】

【氏名】武田 貴文

(72)【発明者】

【氏名】白井 達也

【審査官】村山 絢子

(56)【参考文献】

【文献】特開２０１３－２５０６０１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０－２３／９５９

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ １／００－５／５０

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｖ １０／００－２０／９０

(57)【特許請求の範囲】

【請求項1】

撮像画像の入力を受ける画像入力手段と、
入力された前記撮像画像に示される所定パターンの位置を算出する算出手段と、
算出された複数の所定パターンの位置に基づいて形成される特定の形状を補完する頂点を推定する推定手段と、
算出された複数の所定パターンの位置、および推定された前記頂点に基づいて、処理対象の領域を設定する領域設定手段と、
設定された前記領域に対して画像処理を行う画像処理手段と、
入力された前記撮像画像における所定パターンの位置を示す位置情報を記憶する記憶手段と、
を備え、
前記領域設定手段は、算出された複数の所定パターンの位置と、記憶された前記位置情報の少なくとも一部とに基づいて、前記領域を設定する、画像処理装置。

【請求項2】

請求項１に記載の画像処理装置であって、更に、
算出された複数の所定パターンの位置に基づいて、前記特定の形状を決定する決定手段を備え、
前記推定手段は、決定された前記特定の形状を形成するために不足する頂点を推定する画像処理装置。

【請求項3】

前記領域設定手段は、算出された複数の所定パターンの位置および推定された前記頂点によって形成される少なくとも一つの面を含む前記領域を設定し、
前記画像処理手段は、設定された前記領域に含まれる面に対して画像処理を行う請求項１又は２に記載の画像処理装置。

【請求項4】

前記所定パターンは、一次元コード、二次元コードもしくは特定の画像、または輝点のパターンもしくは複数の画像にわたる輝点の時間的パターンである請求項１乃至３のいずれか一項に記載の画像処理装置。

【請求項5】

前記領域は、前記複数の所定パターンの位置および前記頂点を結んで画定される多角形を包含する領域、または前記複数の所定パターンの位置および前記頂点の凸包を包含する領域を含む請求項１乃至４のいずれか一項に記載の画像処理装置。

【請求項6】

前記画像処理は、ぼかし、所定の色もしくは画像パターンでの塗りつぶし、モザイク処理および図形オブジェクトでの上書きのうちの少なくとも一つのマスク処理である請求項１乃至５のいずれか一項に記載の画像処理装置。

【請求項7】

入力された前記撮像画像は、全天球画像である請求項１乃至６のいずれか一項に記載の画像処理装置。

【請求項8】

前記複数の所定パターンは、異なるパターンを含み、更に、
入力された前記撮像画像に示される所定パターンを検出する検出手段を備え、
前記検出手段は、パターンを識別する識別子を検出し、
前記領域設定手段は、所定の条件を満たす識別子を有する複数のグループに対して、異なる領域を設定する請求項１乃至７のいずれか一項に記載の画像処理装置。

【請求項9】

請求項１乃至８のいずれか一項に記載の画像処理装置であって、更に、
前記撮像画像を取得する撮像手段を備え、
前記画像入力手段は、取得された前記撮像画像を入力する画像処理装置。

【請求項10】

請求項１乃至８のいずれか一項に記載の画像処理装置であって、更に、
入力された前記撮像画像を表示部に表示させる表示制御手段と、
前記領域に対する画像処理の種別の選択を受け付ける受付手段と、
を備える画像処理装置。

【請求項11】

請求項１乃至８のいずれか一項に記載の画像処理装置を備える画像処理システムであって、
前記撮像画像を取得する撮像手段と、
前記撮像手段の視野内に配置され、前記所定パターンを発生させる複数のパターン発生手段と、
を備える画像処理システム。

【請求項12】

前記パターン発生手段は、輝点を発光する発光装置、または一次元コード、二次元コードもしくは特定の画像が印刷もしくは表示された媒体である請求項１１に記載の画像処理システム。

【請求項13】

画像処理装置が実行する画像処理方法であって、
撮像画像の入力を受ける画像入力ステップと、
入力された前記撮像画像に示される所定パターンの位置を算出する算出ステップと、
算出された複数の所定パターンの位置に基づいて形成される特定の形状を補完する頂点を推定する推定ステップと、
算出された複数の所定パターンの位置、および推定された前記頂点に基づいて、処理対象の領域を設定する領域設定ステップと、
設定された前記領域に対して画像処理を行う画像処理ステップと、
入力された前記撮像画像における所定パターンの位置を示す位置情報を記憶する記憶ステップと、
を実行し、
前記領域設定ステップは、算出された複数の所定パターンの位置と、記憶された前記位置情報の少なくとも一部とに基づいて、前記領域を設定する、画像処理方法。

【請求項14】

画像処理装置に、
撮像画像の入力を受ける画像入力ステップと、
入力された前記撮像画像に示される所定パターンの位置を算出する算出ステップと、
算出された複数の所定パターンの位置に基づいて形成される特定の形状を補完する頂点を推定する推定ステップと、
算出された複数の所定パターンの位置、および推定された前記頂点に基づいて、処理対象の領域を設定する領域設定ステップと、
設定された前記領域に対して画像処理を行う画像処理ステップと、
入力された前記撮像画像における所定パターンの位置を示す位置情報を記憶する記憶ステップと、
を実行させ、
前記領域設定ステップは、算出された複数の所定パターンの位置と、記憶された前記位置情報の少なくとも一部とに基づいて、前記領域を設定する、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理システム、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

複数の広角レンズまたは魚眼レンズを用いて全方位を撮影する撮像装置が知られている。このような撮像装置を用いて撮影を行う際に見せたくない箇所が映り込んでしまう場合があり、撮像画像に対して事後的に画像処理を行うことによって、見せたくない箇所の画像を除去する技術が知られている。

【0003】

例えば、特許文献１には、全周囲画像から平面画像を生成する際の切り出し範囲を設定する際に、全周囲画像の不要領を検知し、検知された不要領域を除外して切り出し範囲を指定する内容が記載されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の方法では、画像に示される不要領域等の処理対象の領域が、撮像装置が撮影する被写体の状況に応じて変化する場合、処理対象の領域を精度良く設定することができないという課題があった。

【課題を解決するための手段】

【0005】

上述した課題を解決すべく、請求項１に係る発明は、撮像画像の入力を受ける画像入力手段と、入力された前記撮像画像に示される所定パターンの位置を算出する算出手段と、算出された複数の所定パターンの位置に基づいて形成される特定の形状を補完する頂点を推定する推定手段と、算出された複数の所定パターンの位置、および推定された前記頂点に基づいて、処理対象の領域を設定する領域設定手段と、設定された前記領域に対して画像処理を行う画像処理手段と、入力された前記撮像画像における所定パターンの位置を示す位置情報を記憶する記憶手段と、を備え、前記領域設定手段は、算出された複数の所定パターンの位置と、記憶された前記位置情報の少なくとも一部とに基づいて、前記領域を設定する、画像処理装置である。

【発明の効果】

【0006】

本発明によれば、撮像画像に対する画像処理の対象となる領域の認識精度を向上させることができるという効果を奏する。

【図面の簡単な説明】

【0007】

【図1】実施形態に係る画像処理システムの一例を示す図である。

【図2】実施形態に係るマスク処理領域を設定するための構成の一例を説明するための図である。

【図3】実施形態に係るマスク処理領域を設定するための構成の別の例を説明するための図である。

【図4】（Ａ）～（Ｄ）実施形態に係る画像処理システムにおけるマスク処理の一例を説明するための概略図である。

【図5】実施形態に係る撮像装置のハードウエア構成の一例を示す図である。

【図6】（Ａ）は、全天球画像の生成における各画像のデータ構造および画像処理のデータフローの一例を示す概念図であり、（Ｂ）は、全天球画像のデータ構造の一例を平面で示した概念図であり、（Ｃ）は、全天球画像のデータ構造の一例を球面で示した概念図である。

【図7】実施形態に係る撮像装置の機能構成の一例を示す図である。

【図8】実施形態に係る位置情報管理テーブルの一例を示す概念図である。

【図9】実施形態に係る撮像装置における基準フォーマットを用いたマスク処理の一例を示すフローチャートである。

【図10】実施形態に係る基準フォーマットの一例を示す概略図である。

【図11】実施形態に係る撮像装置におけるマスク処理領域の設定処理の一例を示すフローチャートである。

【図12】実施形態に係るマスク処理領域の設定処理について説明するための概略図である。

【図13】（Ａ）は実施形態に係る撮像装置によって撮像された撮像画像の一例を示す図であり、（Ｂ）は実施形態に係る撮像装置によってマスク処理された処理画像の一例を示す図である。

【図14】実施形態に係る撮像装置によってマスク処理された処理画像の別の例を示す図である。

【図15】（Ａ）（Ｂ）実施形態に係る画像処理システムにおけるマスク処理の一例を説明するための概略図である。

【図16】実施形態に係る撮像装置における位置情報を用いたマスク処理の一例を示すフローチャートである。

【図17】実施形態に係る所定パターンの検出位置の一例を示す概略図である。

【図18】実施形態の変形例に係る画像処理システムの概略の一例を説明するための図である。

【図19】実施形態の変形例に係るＰＣのハードウエア構成の一例を示す図である。

【図20】実施形態の変形例に係る画像処理システムの機能構成の一例を示す図である。

【図21】実施形態の変形例に係る画像処理システムにおける撮像装置に対するマスク処理の一例を示すシーケンス図である。

【発明を実施するための形態】

【0008】

以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。

【0009】

●実施形態●
●システム構成
図１は、実施形態に係る画像処理システムの一例を示す図である。図１に示す画像処理システムは、撮像装置１０によって撮影空間における被写体が撮像された撮像画像に対する画像処理を行うシステムである。

【0010】

撮像装置１０は、工場またはサーバールーム等の撮影空間内における被写体を撮影する。この撮影空間には、撮影対象となる被写体と秘匿対象となる対象物が存在する。撮像装置１０は、撮影空間の被写体が撮影し、撮影された撮像画像に対して秘匿対象の対象物を秘匿するためのマスク処理を行う画像処理装置である。

【0011】

撮像装置１０は、撮影空間の被写体を撮影して撮像画像を取得することができるデジタルカメラである。撮像装置１０は、例えば、全天球（３６０°）パノラマ画像を得るための特殊なデジタルカメラである。なお、撮像装置１０は、一般的なデジタルカメラ（一眼レフカメラ、コンパクトデジタルカメラ等）であってもよい。本実施形態では、撮像装置１０が全天球パノラマ画像を得るためのデジタルカメラ（特殊撮像装置）として説明を行う。なお、撮像画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。また、撮像画像は、画像とともに音声を含んでもよい。また、撮像装置１０は、固定されていてもよいし、撮影者または移動式のロボットに保持されて移動しながら撮影が行われてもよい。

【0012】

ここで、図２および図３を用いて、処理対象の領域であるマスク処理領域を設定するための構成について説明する。図２は、実施形態に係るマスク処理領域を設定するための構成の一例を説明するための図である。

【0013】

図２は、ＬＥＤ装置３０Ａ～３０Ｅを用いて、対象物Ｊを秘匿するための構成を示す。図１に示されているように、撮影空間内には、撮影者が画像中に写り込ませたくないと考えている被写体（対象物Ｊ）が存在する。この場合、図２に示されているように、保護すべき対象物Ｊの周辺に、三次元的に複数のＬＥＤ装置３０Ａ～３０Ｈ（以下区別する必要がないときは、ＬＥＤ装置３０と称する）が配置される。図２に示す例では、八つのＬＥＤ装置３０Ａ～３０Ｈが配置されている。

【0014】

ＬＥＤ装置３０Ａ～３０Ｈは、所定パターンとして色の輝点３５Ａ～３５Ｈをそれぞれ発生される。この輝点３５Ａ～３５Ｈは、マスク処理領域を指定するためのパターンとなる。ＬＥＤ装置３０は、所定の色の輝点を発生させる発光装置の一例であり、自動マスク処理機能を利用しようとする撮影者等が、マスク処理領域を事前指定するために配置するデバイスである。所定パターンは、種々の電子機器で採用されている赤や緑等の単色のランプと区別できるパターンであることが望ましく、光強度（点滅）パターン、輝点の色、複数の輝点の配置またはこれらの組み合わせで構成され得る。

【0015】

ＬＥＤ装置３０は、撮像装置１０の視野内に配置され、所定パターンを発生させるパターン発生手段の一例である。パターン発生手段は、１または複数の輝点を発光する発光装置であればよい。発光装置は、ＬＥＤ装置３０のほか、例えば、ワイヤーやメッシュにＬＥＤ等の発光素子が取り付けられたワイヤーライトおよびメッシュライト等であってもよい。また、パターン発生手段は、図２に示されているようなスタンド型および天吊型であってもよいし、バッチ型であってもよい。

【0016】

撮像装置１０は、撮像画像中の複数のＬＥＤ装置３０Ａ～３０Ｈの発光部位に対応する輝点３５Ａ～３５Ｈの中心位置の座標値を算出する。撮像画像が動画である場合、連続する画像間で同じ座標の画素値を比較すると、点滅しているＬＥＤ装置３０に対応する座標において、点灯している場合と消灯している場合で画素値に違いが生じる。撮像装置１０は、輝点３５の光強度（点滅）パターンのように、画素値の変化をチェックすることで、画像上における点滅しているＬＥＤ装置３０に対応する位置を検出できる。

【0017】

また、撮像装置１０は、点灯したＬＥＤ装置３０が写っている画像と消灯したＬＥＤ装置３０が写っている画像の出現パターンからＬＥＤの点滅パターンを識別することができる。撮像装置１０は、特定の点滅パターンを撮像装置１０に記録しておくことで、特定の点滅パターンをパターン発生手段によって発生された所定パターンであることを検出することができる。

【0018】

図３は、実施形態に係るマスク処理領域を設定するための構成の別の例を説明するための図である。図３に示す例は、領域を識別するための所定パターンを発生させるパターン発生手段として、ＬＥＤ装置３０に変えてＱＲコード（登録商標）４０Ａ～４０Ｈ（以下区別する必要がないときは、ＱＲコード４０と称する）等の画像が印刷または表示された媒体を用いる構成である。撮像装置１０は、複数のＱＲコード４０Ａ～４０Ｈのそれぞれの識別子となる特定の文字情報を登録し、ＱＲコード４０Ａ～４０Ｈを読み取ることで、所定パターンを検出することができる。ＱＲコード４０は、印刷または表示された媒体として設置される。なお、撮像装置１０が撮影中に移動または向きの変更が行われることも想定されるため、複数の視点から認識可能なようにＱＲコード４０を読み取り可能な面は、複数あることが望ましい。

【0019】

図３に示されている所定パターンとしての画像は、ＱＲコードに限られず、一次元コード、二次元コードまたは特定の画像であってもよい。一次元コードは、いわゆるバーコードである。二次元コードは、例えば、マトリックス式およびスタック式のものがあり、ＱＲコードのほか、ＤａｔａＭａｔｒｉｘ（ＤａｔａＣｏｄｅ）、ＭａｘｉＣｏｄｅまたはＰＤＦ４１７等である。また、特定の画像は、所定パターンを識別可能な数字、符号、記号またはイラスト等を含む画像である。なお、所定パターンとして画像を用いる場合、撮像装置１０による撮像画像は、動画である必要なく、静止画であってもよい。

【0020】

このように、画像処理システムにおいて、撮影者または撮影される被写体の管理者（部屋の住人や撮影者による撮影を受け入れる工場等の拠点の責任者）は、上述した所定パターンが撮像画像に映り込むように、自身が隠したいと考えている被写体の周辺に、所定パターンを発生させるパターン発生手段を物理的および立体的に配置する。これによって、撮影者または管理者等は、撮影前に、自身が撮影対象から除外したい領域を事前に指定することができる。なお、以下の説明において、所定パターンがＬＥＤ装置３０により発生する輝点３５である例を説明するが、所定パターンは、図３に示されているような画像であってもよい。

【0021】

●概略
ここで、図４を用いて、実施形態に係る画像処理システムにおける画像処理を概略的に説明する。図４は、実施形態に係る画像処理システムにおけるマスク処理の一例を説明するための概略図である。なお、図４は、実施形態に係る画像処理システムにおける画像処理の概略を簡略的に説明したものであり、画像処理システムが実現する機能等の詳細は、後述する図面等を用いて説明する。

【0022】

図４（Ａ）は、図２に示されているように、対象物Ｊの周辺にパターン発生手段としての複数のＬＥＤ装置３０が配置されている状況を示す。例えば、撮像装置１０で撮影された撮像画像を遠隔地に送ることで、工場やサーバールームの現地の映像を遠隔で確認する用途が考えられる。特に、動画で撮影しながら撮影者が現場を歩いて撮影して回るという方法が考えられる。このとき、特定の位置にある設備（例えば、対象物Ｘ）は、機密性が高いため、ＬＥＤ装置３０等のパターン発生手段を対象物Ｘの周囲に配置し、撮像画像中の輝点３５等の所定パターンで囲まれた対象物Ｊの画像に対して画像処理を施す仕組みが考えられる。

【0023】

しかしながら、図４（Ａ）に示されているように、障害物Ｘによって、配置されたＬＥＤ装置３０のうちの一つが隠されてしまう場合がある。ＬＥＤ装置３０の一つが隠れてしまうと、図４（Ｂ）に示されているように、撮像装置１０は、隠されたＬＥＤ装置３０により発生される輝点３５を検知できなくなり、対象物Ｊが処理対象の領域から外れてしまい、意図した領域を隠すことができなくなってしまう。

【0024】

そこで、撮像装置１０は、図４（Ｃ）に示されているように、検出された複数の輝点３５（この場合、６点）の形状から、処理対象の領域を形成するために不足する頂点を推定する。そして、撮像装置１０は、図４（Ｄ）に示されているように、検出された複数の輝点３５と推定された頂点により設定されたマスク処理領域を施す。

【0025】

従来の撮像画像から特定の画像を隠す方法では、隠したい領域を撮像装置が撮影する撮影空間に応じて事前に指定することができないとともに、画像処理の対象となる処理領域を撮影時にリアルタイムに設定することができなかった。特に、図４（Ｂ）に示されているように、処理対象の領域を識別するための所定パターンと撮像装置１０との間に障害物Ｘ等が存在する場合、処理対象の領域を正確に識別できなくなり、隠したい領域を隠すことができなかった。

【0026】

そこで、撮像装置１０は、ＬＥＤ装置３０等のパターン発生手段を用いて立体的に囲われた隠したい領域を認識する際に、その一部が何らかの理由で撮影されなかった場合であっても、処理対象の領域の形状を推定することで、隠すべき領域を正しく認識することができ、処理対象の領域に対するマスク処理の精度を向上させることができる。

【0027】

●ハードウエア構成
次に、図５を用いて、撮像装置１０のハードウエア構成を説明する。図５は、実施形態に係る撮像装置のハードウエア構成の一例を示す図である。なお、図５に示すハードウエア構成は、必要に応じて構成要素が追加または削除されてもよい。以下では、撮像装置１０は、二つの撮像素子を使用した全天球（全方位）撮像装置とするが、撮像素子は二つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に撮像装置１０と同じ機能を有するようにしてもよい。

【0028】

図５に示されているように、撮像装置１０は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、入出力Ｉ／Ｆ(Interface)１１６、近距離通信回路１１７、近距離通信回路１１７のアンテナ１１７ａ、電子コンパス１１８、ジャイロセンサ１１９、加速度センサ１２０およびネットワークＩ／Ｆ１２１によって構成されている。

【0029】

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂ（以下区別する必要のないときは、レンズ１０２と称する。）と、各レンズに対応させて設けられている二つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、レンズ１０２ａ，１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサ等の画像センサ、この画像センサの水平または垂直同期信号や画素クロック等を生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータ等が設定されるレジスタ群等を有している。

【0030】

撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、それぞれ撮像制御ユニット１０５とシリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４、撮像制御ユニット１０５および音処理ユニット１０９は、バス１１０を介してＣＰＵ１１１と接続される。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、入出力Ｉ／Ｆ１１６、近距離通信回路１１７、電子コンパス１１８、ジャイロセンサ１１９、加速度センサ１２０およびネットワークＩ／Ｆ１２１等も接続される。

【0031】

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、正距円筒射影画像のデータを作成する。

【0032】

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

【0033】

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。撮像装置１０によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

【0034】

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮像装置１０には表示部（ディスプレイ）が設けられていないが、表示部を設けてもよい。マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

【0035】

ＣＰＵ１１１は、撮像装置１０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３およびＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

【0036】

操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネル等の総称である。ユーザは操作部１１５を操作することで、種々の撮影モードや撮影条件等を入力する。

【0037】

入出力Ｉ／Ｆ１１６は、ＳＤカード等の外付けのメディアまたはパーソナルコンピュータ等とのインターフェース回路（ＵＳＢ(Universal Serial Bus)Ｉ／Ｆ等）の総称である。入出力Ｉ／Ｆ１１６は、無線、有線を問わない。ＤＲＡＭ１１４に記憶された正距円筒射影画像のデータは、入出力Ｉ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じて入出力Ｉ／Ｆ１１６を介して外部端末（装置）に送信されたりする。

【0038】

近距離通信回路１１７は、撮像装置１０に設けられたアンテナ１１７ａを介して、ＮＦＣ(Near Field Communication)、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ－Ｆｉ（登録商標）等の近距離無線通信技術によって、外部端末（装置）と通信を行う。近距離通信回路１１７は、正距円筒射影画像のデータを、外部端末（装置）に送信することができる。

【0039】

電子コンパス１１８は、地球の磁気から撮像装置１０の方位を算出し、方位情報を出力する。この方位情報はＥｘｉｆに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時および画像データのデータ容量の各データも含まれている。また、ジャイロセンサ１１９は、撮像装置１０の移動に伴う角度の変化（Ｒｏｌｌ角、Ｐｉｔｃｈ角、Ｙａｗ角）を検出するセンサである。角度の変化はＥｘｉｆに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。さらに、加速度センサ１２０は、三軸方向の加速度を検出するセンサである。撮像装置１０は、加速度センサ１２０が検出した加速度に基づいて、自装置（撮像装置１０）の姿勢（重力方向に対する角度）を算出する。撮像装置１０は、加速度センサ１２０を設けることによって、画像補正の精度が向上する。ネットワークＩ／Ｆ１２１は、ルータ等を介して、インターネット等の通信ネットワークを利用したデータ通信を行うためのインターフェースである。

【0040】

○全天球画像
ここで、図６を用いて、全天球画像の生成および生成される全天球画像について説明する。図６（Ａ）は、全天球画像の生成における各画像のデータ構造および画像処理のデータフローの一例を示す概念図である。まず、撮像素子１０３ａ，１０３ｂ各々で直接撮像される画像は、全天球のうちの概ね半球を視野に収めた画像である。レンズ１０２に入射した光は、所定の射影方式に従って撮像素子１０３の受光領域に結像される。ここで撮像される画像は、受光領域が平面エリアを成す二次元の撮像素子で撮像されたものであり、平面座標系で表現された画像データとなる。また、典型的には、得られる画像は、図６（Ａ）において「部分画像Ａ」および「部分画像Ｂ」で示されるように、各撮影範囲が投影されたイメージサークル全体を含む魚眼レンズ画像として構成される。

【0041】

これら複数の撮像素子１０３ａ，１０３ｂで撮像された複数の部分画像が、歪み補正および合成処理されて、一つの全天球画像が構成される。歪み補正および合成処理では、平面画像として構成される各部分画像から、まず、相補的な各半球部分を含む各画像が生成される。そして、各半球部分を含む二つの画像が、重複領域のマッチングに基づいて位置合わせ（スティッチング処理）され、画像合成され、全天球全体を含む全天球画像が生成される。各半球部分の画像には他の画像との重複領域が含まれるが、画像合成においては、適宜、自然なつなぎ目となるように重複領域についてブレンディングが行われる。

【0042】

図６（Ｂ）は、全天球画像のデータ構造の一例を平面で示した概念図であり、図６（Ｃ）は、全天球画像のデータ構造の一例を球面で示した概念図である。図６（Ｂ）に示すように、全天球画像の画像データは、所定の軸に対してなされる垂直角度φと、所定の軸周りの回転角に対応する水平角度θとを座標とした画素値の配列として表現される。垂直角度φは、０度～１８０度（または－９０度～＋９０度）の範囲となり、水平角度θは、０度～３６０度（または－１８０度～＋１８０度）の範囲となる。

【0043】

全天球フォーマットの各座標値（θ，φ）は、図６（Ｃ）に示すように、撮影地点を中心とした全方位を表す球面上の各点と対応付けられており、全方位が全天球画像上に対応付けられる。魚眼レンズで撮影された部分画像の平面座標と、全天球画像の球面上の座標とは、所定の変換テーブルにて対応づけされる。変換テーブルは、それぞれのレンズ光学系の設計データ等に基づいて、所定の投影モデルに従い製造元等で予め作成されたデータであり、部分画像を全天球画像へ変換するデータである。

【0044】

また、全天球画像に対しては、電子コンパス１１８、ジャイロセンサ１１９および加速度センサ１２０からの情報を利用して、適宜、天頂補正および回転補正のいずれかまたは両方が行われる場合がある。ここで、天頂補正とは、実際には重力方向に対し中心軸が傾いた状態で撮影された全天球画像を、あたかも中心軸が重力方向に一致した状態で撮影されたかのような全天球画像に補正する処理（Ｒｏｌｌ方向およびＰｉｔｃｈ方向の補正）をいう。回転補正とは、天頂補正により重力方向に中心軸が一致するように補正された全天球画像において、さらに、重力方向周りの基準から回転をかける処理（Ｙａｗ方向の補正）をいう。

【0045】

以下の説明において、撮像装置１０が全天球画像を取得する構成を説明するが、マスク処理機能の対象は、通常のカメラで撮影される画像であってもよい。また、上述した天頂補正および回転補正は、撮像画像が画像入力部１５に入力される前に実施されるものとして説明するが、マスク処理を施された後に行われる構成であってもよい。さらに、上述した撮像装置１０は、広角画像を取得可能な撮像装置の一例であり、全天球画像は、広角画像の一例である。ここで、広角画像は、一般には広角レンズを用いて撮影された画像であり、人間の目で感じるよりも広い範囲を撮影することができるレンズで撮影されたものである。また、一般的に35mmフィルム換算で35mm以下の焦点距離のレンズで、撮影された画像を意味する。

【0046】

また、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、ＣＤ－Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、Ｂｌｕ-ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）、ＳＤカードまたはＵＳＢメモリ等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内または国外へ提供されることができる。例えば、撮像装置１０は、本発明に係るプログラムが実行されることで本発明に係る画像処理方法を実現する。

【0047】

●機能構成
次に、図７および図８を用いて、実施形態に係る撮像装置１０の機能構成について説明する。図７は、実施形態に係る撮像装置の機能構成の一例を示す図である。なお、図７では、後述の処理または動作に関連しているものが示されている。

【0048】

撮像装置１０は、通信部１１、受付部１２、表示制御部１３、撮像処理部１４、画像入力部１５、マスク種別決定部１６、検出部１７、算出部１８、判断部１９、推定部２１、領域設定部２２、画像処理部２３、画像出力部２４および記憶・読出部２９を有している。これら各部は、図４に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮像装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能または手段である。また、撮像装置１０は、図４に示されているＲＯＭ１１２、ＳＲＡＭ１１３およびＤＲＡＭ１１４によって構築される記憶部１０００を有している。

【0049】

通信部１１は、主に、ＣＰＵ１１１の処理によって実現され、他の装置または端末と各種データまたは情報の通信を行う。通信部１１は、例えば、ネットワークＩ／Ｆ１２１を用いて、他の装置または端末との間で、通信ネットワークを介したデータ通信を行う。また、通信部１１は、例えば、入出力Ｉ／Ｆ１１６を用いて、他の装置または端末との間で、各種ケーブル等を介したデータ通信を行う。さらに、通信部１１は、例えば、近距離通信回路１１７を用いて、他の装置または端末との間で、近距離無線通信技術によるデータ通信を行う。

【0050】

受付部１２は、主に、操作部１１５に対するＣＰＵ１１１の処理によって実現され、利用者から各種の選択または入力を受け付ける。表示制御部１３は、主に、ＣＰＵ１１１の処理によって実現され、各種画像を表示させる。表示制御部１３は、例えば、ライブビュー（撮影状態をリアルタイムで確認可能としながら撮影する機能）における画像表示を行う。表示制御部１３は、ライブビュー中、ＨＤＭＩ（登録商標）やＭｉｒａｃａｓｔ（登録商標）等の規格で有線または無線のインターフェースで接続された外部のディスプレイまたは自身の表示手段への表示を制御する。表示制御部１３は、ライブビュー画面において、入力される画像の表示に対し、自動で検知されたマスク処理領域を重畳して表示することができる。なお、全天球画像の表示方法は、特に限定されるものではなく、全天球画像をそのまま二次元の平面画像として表示してもよいし、全天球画像を球体オブジェクトに貼り付けて、仮想カメラから球体オブジェクトを観察した場合の投影画像として表示してもよい。撮影者は、保護すべき被写体にマスク処理が施されていることをライブビューの画像上で確認することができる。

【0051】

撮像処理部１４は、主に、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８および音処理ユニット１０９に対するＣＰＵ１１１の処理によって実現され、風景等の被写体を撮像し、撮影画像データを取得する。撮像処理部１４は、撮像処理を実行し、全天球画像（例えば、正距円筒射影画像）のデータを生成し、画像入力部１５に全天球画像データを入力する。撮像処理部１４によって撮像される全天球画像は、単一フレームの静止画であってもよいし、連続的な複数フレームからなる動画であってもよい。また、撮像処理部１４は、シャッターボタン等の操作部１１５の押下等により撮影指示が行われた後の本番の撮像画像を出力するほか、撮影指示前の映像確認のためのリアルタイム画像を出力することができる。

【0052】

画像入力部１５は、主に、ＣＰＵ１１１の処理によって実現され、処理対象となる撮像画像の入力を受ける。マスク処理の対象となる撮像画像は、全天球画像である。静止画の場合は、所定の時点で撮像された１フレーム分の画像が画像入力部１５に入力される。また、動画の場合は、複数のフレーム各々の画像が画像入力部１５に順次入力される。また、静止画撮影の場合に、撮影前の画像確認のために複数のフレーム各々の画像が画像入力部１５に順次入力されてもよい。

【0053】

マスク種別決定部１６は、主に、ＣＰＵ１１１の処理によって実現され、マスク処理領域に対して適用する画像処理の種別を決定する。

【0054】

検出部１７は、ＣＰＵ１１１の処理によって実現され、画像入力部１５によって入力された撮像画像に示される、ＬＥＤ装置３０またはＱＲコード４０等のパターン発生手段によって発生された所定パターンを検出する。検出対象としての所定パターンは、例えば、撮像画像が静止画の場合、画像中の一次元コード、二次元コードもしくは特定の画像または輝点のパターンが挙げられる。輝点のパターンは、例えば、輝点の色および複数の輝点の配置を単独でまたは組み合わせで用いることができる。なお、輝点のパターンには、所定の色を有する単一の輝点が含まれるものとする。また、撮像画像が動画の場合、検出対象となる所定パターンは、各フレームの画像中の一次元コード、二次元コードもしくは特定の画像または輝点のパターンのほか、複数のフレームにわたる画像列中の輝点の時間的パターンを含む。ここで、輝点の時間的パターンは、複数のフレームにわたる輝点の所定周波数の光強度（点滅）パターン、輝点の色、複数の輝点の配置またはこれらの組み合わせで構成される。輝点の配置は、例えば、「○」、「×」、「□」、「▽」などの所定の図形に図形化されたものとすることができる。

【0055】

画像または画像列中の一次元コード、二次元コードおよび特定の画像、並びに輝点およびその輝点の時間的パターンの認識方法は、これまで知られた如何なる技術を用いることができる。また、全天球画像中で画像認識のため、撮像装置１０は、前処理として、必要に応じて、画像中の一次元コードおよび二次元コードに対応する領域に対し、歪みを補正する処理を行ってもよい。

【0056】

算出部１８は、ＣＰＵ１１１の処理によって実現され、検出部１７によって検出された所定パターンの位置を算出する。算出部１８は、例えば、画像中の所定パターンの位置を、全天球画像フォーマット上の座標値として算出する。所定パターンの位置は、複数のフレームにわたり追跡されて対応付けが算出されてもよい。判断部１９は、ＣＰＵ１１１の処理によって実現され、各種判断を行う。

【0057】

推定部２１は、ＣＰＵ１１１の処理によって実現され、検出部１７によって検出された複数の所定パターンの位置に基づいて形成される特定の形状を補完する頂点を推定する。推定部２１は、検出された複数の所定パターンを用いて決定された特定の形状を形成するために、不足する頂点を推定する。

【0058】

領域設定部２２は、ＣＰＵ１１１の処理によって実現され、検出部１７によって検出された所定パターンの位置および推定部２１によって推定された頂点に基づいて、対象の画像に対するマスク処理領域（処理対象の領域）を設定する。ここで、マスク処理領域は、少なくとも複数の所定パターンの位置および推定された頂点の座標値を結んで画定される多角形を包含する領域、または、少なくとも複数の所定パターンの位置および推定された頂点の座標値を点としてこれらの点の凸包（与えられた点をすべて包含する最小の凸多角形）を包含する領域を含む。なお、マスク処理領域は、複数の所定パターンの位置および推定された頂点の座標を結ぶ多角形または凸包自体として設定されてもよいし、その多角形領域に対して所定のマージンが設けられた任意の図形（多角形のほかに円や楕円などの任意の閉曲線で構成される図形を含む）であってもよい。マスク処理領域は、例えば、全天球画像フォーマット上の座標値（曲線等の場合はパラメータを含んでいてもよい。）の配列として求められる。領域設定部２２は、所定パターンおよび推定された頂点が画定する「面」として自動認識されて、その面に対してマスク処理領域を設定する。

【0059】

また、領域設定部２２は、所定パターンおよび推定された頂点が画定する「面」として自動認識されて、その面に対してマスク処理領域を設定する。なお、検出部１７によって検出される所定パターンの数は、少なくとも面を規定することができる三つ以上であることが好ましいが、所定のマージンとともに任意の二次元図形を描くことができる限り、必ずしも三つ以上に限定されるものではない。

【0060】

全天球画像は、水平方向３６０度の範囲を含んでおり、全天球画像の両端部は相互に接続されている。そのため、マスク処理領域が端部をまたぐ場合があり、マスク処理領域は、全天球画像の両端部で分離して設定されてもよい。この場合、領域設定部２２は、マスク処理領域と端部境界との交点が求め、それぞれの側で求めた交点を含むマスク処理領域を設定する。

【0061】

ここで、検出部１７は、所定パターンの座標値に加えて、検出された所定パターンが属するグループを判別することもできる。この場合、領域設定部２２は、識別したグループ構成に基づいて、異なるマスク処理領域を設定することができる。例えば、上述した所定パターンは、一次元コード、二次元コードや輝点のパターン等で情報を符号化できるので、符号化された情報（例えば、識別子）によって複数のグループを表現することができる。そして、領域設定部２２は、識別された一以上のグループのそれぞれに対して、一つのマスク処理領域が設定することができる。

【0062】

画像処理部２３は、ＣＰＵ１１１の処理によって実現され、画像入力部１５により入力された撮像画像中のマスク処理領域に対応する領域に対し画像処理を行う。画像処理は、画像中のマスク処理領域にある画像情報を、復元不可能に削除もしくは劣化させるマスク処理である。マスク処理としては、ぼかし、所定の色もしくは画像パターン（チェッカーパターン、ストライプ、ノイズパターン（砂嵐）、スタンプ等）での塗りつぶし、モザイク処理、および二次元もしくは三次元の図形オブジェクトでの上書きのうちの少なくとも一つのマスク処理である。マスク処理は、例えば、全天球画像フォーマット上のマスク処理領域に対応する全天球画像の画像領域に対して適用される。

【0063】

画像出力部２４は、主に、ＣＰＵ１１１の処理によって実現され、画像処理部２３によって処理された処理画像を出力する。

【0064】

記憶・読出部２９は、主に、ＣＰＵ１１１の処理によって実現され、記憶部１０００に、各種データ（または情報）を記憶したり、記憶部１０００から各種データ（または情報）を読み出したりする。また、記憶部１０００は、撮像処理部１４によって取得された撮像画像データまたは画像処理部２３によって処理された処理画像データを記憶している。なお、記憶部１０００に記憶されている画像データは、記憶されてから所定の時間経過した場合に削除される構成であってもよいし、他の装置または端末へ送信されたデータが削除される構成であってもよい。

【0065】

○位置情報管理テーブル
図８は、実施形態に係る位置情報管理テーブルの一例を示す概念図である。位置情報管理テーブルは、検出された所定パターンの位置を示す位置情報を管理するためのテーブルである。記憶部１０００には、図８に示されているような位置情報管理テーブルによって構成されている位置情報管理ＤＢ１００１が構築されている。この位置情報管理テーブルには、過去に画像入力部１５に入力された画像（フレーム）において検出された複数の所定パターンの位置が記憶されている。位置情報管理テーブルでは、追跡により同一のものとして認識される領域ごとに、複数の所定パターンの位置を示す座標が管理されている。

【0066】

●実施形態の処理または動作
○基準フォーマットを用いたマスク処理
次に、図９乃至図１７を用いて、実施形態に係る画像処理システムの処理または動作について説明する。まず、図９乃至図１４を用いて、マスク処理領域を設定するための基準フォーマットを用いたマスク処理について説明する。図９は、実施形態に係る撮像装置における基準フォーマットを用いたマスク処理の一例を示すフローチャートである。なお、図９に示されている処理は、処理対象の画像が動画である場合の処理であり、先頭のフレームから最終フレームまで各フレームに対して、処理を繰り返す。

【0067】

まず、撮像装置１０の撮像処理部１４は、所定の領域に対する撮像処理を開始する（ステップＳ１１）。具体的には、撮影者がシャッターボタン等の入力手段を押下することで受付部１２は、撮影開始要求を受け付ける。そして、撮像処理部１４は、受付部１２によって受け付けられた撮影開始要求に応答して、撮像処理を開始する。

【0068】

次に、マスク種別決定部１６は、ステップＳ１１の撮像処理によって取得された撮像画像に適用するマスク種別を決定する（ステップＳ１２）。マスク種別は、例えば、ぼかしもしくはモザイク処理等のマスク処理領域に適用する画像処理の種類、並びにマスク処理領域を識別するための既定の形状である。既定の形状は、マスク処理を適用する領域の形状を決定するためのものであり、例えば、直方体、三角錐等の三次元の立体形状である。この既定の形状は、ＬＥＤ装置３０等のパターン発生手段の配置形状に対応する。マスク種別は、ステップＳ１１における撮影開始に先立って、撮影者等から指示され、設定値としてレジスタ等に記憶されているものとする。マスク種別決定部１６は、記憶された設定値を読み出して適用するマスク種別を決定する。

【0069】

次に、画像入力部１５は、撮像処理部１４による撮像処理によって取得された撮像画像の現在のフレームの画像の入力を受けて、処理対象となる画像を取得する（ステップＳ１３）。なお、撮影時やライブビュー時ではなく、保存済みの静止画または動画を対象としてマスク処理を行う場合、画像入力部１５は、記憶部１０００から読み出された画像の入力を受けて、処理対象となる画像を取得してもよい。

【0070】

次に、検出部１７は、画像入力部１５によって取得された処理対象となるフレームの画像に示されている所定パターンを検出する（ステップＳ１４）。上述したように、全天球画像を撮影しようとする撮影者または撮影される被写体の管理者は、隠したい被写体の周辺に、所定パターンを発生させるパターン発生手段を事前に配置する。検出部１７は、被写体の周辺が撮影された画像中の所定パターンを検出する。そして、算出部１８は、検出部１７によって検出された所定パターンの位置を算出する（ステップＳ１５）。パターン発生手段が図２に示されているようなＬＥＤ装置３０の場合、算出部１８は、各ＬＥＤ装置３０の発光部位に対応する輝点３５の中心位置の座標値を、所定パターンの位置として算出する。

【0071】

次に、撮像装置１０は、算出部１８によって算出された所定パターンの位置に基づいて、マスク処理領域の設定処理を実行する（ステップＳ１６）。ここで、図１０乃至図１２を用いて、ステップＳ１６の処理の詳細を説明する。

【0072】

まず、図１０を用いて、マスク種別決定部１６によって決定される既定の形状を示す基準フォーマットについて説明する。図１０は、実施形態に係る基準フォーマットの一例を示す概略図である。マスク処理領域を識別するために配置されたパターン発生手段により発生される所定パターンは、撮像装置１０による撮影位置や撮影方向によって、撮像画像での映り方が異なる。そこで、撮像装置１０は、図１０に示されているように、既定の形状を示す基準フォーマットとして、同一の形状を異なる角度から捉えた複数のフォーマット（フォーマットＡ～フォーマットＤ）を予め記憶しておく。図１０は、既定の形状として直方体形状が選択された場合の基準フォーマットの例である。撮像装置１０は、マスク種別決定部１６によって決定された既定の形状に対応する基準フォーマットを用いて、後述のマスク処理領域の設定処理を実行する。なお、既定の形状を示す基準フォーマットの数および内容は、図１０に示す例に限られない。基準フォーマットは、既定の形状ごとに異なるフォーマットを有している。

【0073】

図１１は、実施形態に係る撮像装置におけるマスク処理領域の設定処理の一例を示すフローチャートである。図１１は、マスク種別として決定された既定の形状が直方体である場合の例を示す。判断部１９は、検出部１７によって検出された所定パターンの数および算出部１８によって算出された所定パターンの位置に応じて、予め記憶された基準フォーマットの種類を示す特定の形状を決定する。

【0074】

まず、判断部１９は、７点の所定パターンが検出されたと判断する場合（ステップＳ１６１のＹＥＳ）、処理をステップＳ１６２へ移行させる。そして、判断部１９は、マスク種別決定部１６によって決定された既定の形状に対応する基準フォーマットのうち、図１０に示すフォーマットＤ（斜め７点）を特定の形状として決定する（ステップＳ１６２）。一方で、判断部１９は、検出された所定パターンが７点でないと判断する場合（ステップＳ１６１のＮＯ）、処理をステップＳ１６３へ移行させる。

【0075】

次に、判断部１９は、６点の所定パターンが検出されたと判断する場合（ステップＳ１６３のＹＥＳ）、処理をステップＳ１６４へ移行させる。そして、判断部１９は、マスク種別決定部１６によって決定された既定の形状に対応する基準フォーマットのうち、図１０に示すフォーマットＢ（横斜め６点）が該当すると判断する場合（ステップＳ１６４のＹＥＳ）、フォーマットＢ（横斜め６点）を特定の形状として決定し、処理をステップＳ１７５へ移行させる。一方で、判断部１９は、フォーマットＢ（横斜め６点）が該当しないと判断する場合（ステップＳ１６４のＮＯ）、処理をステップＳ１６５へ移行させる。

【0076】

ステップＳ１６５において、判断部１９は、マスク種別決定部１６によって決定された既定の形状に対応する基準フォーマットのうち、図１０に示すフォーマットＣ（縦斜め６点）が該当すると判断する場合（ステップＳ１６５のＹＥＳ）、フォーマットＣ（縦斜め６点）を特定の形状として決定し、処理をステップＳ１７５へ移行させる。一方で、判断部１９は、フォーマットＣ（縦斜め６点）が該当しないと判断する場合（ステップＳ１６５のＮＯ）、処理をステップＳ１６６へ移行させる。

【0077】

ステップＳ１６６において、判断部１９は、判断部１９は、マスク種別決定部１６によって決定された既定の形状に対応する基準フォーマットのうち、図１０に示すフォーマットＤ（斜め７点）を特定の形状として決定する。そして、ステップＳ１６７において、推定部２１は、決定された特定の形状であるフォーマットＤ（斜め７点）を形成するために補完する頂点を推定する（ステップＳ１７４）。

【0078】

図１２は、実施形態に係る特定の形状を補完する頂点の推定処理について説明するための概略図である。ステップＳ１７４において、所定パターンは、図１２に示されているように、フォーマットＤの七つの頂点のうち、一つが隠れた状態である。ここでは、頂点Ｃが障害物によって隠された状態を考える。また、全天球画像は正距円筒図法で表現され、撮像装置１０が直立の姿勢で撮影されたとする。

【0079】

この場合、三次元空間で水平方向に位置する点Ａと点Ｂは、正距円筒図法で表現される全天球画像において横方向に位置する。また、三次元空間で垂直方向に位置する点Ｂと点Ｄは、正距円筒図法で表現される全天球画像において縦方向に位置する。このとき、全天球画像において横方向の二辺(ＡＣおよびＥＦ)と、縦方向の二辺（ＢＤとＦＨ）が検出される。

【0080】

隠された点Ｃは、点Ａの縦方向の位置にあるので、辺ＡＣの長さと点Ａと点Ｃの上下関係がわかれば点Ｃの位置を求めることができる。ここで上面ＡＢＦＥと下面ＣＤＨＧは、それぞれの面を構成する頂点が同程度の高さにある場合、点Ａと他の点の高さによって点Ａと点Ｃの上下関係がわかる。全天球画像において、頂点位置の奥行きを算出できるので、辺ＡＣの長さも算出することができる。このように、推定部２１は、判断部１９によってフォーマットＤの形状と検出された所定パターンの位置関係に基づいて、補完すべき頂点である点Ｃの位置を推定することができる。

【0081】

なお、図１２に示した特定の形状を補完する頂点の推定方法は、上記のような直方体形状に対する方法に限られず、他の形状に対応する基準フォーマットを用いる方法であってもよい。また、特定の形状を補完する頂点の推定方法には、図１２に示されている例のほか、既存の幾何学的な算出方法を適用することができる。

【0082】

図１１に戻り、ステップＳ１６３において、判断部１９は、検出された所定パターンが６点でないと判断する場合（ステップＳ１６３のＮＯ）、処理をステップＳ１６７へ移行させる。次に、判断部１９は、５点の所定パターンが検出されたと判断する場合（ステップＳ１６７のＹＥＳ）、処理をステップＳ１６８へ移行させる。判断部１９は、マスク種別決定部１６によって決定された既定の形状に対応する基準フォーマットのうち、図１０に示すフォーマットＢ（横斜め６点）が該当すると判断する場合（ステップＳ１６８のＹＥＳ）、フォーマットＢ（横斜め６点）を特定の形状として決定し、処理をステップＳ１７４へ移行させる。そして、推定部２１は、決定された特定の形状であるフォーマットＢ（横斜め６点）を形成するために補完する頂点を推定する（ステップＳ１７４）。ここでの推定部２１による処理は、図１２で説明した内容と同等の処理が行われ、フォーマットＢ（横斜め６点）を形成するために不足する頂点の位置を推定する。

【0083】

一方で、判断部１９は、フォーマットＢ（横斜め６点）が該当しないと判断する場合（ステップＳ１６８のＮＯ）、処理をステップＳ１６９へ移行させる。ステップＳ１６９において、判断部１９は、判断部１９は、マスク種別決定部１６によって決定された既定の形状に対応する基準フォーマットのうち、図１０に示すフォーマットＣ（縦斜め６点）を特定の形状として決定する。そして、推定部２１は、決定された特定の形状であるフォーマットＣ（縦斜め６点）を形成するために補完する頂点を推定する（ステップＳ１７４）。ここでの推定部２１による処理は、図１２で説明した内容と同等の処理が行われ、フォーマットＣ（縦斜め６点）を形成するために不足する頂点の位置を推定する。

【0084】

ステップＳ１６７において、判断部１９は、検出された所定パターンが５点でないと判断する場合（ステップＳ１６７のＮＯ）、処理をステップＳ１７０へ移行させる。次に、判断部１９は、４点の所定パターンが検出されたと判断する場合（ステップＳ１７０のＹＥＳ）、処理をステップＳ１７１へ移行させる。判断部１９は、マスク種別決定部１６によって決定された既定の形状に対応する基準フォーマットのうち、図１０に示すフォーマットＡ（正面４点）を特定の形状として決定する。一方で、ステップＳ１７０において、判断部１９は、検出された所定パターンが４点でないと判断する場合（ステップＳ１７０のＮＯ）、処理をステップＳ１７２へ移行させる。ステップＳ１７２において、判断部１９は、３点の所定パターンが検出されたと判断する場合（ステップＳ１７２のＹＥＳ）、処理をステップＳ１７３へ移行させる。ステップＳ１７３において、判断部１９は、マスク種別決定部１６によって決定された既定の形状に対応する基準フォーマットのうち、図１０に示すフォーマットＡ（正面４点）を特定の形状として決定する。そして、推定部２１は、決定された特定の形状であるフォーマットＡ（正面４点）を形成するために補完する頂点を推定する（ステップＳ１７４）。ここでの推定部２１による処理は、図１２で説明した内容と同等の処理が行われ、フォーマットＡ（正面４点）を形成するために不足する頂点の位置を推定する。

【0085】

一方で、ステップＳ１７２において、判断部１９は、検出された所定パターンが３点でないと判断する場合（ステップＳ１７２のＮＯ）、検出された所定パターンを用いて設定可能な領域が存在しないため、処理を終了する。

【0086】

そして、領域設定部２２は、検出された所定パターンの位置およびステップＳ１７４で推定された頂点によって形成される特定の形状を、マスク処理領域として設定する（ステップＳ１７５）。このように、撮像装置１０は、所定パターンの数と位置関係から所定パターンの映り方の異なる基準フォーマットに対応する特定の形状を決定し、決定した特定の形状を補完する頂点を推定することで、例えば、障害物等により所定パターンが隠れた箇所がある場合においても、所望のマスク処理領域を精度良く設定することができる。

【0087】

図９に戻り、画像処理部２３は、画像入力部１５によって取得された撮像画像に対するマスク処理を実行する（ステップＳ１７）。画像処理部２３は、ステップＳ１６で設定されたマスク処理領域に対して、ステップＳ１２で決定されたマスク種別のマスク処理を行う。具体的には、画像処理部２３は、領域設定部２２によって設定されたマスク処理領域の形状の面に対して、マスク処理を行う。画像処理部２３は、例えば、フォーマットＡ（正面４点）の形状の場合には、４点を結ぶ一面に対してマスク処理を行い、フォーマットＢ（横斜め６点）の場合には、左面と右面の二面に対してマスク処理を行う。同様に、画像処理部２３は、フォーマットＣ（縦斜め６点）の場合には、上面と下面の二面に対してマスク処理を行い、フォーマットＤ（斜め７点）の場合には、左面と右面と上面の三面に対してマスク処理を行う。

【0088】

そして、画像出力部２４は、画像処理部２３で処理された処理画像を出力する（ステップＳ１８）。具体的には、画像出力部２４は、例えば、表示制御部１３に対して処理画像を出力し、表示制御部１３によって処理画像をディスプレイに表示させる。また、画像出力部２４は、例えば、記憶・読出部２９に対して処理画像を出力し、記憶・読出部２９によって処理画像を記憶させる。さらに、画像出力部２４は、通信部１１に対して処理画像を出力し、通信部１１によって外部装置に対して処理画像を送信する。なお、画像出力部２４による処理画像の出力は、上記のいずれかの処理が行われればよい。撮像装置１０は、例えば、動画撮影時には、記憶・読出部２９を出力先として処理画像を記憶させ、動画撮影中に画像確認を行う場合は、表示制御部１３を出力先として処理画像を表示させるような構成であってもよい。

【0089】

ここで、図１３および図１４を用いて、撮像装置１０によって取得された撮像画像および処理画像について説明する。図１３（Ａ）は、実施形態に係る撮像装置によって撮像された撮像画像の一例を示す図である。図１３（Ａ）に示されている撮像画像２００は、処理対象の対象物Ｊの周辺に、パターン発生手段としての複数のＬＥＤ装置３０およびそれぞれのＬＥＤ装置３０から発生する所定パターンとしての輝点３５が含まれている。また、撮像画像２００は、所定パターンの一部（例えば、輝点３５Ｃ）が障害物Ｘによって隠れている状態である。

【0090】

図１３（Ｂ）は、実施形態に係る撮像装置によってマスク処理された処理画像の一例を示す図である。図１３（Ｂ）に示されている処理画像３００は、上述のマスク処理によって、マスク処理領域に対する画像処理が行われた状態である。図１３（Ｂ）の例は、マスク処理領域の頂点の座標を結ぶ多角形の領域の内部に対して黒塗りのマスク処理が適用された場合を例示する。処理画像３００は、複数のＬＥＤ装置３０の発光部位に対応する輝点３５の中心位置を結んで画定されるマスク処理領域の面が黒塗りされ、マスク処理領域の内部にある対象物Ｊの画像情報が除去されている。このように、撮像装置１０は、入力された撮像画像中に存在する複数の所定パターンの位置を結んで画定される領域がマスク処理された処理画像を出力する。撮像装置１０は、マスク処理領域に含まれる面に沿って、ぼかしやモザイク処理等のマスク処理を施すことで、撮影画像から隠したい対象を隠すことができる。

【0091】

図１４は、実施形態に係る撮像装置によってマスク処理された処理画像の別の例を示す図である。図１４に示されている処理画像３５０は、マスク処理領域の頂点の座標を結ぶ多角形の領域の外部に対して黒塗りのマスク処理が行われた状態である。処理画像３５０のように、画像処理部２３は、撮像画像２００における、領域設定部２２によって設定されたマスク処理領域の外部の領域に対してマスク処理を行う構成であってもよい。なお、図１３（Ｂ）および図１４に示されてるようなマスク処理の適用方法については、図９のステップＳ１２におけるマスク種別を決定する際に選択される構成であってもよい。

【0092】

そして、撮像装置１０は、処理対象の画像が最終フレームである場合（ステップＳ１９のＹＥＳ）、処理を終了する。一方で、撮像装置１０は、処理対象の画像が最終フレームでない場合（ステップＳ１９のＮＯ）、ステップＳ１２からの処理を繰り返す。以上、動画撮影時の処理フローについて説明したが、撮像画像が静止画である場合には、ステップＳ１０９の処理を行わずに処理を終了してもよい。

【0093】

このように、撮像装置１０は、撮像画像に示されている所定パターンを検出し、検出された所定パターンの数および位置に基づいて決定された基準フォーマットに対応する特定の形状を決定する。そして、撮像装置１０は、決定された特定の形状を補完する頂点を推定し、検出された所定パターンの位置および推定された頂点を用いて設定される処理対象の領域に対してマスク処理を行う。これにより、撮像装置１０は、処理対象の領域を識別するための所定パターンの一部が撮像画像に映らなかった場合においても、予め記憶された基準フォーマットの形状から不足する頂点を推定することで、処理対象の領域の認識精度を向上させることができる。

【0094】

ここで、上述の説明では、撮像画像に示されている一つのマスク処理領域に対するマスク処理が行われる例を示したが、撮像装置１０は、複数の領域に対してマスク処理を行う構成であってもよい。この場合、検出部１７は、例えば、ＬＥＤ装置３０の輝点３５の色の違いを識別子として検出することで、異なるパターンの所定パターンを検出する。そして、領域設定部２２は、それぞれ所定の条件を満たす識別子を有するパターンを含んで構成されるグループ（領域）に対して、異なるマスク処理領域を設定する。ここで、所定の条件は、検出されたパターンが同一の識別子であること、または所定の数値範囲内の識別子であること等である。なお、パターンを識別するための識別子は、輝点３５の色の違いに限られず、輝点３５の点滅パターンの違いやＱＲコード４０等の画像に埋め込まれた符号化情報であってもよい。これにより、実施形態に係る画像処理システムは、撮像装置１０によって検出可能な所定パターンとして異なるパターンを設けることで、複数の処理対象の領域に対するマスク処理を行うことができる。

【0095】

○位置情報を用いたマスク処理
続いて、図１５乃至図１７を用いて、記憶された所定パターンの位置情報を用いたマスク処理について説明する。図１５は、実施形態に係る画像処理システムにおけるマスク処理の一例を説明するための概略図である。図１５（Ａ）に示されているように、処理対象の領域を識別するための所定パターン（例えば、ＬＥＤ装置３０によって発生される輝点３５）が、人の移動等によって一時的に隠れた状態を示す。この場合、撮像装置１０は、過去の撮影時に取得して記憶された所定パターンの位置を示す位置情報を用いて、隠れた所定パターンの位置を推定する。そして、撮像装置１０は、上述の例と同様に、推定された所定パターンの位置を用いて処理対象の領域を設定し、図１５（Ｂ）に示されているように、処理対象の領域に対するマスク処理を施す。

【0096】

これにより、撮像装置１０は、動画撮影時のような連続的な処理が行われる場合において、所定パターンの位置情報を記憶しておくことで、一時的に所定パターンが隠れた場合であっても、記憶された位置情報の少なくとも一部を用いて補完する頂点を推定することで、処理対象の領域をより安定的に決定することができる。

【0097】

図１６は、実施形態に係る撮像装置における位置情報を用いたマスク処理の一例を示すフローチャートである。なお、ステップＳ３１～ステップＳ３５の処理は、図９に示されているステップＳ１１～ステップＳ１５の処理と同様であるため、説明を省略する。

【0098】

ステップＳ３６において、撮像装置１０は、所定パターンの位置を示す位置情報が位置情報管理ＤＢ１００１（図８参照）に記憶されている場合（ステップＳ３６のＹＥＳ）、処理をステップＳ３７へ移行させる。判断部１９は、位置情報管理ＤＢ１００１に記憶された位置情報と、検出部１７によって検出された所定パターンの位置を比較する（ステップＳ３７）。この場合、判断部１９は、記憶された位置情報の数と検出された所定パターンの数を比較する。そして、推定部２１は、ステップＳ３７での比較結果に応じて、特定の形状を形成するために補完する頂点を推定する（ステップＳ３８）。推定部２１は、所定パターンの数が記憶された位置情報よりも少ない場合、記憶された位置情報のうち検出された所定パターンの位置から最も遠い点を、補完する頂点として推定する。これは、動画撮影時に、短い時間間隔で所定パターンの検出を繰り返すため、画像上の位置が直前の処理から大きく変わることがないためである。図１７は、実施形態に係る所定パターンの検出位置の一例を示す概略図である。図１７の例において、図８に示されている位置情報と比較すると、点Ｆが図１７に示す検出位置から最も遠いため、推定部２１は、点Ｆを補完する頂点として推定する。

【0099】

そして、領域設定部２２は、検出部１７によって検出された所定パターンの位置と、ステップＳ３８において推定された頂点とを用いて、マスク処理領域を設定する（ステップＳ３９）。そして、画像処理部２３は、設定されたマスク処理領域に対するマスク処理を行う（ステップＳ４０）。さらに、画像出力部２４は、マスク処理された処理画像を出力する（ステップＳ４１）。マスク処理および処理画像の出力処理については、上述で説明した例と同様である。

【0100】

次に、記憶・読出部２９は、算出された所定パターンの位置を示す位置情報を位置情報管理ＤＢ１００１に記憶する（ステップＳ４１）。撮像装置１０は、ステップＳ４１で記憶された位置情報を、次フレームの処理に用いる。そして、撮像装置１０は、処理対象の画像が最終フレームである場合（ステップＳ４２のＹＥＳ）、処理を終了する。一方で、撮像装置１０は、処理対象の画像が最終フレームでない場合（ステップＳ４２のＮＯ）、ステップＳ３２からの処理を繰り返す。

【0101】

一方で、ステップＳ３６において、撮像装置１０は、所定パターンの位置を示す位置情報が位置情報管理ＤＢ１００１に記憶されていない場合（ステップＳ３６のＮＯ）、処理をステップＳ３９へ移行させる。この場合、撮像装置１０は、位置情報が記憶されておらず、過去の処理における情報を利用できないため、検出部１７によって検出された所定パターンの位置のみを用いて、ステップＳ３９以降の処理を行う。なお、撮像装置１０は、位置情報が記憶されていない場合、上述の基準フォーマットを用いたマスク処理領域の設定処理（例えば、図１１の処理）を行う構成であってもよい。

【0102】

このように、撮像装置１０は、撮像装置１０を移動させた場合や物体が動いて撮像装置１０の視界を遮った場合等の所定パターンが一時的に視野内で認識できなくなる場合においても、一度検出した所定パターンの位置を記憶し、過去の情報を利用して撮影視野の方向の動きを推測して、検出できない所定パターンの位置を推定することで、一時的な所定パターンの消失に対応することができる。

【0103】

●実施形態の効果
以上説明したように、実施形態に係る画像処理システムは、画像中の事前指定されたマスク処理領域を認識して画像に対しマスク処理を適用することで、処理対象の領域に対するマスク処理の精度を向上させることができる。

【0104】

なお、上述の説明において、撮像装置１０によって取得された全天球画像が画像入力部１５に入力されるものとして説明したが、上記マスク処理は、撮影者が撮影方向を調整することで望ましくないものを撮影範囲から容易に除外できる通常のカメラとは異なる、撮像装置１０等によって取得された広角画像（全天球画像、半球画像、パノラマ画像）に対して、特に好適に適用することができる。特に、撮像装置１０による撮影では、広範囲が撮影範囲となり、保護したい被写体を撮影範囲から除外することが容易ではなく、また、保護した被写体も、広範囲に分散し得るためである。全天球画像に対して上述のマスク処理を適用することにより、撮影者は安心して、全天球画像の撮影を行うことができるようになる。しかしながら、上述したマスク処理自体は、通常の画角のカメラで撮影された画像に対しても同様に適用してもよい。

【0105】

また、処理対象の観点からは、人の顔や身体のように、事前に保護すべき対象の特徴が明確である場合は、顔認識、身体認識または他の物体認識技術により認識できる。しかしながら、保護したい対象の特徴を事前に定義することが困難な場合がある。例えば、全天球画像を用いたツアーにより工場内の様子を案内するコンテンツの場合、工場内には多種多様な被写体が存在し得るところ、そのような被写体を事前に認識可能とすることは一般に難しい。そこで、本実施形態によるマスク処理は、保護したい対象の特徴を事前に定義することが難しい対象に対して特に好適に適用することができる。

【0106】

さらに、監視カメラのように設置位置が固定されている定点カメラ（カメラの向きが可変な場合も含む。）の場合、画像上の所定の座標範囲に対しマスクを指定することが容易であるところ、本実施形態によるマスク処理は、手持ちカメラや三脚で固定されるカメラのように設置位置が不定の撮像装置により撮像された画像に対して特に好適に適用することができる。

【0107】

また、本実施形態によるマスク処理は、撮像装置１０を用いてリアルタイム配信を行う際にも好適に適用することができる。特に配信している際は、撮像装置１０を持って動く可能性があるところ、マスク処理を用いることで、立体的な領域を隠すことができるようになり、安心してリアルタイム配信を行うことができるようになる。

【0108】

●実施形態の変形例●
次に、実施形態の変形例に係る画像処理システムについて説明する。なお、上記実施形態と同一構成および同一機能は、同一の符号を付して、その説明を省略する。実施形態の変形例に係る画像処理システムは、撮像装置１０ａによって取得された撮像画像に対するマスク処理を、撮像装置１０ａに接続されたＰＣ５０によって実行するシステムである。

【0109】

●システム構成
図１８は、実施形態の変形例に係る画像処理システムの概略の一例を説明するための図である。図１８に示されているように、実施形態の変形例に係る画像処理システムは、撮像装置１０ａに接続されたＰＣ５０を含んで構成される。

【0110】

ＰＣ５０は、撮像画像に対する画像処理を行う利用者が使用する画像処理装置である。ＰＣ５０には、全天球画像等の処理対象の画像を編集するための編集用アプリケーションプログラム、または撮像装置１０ａを制御するための制御用アプリケーションプログラムがインストールされている。また、ＰＣ５０は、ＵＳＢ、ＨＤＭＩ(High-Definition Multimedia Interface)等のケーブルを介して撮像装置１０に接続される。

【0111】

撮像装置１０ａとＰＣ５０は、上記ケーブルを用いずに、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣまたはＷｉ－Ｆｉ等の近距離無線通信技術を利用して無線通信してもよい。また、撮像装置１０ａとＰＣ５０は、インターネット、移動体通信網、ＬＡＮ(Local Area Network)等の通信ネットワークを介して通信され、ＰＣ５０は、撮像装置１０ａと別拠点に位置する構成であってもよい。この場合、通信ネットワークには、有線通信だけでなく、４Ｇ（4th Generation）、５Ｇ（5th Generation）、ＬＴＥ(Long Term Evolution)、Ｗｉ－ＦｉまたはＷｉＭＡＸ(Worldwide Interoperability for Microwave Access)等の無線通信によって構築される箇所が含まれいてもよい。また、通信ネットワークには、ブロックチェーンによって構築されたネットワークが含まれていてもよい。

【0112】

なお、ＰＣ５０は、スマートフォンまたはタブレット端末等であってもよい。また、ＰＣ５０は、単一のコンピュータによって構築されてもよいし、各部（機能、手段または記憶部）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。

【0113】

●ハードウエア構成
図１９は、実施形態の変形例に係るＰＣのハードウエア構成の一例を示す図である。ＰＣ５０は、コンピュータによって構築されており、図１９に示されているように、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ（Random Access Memory）５０３、ＨＤ(Hard Disk)５０４、ＨＤＤ(Hard Disk Drive)コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ５０８、ネットワークＩ／Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ５１４、およびメディアＩ／Ｆ５１６を備えている。

【0114】

これらのうち、ＣＰＵ５０１は、ＰＣ５０全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出しまたは書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。ディスプレイ５０６は、表示部の一例である。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、撮像装置１０等である。ネットワークＩ／Ｆ５０９は、通信ネットワークを利用してデータ通信をするためのインターフェースである。バスライン５１０は、図１９に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

【0115】

また、キーボード５１１は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。ＤＶＤ－ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ５１３に対する各種データの読み出しまたは書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－ＲやＢｌｕ-ｒａｙ Ｄｉｓｃ等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出しまたは書き込み（記憶）を制御する。

【0116】

なお、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、ＣＤ－Ｒ、ＤＶＤ、Ｂｌｕ-ｒａｙ Ｄｉｓｃ、ＳＤカード、ＵＳＢメモリ等が挙げられる。また、記録媒体は、プログラム製品として、国内または国外へ提供されることができる。例えば、ＰＣ５０は、本発明に係るプログラムが実行されることで本発明に係る画像処理方法を実現する。

【0117】

●機能構成
図２０は、実施形態の変形例に係る画像処理システムの機能構成の一例を示す図である。撮像装置１０ａは、通信部１１、受付部１２、表示制御部１３、撮像処理部１４および記憶・読出部２９を有している。これら各部は、図７に示されている撮像装置１０の各部と同様の機能を有する。

【0118】

ＰＣ５０は、通信部５１、受付部５２、表示制御部５３、マスク種別決定部５４、検出部５５、算出部５６、判断部５７、推定部５８、領域設定部５９、画像処理部６１および記憶・読出部６９を有している。これら各部は、図１９に示されている各構成要素のいずれかが、ＲＡＭ５０３上に展開されたＰＣ用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、または機能する手段である。また、ＰＣ５０は、図１９に示されているＲＯＭ５０２、ＨＤ５０４または記録メディア５１５によって構築される記憶部５０００を有している。記憶部５０００には、図８に示されているような位置情報管理テーブルによって構成されている位置情報管理ＤＢ５００１が構築されている。

【0119】

通信部５１は、主に、主に、ＣＰＵ５０１の処理によって実現され、撮像装置１０ａと各種データまたは情報の通信を行う。通信部５１は、例えば、ネットワークＩ／Ｆ５０９を用いて、撮像装置１０ａとの間で、通信ネットワークを介したデータ通信を行う。また、通信部５１は、例えば、外部機器接続Ｉ／Ｆ５０８を用いて、撮像装置１０ａとの間で、各種ケーブル等を介したデータ通信を行う。

【0120】

受付部５２は、主に、キーボード５１１またはポインティングデバイス５１２に対するＣＰＵ５０１の処理によって実現され、利用者から各種の選択または入力を受け付ける。表示制御部５３は、主に、ＣＰＵ５０１の処理によって実現され、ディスプレイ５０６に、各種画像を表示させる。受付部５２および表示制御部５３は、それぞれ図７に示されている撮像装置１０の受付部１２および表示制御部１３と同様の機能を有する。

【0121】

マスク種別決定部５４、検出部５５、算出部５６、判断部５７、推定部５８、領域設定部５９および画像処理部６１は、それぞれＣＰＵ５０１の処理によって実現され、図７に示されている撮像装置１０のマスク種別決定部１６、検出部１７、算出部１８、判断部１９、推定部２１、領域設定部２２、画像処理部２３と同様の機能を有する。記憶・読出部６９は、主に、ＣＰＵ５０１の処理によって実現され、記憶部５０００に、各種データ（または情報）を記憶したり、記憶部５０００から各種データ（または情報）を読み出したりする。また、記憶部５０００は、撮像装置１０ａから取得された撮像画像データまたは画像処理部６１によって処理された処理画像データを記憶している。なお、記憶部５０００に記憶されている画像データは、記憶されてから所定の時間経過した場合に削除される構成であってもよいし、他の装置または端末へ送信されたデータが削除される構成であってもよい。

【0122】

●実施形態の変形例の処理または動作
次に、図２１を用いて、実施形態の変形例に係る画像処理システムの処理または動作について説明する。図２１は、実施形態の変形例に係る画像処理システムにおける撮像装置に対するマスク処理の一例を示すシーケンス図である。

【0123】

まず、撮像装置１０ａの撮像処理部１４は、所定の領域に対する撮像処理を開始する（ステップＳ５１）。具体的には、撮影者がシャッターボタン等の入力手段を押下することで受付部１２は、撮影開始要求を受け付ける。そして、撮像処理部１４は、受付部１２によって受け付けられた撮影開始要求に応答して、撮像処理を開始する。次に、撮像装置１０ａの通信部１１は、ステップＳ５１の撮像処理で取得された撮像画像データを、ＰＣ５０に対して送信する（ステップＳ５２）。これにより、ＰＣ５０の通信部５１は、撮像装置１０ａから送信された撮像画像データを受信し、処理対象の画像の入力を受ける。

【0124】

ＰＣ５０は、通信部５１によって入力された画像に対する画像処理を行う（ステップＳ５３）。ステップＳ５３における画像処理は、図９または図１６に示されている処理と同様のマスク処理である。特に、ＰＣ５０の表示制御部５３は、ステップＳ５３における画像処理中に、入力された撮影画像をディスプレイ５０６に表示させることで、ＰＣ５０の利用者に撮影画像の状態を確認させてもよい。また、ＰＣ５０の受付部５２は、ディスプレイ５０６に表示された撮影画像または処理画像に対する処理内容の選択が受け付けられてもよい。この場合、受付部５２は、例えば、図９および図１５に示されているマスク種別の決定処理において、利用者によるマスク種別の選択を受け付けてもよいし、マスク処理が施された処理画像に対するマスク種別の修正の選択が受け付けられてもよい。

【0125】

このように、実施形態の変形例に係る画像処理システムは、ＰＣ５０を用いて撮像装置１０ａにより取得された画像に対する画像処理を行うことで、撮影画像をリアルタイムで確認することができるとともに、撮影画像または処理画像を確認しながらマスク処理の修正等を行うことができる。

【0126】

●まとめ●
以上説明したように、本発明の一実施形態に係る画像処理装置（例えば、撮像装置１０またはＰＣ５０）は、撮像画像の入力を受け、入力された撮像画像に示される所定パターン（例えば、輝点３５またはＱＲコード４０）の位置を算出する。そして、画像処理装置は、算出された複数の所定パターンの位置に基づいて形成される特定の形状を補完する頂点を推定し、算出された複数の所定パターンの位置、および推定された頂点に基づいて、処理対象の領域（例えば、マスク処理領域）を設定し、設定された領域に対して画像処理（例えば、マスク処理）を行う。これにより、実施形態に係る画像処理装置は、撮像画像に対する画像処理の対象となる領域の認識精度を向上させることができるとともに、処理対象の領域に対するマスク処理の精度を向上させることができる。

【0127】

また、本発明の一実施形態に係る画像処理装置（例えば、撮像装置１０またはＰＣ５０）は、算出された複数の所定パターン（例えば、輝点３５またはＱＲコード４０）の位置に基づいて特定の形状を決定し、決定された特定の形状を形成するために不足する頂点を推定する。これにより、実施形態に係る画像処理装置は、処理対象の領域を識別するための所定パターンの一部が撮像画像に映らなかった場合においても、算出された所定パターンの位置から決定される特定の形状に不足する頂点を推定することで、処理対象の領域の認識精度を向上させることができる。

【0128】

さらに、本発明の一実施形態に係る画像処理装置（例えば、撮像装置１０またはＰＣ５０）は、入力された撮像画像における所定パターン（例えば、輝点３５またはＱＲコード４０）の位置を示す位置情報を記憶し、算出された複数の所定パターンの位置と、記憶された位置情報の少なくとも一部とに基づいて、処理対象の領域（例えば、マスク処理領域）を設定する。これにより、実施形態に係る画像処理装置は、撮像装置１０を移動させた場合や物体が動いて撮像装置１０の視界を遮った場合等の所定パターンが一時的に視野内で認識できなくなる場合においても、一度検出した所定パターンの位置を記憶し、過去の情報を利用して撮影視野の方向の動きを推測して、検出できない所定パターンの位置を推定することで、一時的な所定パターンの消失に対応することができる。

【0129】

また、本発明の一実施形態に係る画像処理装置（例えば、撮像装置１０またはＰＣ５０）は、算出された複数の所定パターン（例えば、輝点３５またはＱＲコード４０）の位置および推定された頂点によって形成される少なくとも一つの面を含む処理対象の領域（例えば、マスク処理領域）を設定し、設定された領域に含まれる面に対して画像処理（例えば、マスク処理）を行う。これにより、実施形態に係る画像処理装置は、処理対象の領域に含まれる面に沿ってマスク処理を施すことで、隠したい立体的な領域に対するマスク処理を行うことができる。

【0130】

さらに、本発明の一実施形態に係る画像処理装置（例えば、撮像装置１０またはＰＣ５０）において、複数の所定パターン（例えば、輝点３５またはＱＲコード４０）は、異なるパターンを含む。そして、画像処理装置は、所定パターンとともに、パターンを識別する識別子を検出し、所定の条件を満たす識別子を有する複数のグループに対して、異なる領域を設定する。これにより、実施形態に係る画像処理装置は、所定パターンとして異なるパターンを検出することで、複数の処理対象の領域に対するマスク処理を行うことができる。

【0131】

また、本発明の一実施形態に係る画像処理装置（例えば、ＰＣ５０）は、入力された撮像画像をディスプレイ５０６（表示部の一例）に表示させ、処理対象の領域（例えば、マスク処理領域）に対する画像処理（例えば、マスク処理）の種別の選択を受け付ける。これにより、実施形態に係る画像処理装置は、撮影画像をリアルタイムで確認することができるとともに、撮影画像または処理画像を確認しながら処理の修正等を行うことができる。

【0132】

さらに、本発明の一実施形態に係る画像処理システムは、画像処理装置（例えば、撮像装置１０またはＰＣ５０）と、撮像手段の視野内に配置され、所定パターンを発生させる複数のパターン発生手段（例えば、ＬＥＤ装置３０またはＱＲコード４０等の画像が印刷もしくは表示された媒体）と、を備える。これにより、実施形態に係る画像処理システムは、撮影前に撮影対象から除外したい領域を、パターン発生手段の配置によって事前に指定することができる。

【0133】

●補足●
上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本実施形態における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウエアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）、SOC(System on a chip)、GPUおよび従来の回路モジュール等のデバイスを含むものとする。

【0134】

また、上記で説明した実施形態の各種テーブルは、機械学習の学習効果によって生成されたものでもよく、関連づけられている各項目のデータを機械学習にて分類付けすることで、テーブルを使用しなくてもよい。ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり，コンピュータが，データ識別等の判断に必要なアルゴリズムを，事前に取り込まれる学習データから自律的に生成し，新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。

【0135】

これまで本発明の一実施形態に係る画像処理装置、画像処理システム、画像処理方法およびプログラムについて説明してきたが、本発明は上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

【符号の説明】

【0136】

１０ 撮像装置（画像処理装置の一例）
１４ 撮像処理部（撮像手段の一例）
１５ 画像入力部（画像入力手段の一例）
１７ 検出部（検出手段の一例）
１８ 算出部（算出手段の一例）
１９ 判断部（決定手段の一例）
２１ 推定部（推定手段の一例）
２２ 領域設定部（領域設定手段の一例）
２３ 画像処理部（画像処理手段の一例）
３０ ＬＥＤ装置（パターン発生手段の一例）
４０ ＱＲコード（パターン発生手段の一例）
５０ ＰＣ（画像処理装置の一例）
５１ 通信部（画像入力手段の一例）
５２ 受付部（受付手段の一例）
５３ 表示制御部（表示制御手段の一例）
５５ 検出部（検出手段の一例）
５７ 判断部（決定手段の一例）
５８ 推定部（推定手段の一例）
５９ 領域設定部（領域設定手段の一例）
６１ 画像処理部（画像処理手段の一例）
５０６ ディスプレイ（表示部の一例）
１０００ 記憶部（記憶手段の一例）
５０００ 記憶部（記憶手段の一例）

【先行技術文献】

【特許文献】

【0137】

【文献】特開２０１６－１３３９０８号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】