特許 6306822 画像処理装置、画像処理方法、および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6306822

(24)【登録日】2018年3月16日

(45)【発行日】2018年4月4日

(54)【発明の名称】画像処理装置、画像処理方法、および画像処理プログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20180326BHJP

   H04N 7/173 20110101ALI20180326BHJP

【ＦＩ】

   H04N7/18 U

   H04N7/173 610Z

【請求項の数】6

【全頁数】18

(21)【出願番号】特願2013-29487(P2013-29487)

(22)【出願日】2013年2月18日

(65)【公開番号】特開2014-158244(P2014-158244A)

(43)【公開日】2014年8月28日

【審査請求日】2015年7月10日

【審判番号】不服2016-18834(P2016-18834/J1)

【審判請求日】2016年12月15日

(73)【特許権者】

【識別番号】000102728

【氏名又は名称】株式会社エヌ・ティ・ティ・データ

(74)【代理人】

【識別番号】110001634

【氏名又は名称】特許業務法人 志賀国際特許事務所

(72)【発明者】

【氏名】大塚 紘史

(72)【発明者】

【氏名】盛合 智紀

【合議体】

【審判長】 篠原 功一

【審判官】 清水 正一

【審判官】 樫本 剛

(56)【参考文献】

【文献】 特開２０１０−１１０１７（ＪＰ，Ａ）

【文献】 特開２０１１−２０５５１７（ＪＰ，Ａ）

【文献】 特開２０１２−２０５１３４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

H04N 7/18

H04N 7/173

(57)【特許請求の範囲】

【請求項1】

撮影部によって撮影された画像の入力を受け付ける受付部と、
前記入力される画像に含まれる検出対象を検出し、該検出対象に対応する領域情報を検出する検出部と、
前記検出部により検出された検出対象の画像上の位置、および前記領域情報に基づいて、前記検出対象の画像上の位置を基準にオフセット分を変位させた位置を中心として、前記画像上に所定の領域を設定する設定部と、
前記設定部により設定された所定の領域内を閲覧可能とし、前記入力される画像から前記所定の領域内を除外した残余の領域を閲覧不可能とした表示画像を生成する生成部と、
を備え、
前記設定部は、前記画像中における前記検出対象の縦横の長さと予め設定された前記検出対象の縦横の長さに応じて、または前記撮影部における前記検出対象を撮影した角度に応じて前記オフセット分を修正する、
画像処理装置。

【請求項2】

請求項１に記載の画像処理装置であって、
前記検出対象は、前記撮影部が撮影した空間において、前記表示画像中で閲覧可能とされる物体の付近に設置された物体であり、
前記設定部は、前記検出対象の画像上の位置と、予め設定されている前記検出対象の位置と前記所定の領域との位置関係に関する情報とに基づいて、前記所定の領域を設定する、
画像処理装置。

【請求項3】

請求項１または２に記載の画像処理装置であって、
前記生成部は、前記入力される画像の全ての領域を閲覧不可能とする情報を含む閲覧不可能化データと、前記所定の領域に対応したデータであって、前記閲覧不可能化データの一部の情報を無効化する無効化データとを合成し、該合成したデータと前記入力される画像とを合成することで、前記入力される画像から前記所定の領域内を除外した残余の領域を閲覧不可能とした表示画像を生成する、
画像処理装置。

【請求項4】

請求項１から３のいずれか１項に記載の画像処理装置であって、
前記入力される画像における座標の指定を受け付ける座標指定受付部と、
前記座標指定受付部が受け付けた座標を基準として前記所定の領域を設定する第２の設定部と、
を更に備える画像処理装置。

【請求項5】

画像処理装置が、
撮影部によって撮影された画像の入力を受け付け、
前記入力される画像に含まれる検出対象を検出し、
前記検出された検出対象の画像上の位置に基づいてオフセット分を変位させた位置を中心として、前記画像上に所定の領域を設定し、
前記設定された所定の領域内を閲覧可能とし、前記入力される画像から前記所定の領域内を除外した残余の領域を閲覧不可能とした表示画像を生成し、
更に、前記オフセット分は、前記画像中における前記検出対象の縦横の長さと予め設定された前記検出対象の縦横の長さに応じて、または前記撮影部における前記検出対象を撮影した角度に応じて修正する、
画像処理方法。

【請求項6】

画像処理装置に、
撮影部によって撮影された画像の入力を受け付けさせ、
前記入力される画像に含まれる検出対象を検出させ、
前記検出された検出対象の画像上の位置に基づいてオフセット分を変位させた位置を中心として、前記画像上に所定の領域を設定させ、
前記設定された所定の領域内を閲覧可能とし、前記入力される画像から前記所定の領域内を除外した残余の領域を閲覧不可能とした表示画像を生成させ、
更に、前記オフセット分は、前記画像中における前記検出対象の縦横の長さと予め設定された前記検出対象の縦横の長さに応じて、または前記撮影部における前記検出対象を撮影した角度に応じて修正させる、
画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、および画像処理プログラムに関する。

【背景技術】

【0002】

テレビ電話やビデオチャットツールの普及に伴い、遠隔地間で映像を共有する機会が増加している。遠隔地間で映像を共有するシステムとしては、例えば、カメラによる監視システム、テレビ会議・遠隔サポートなどの遠隔映像共有システム、テレプレゼンスロボットによる遠隔コミュニケーションシステムなどが挙げられる。これらのシステムにおいて、カメラによって撮影された原画像をそのまま閲覧させたのでは、リモート端末等で映像が録画され、秘密にすべき情報が漏えいする可能性があることに配慮する必要がある。秘密にすべき情報としては、例えば、施設内の設備の配置、ラックの位置、施設内で働く人の個人情報などが挙げられる。これらのシステムでは、閲覧者に表示すべきでない領域を、画像認識やＲＦＩＤ（Radio Frequency Identification）などを利用して認識していた。

【0003】

また、これに関連し、カメラにより撮影された画像と予めメモリに記憶した識別情報とを比較し、画像認識手段により不都合な対象物があると識別された場合に、撮影画像中の不都合な対象物の部分をマスクする画像処理装置が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００３−１５３２５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の装置を含めて、従来の遠隔地間で映像を共有するシステムでは、画像認識の精度やＲＦＩＤの設置不備等により、表示すべきでない領域を表示してしまうことがあった。

【0006】

本発明は、係る事情を考慮してなされたものであり、原画像における表示すべきでない領域を、より確実に隠蔽することを目的の一つとする。

【課題を解決するための手段】

【0007】

本発明の一態様は、撮影部によって撮影された画像の入力を受け付ける受付部と、前記入力される画像に含まれる検出対象を検出し、該検出対象に対応する領域情報を検出する検出部と、前記検出部により検出された検出対象の画像上の位置、および前記領域情報に基づいて、前記検出対象の画像上の位置を基準にオフセット分を変位させた位置を中心として、前記画像上に所定の領域を設定する設定部と、前記設定部により設定された所定の領域内を閲覧可能とし、前記入力される画像から前記所定の領域内を除外した残余の領域を閲覧不可能とした表示画像を生成する生成部と、を備え、前記設定部は、前記画像中における前記検出対象の縦横の長さと予め設定された前記検出対象の縦横の長さに応じて、または前記撮影部における前記検出対象を撮影した角度に応じて前記オフセット分を修正する、画像処理装置である。

【0008】

また、本発明の他の態様は、画像処理装置が、撮影部によって撮影された画像の入力を受け付け、前記入力される画像に含まれる検出対象を検出し、前記検出された検出対象の画像上の位置に基づいてオフセット分を変位させた位置を中心として、前記画像上に所定の領域を設定し、前記設定された所定の領域内を閲覧可能とし、前記入力される画像から前記所定の領域内を除外した残余の領域を閲覧不可能とした表示画像を生成し、更に、前記オフセット分は、前記画像中における前記検出対象の縦横の長さと予め設定された前記検出対象の縦横の長さに応じて、または前記撮影部における前記検出対象を撮影した角度に応じて修正する、画像処理方法である。

【0009】

また、本発明の他の態様は、画像処理装置に、撮影部によって撮影された画像の入力を受け付けさせ、前記入力される画像に含まれる検出対象を検出させ、前記検出された検出対象の画像上の位置に基づいてオフセット分を変位させた位置を中心として、前記画像上に所定の領域を設定させ、前記設定された所定の領域内を閲覧可能とし、前記入力される画像から前記所定の領域内を除外した残余の領域を閲覧不可能とした表示画像を生成させ、更に、前記オフセット分は、前記画像中における前記検出対象の縦横の長さと予め設定された前記検出対象の縦横の長さに応じて、または前記撮影部における前記検出対象を撮影した角度に応じて修正させる、画像処理プログラムである。

【発明の効果】

【0010】

本発明の一態様によれば、原画像における表示すべきでない領域を、より確実に隠蔽することができる。

【図面の簡単な説明】

【0011】

【図1】第１実施形態に係る遠隔監視システムのシステム構成例である。

【図2】施設１０内にタグ１０Ａが貼り付け又は描画された様子を示す図である。

【図3】第１実施形態の遠隔監視システムが利用される様子を模式的に示す図である。

【図4】本実施形態の遠隔監視システムにおいて実行される全体的な処理の流れを示すフローチャートの一例である。

【図5】タグ情報６１として格納されるデータの一例である。

【図6】タグ１０Ａと窓枠ＷＤとの位置関係を示す図である。

【図7】表示許可情報６２としてタグデータベース６０に格納されるデータの一例である。

【図8】第１実施形態の画像処理装置５により実行される処理の流れを示すフローチャートの一例である。

【図9】ベースマスクＢＭの模式図と、ベースマスクＢＭのデータ構造を示す図である。

【図10】窓マスクＷＭの模式図と、窓マスクＷＭのデータ構造を示す図である。

【図11】窓マスクＷＭの設定方法を説明するための図である。

【図12】マスクデータＭＤの模式図と、マスクデータＭＤのデータ構造を示す図である。

【図13】リモート端末３の表示部３２において、タグ１０Ａを基準に設定された窓枠ＷＤ内のみ原画像が表示され、窓枠ＷＤ外については黒一色の画像が表示される様子を示す図である。

【図14】リモート端末３の表示部３２において、複数のタグ１０Ａ（１）〜１０Ａ（３）を基準に設定された窓枠ＷＤ（１）〜ＷＤ（３）内のみ原画像が表示され、原画像から複数の窓枠ＷＤＷＤ（１）〜ＷＤ（３）内の領域を除外した残余の領域について黒一色の画像が表示される様子を示す図である。

【図15】第２実施形態に係る遠隔監視システムのシステム構成例である。

【図16】始点タグと終点タグの２つのタグで窓枠ＷＤの範囲を決定する様子を示す図である。

【発明を実施するための形態】

【0012】

以下、図面を参照し、本発明の画像処理装置、画像処理方法、および画像処理プログラムの実施形態について説明する。なお、以下の説明では、本発明の画像処理装置等が、遠隔監視システムの一部として用いられることを前提とするが、本発明の画像処理装置等は、これに限らず、種々の用途に使用することができる。

【0013】

＜第１実施形態＞
以下、第１実施形態に係る遠隔監視システムについて説明する。図１は、第１実施形態に係る遠隔監視システムのシステム構成例である。第１実施形態に係る遠隔監視システムは、カメラ１と、現地端末２と、リモート端末３と、画像処理装置５と、を備える。現地端末２、リモート端末３、および画像処理装置５は、ネットワーク９を介して互いに接続される。ネットワーク９は、例えば、Ｗｉ−Ｆｉ網などの無線通信網や光通信網などの有線通信網を含む。

【0014】

［施設１０内の構成］
カメラ１は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮影素子を利用したカメラである。カメラ１は、例えば施設１０内を移動可能なロボットや車両などに搭載される。施設１０は、例えば、データセンターや工場、プラント、会議室など、第三者に秘匿する必要のある箇所や人物が含まれる任意の施設である。ロボットや車両などは、例えば施設１０内の作業者によって操縦される。また、カメラ１は、施設１０内の任意の場所に固設されても構わないし、屋外を撮影するものであっても構わない。

【0015】

現地端末２は、通信線を介して或いは無線により、カメラ１と接続される。現地端末２は、例えば施設１０内に設置され、施設１０内の作業者によって操作される。現地端末２は、画像取得部２１と、画像送信部２２と、音声送受信部２３とを備える。以下、「設置され」とは、ノートパソコンのような可搬型の端末が置かれることを含むものとする。

【0016】

画像取得部２１は、カメラ１から、カメラ１が撮影した画像を取得する。画像は、ＮＴＳＣ（National Television System Committee）などのアナログ方式によって取得されてもよいし、Ａ／Ｄ変換されたデジタルデータとして取得されてもよい。

【0017】

画像送信部２２は、画像取得部２１が取得したカメラ１の撮影画像を、ネットワーク９を介して画像処理装置３に送信する。ネットワーク９を介した画像の送信手法としては、ストリーミングやプログレッシブダウンロードなどの手法が用いられてもよいし、ＦＴＰ（File Transfer Protocol）などのプロトコルを用いて動画ファイルとして送信する手法が用いられてもよい。なお、施設１０内に画像処理装置５が設置される場合もあり、この場合、現地端末２と画像処理装置５は統合されて同じハードウェアにより実現される可能性がある。係る場合において、画像の送信は不要な処理となる。

【0018】

また、音声送受信部２３は、図示しないマイクに入力された音声を、ネットワーク９を介してリモート端末３に送信すると共に、リモート端末３からネットワーク９を介して受信した音声を、図示しないスピーカに出力させる。これによって、画像送信部２２およびリモート端末３の音声送受信部３３は、現地端末２を操作する作業者と、リモート端末３を操作する閲覧者との間で会話を行わせることができる。

【0019】

［リモート端末３の構成］
リモート端末３は、表示画像受信部３１と、表示部３２と、音声送受信部３３と、ログイン情報入力受付部３４とを備える。

【0020】

表示画像受信部３１は、現地端末２から画像処理装置５に送信され、画像処理装置５によってマスク処理された画像（表示画像）を、画像処理装置５から受信する。

【0021】

表示部３２は、例えば、ＬＣＤ（Liquid Crystal Display）やブラウン管ディスプレイ、プラズマディスプレイ、有機ＥＬ（Electroluminescence）ディスプレイなどの表示装置である。表示部３２は、表示画像受信部３１が受信した表示画像を表示する。表示画像を見るのは、例えば、前述した施設１０内の故障個所等を遠隔地から監視する閲覧者である。閲覧者は、例えば、施設１０内に設置された設備の保守専門家であるが、施設１０内の全ての設備を見る権限を有していない立場の者である。画像処理装置５は、この閲覧者に対して施設１０内の特定の箇所（後述する窓枠ＷＤ内の領域）だけを見せ、特定の箇所以外を見せないために、特定の箇所以外をマスクする処理を行って、表示画像を生成する。

【0022】

音声送受信部３３は、前述したように、現地端末２を操作する作業者と、リモート端末３を操作する閲覧者との間で会話を行わせる。

【0023】

ログイン情報入力受付部３４は、閲覧者による、閲覧者自身の識別情報であるユーザＩＤなどの入力を受け付ける。ログイン情報入力受付部３４が入力を受け付けた閲覧者のユーザＩＤは、画像処理装置５に送信される。ログイン情報入力受付部３４は、例えば、キーボードやマウス、並びにこれらのドライバなどを含む。

【0024】

［画像処理装置の構成］
画像処理装置５は、例えば、タグ情報設定受付部５１と、ログイン受付部５２と、画像受信部５３と、タグ検出部５４と、表示可否判定部５５と、マスクデータ生成部５６と、表示画像生成部５７と、表示画像送信部５８とを備える。

【0025】

また、画像処理装置５は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＲＡＭ（Random Access Memory）などの記憶装置上に、タグ情報６１および表示許可情報６２などを含むタグデータベース６０を格納している。タグ情報６１および表示許可情報６２は、それぞれタグＩＤに対応付けられた情報となっている。

【0026】

ここで、施設１０内の設備における任意の箇所には、カメラ１の撮影画像を解析することによって認識可能なタグ（マーク）が、貼り付け又は描画されている。タグは、画像認識が容易な色彩や模様、例えば、画像におけるコントラストが鮮明な白黒の模様などが付されている。図２は、施設１０内にタグ１０Ａが貼り付け又は描画された様子を示す図である。

【0027】

各タグには、それぞれ便宜的に識別子（タグＩＤ）が設定されている。タグ情報設定受付部５１は、画像処理装置５の操作者による操作を受け付け、タグＩＤとタグの形状などとの対応付けを設定する。タグ情報設定受付部５１は、例えば、キーボードやマウス、並びにこれらのドライバなどを含む。

【0028】

ログイン受付部５２は、ログイン情報入力受付部３４が受け付けた閲覧者のユーザ情報を、リモート端末３から受信し、ユーザＩＤとして表示可否判定部５５に出力する。

【0029】

画像受信部５３は、現地端末２の画像送信部２２から、カメラ１が撮影した画像（原画像）を受信する。タグ検出部５４は、例えば、カメラ１が撮影した画像の１フレーム毎に、画像中に含まれるタグを検出し、検出したタグのタグＩＤを表示可否判定部５５に出力する。

【0030】

表示可否判定部５５は、リモート端末３に対してユーザＩＤを入力した閲覧者に、当該タグＩＤに対応付けられた窓枠ＷＤ内における原画像の表示を許可するか否かを決定する。

【0031】

マスクデータ生成部５６は、現地端末１から受信した原画像のうち、表示可否判定部５５により表示が許可された窓枠ＷＤ内のみを表示し、それ以外の部分を表示しないためのマスクデータＭＤを生成する。

【0032】

表示画像生成部５７は、画像受信部５３が受信した原画像と、マスクデータ生成部５６が生成したマスクデータＭＤを合成し、リモート端末３に送信する表示画像を生成する。

【0033】

表示画像送信部５８は、表示画像生成部５７が生成した表示画像を、ネットワーク９を介してリモート端末３に送信する。画像の送信手法としては、現地端末２から画像処理装置５への送信手法と同様、ストリーミングやプログレッシブダウンロードなどの手法が用いられてもよいし、ＦＴＰなどのプロトコルを用いて動画ファイルとして送信する手法が用いられてもよい。

【0034】

図３は、第１実施形態の遠隔監視システムが利用される様子を模式的に示す図である。図３に示すように、現地端末２を操作する作業者Ｕ１と、リモート端末３を操作する閲覧者Ｕ２は、互いに会話を行いながら、カメラ１の撮影位置を調整したり、ログインの指示を行ったりすることができる。また、リモート端末３の表示部３２には、画像処理装置５から送られて来た表示画像が表示される。

【0035】

［フローチャートなど］
以下、上記説明した各機能部の処理について、フローチャートなどを用いて、より詳細に説明する。

【0036】

図４は、本実施形態の遠隔監視システムにおいて実行される全体的な処理の流れを示すフローチャートの一例である。

【0037】

まず、事前準備として、タグ情報設定受付部５１が、タグ情報６１および表示許可情報６２の設定を受け付ける（ステップＳ１００）。また、事前準備には、施設１０内における所望の箇所にタグを貼り付け又は描画することが含まれてもよい。

【0038】

図５は、タグ情報６１として格納されるデータの一例である。画像処理装置５の操作者は、タグのサイズ、形状（模様）、窓枠形状、窓枠サイズ、中心位置オフセット、表示期間などの情報と、タグＩＤが対応付けられた情報を、タグ情報６１としてタグデータベース６０に格納させる。

【0039】

タグ情報６１に含まれるタグのサイズは、カメラ１が試験的にタグを撮影したときの画像上のサイズであってもよいし、タグの実際のサイズであってもよい。タグ情報６１に含まれるタグの形状（模様）は、例えば、カメラ１が試験的にタグを撮影したときの画像データであってもよいし、タグがコンピュータグラフィックとして生成される場合、当該グラフィックデータであってもよい。

【0040】

タグ情報６１における窓枠とは、タグの位置に対応付けられた、表示を許可する領域を意味する。図６は、タグ１０Ａと窓枠ＷＤとの位置関係を示す図である。図６に示すように、窓枠ＷＤは、タグの（例えば中心の）位置から「中心位置オフセット」分だけ変位した位置を中心とし、窓枠形状、および窓枠サイズに応じた領域に設定される。また、タグ情報における表示期間は、タグに対応付けられた窓枠を表示する期間を示す。

【0041】

また、表示許可情報６２は、ユーザＩＤに対応するユーザに、対応する窓枠ＷＤ内の領域の表示を許可するタグのタグＩＤを対応付けた情報である。図７は、表示許可情報６２としてタグデータベース６０に格納されるデータの一例である。画像処理装置５の操作者は、各ユーザＩＤについて、対応する窓枠ＷＤ内の領域の表示を許可するタグＩＤを、表示許可情報６２としてタグデータベース６０に格納する。例えば、ユーザＩＤが「User001」であるユーザに対しては、タグＩＤが「Tag001」であるタグに対応する窓枠ＷＤ内の領域の表示が許可される。

【0042】

事前準備が完了すると、カメラ１の撮影した画像を取得し、閲覧者に限定的な表示画像を提供する処理が行われる（ステップＳ２００）。ステップＳ２００の処理の詳細については、図８を用いて説明する。

【0043】

そして、事後処理として、閲覧者のログアウト、当該ユーザＩＤに関する設定情報の削除、タグの除去などが行われる（ステップＳ３００）。

【0044】

図８は、本実施形態の画像処理装置５により実行される処理の流れを示すフローチャートの一例である。図８のフローチャートは、図７におけるステップＳ２００の処理を詳細に説明するものである。

【0045】

まず、画像受信部５３が、カメラ１の撮影画像（原画像）の受信を開始する（ステップＳ２０２）。画像受信部５３は、原画像のサイズから、以下に説明するベースマスク、窓マスク、マスクデータの縦横サイズ｛mask_size_py｝［ピクセル］および｛mask_size_px｝［ピクセル］を取得しておく。

【0046】

次に、ログイン受付部５２が、リモート端末３を用いた閲覧者のログインを受け付ける（ステップＳ２０４）。なお、ステップＳ２０２とステップＳ２０４の処理は順序が逆であってもよい。このように、本実施形態で説明するフローチャートの処理は、処理の順序に特段の意義を有さない場合、任意に順序を入れ替えて構わない。

【0047】

閲覧者は、ログインを行った後、例えば、閲覧したい原画像を選択する操作を、リモート端末３に対して行う。また、閲覧者が、予め指定されたＵＲＬを入力することにより、閲覧したい画面が、直接リモート端末３に読み込まれてもよい。

【0048】

次に、タグ検出部５４が、原画像の例えば１フレーム毎に、原画像中のタグを検出する（ステップＳ２０６）。タグ検出部５４は、例えば、公知のパターンマッチングなどの手法を用いて、画像に含まれるタグの形状（模様）と、タグ情報６１として格納された形状（模様）とを比較することにより、タグの検出を行う。タグ検出部５４は、検出したタグのタグＩＤおよび位置（例えば、画像におけるタグの中心の座標）を出力する。

【0049】

次に、マスクデータ生成部５６が、原画像のサイズに応じたベースマスクＢＭを生成する（ステップＳ２０８）。ベースマスクＢＭは、例えば、原画像のサイズに対応した数の画素のそれぞれに対して、三原色の輝度値に対応した属性値が付与された構造のデータである。

【0050】

図９は、ベースマスクＢＭの模式図と、ベースマスクＢＭのデータ構造を示す図である。図９（Ａ）は、ベースマスクＢＭの模式図であり、図９（Ｂ）は、ベースマスクＢＭのデータ構造を示す図である。図９に示すように、ベースマスクＢＭは、画像処理装置５が扱う画像がカラー画像であり、三原色の輝度値［Ｒ、Ｇ、Ｂ］の輝度値の最大値がそれぞれ＋２５５であれば、三原色の輝度値［Ｒ、Ｇ、Ｂ］のそれぞれについて属性値［―２５５］が全ての画素ｐ１〜ｐｎに対して付与されたデータである。なお、ベースマスクＢＭは、画像処理装置５が扱う画像が白黒画像であり、各画素の輝度値の最大値が＋２５５であれば、全ての画素に対して、属性値［−２５５］が付与されたデータである。

【0051】

次に、表示可否判定部５５は、ログインした閲覧者に、ステップＳ２０６において検出されたタグＩＤに対応付けられた窓枠ＷＤ内における原画像の表示を許可するか否かを決定する（ステップＳ２１０）。具体的には、表示可否判定部５５は、タグ検出部５４が出力したタグのタグＩＤと、ログイン受付部５２が出力したユーザＩＤとの組み合わせが表示許可情報６２に含まれ、且つ現在の日時がタグ情報６１における当該タグＩＤの表示可能期間内であるか否かを判定する。表示可否判定部５５は、上記条件を満たす場合に、ユーザＩＤを入力した閲覧者に、当該タグＩＤに対応付けられた窓枠ＷＤ内における原画像の表示を許可する。

【0052】

次に、マスクデータ生成部５６が、表示可否判定部５５によって表示が許可された窓枠について、窓マスクＷＭを生成する（ステップＳ２１２）。窓マスクＷＭは、図６で説明したように、許可されたタグＩＤに係るタグの位置から「中心位置オフセット」分だけ変位した位置を中心とし、窓枠形状、および窓枠サイズに応じた領域に設定される。なお、ステップＳ２０６において検出されたタグが複数存在する場合、複数の窓マスクＷＭが生成される場合もあり得る。

【0053】

図１０は、窓マスクＷＭの模式図と、窓マスクＷＭのデータ構造を示す図である。図１０（Ａ）は、窓マスクＷＭの模式図であり、図１０（Ｂ）は、窓マスクＷＭのデータ構造を示す図である。図１０に示すように、窓マスクＷＭは、画像処理装置５が扱う画像がカラー画像であれば、三原色の輝度値［Ｒ、Ｇ、Ｂ］のそれぞれについて属性値［ＮＡ（データなし）］が窓枠外の画素（例えば、ｐ１、ｐｎ）に対して付与され、三原色の輝度値［Ｒ、Ｇ、Ｂ］のそれぞれについて属性値［０］が窓枠ＷＤ内の画素（例えば、ｐｋ）に対して付与されたデータである。なお、窓マスクＷＭは、画像処理装置５が扱う画像が白黒画像であれば、例えば属性値［ＮＡ］が窓枠外の画素に対して付与され、例えば属性値［０］が窓枠ＷＤ内の画素に対して付与されたデータである。

【0054】

また、図１１は、窓マスクＷＭの設定方法を説明するための図である。ここでは、タグ検出部５４により検出されたタグの位置を（tag_posi_px，tag_posi_py）、タグ検出部５４により検出されたタグＩＤを用いてタグ情報６１から得られた窓枠の縦横サイズをそれぞれ｛window_size_py｝，｛window_size_px｝、中心位置オフセットを縦横それぞれ｛offset_py｝，｛offset_px｝とする。また、窓枠形状は四角であるものとする。

【0055】

ここで、設定値｛window_size_py｝、｛window_size_px｝、｛offset_py｝，｛offset_px｝は、対象物を撮影した角度や対象物との距離に応じて修正されることが好ましい。マスクデータ生成部５６は、好ましくは、原画像におけるタグの縦横の長さと、タグ情報６１に含まれるタグのサイズに基づき、アフィン変換や台形補正などの処理を行って上記設定値を修正する。すなわち、マスクデータ生成部５６は、原画像におけるタグのサイズが基準よりも小さければ小さいほど、窓マスクＷＭを小さく設定し、大きければ大きいほど、窓マスクＷＭを大きく設定してよい。また、マスクデータ生成部５６は、原画像におけるタグの縦横の長さ比がタグ情報６１に含まれるタグのサイズと異なっていれば、異なる程度に応じて設定値｛window_size_py｝と｛window_size_px｝の比率を修正してよい。

【0056】

図１１において、窓枠ＷＤの左端線のｘ座標は、｛tag_posi_px+offset_px-1/2(window_size_px)｝で表され、窓枠ＷＤの右端線のｘ座標は、｛tag_posi_px+offset_px+1/2(window_size_px)｝で表される。また、窓枠ＷＤの上端線のｙ座標は、｛tag_posi_py+offset_py-1/2(window_size_py)｝で表され、窓枠ＷＤの右端線のｙ座標は、｛tag_posi_py+offset_py+1/2(window_size_py)｝で表される。

【0057】

従って、マスクデータ生成部５６は、ｘ座標が｛tag_posi_px+offset_px-1/2(window_size_px)｝以上、｛tag_posi_px+offset_px+1/2(window_size_px)｝以下であり、且つ、ｙ座標が｛tag_posi_py+offset_py-1/2(window_size_py)｝以上、｛tag_posi_py+offset_py+1/2(window_size_py)｝以下であれば、窓枠ＷＤ内の画素であると判定する。マスクデータ生成部５６は、例えば、全ての画素について上記の条件を満たすか否かを判定し、窓枠ＷＤ内の画素であるか、窓枠外の画素であるかをそれぞれ決定する。これによって、窓マスクＷＭが設定される。

【0058】

図８に戻り、フローチャートの説明を行う。マスクデータ生成部５６は、ベースマスクＢＭと窓マスクＷＭを合成してマスクデータＭＤを生成する（ステップＳ２１４）。

【0059】

図１２は、マスクデータＭＤの模式図と、マスクデータＭＤのデータ構造を示す図である。図１１（Ａ）は、マスクデータＭＤの模式図であり、図１１（Ｂ）は、マスクデータＭＤのデータ構造を示す図である。図１１に示すように、マスクデータ生成部５６は、例えば、ベースマスクＢＭの各画素に対して、窓マスクＭＤにおける対応する画素（座標が同じ画素）に属性値［０，０，０］が付与されていれば属性値を［０，０，０］に置換し、対応する画素の属性値が［ＮＡ，ＮＡ，ＮＡ］であれば属性値［―２５５，−２５５，−２５５］のまま維持することにより、マスクデータＭＤを生成する。これによって、窓枠ＷＤ内の画素に対しては三原色の輝度値パラメータ［０，０，０］が与えられ、窓枠外の画素に対しては［―２５５，−２５５，−２５５］が与えられたマスクデータＭＤが生成される。

【0060】

なお、係る手法はあくまで一例であり、マスクデータ生成部５６は、窓マスクＷＭにおいて、窓枠ＷＤ内の画素に対して、三原色の輝度値［Ｒ、Ｇ、Ｂ］＝［２５５，２５５，２５５］のような属性値を与えてもよい。この場合、マスクデータ生成部５６は、ベースマスクＢＭの各画素の属性値と、窓マスクＷＭの対応する画素の属性値とを加算してマスクデータＭＤを生成する。

【0061】

図８に戻り、フローチャートの説明を行う。表示画像生成部５７は、原画像とマスクデータＭＤを合成して表示画像を生成する（ステップＳ２１６）。表示画像生成部５７は、原画像の各画素について、三原色の輝度値にマスクデータの対応する画素の属性値をそれぞれ加算し、負の値については０に補正することによって、表示画像の各画素の三原色の輝度値を算出する。原画像の各画素の三原色の輝度値を［Ｒｇｋ（ｋ＝１〜ｎ），Ｇｇｋ、Ｂｇｋ］、マスクデータの各画素の属性値を［Ｒｍｋ，Ｇｍｋ，Ｂｍｋ］とすると、表示画像の各画素の輝度値［Ｒｋ，Ｇｋ，Ｂｋ］は、次式（１）により算出される。

【0062】

［Ｒｋ，Ｇｋ，Ｂｋ］＝［ｍａｘ（Ｒｇｋ＋Ｒｍｋ，０），ｍａｘ（Ｇｇｋ＋Ｇｍｋ，０），ｍａｘ（Ｂｇｋ＋Ｂｍｋ，０）］ ‥（１）

【0063】

そして、表示画像送信部５８が、生成された表示画像を、リモート端末３に送信する（ステップＳ２１８）。

【0064】

係る処理の結果、リモート端末３の表示部３２には、タグを基準に設定された窓枠ＷＤ内のみ原画像が表示され、窓枠ＷＤ外については黒一色の画像（三原色の輝度値が全て０であるため）が表示される。図１３は、リモート端末３の表示部３２において、タグ１０Ａを基準に設定された窓枠ＷＤ内のみ原画像が表示され、原画像から窓枠ＷＤ内の領域を除外した残余の領域について黒一色の画像が表示される様子を示す図である。

【0065】

なお、複数のタグが画像中に含まれる場合、複数の窓枠ＷＤが設定される場合もあり得る。この場合、複数の窓枠ＷＤ内で原画像が表示され、原画像から複数の窓枠ＷＤ内の領域を除外した残余の領域について黒一色の画像が表示される。図１４は、リモート端末３の表示部３２において、複数のタグ１０Ａ（１）〜１０Ａ（３）を基準に設定された窓枠ＷＤ（１）〜ＷＤ（３）内のみ原画像が表示され、原画像から複数の窓枠ＷＤＷＤ（１）〜ＷＤ（３）内の領域を除外した残余の領域について黒一色の画像が表示される様子を示す図である。

【0066】

［まとめ］
第１実施形態の画像処理装置５によれば、現地端末２から受信した原画像のうち、タグの位置（座標）を基準として設定される窓枠ＷＤ内の領域を、原画像が閲覧可能な領域とし、原画像から窓枠ＷＤ内の領域を除外した残余の領域を、原画像が閲覧不可能な領域とした表示画像を生成するため、原画像における表示すべきでない領域を、より確実に隠蔽することができる。

【0067】

本実施形態の画像処理装置５は、原画像における閲覧者に表示すべきでない領域を特定するのではなく、表示が許可される領域を特定する情報（タグ）を予め画像に埋め込んでおき、この情報から閲覧可能な領域を決定する。この結果、リモート端末３において表示される表示画像は、タグが認識されない状態では、原画像が全く見えない状態となっている。そして、表示画像は、タグが検知された場合のみ、タグに紐づけられた情報（窓枠ＷＤの形状やサイズ、表示期間など）に基づき、明示的に指定された窓枠ＷＤ内の領域のみが閲覧可能な画像となる。この結果、画像処理装置５は、誤って表示すべきでない領域を表示してしまうこと可能性を低減することができ、セキュリティ性を向上させることができる。

【0068】

また、本実施形態の画像処理装置５は、タグやユーザＩＤに対して、窓枠ＷＤの形状やサイズ、表示期間などの情報を対応付けることで、簡易かつ高信頼度で、表示領域の設定・変更を実現することが出来る。例えば、画像処理装置５は、異なる閲覧者に対して異なる領域を閲覧させようとする場合、ユーザＩＤに対応付けられた情報を変更するだけで、閲覧させる領域を変更することができる。また、画像処理装置５は、タグに対応付けられた表示期間を設定することで、指定した期間以外は表示しないということを、簡易に実現することができる。

【0069】

＜第２実施形態＞
以下、第２実施形態に係る遠隔監視システムについて説明する。第１実施形態では、窓枠ＷＤを設定する基準となる位置は、施設１０内の設備に貼り付け又は描画されたタグの位置であるものとした。これに対し、第２実施形態では、カメラ１によって撮像された画像を見ている画像処理装置５の操作者が（現地端末２の操作者でもよい）、画像における特定の位置にマーキングを行い、この特定の位置を基準として窓枠ＷＤが設定される。

【0070】

図１５は、第２実施形態に係る遠隔監視システムのシステム構成例である。第２実施形態における現地端末２およびリモート端末３については、第１実施形態と同様であるため、説明を省略する。

【0071】

第２実施形態に係る画像処理装置５は、第１実施形態に係る画像処理装置５と比較すると、仮想タグ設定部７０を新たに備え、タグ検出部５４に代えて仮想タグ検出部７１を備える。

【0072】

仮想タグ設定部７０は、原画像において、例えば画像処理装置５の操作者がマウスでクリックまたはタッチした位置（マーキングされた位置）を検知する。仮想タグ設定部７０は、マーキングされた位置を中心とした基準領域内の画像を、予め定められた種々のパラメータを有するタグＩＤのいずれかに対応付けて、タグの形状（模様）としてタグデータベース６０に格納する。基準領域は、マーキングされた位置を中心とし、任意の大きさを有する矩形や円などの領域である。以下、このように形状（模様）がタグデータベース６０に登録されたタグを、仮想タグと称する。

【0073】

仮想タグ検出部７１は、特徴点トラッキング処理などを行い、仮想タグ設定部７０により設定された仮想タグを、原画像から抽出する。仮想タグ検出部７１は、例えば、仮想タグ内のヒストグラム特徴量を算出し、原画像のフレーム毎に、複数の領域についてヒストグラム特徴量を算出し、最もヒストグラム特徴量が近い領域を、仮想タグとして検出する。

【0074】

以下、第２実施形態に係る画像処理装置５は、「タグ」を「仮想タグ」に置き換えて、第１実施形態に係る画像処理装置５と同様の処理を行う。この結果、マーキングされた位置を中心とした仮想タグがトラッキングされ、マーキングされた位置を基準として窓枠ＷＤが設定される。従って、第２実施形態に係る画像処理装置５は、第１実施例に係る画像処理装置５と同様に、原画像における表示すべきでない領域を、より確実に隠蔽することができる。

【0075】

＜ハードウェア構成等＞
前述した各実施形態における現地端末２、リモート端末３、および画像処理装置５は、内部にコンピュータシステムを有している。「コンピュータシステム」は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等のメモリ装置、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の記憶装置、記憶媒体を装着可能なドライブ装置、周辺機器等のハードウェアを含むものである。

【0076】

そして、前述した現地端末２の画像取得部２１、画像送信部２２、音声送受信部２３、リモート端末３の表示画像受信部３１、表示部３２、音声送受信部３３、ログイン情報入力受付部３４、および画像処理装置５のタグ情報設定受付部５１、ログイン受付部５２、画像受信部５３、タグ検出部５４、表示可否判定部５５、マスクデータ生成部５６、表示画像生成部５７、表示画像送信部５８等の動作の過程は、例えば、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。なお、上記各機能部の処理が、全てプログラムを実行することによって行われる必要は無く、一部の機能部は、ＩＣ（Integrated Circuit）やＬＳＩ（Large Scale Integration）、ネットワークカードなどのハードウェアによって実現されてもよい。

【0077】

「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光ディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるＨＤＤ等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。

【0078】

また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、更に、前述した機能を、コンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

【0079】

なお、上記各実施形態におけるマスクデータ生成部５６および表示画像生成部５７が、「生成部」の一例であり、窓枠ＷＤ内の領域が、「所定の領域」の一例である。

【0080】

＜その他の実施形態＞
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形、置換、他の構成要素の追加などを行うことができる。

【0081】

例えば、第１実施形態と第２実施形態は、排他的な関係に無く、画像処理装置５は、原画像から検出されたタグを基準として窓枠ＷＤを設定する機能と、原画像においてマーキングされた位置を基準として窓枠ＷＤを設定する機能の双方を有してもよい。

【0082】

また、窓枠ＷＤの設定方法は、上記実施形態の方法に限らない。例えば、窓枠ＷＤの形状が円である場合、窓枠ＷＤの範囲は、始点タグと終点タグの２つのタグで決定することができる。図１６は、始点タグと終点タグの２つのタグで窓枠ＷＤの範囲を決定する様子を示す図である。図１６に示すように、始点タグは、例えば円である窓枠ＷＤの中心点に貼り付け又は描画される。また、終点タグは、例えば円である窓枠ＷＤの円周上の任意の点に貼り付け又は描画される。こうすれば、窓枠サイズや中心位置オフセットなどの情報を、予めタグデータベース６０に格納しておく必要が無くなる。

【0083】

また、上記実施形態では、窓枠ＷＤ外の領域は、黒一色に表示されるものとしたが、これに代えて、窓枠ＷＤ外の領域は、モザイク表示、または黒以外の一色で表示されるなど、原画像が閲覧不可能なものであれば、如何なる表示態様で表示されてもよい。

【0084】

また、本発明の画像処理装置５は、遠隔地から特定の施設を監視するという場面に限らず、画像における特定の部分を隠蔽する必要性が発生する、種々の場面に利用することができる。

【符号の説明】

【0085】

１ カメラ
２ 現地端末
２１ 画像取得部
２２ 画像送信部
２３ 音声送受信部
３ リモート端末
３１ 表示画像受信部
３２ 表示部
３３ 音声送受信部
３４ ログイン情報入力受付部
５ 画像処理装置
５１ タグ情報設定受付部
５２ ログイン受付部
５３ 画像受信部
５４ タグ検出部
５５ 表示可否判定部
５６ マスクデータ生成部
５７ 表示画像生成部
５８ 表示画像送信部
６０ タグデータベース
６１ タグ情報
６２ 表示許可情報
７０ 仮想タグ設定部
７１ 仮想タグ
９ ネットワーク
ＢＭ ベースマスク
ＷＭ 窓マスク
ＭＤ マスクデータ
ＷＤ 窓枠

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】