特許 7594723 画像処理システム、画像処理プログラムおよび画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-27

(45)【発行日】2024-12-05

(54)【発明の名称】画像処理システム、画像処理プログラムおよび画像処理方法

(51)【国際特許分類】

   G06T 7/12 20170101AFI20241128BHJP

   H04N 7/18 20060101ALI20241128BHJP

【ＦＩ】

G06T7/12

H04N7/18 D

【請求項の数】 7

(21)【出願番号】P 2020147567

(22)【出願日】2020-09-02

(65)【公開番号】P2022042235

(43)【公開日】2022-03-14

【審査請求日】2023-07-03

(73)【特許権者】

【識別番号】000003687

【氏名又は名称】東京電力ホールディングス株式会社

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100135633

【弁理士】

【氏名又は名称】二宮 浩康

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】富木 洋一

(72)【発明者】

【氏名】中田 安彦

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１９－１６０２９８（ＪＰ，Ａ）

【文献】特開２０１４－２３６８９６（ＪＰ，Ａ）

【文献】特開２００８－２４３１８４（ＪＰ，Ａ）

【文献】特開２０１５－２２４９０９（ＪＰ，Ａ）

【文献】特開２０１５－０６８７５５（ＪＰ，Ａ）

【文献】特表２０１１－５２３７４２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／１２

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

対象物を撮影した可視画像と当該可視画像内における被写体の距離情報を有する距離画像との入力を受け付ける画像入力部と、
画像の有効領域とする距離を有効距離範囲として範囲指定する入力を受け付けて、該範囲指定されなかった画像領域を前記距離情報に基づいて決定し、該有効距離範囲により範囲指定されなかった画像領域の情報を持ったマスキング領域画像を生成する、有効距離範囲指定部と、
前記マスキング領域画像を用いて、前記有効距離範囲により範囲指定されなかった画像領域内においてマスクしない対象物を選択する入力を受け付けて、該選択された画像領域内においてマスクしない対象物の輪郭を、前記可視画像および前記距離画像に基づいて特定する、対象物選択部と、
前記特定された画像領域内においてマスクしない対象物の輪郭の外部に相当する可視画像の領域をマスクしたマスキング画像を生成して、ディスプレイに表示するマスキング画像表示部と、
を備える画像処理システム。

【請求項2】

請求項１に記載の画像処理システムにおいて、
前記マスキング画像表示部において表示されたマスキング画像を保存するマスキング画像保存部をさらに備える、
画像処理システム。

【請求項3】

請求項１または２に記載の画像処理システムにおいて、
前記対象物選択部は、前記選択された画像領域内においてマスクしない対象物の輪郭を、前記可視画像におけるエッジ処理により抽出し、抽出した輪郭を前記距離画像における距離情報により補正することにより前記選択された画像領域内においてマスクしない対象物の輪郭を特定する、
画像処理システム。

【請求項4】

請求項１から３のいずれか１項に記載の画像処理システムにおいて、
前記可視画像を撮影する可視画像カメラと前記距離画像を撮影する赤外線カメラとをさらに備え、前記撮影した前記可視画像と前記距離画像とを前記画像入力部に入力する、
画像処理システム。

【請求項5】

請求項１から４のいずれか１項に記載の画像処理システムにおいて、
前記画像入力部で入力を受け付けた距離画像の距離情報を、所定の大きさを閾値とした膨張処理を実行して、前記距離画像の距離情報を補正する前処理部をさらに備える、
画像処理システム。

【請求項6】

コンピュータを、
対象物を撮影した可視画像と当該可視画像内における被写体の距離情報を有する距離画像との入力を受け付ける画像入力部と、
画像の有効領域とする距離を有効距離範囲として範囲指定する入力を受け付けて、該範囲指定されなかった画像領域を前記距離情報に基づいて決定し、該有効距離範囲により範囲指定されなかった画像領域の情報を持ったマスキング領域画像を生成する、有効距離範囲指定部と、
前記マスキング領域画像を用いて、前記有効距離範囲により範囲指定されなかった画像領域内においてマスクしない対象物を選択する入力を受け付けて、該選択された画像領域内においてマスクしない対象物の輪郭を、前記可視画像および前記距離画像に基づいて特定する、対象物選択部と、
前記特定された画像領域内においてマスクしない対象物の輪郭の外部に相当する可視画像の領域をマスクしたマスキング画像を生成して、ディスプレイに表示するマスキング画像表示部と、
として機能させる画像処理プログラム。

【請求項7】

コンピュータにおいて実行される画像処理方法であって、
対象物を撮影した可視画像と当該可視画像内における被写体の距離情報を有する距離画像との入力を受け付ける画像入力ステップと、
画像の有効領域とする距離を有効距離範囲として範囲指定する入力を受け付けて、該範囲指定されなかった画像領域を前記距離情報に基づいて決定し、該有効距離範囲により範囲指定されなかった画像領域の情報を持ったマスキング領域画像を生成する、有効距離範囲指定ステップと、
前記マスキング領域画像を用いて、前記有効距離範囲により範囲指定されなかった画像領域内においてマスクしない対象物を選択する入力を受け付けて、該選択された画像領域内においてマスクしない対象物の輪郭を、前記可視画像および前記距離画像に基づいて特定する、対象物選択ステップと、
前記特定された画像領域内においてマスクしない対象物の輪郭の外部に相当する可視画像の領域をマスクしたマスキング画像を生成して、ディスプレイに表示するマスキング画像表示ステップと、
を含む画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理システム、画像処理プログラムおよび画像処理方法に関し、例えば、可視画像の一部をマスキングしたマスキング画像を生成する画像処理システム、画像処理プログラムおよび画像処理方法に関する。

【背景技術】

【0002】

各種施設における保守点検・整備作業の各作業段階や作業完了時に、現場写真を撮影して作業報告書に添付することが行われている。例えば、発電所施設などの機密管理された施設においては、重要設備に係る情報管理を徹底する必要があり、対象被写体ではない重要設備等が対象被写体と同時に写り込むことがないように撮影するか、重要設備の写り込んだ写真を除外して報告書を作成しなければならない。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第５８１９８５６号公報

【文献】特許第５８７１８６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このとき、撮影した現場写真から、対象被写体でない重要設備等を不要部分として容易に識別してマスクすることができれば、現場写真の撮影の失敗や無駄な撮影が減らせる。撮影した現場写真の画像から任意の被写体を抽出する手法としては、例えば、エッジ検出や類似色エリア選択等の手法が知られている。エッジ検出は、画像を構成する画素の輝度の値の変化が閾値より大きい部分をエッジとして検出する技術であり、類似色エリア選択は、指定した画素の色と類似度が閾値より大きい色の画素を同じエリアとして特定する技術である。

【0005】

しかしながら、エッジ検出や類似色エリア選択等の技法では、画像上での物体の重なりや被写体と類似色の背景が存在する場合に、対象物との分離が難しいという問題がある。また、閾値を小さくするとエッジがよく見えるが、閾値を小さくしすぎると対象物がよくわからなくなるなど、閾値の取り方が難しいという側面もある。

【0006】

画像中の任意の被写体を抽出する手法としては、上記のように可視画像を用いたもの以外にも、カメラから被写体までの距離を深度情報として有する深度画像を用いた手法も知られている。

【0007】

特許文献１の手法では、例えば、深度画像の選択されたエリアまたは点における画素の種々の深度値を比較してエッジを決定し、深度画像の中にある各ターゲットをまたは物体を塗りつぶし、各ターゲットまたは物体を既知のパターンと比較して、深度画像が人間ターゲットを含むか否かを判断する。これにより、モーションキャプチャシステムにおいて、複数の人を区別することができる。

【0008】

特許文献１に記載の手法では、深度画像のみからエッジを判断しているため、正確なエッジ特定がなされていない。あらかじめ人間をターゲットとして、その動きをとらえることを目的としているため、既知のパターンとの比較をしようとする部分が抽出できれば問題なく、物体のエッジを正確にとらえる必要はないからである。また、特許文献１には。画質などに関する言及もない。

【0009】

特許文献２には、深度情報に基づいて距離を判定してぼかしファクタを決定し、決定されたぼかしファクタに基づいて、被写体に対しイメージぼけを加えることが記載されている。引用文献２に記載の手法でも、深度情報に基づいた境界を持ったエリアを精度良く特定することは意図されていない。

【0010】

このように従来の技術では、作業報告に耐える画像品質と不要部分のマスクを同時に達成できるまでには至っていない。

【0011】

本発明は上記従来の問題に鑑みなされたものであって、本発明は、不要部分については確実にマスクされる一方で、対象の被写体については作業報告に耐える画像品質を維持したマスキング画像を生成することができる画像処理システムを提供することを目的とする。

【課題を解決するための手段】

【0012】

本発明の代表的な実施の形態に係る画像処理システムは、対象物を撮影した可視画像と当該可視画像内における被写体の距離情報を有する距離画像との入力を受け付ける画像入力部と、画像の有効領域を範囲指定する入力を受け付けて、該範囲指定された画像領域を前記距離情報に基づいて決定する、有効距離範囲指定部と、前記範囲指定された画像領域内の対象物を選択する入力を受け付けて、該選択された画像領域内の対象物の輪郭を、前記可視画像および前記距離画像に基づいて特定する、対象物選択部と、前記特定された画像領域内の対象物の輪郭の外部に相当する可視画像の領域をマスクしたマスキング画像を生成して、ディスプレイに表示するマスキング画像表示部と、備えることを特徴とする。

【発明の効果】

【0013】

本発明に係る画像処理システムによれば、不要部分については確実にマスクされる一方で、対象の被写体については作業報告に耐える画像品質を維持したマスキング画像を生成することができる。

【図面の簡単な説明】

【0014】

【図1】本実施形態に係る画像処理システムの外観構成を示す図である。

【図2】画像処理部のハードウェア構成例を示すブロック図である。

【図3】本実施形態に係る画像処理システムの機能ブロックの構成例を示す図である。

【図4】本実施形態に係る補正モードにおける物体検出部の処理について説明する図である。

【図5】本実施形態に係る画像処理システムにおける処理例を示すフロー図である。

【図6】本実施形態に係る画像処理システムにおける入力と出力の例を示す図である。

【発明を実施するための形態】

【0015】

１．実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。なお、以下の説明では、一例として、発明の構成要素に対応する図面上の参照符号を、括弧を付して記載している。

【0016】

〔１〕代表的な実施の形態に係る画像処理システム（１）は、対象物を撮影した可視画像と当該可視画像内における被写体の距離情報を有する距離画像との入力を受け付ける画像入力部と、画像の有効領域を範囲指定する入力を受け付けて、該範囲指定された画像領域を前記距離情報に基づいて決定する、有効距離範囲指定部（２１、３２）と、前記範囲指定された画像領域内の対象物を選択する入力を受け付けて、該選択された画像領域内の対象物の輪郭を、前記可視画像および前記距離画像に基づいて特定する、対象物選択部（２２、３３）と、前記特定された画像領域内の対象物の輪郭の外部に相当する可視画像の領域をマスクしたマスキング画像を生成して、ディスプレイに表示するマスキング画像表示部（３４）と、備える。

【0017】

〔２〕上記〔１〕において、前記マスキング画像表示部において表示されたマスキング画像を保存するマスキング画像保存部をさらに備えていてもよい。

【0018】

〔３〕上記〔１〕または〔２〕において、前記対象物選択部は、前記選択された画像領域内の対象物の輪郭を、前記可視画像におけるエッジ処理により抽出し、抽出した輪郭を前記距離画像における距離情報により補正することにより前記選択された画像領域内の対象物の輪郭を特定してもよい。

【0019】

〔４〕上記〔１〕から〔３〕のいずれか１つにおいて、前記可視画像を撮影する可視画像カメラと前記距離画像を撮影する赤外線カメラとをさらに備え、前記撮影した前記可視画像と前記距離画像とを前記画像入力部に入力することとしてもよい。

【0020】

〔５〕上記〔１〕から〔４〕のいずれか１つにおいて、前記画像入力部で入力を受け付けた距離画像の距離情報を、所定の大きさを閾値とした膨張処理を実行して、前記距離画像の距離情報を補正する前処理部をさらに備えていてもよい。

【0021】

〔６〕代表的な実施の形態に係る画像処理プログラムは、コンピュータを、対象物を撮影した可視画像と当該可視画像内における被写体の距離情報を有する距離画像との入力を受け付ける画像入力部と、画像の有効領域を範囲指定する入力を受け付けて、該範囲指定された画像領域を前記距離情報に基づいて決定する、有効距離範囲指定部と、前記範囲指定された画像領域内の対象物を選択する入力を受け付けて、該選択された画像領域内の対象物の輪郭を、前記可視画像および前記距離画像に基づいて特定する、対象物選択部と、前記特定された画像領域内の対象物の輪郭の外部に相当する可視画像の領域をマスクしたマスキング画像を生成して、ディスプレイに表示するマスキング画像表示部と、として機能させる。

【0022】

〔７〕代表的な実施の形態に係る画像処理方法は、コンピュータにおいて実行される画像処理方法であって、対象物を撮影した可視画像と当該可視画像内における被写体の距離情報を有する距離画像との入力を受け付ける画像入力ステップと、画像の有効領域を範囲指定する入力を受け付けて、該範囲指定された画像領域を前記距離情報に基づいて決定する、有効距離範囲指定ステップと、前記範囲指定された画像領域内の対象物を選択する入力を受け付けて、該選択された画像領域内の対象物の輪郭を、前記可視画像および前記距離画像に基づいて特定する、対象物選択ステップと、前記特定された画像領域内の対象物の輪郭の外部に相当する可視画像の領域をマスクしたマスキング画像を生成して、ディスプレイに表示するマスキング画像表示ステップと、を含む。

【0023】

２．実施の形態の具体例
以下、本発明の実施の形態の具体例について図を参照して説明する。なお、以下の説明において、各実施の形態において共通する構成要素には同一の参照符号を付し、繰り返しの説明を省略する。また、図面は模式的なものであり、各要素の寸法の関係、各要素の比率などは、現実と異なる場合があることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。

【0024】

図１は、本実施形態に係る画像処理システムの外観構成を示す図である。

【0025】

画像処理システム１は、カメラ１０とディスプレイ２０とを備えており、さらに、図１には図示されていないが、カメラ１０およびディスプレイ２０と接続された画像処理部とを備えて構成されている。

【0026】

カメラ１０は、可視画像を撮影する可視画像カメラ１１、距離画像を撮影する距離画像カメラ１２を有している。距離画像とは、カメラから被写体までの距離（以下、「距離」ともいう。）を表す被写体の距離情報を有する画像である。距離画像は、例えば、画像を構成する各画素に距離情報の値を有することができる。可視画像は、一般の可視光カメラで撮影することができる画像である。可視画像は、距離画像と異なり、各画素に被写体の明るさや色などを示す値を有している。

【0027】

可視画像カメラ１１は、ＣＣＤやＣＭＯＳなどの画像センサを有するカメラである。距離画像カメラ１２は、距離を測定することができる手段を有するカメラであり、例えば赤外線カメラである。

【0028】

カメラ１０は、図１に示すように、画像処理システム１と一体に構成されていてもよいし、画像処理システム１とは別体に構成されていてもよい。例えば、画像処理システム１とは別の場所で撮影した可視画像と距離画像とを通信手段を介して画像処理システム１の画像処理部に入力することができる。通信手段は有線・無線のいずれであってもよい。ただし、可視画像カメラ１１と距離画像カメラ１２は、同じ被写体について画角等の条件がほぼ同じ画像を撮影できるように構成される。

【0029】

ディスプレイ２０には、画像処理部によって制御された出力内容を表示することができる。ディスプレイ２０には、図１に示すように、有効距離範囲設定バー２１、物体選択ツール２２、設定メニュー２３、撮影ボタン２４を表示することができる。なお、有効距離範囲設定バー２１、設定メニュー２３、撮影ボタン２４は、ディスプレイ２０に表示する以外にも、ハードウェアインタフェースとしてディスプレイ２０に併設されていてもよい。

【0030】

有効距離範囲設定バー２１は、可視画像における有効領域を範囲指定する操作入力を受け付けるためのインタフェースである。例えば、遠方と近方とを両端に有するバーを表示してどの範囲を有効とするかを入力させることができる。また例えば、距離を示す数値の大きさをスライダーで調整させるようにしてもよい。

【0031】

物体選択ツール２２は、前記範囲指定された可視画像内の被写体から対象物を選択する操作入力を受け付けるためのインタフェースである。例えば、対象物を指示する矢符や対象物を取り囲む範囲指定の枠などの形態とすることができる。ここで対象物とは、マスキングの対象としない物体のことをいう。

【0032】

設定メニュー２３は、物体検出処理を実行するモードである補正モードの有効・無効を選択する操作入力を受け付けるためのインタフェースである。

【0033】

撮影ボタン２４は、画像取得のタイミングについて操作入力を受け付けるためのインタフェースである。

【0034】

図２は、画像処理部のハードウェア構成例を示すブロック図である。画像処理部３は、図２に示すように、ＣＰＵ３０１と、ＲＡＭ３０２と、ＲＯＭ３０３と、通信回路３０４と、周辺回路３０５と、等のハードウェア要素を有し、各構成要素がバスや専用線を介して互いに接続されたプログラム処理装置（例えば、マイクロコントローラ：ＭＣＵ）によって構成されている。なお、周辺回路３０５は、Ａ／Ｄ変換回路、入出力Ｉ／Ｆ回路、クロック回路等を含んでいる。

【0035】

画像処理部３では、プロセッサとして機能するＣＰＵ３０１が、ＲＯＭ３０３に格納され、ＲＡＭ３０２に呼び出されたプログラムに従って各種演算を行うとともに、Ａ／Ｄ変換回路と、入出力Ｉ／Ｆ回路とを制御することによって、後述する画像処理部の各機能部の構成を実現している。

【0036】

図３は、本実施形態に係る画像処理システムの機能ブロックの構成例を示す図である。画像処理システムは、可視画像カメラ１１で撮影した可視画像と、距離画像カメラ１２で撮影した距離画像とを画像処理部３に入力し、画像処理部３においてディスプレイ２０の表示を制御しながら画像処理を実行して所望の画像をディスプレイ２０に表示し、その画像データを記憶媒体４（マスキング画像保存部の一例）に出力することができる。記憶媒体４は、画像処理システム１の構成の一部であってもよいが、画像処理システム１に着脱可能なメモリや、有線・無線の通信回線を介して通信接続された外部のメモリやサーバ等であってもよい。

【0037】

画像処理部３は、対象物を撮影した可視画像と当該可視画像内における被写体の距離情報を有する距離画像との入力を受け付ける画像入力部（図示せず）と、距離画像前処理部３１と、距離範囲限定部３２（有効距離範囲指定部の一例）と、物体検出部３３（対象物選択部の一例）と、マスキング処理部３４（マスキング画像表示部の一例）とを備えている。

【0038】

画像入力部は、可視画像カメラ１１と距離画像カメラ１２とから入力される映像データからフレーム画像（以下、「画像」ともいう）を取得して、可視画像と距離画像との入力を受け付けることができる。画像入力部は、例えば、ディスプレイ２０に表示させた撮影ボタン２４に対する操作入力をトリガとして映像データからフレーム画像を取得してもよい。

【0039】

距離画像前処理部３１は、入力された距離画像の前処理を行う。例えば、距離画像の距離情報を平滑化する前処理を行うことができる。また、赤外線による距離画像には、赤外線の反射や遮断により距離情報が得られなかった画素が発生する。そのため、赤外線による距離画像に対しては、近傍の距離画素を用いた穴埋め処理などが前処理として挙げられる。距離画像前処理部３１には、処理対象の距離画像に時間的に連続する複数の距離画像（動画像）に基づいて前処理をすることもできる。この場合は、前処理のために、画像入力部から距離画像前処理部３１に動画像が入力される。距離画像前処理部３１は、動画像において十分なフレームレートが確保され、フレームごとのブレが少ないと判断できる場合は、各画素について複数の画像に亘るスキャン平均をとることで画素ごとの距離情報の値の精度を向上させる。

【0040】

距離範囲限定部３２は、前処理された距離画像に対して、有効範囲を限定する距離範囲限定処理を実行して、有効範囲として範囲指定された画像領域を決定した画像領域を示すマスキング領域画像を生成することができる。さらに、生成したマスキング領域画像を物体検出部３３に渡す。マスキング領域画像とは、有効範囲として範囲指定された画像領域または範囲指定されなかった画像領域を示す画像である。有効範囲とは、マスキングの対象としない距離範囲のことをいう。

【0041】

距離範囲限定部３２は、ディスプレイ２０に表示させた有効距離範囲設定バー２１に対する操作入力により有効距離範囲が入力されると、入力された有効距離範囲に合わせて処理対象の画像の有効範囲を限定する処理を行う。具体的には、例えば、有効距離範囲設定バー２１において有効距離を７未満とする旨の操作入力がされた場合、距離範囲限定部３２は、「有効距離範囲が７未満」という有効距離範囲の入力を受け付けることができる。距離範囲限定部３２は、「有効距離範囲が７未満」という入力に基づいて距離画像のラスタスキャンを実行し、距離情報が７未満の画素部分を決定し、範囲指定された画像領域として、決定した距離情報が７未満の画素部分の情報を持ったマスキング領域画像を生成することができる。なお、マスキング領域画像は、範囲指定された画像領域として、決定した距離情報が７未満の画素部分の情報を持つことに代えて、範囲指定されなかった画像領域として、決定した距離情報が７未満の画素部分以外の情報を持つこととしてもよい。なお、距離範囲限定部３２は、ディスプレイ２０に表示させた有効距離範囲設定バー２１に対する操作入力に限らず、物体選択ツール２２で範囲指定された可視画像内の対象物の領域に対応する距離画像の領域の画素の距離情報の値の近傍が有効範囲として設定されることとしてもよい。

【0042】

物体検出部３３は、可視画像および距離画像に対して、対象物の輪郭を特定する物体検出処理を実行して、対象物の輪郭を特定した画像領域を示すマスキング領域画像を生成することができる。さらに、生成したマスキング領域画像をマスキング処理部３４に渡す。物体検出部３３は、物体検出処理の際に、距離範囲限定部３２からのマスキング領域画像を用いることによって、処理の対象範囲を限定することができるので、処理の負担を低減することができる。例えば、対象物の輪郭部分における変色や光の当たり方などによって、可視画像だけでは背景と物体との識別が困難で、正確な輪郭の検出ができない場合がある。この場合に、距離範囲限定部３２からのマスキング領域画像を用いることによって、背景とその手前の物体とはあらかじめ切り離されているので、正確な輪郭の検出を容易に実行することができる。

【0043】

物体検出部３３は、ディスプレイ２０に表示させた物体選択ツール２２に対する操作入力により、検出対象の物体を選択する入力を受け付けて、物体検出処理を行う。例えば、ディスプレイ２０に可視画像と物体選択ツール２２とを表示し、物体選択ツール２２に囲まれた可視画像の領域を「物体内画素位置」と「物体近傍画素位置」を含む領域として識別し、識別した領域の中で可視画像に対するエッジ処理と距離画像に対する対象物の輪郭を検出し、検出対象の物体の画素位置を特定することができる。

【0044】

本実施形態の画像処理システムでは、物体検出部３３において、可視画像と距離画像とに基づいて対象物の輪郭を検出している。従来の可視画像のみに基づく輪郭の検出（エッジ検出）では、光の反射が均一でなかった場合などでは画像の輪郭が不明確となり、エッジ検出でうまく物体の輪郭がとらえられなかった。また、距離画像のみに基づいて対象物の輪郭をとらえる場合は、距離画像を取得するカメラの精度に依存する部分が大きく、汎用の距離画像取得用のカメラでは、分解能が劣るため輪郭検出をするには不向きである。しかしながら、可視画像と距離画像とに基づいた検出結果を組み合わせることにより、正確な輪郭の検出が可能となることが明らかとなった。

【0045】

たとえば、可視画像から背景と物体とを分離する手法として、GrabCutアルゴリズムが知られている。このアルゴリズムでは、通常、ユーザーが背景のエリア（画素集合）と物体の（画素集合）を矩形選択等によって事前におおまかに設定する。GrabCutアルゴリズムは、与えられた背景、物体の画素集合から色の統計値を求め、エッジらしさと共に各画素が背景か物体かを判定する。このGrabCutアルゴリズムにより物体のエッジ検出をする際に、距離画像を利用することで、簡便に、より正確な背景および物体のエリアの初期値を設定することができるので、正確な輪郭の検出が可能となる。

【0046】

また、類似色による塗りつぶしアルゴリズムを物体のエッジ検出に利用することも一般的である。類似色による塗りつぶしアルゴリズムによる物体のエッジ検出の際も類似色の選択をユーザーが直接画像上から選択することなく、距離指定により選択された物体の画素位置から類似色を指定することができるので、正確な輪郭の検出が可能となる。

【0047】

さらに、隣接画素値の差分を用いたエッジ抽出処理では、物体の表面上の模様等もエッジとしてとらえる。隣接画素値の差分を用いた物体のエッジ検出の際も、画像処理により検出したエッジのうち、距離画像上でほぼ等距離のエリアを分割するエッジを物体の境界から除くことにより、正確な輪郭の検出ができる。

【0048】

物体検出部３３は、ディスプレイ２０に表示させた設定メニュー２３（図１参照）に対する操作入力に基づいて、物体検出部３３による物体検出処理を実行するかしないかを制御することもできる。物体検出部３３は、例えば、設定メニュー２３で補正モードを設定させて、補正モードである場合に物体検出処理を実行し、補正モードでない場合は物体検出処理を実行しないように制御することができる。例えば、対象となる物体の距離に近接した距離範囲内に対象外の物体が存在しない場合に、物体検出部３３による物体検出処理を実行しない設定（「補正モードなし」）とすることができる。「補正モードなし」とした場合、物体検出部３３は、距離範囲限定部から入力されたマスキング領域画像をマスキング処理部３４に渡す。補正モードに設定した場合は、物体検出部３３は、物体検出処理後のマスキング領域画像をマスキング処理部３４に渡す。

【0049】

補正モードに設定されることによって、物体検出部３３は、距離範囲限定部３２からのマスキング領域画像において、有効範囲として範囲指定されなかった画像領域にマスキングしたくない対象物が存在する場合に、その対象物を選択させてマスキングの対象外とすることができる。

【0050】

図４は、補正モードにおける物体検出部３３の処理について説明する図である。例えば図４（ａ）に示すように、画像中に、マスキングしたくない対象物として机と時計が写っており、マスキングしたい対象として注意標識と円筒形の物体が写っている場合を考える。この画像において、距離範囲限定部３２においてマスキングしたい対象より手前の距離を有効範囲として範囲指定し、物体検出部３３における処理がないままマスキング処理が実行されると、図４（ｂ）に示すように机が半分切れたマスキング画像が生成されてしまう。一方で、補正モードで物体検出部３３により、机と時計を検出対象の物体として選択することができれば、図４（ｃ）に示すように、机と時計はマスキングされず、表示できる一方で、標識と円筒体はマスキングされたマスキング画像が生成できる。

【0051】

補正モードで物体検出部３３により机と時計を検出対象の物体として選択する場合、図４（ｂ）に示すマスキング画像のままでは、ユーザーが机と時計を選択することが困難である。これを回避するため、ディスプレイ２０に表示される画像は、元画像の図４（ａ）に戻り、マスキングされていない状態で机と時計を選択することができる。これにより、ユーザーが検出対象の物体を正確に選択でき、より正確な輪郭の検出ができるため、図４（ｃ）に示すようなマスキング画像が生成される。

【0052】

マスキング処理部３４は、マスキング領域画像に基づいて、可視画像に対するマスキング処理を実行する。物体検出部３３から入力されたマスキング領域画像を用いて、特定された画像領域内の対象物の輪郭の外部に相当する可視画像の領域をマスクしたマスキング画像を生成するマスキング処理を実行する。可視画像の領域をマスクすることは、可視画像の領域の画像が識別できない程度に画像処理することであって、ベタ画像としてもよいし、モザイク処理をしてもよく、その手法は限定されない。マスキング処理部３４は、マスキング処理により生成したマスキング画像をディスプレイ２０に表示することや記憶媒体４に格納することができる。

【0053】

図５は、本実施形態に係る画像処理システムにおける処理例を示すフロー図である。

【0054】

画像処理システムのソフトウェアが起動すると、画像処理部３の画像入力部は、可視画像カメラ１１と距離画像カメラ１２とにおいて撮影した映像からフレーム画像を取得する（ステップＳ１０１）。

【0055】

距離画像前処理部３１は、入力された距離画像の前処理を行い（ステップＳ１０２）、前処理した距離画像を距離範囲限定部３２に渡す。

【0056】

距離範囲限定部３２は、距離画像前処理部３１から受け取った距離画像に対して距離範囲限定処理を実行し（ステップＳ１０３）、距離範囲限定処理を実行したマスキング領域画像を物体検出部３３に渡す。

【0057】

物体検出部３３は、マスキング領域画像を受け取ると、補正モードに設定されているか否かを判断し（ステップＳ１０４）、補正モードに設定されていない場合（ステップＳ１０４：Ｎｏ）は、物体検出部３３は、マスキング領域画像に対して何もせず、マスキング処理部３４に渡す。なお、補正モードは、物体検出部３３による物体検出処理を実行するモードである。

【0058】

物体検出部３３は、補正モードに設定されている場合（ステップＳ１０４：Ｙｅｓ）は、距離範囲限定部３２から受け取ったマスキング領域画像を用いて、可視画像および距離画像に対して、画像領域内の対象物の輪郭を特定する物体検出処理を実行し（ステップＳ１０５）、物体検出処理により生成したマスキング領域画像をマスキング処理部３４に渡す。

【0059】

マスキング処理部３４は、物体検出部３３から入力されたマスキング領域画像を用いて、特定された画像領域内の対象物の輪郭の外部に相当する可視画像の領域をマスクしたマスキング画像を生成するマスキング処理を実行する（ステップＳ１０６）。

【0060】

マスキング処理３４は、マスキング処理されたマスキング画像をディスプレイ２０に表示させるとともに、記憶媒体４にマスキング画像を保存する（ステップＳ１０７）。例えば、ディスプレイ２０に表示した撮影ボタンなどを用いた操作入力が行われると、補正が終了したと判断し（ステップＳ１０８：Ｙｅｓ）、ステップＳ１０１に戻り、別の画像フレームについての処理を実行する。

【0061】

図６は、本実施形態に係る画像処理システムの画像処理部における入力と出力の例を示す図である。

【0062】

本実施形態に係る画像処理システムでは、カメラ１０において被写体を撮影すると、図５の左側に示すような、対象とする被写体を含む可視画像と距離画像とが画像処理部３（図２、３参照）に入力される。この画像において対象とする被写体は、連続する箱状の装置と右側の操作パネルの部分である。

【0063】

画像処理部３において、これらの可視画像と距離画像とに基づいて図５に示す処理が実行されると、図６の右側に示されるように、対象とする物体は明瞭に表現され、それ以外の領域はマスクされた画像がディスプレイ２０に表示される。

【0064】

このように、本実施形態の画像処理システムによれば、不要部分については確実にマスクされる一方で、対象の被写体については作業報告に耐える画像品質を維持したマスキング画像を生成することができる。

【0065】

（実施形態の変形例）
以上の実施形態においては、画像処理部３に併設されたカメラ１０において撮影された画像を入力して、画像処理部３に併設されたディスプレイ２０、記憶媒体４に出力する態様を例に挙げて説明したが、これに限定されず、所定の処理をすることができる。

【0066】

また、可視画像カメラ１１および距離画像カメラ１２を有するカメラ１０、画像処理部３、ディスプレイ２０のそれぞれの構成も上記の構成は一例にすぎず、具体的構成はこれに限定されない。

【0067】

さらに、上述のフローチャートは、動作を説明するための一例を示すものであって、これに限定されない。すなわち、フローチャートの各図に示したステップは具体例であって、このフローに限定されるものではない。例えば、一部の処理の順番が変更されてもよいし、各処理間に他の処理が挿入されてもよいし、一部の処理が並列に行われてもよい。

【0068】

本実施の形態においては、補正モードの有効・無効を設定できる構成としたがこれに限定されない、補正モードを設定によって有効にせずに、デフォルトで補正モードのみを実行する構成としてもよい。

【0069】

以上の実施形態では、１つの物体または近接した距離範囲にある複数の物体を対象とする場合を例に挙げて説明したが、手前と奥などの離れた距離範囲にある複数の物体を対象としてもよい。その場合、例えば、距離範囲限定部３２は、物体選択ツール２２で選択された可視画像の領域以外の領域において、最初に設定された有効距離範囲とは別の有効距離範囲を設定できる。最初に設定された有効距離範囲外において物体選択ツール２２で最初に選択した物体とは別の物体を選択することにより、局所的に別の有効距離範囲を指定することで、手前と奥の物体を個別に選択することができる。

【符号の説明】

【0070】

１ 画像処理システム、１０ カメラ、１１ 可視画像カメラ、１２ 距離画像カメラ、２０ ディスプレイ、２１ 有効距離範囲設定バー、２２ 物体選択ツール、２３ 設定メニュー、２４ 撮影ボタン、３ 画像処理部、３１ 距離画像前処理部、３２ 距離範囲限定部、３３ 物体検出部、３４ マスキング処理部、３０１ ＣＰＵ、３０２ ＲＡＭ、３０３ ＲＯＭ、３０４ 通信回路、３０４ 周辺回路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】