特開 2024-67558 プログラム、映像処理装置、及び映像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024067558

(43)【公開日】2024-05-17

(54)【発明の名称】プログラム、映像処理装置、及び映像処理方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240510BHJP

【ＦＩ】

H04N23/60 500

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022177740

(22)【出願日】2022-11-05

(71)【出願人】

【識別番号】313000601

【氏名又は名称】日本テレビ放送網株式会社

(71)【出願人】

【識別番号】523286071

【氏名又は名称】株式会社ＮＴＴデータ

(74)【代理人】

【識別番号】100201341

【弁理士】

【氏名又は名称】畠山 順一

(72)【発明者】

【氏名】西海 弘規

(72)【発明者】

【氏名】加藤 大樹

(72)【発明者】

【氏名】渡邉 之人

(72)【発明者】

【氏名】片山 和樹

(72)【発明者】

【氏名】奥田 太郎

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122EA07

5C122EA59

5C122FH09

5C122FH12

5C122FH14

5C122FH21

5C122HA86

5C122HB01

(57)【要約】      （修正有）

【課題】オブジェクトに対して適切な隠蔽を行う。
【解決手段】映像処理装置は、映像中のオブジェクトの隠蔽領域を決定し、シーン変化フレームを検出し、オブジェクト検出フレームをフェードイン終了フレームに決定し、フェードイン区間長からフェードイン開始フレームを決定し、フェードインフレーム区間に渡って隠蔽強度を増加させながら隠蔽領域を隠蔽し、オフジェクト未検出フレームをフェードアウト開始フレームに決定し、予め設定されたフェードアウト区間長からフェードアウト終了フレームを決定し、フェードアウトフレーム区間に渡って隠蔽強度を減少させながら隠蔽領域を隠蔽する処理を実行する。シーン変化フレームが含まれる場合、フェードイン開始フレームをシーン変化フレームに変更する。前記処理は、フェードアウトフレーム区間にシーン変化フレームが含まれる場合、フェードアウト終了フレームをシーン変化フレームに変更する。
【選択図】図５

【特許請求の範囲】

【請求項1】

コンピュータを、
映像中のオブジェクトを検出するオブジェクト検出手段、
検出されたオブジェクトの隠蔽領域を決定する隠蔽領域決定手段、
前記映像のシーンが変化するシーン変化フレームを検出するシーン変化フレーム検出手段、
前記オブジェクトが検出されたオブジェクト検出フレームをフェードイン終了フレームに決定し、前記フェードイン終了フレーム及び予め設定されたフェードイン区間長からフェードイン開始フレームを決定し、前記フェードイン開始フレーム及び前記フェードイン終了フレームにより定められるフェードインフレーム区間に渡って、前記フェードイン開始フレームから隠蔽強度を増加させながら前記隠蔽領域を隠蔽するフェードイン処理を実行するフェードイン処理手段、
前記オフジェクトを検出できなくなったフレームをフェードアウト開始フレームに決定し、前記フェードアウト開始フレーム及び予め設定されたフェードアウト区間長からフェードアウト終了フレームを決定し、前記フェードアウト開始フレーム及び前記フェードアウト終了フレームにより定められるフェードアウトフレーム区間に渡って、前記フェードアウト開始フレームから隠蔽強度を減少させながら前記隠蔽領域を隠蔽するフェードアウト処理を実行するフェードアウト処理手段、
として機能させ、
前記フェードイン処理手段は、前記フェードインフレーム区間にシーン変化フレームが含まれる場合、前記フェードイン開始フレームを前記シーン変化フレームに変更し、前記フェードインフレーム区間を変更し、
前記フェードアウト処理手段は、前記フェードアウトフレーム区間にシーン変化フレームが含まれる場合、前記フェードアウト終了フレームを前記シーン変化フレームに変更し、前記フェードアウトフレーム区間を変更する、
プログラム。

【請求項2】

変更後のフェードイン開始フレームの隠蔽強度は、変更前のフェードインフレーム区間における前記シーン変化フレームに対応するフレームの隠蔽強度であり、
変更後のフェードアウト終了フレームの前フレームの隠蔽強度は、変更前のフェードアウトフレーム区間における前記前フレームに対応するフレームの隠蔽強度である、
請求項１に記載のプログラム。

【請求項3】

前記オブジェクト検出手段は、検出したオブジェクトの大きさを判定し、
前記フェードイン処理手段は、前記オブジェクトの大きさが大きいほど、前記フェードイン区間長を長くし、
前記フェードアウト処理手段は、前記オブジェクトの大きさが大きいほど、前記フェードアウト区間長を長くする、
請求項１又は請求項２に記載のプログラム。

【請求項4】

前記フェードイン処理手段は、前記オブジェクトの検出領域の大きさと、前記フェードイン区間長と、の対応関係を記憶し、前記オブジェクトの検出領域の大きさに対応する前記フェードイン区間長を選択し、
前記フェードアウト処理手段は、前記オブジェクトの検出領域の大きさと、前記フェードアウト区間長と、の対応関係を記憶し、前記オブジェクトの検出領域の大きさに対応する前記フェードアウト区間長さを選択する、
請求項３に記載のプログラム。

【請求項5】

前記コンピュータを、
前記オブジェクトの隠蔽強度を決定する隠蔽強度決定手段として機能させ、
前記隠蔽強度決定手段は、前記オブジェクトを検出したフレームにおける前記オブジェクトの大きさが大きいほど、前記隠蔽強度を強くする、
請求項３に記載のプログラム。

【請求項6】

前記隠蔽強度決定手段は、前記オブジェクトの種類によって、隠蔽強度を調整する、
請求項５に記載のプログラム。

【請求項7】

前記隠蔽強度決定手段は、前記オブジェクトが人の正面の場合は、前記オブジェクトが人の背面である場合よりも、隠蔽強度を強くする、
請求項６に記載のプログラム。

【請求項8】

前記隠蔽強度決定手段は、前記オブジェクトの隠蔽領域の大きさに応じて、前記隠蔽領域のエッジを調整する、
請求項５に記載のプログラム。

【請求項9】

前記コンピュータを、
前記オブジェクトの動きを予測し、前記フェードインフレーム区間及び前記フェードアウトフレーム区間における前記隠蔽領域を推定する隠蔽領域推定手段、
として機能させる請求項１に記載のプログラム。

【請求項10】

映像中のオブジェクトを検出するオブジェクト検出手段と、
検出されたオブジェクトの隠蔽領域を決定する隠蔽領域決定手段と、
前記映像のシーンが変化するシーン変化フレームを検出するシーン変化フレーム検出手段と、
前記オブジェクトが検出されたオブジェクト検出フレームをフェードイン終了フレームに決定し、前記フェードイン終了フレーム及び予め設定されたフェードイン区間長からフェードイン開始フレームを決定し、前記フェードイン開始フレーム及び前記フェードイン終了フレームにより定められるフェードインフレーム区間に渡って、前記フェードイン開始フレームから隠蔽強度を増加させながら前記隠蔽領域を隠蔽するフェードイン処理を実行するフェードイン処理手段と、
前記オフジェクトを検出できなくなったフレームをフェードアウト開始フレームに決定し、前記フェードアウト開始フレーム及び予め設定されたフェードアウト区間長からフェードアウト終了フレームを決定し、前記フェードアウト開始フレーム及び前記フェードアウト終了フレームにより定められるフェードアウトフレーム区間に渡って、前記フェードアウト開始フレームから隠蔽強度を減少させながら前記隠蔽領域を隠蔽するフェードアウト処理を実行するフェードアウト処理手段と、
を備え、
前記フェードイン処理手段は、前記フェードインフレーム区間にシーン変化フレームが含まれる場合、前記フェードイン開始フレームを前記シーン変化フレームに変更し、前記フェードインフレーム区間を変更し、
前記フェードアウト処理手段は、前記フェードアウトフレーム区間にシーン変化フレームが含まれる場合、前記フェードアウト終了フレームを前記シーン変化フレームに変更し、前記フェードアウトフレーム区間を変更する、
映像処理装置。

【請求項11】

コンピュータは、
映像中のオブジェクトを検出するオブジェクト検出処理と、
検出されたオブジェクトの隠蔽領域を決定する隠蔽領域決定処理と、
前記映像のシーンが変化するシーン変化フレームを検出するシーン変化フレーム検出処理と、
前記オブジェクトが検出されたオブジェクト検出フレームをフェードイン終了フレームに決定し、前記フェードイン終了フレーム及び予め設定されたフェードイン区間長からフェードイン開始フレームを決定し、前記フェードイン開始フレーム及び前記フェードイン終了フレームにより定められるフェードインフレーム区間に渡って、前記フェードイン開始フレームから隠蔽強度を増加させながら前記隠蔽領域を隠蔽するフェードイン処理を実行するフェードイン処理と、
前記オフジェクトを検出できなくなったフレームをフェードアウト開始フレームに決定し、前記フェードアウト開始フレーム及び予め設定されたフェードアウト区間長からフェードアウト終了フレームを決定し、前記フェードアウト開始フレーム及び前記フェードアウト終了フレームにより定められるフェードアウトフレーム区間に渡って、前記フェードアウト開始フレームから隠蔽強度を減少させながら前記隠蔽領域を隠蔽するフェードアウト処理を実行するフェードアウト処理と、
を実行し、
前記フェードイン処理は、前記フェードインフレーム区間にシーン変化フレームが含まれる場合、前記フェードイン開始フレームを前記シーン変化フレームに変更し、前記フェードインフレーム区間を変更し、
前記フェードアウト処理は、前記フェードアウトフレーム区間にシーン変化フレームが含まれる場合、前記フェードアウト終了フレームを前記シーン変化フレームに変更し、前記フェードアウトフレーム区間を変更する、
映像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像中のオブジェクトを隠蔽するプログラム、映像処理装置、及び映像処理方法に関する。

【背景技術】

【0002】

従来、肖像権やプライバシー保護の観点から、映像中の人物や、ナンバープレート等のオブジェクトに対してモザイクやぼかし等の隠蔽を行う技術が知られている。これらのオブジェクトに対する隠蔽処理は、ユーザが映像中の隠蔽対象たるオブジェクトを確認しつつ行われていた。しかし、人による隠蔽処理は多くの時間を必要とし、隠蔽処理の自動化が望まれていた。そこで、画像認識技術によりオブジェクトを検出し、検出したオブジェクトに対して自動で隠蔽処理を行う技術が提案されている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１-１３０２０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、画像認識によるオブジェクトの検出の精度にも限界があり、適切にオブジェクトの隠蔽ができない場合も多く発生している。例えば、人物の顔に対して隠蔽を行う場合、顔の一部が物等に隠れている場合などその顔を検出することができず、映像から人物を特定できるにもかかわらず、顔の部分に対して隠蔽がされていないという状況が発生していた。結果として、プライバシーを保護することができないという課題があった。

【0005】

そこで、本発明は上記課題に鑑みて発明されたものであって、その目的はオブジェクトに対して適切な隠蔽を行うことができるプログラム、映像処理装置及び映像処理方法を提供することにある。

【課題を解決するための手段】

【0006】

本発明の一態様は、コンピュータを、映像中のオブジェクトを検出するオブジェクト検出手段、検出されたオブジェクトの隠蔽領域を決定する隠蔽領域決定手段、前記映像のシーンが変化するシーン変化フレームを検出するシーン変化フレーム検出手段、前記オブジェクトが検出されたオブジェクト検出フレームをフェードイン終了フレームに決定し、前記フェードイン終了フレーム及び予め設定されたフェードイン区間長からフェードイン開始フレームを決定し、前記フェードイン開始フレーム及び前記フェードイン終了フレームにより定められるフェードインフレーム区間に渡って、前記フェードイン開始フレームから隠蔽強度を増加させながら前記隠蔽領域を隠蔽するフェードイン処理を実行するフェードイン処理手段、前記オフジェクトを検出できなくなったフレームをフェードアウト開始フレームに決定し、前記フェードアウト開始フレーム及び予め設定されたフェードアウト区間長からフェードアウト終了フレームを決定し、前記フェードアウト開始フレーム及び前記フェードアウト終了フレームにより定められるフェードアウトフレーム区間に渡って、前記フェードアウト開始フレームから隠蔽強度を減少させながら前記隠蔽領域を隠蔽するフェードアウト処理を実行するフェードアウト処理手段、として機能させ、前記フェードイン処理手段は、前記フェードインフレーム区間にシーン変化フレームが含まれる場合、前記フェードイン開始フレームを前記シーン変化フレームに変更し、前記フェードインフレーム区間を変更し、前記フェードアウト処理手段は、前記フェードアウトフレーム区間にシーン変化フレームが含まれる場合、前記フェードアウト終了フレームを前記シーン変化フレームに変更し、前記フェードアウトフレーム区間を変更する、プログラムである。

【0007】

本発明の一態様は、映像中のオブジェクトを検出するオブジェクト検出手段と、検出されたオブジェクトの隠蔽領域を決定する隠蔽領域決定手段と、前記映像のシーンが変化するシーン変化フレームを検出するシーン変化フレーム検出手段と、前記オブジェクトが検出されたオブジェクト検出フレームをフェードイン終了フレームに決定し、前記フェードイン終了フレーム及び予め設定されたフェードイン区間長からフェードイン開始フレームを決定し、前記フェードイン開始フレーム及び前記フェードイン終了フレームにより定められるフェードインフレーム区間に渡って、前記フェードイン開始フレームから隠蔽強度を増加させながら前記隠蔽領域を隠蔽するフェードイン処理を実行するフェードイン処理手段と、前記オフジェクトを検出できなくなったフレームをフェードアウト開始フレームに決定し、前記フェードアウト開始フレーム及び予め設定されたフェードアウト区間長からフェードアウト終了フレームを決定し、前記フェードアウト開始フレーム及び前記フェードアウト終了フレームにより定められるフェードアウトフレーム区間に渡って、前記フェードアウト開始フレームから隠蔽強度を減少させながら前記隠蔽領域を隠蔽するフェードアウト処理を実行するフェードアウト処理手段と、を備え、前記フェードイン処理手段は、前記フェードインフレーム区間にシーン変化フレームが含まれる場合、前記フェードイン開始フレームを前記シーン変化フレームに変更し、前記フェードインフレーム区間を変更し、前記フェードアウト処理手段は、前記フェードアウトフレーム区間にシーン変化フレームが含まれる場合、前記フェードアウト終了フレームを前記シーン変化フレームに変更し、前記フェードアウトフレーム区間を変更する、映像処理装置である。

【0008】

本発明の一態様は、コンピュータは、映像中のオブジェクトを検出するオブジェクト検出処理と、検出されたオブジェクトの隠蔽領域を決定する隠蔽領域決定処理と、前記映像のシーンが変化するシーン変化フレームを検出するシーン変化フレーム検出処理と、前記オブジェクトが検出されたオブジェクト検出フレームをフェードイン終了フレームに決定し、前記フェードイン終了フレーム及び予め設定されたフェードイン区間長からフェードイン開始フレームを決定し、前記フェードイン開始フレーム及び前記フェードイン終了フレームにより定められるフェードインフレーム区間に渡って、前記フェードイン開始フレームから隠蔽強度を増加させながら前記隠蔽領域を隠蔽するフェードイン処理を実行するフェードイン処理と、前記オフジェクトを検出できなくなったフレームをフェードアウト開始フレームに決定し、前記フェードアウト開始フレーム及び予め設定されたフェードアウト区間長からフェードアウト終了フレームを決定し、前記フェードアウト開始フレーム及び前記フェードアウト終了フレームにより定められるフェードアウトフレーム区間に渡って、前記フェードアウト開始フレームから隠蔽強度を減少させながら前記隠蔽領域を隠蔽するフェードアウト処理を実行するフェードアウト処理と、を実行し、前記フェードイン処理は、前記フェードインフレーム区間にシーン変化フレームが含まれる場合、前記フェードイン開始フレームを前記シーン変化フレームに変更し、前記フェードインフレーム区間を変更し、前記フェードアウト処理は、前記フェードアウトフレーム区間にシーン変化フレームが含まれる場合、前記フェードアウト終了フレームを前記シーン変化フレームに変更し、前記フェードアウトフレーム区間を変更する、映像処理方法である。

【発明の効果】

【0009】

本発明によれば、オブジェクトに対して適切な隠蔽を行うことができる。

【図面の簡単な説明】

【0010】

【図1】図１は本実施の形態におけるフェードイン処理を説明するための図である。

【図2】図２はフェードインフレーム区間中にシーン変化があった場合のフェードイン処理を説明するための図である。

【図3】図３は本実施の形態におけるフェードアウト処理を説明するための図である。

【図4】図４はフェードアウトフレーム区間中にシーン変化があった場合のフェードアウト処理を説明するための図である。

【図5】図５は第１の実施の形態における映像処理装置１の機能ブロック図である。

【図6】図６は検出エリアを説明するための図である。

【図7】図７は隠蔽領域を説明するための図である。

【図8】図８はフェードイン処理のフローチャートである。

【図9】図９はフェードアウト処理のフローチャートである。

【図10】図１０は第１の実施の形態の変形例を説明するための図である。

【図11】図１１は第２の実施の形態を説明するための図である。

【図12】図１２は第２の実施の形態の映像処理装置１の機能ブロック図である。

【図13】図１３は区間長テーブルの一例である。

【図14】図１４はフェードインフレーム区間長の決定動作のフローチャートである。

【図15】図１５はフェードアウトフレーム区間長の決定動作のフローチャートである。

【図16】図１６は第３の実施の形態を説明するための図である。

【図17】図１７は第３の実施の形態の映像処理装置１の機能ブロック図である。

【図18】図１８は隠蔽強度テーブルの一例である。

【図19】図１９はフェードイン処理における隠蔽強度の決定動作のフローチャートである。

【図20】図２０はフェードアウト処理における隠蔽強度の決定動作のフローチャートである。

【図21】図２１はコンピュータシステム１００によって構成された映像処理装置１のブロック図である。

【発明を実施するための形態】

【0011】

＜第１の実施の形態＞
本発明の第１の実施の形態を説明する。

【0012】

本発明の第１の実施の形態は、画像認識により検出できたオブジェクトに隠蔽を行うだけではなく、オブジェクトの検出の前、不検出の後にも隠蔽処理を行うことにより、映像に出現しているにもかかわらず、隠蔽ができていないことを防止する。ここで、オブジェクトとは、人の顔、自動車等のナンバープレート等があるが、これに限られない。隠蔽処理には、モザイク処理、ぼかし処理等があるが、これに限られない。また、隠蔽強度とは、隠蔽処理におけるオブジェクトを隠蔽する強さであり、隠蔽強度が大きいほど、オブジェクトを視認しがたいものとする。本実施の形態では、隠蔽強度を０～１００の数値で表し、隠蔽強度０の場合はオブジェクトの隠蔽がされていない状態であり、隠蔽強度１００の場合はオブジェクトが完全に隠蔽されているものとする。

【0013】

本実施の形態では、オブジェクトの検出前の所定時間に渡って、隠蔽強度を増加させながら、オブジェクトの隠蔽領域を隠蔽する処理をフェードイン処理と記載する。また、オブジェクトの隠蔽処理継続中にそのオブジェクトが不検出となった後の所定時間に渡って、隠蔽強度を減少させながら、オブジェクトの隠蔽領域を隠蔽する処理をフェードアウト処理と記載する。また、オブジェクトの隠蔽領域は、フェードイン処理においてはオブジェクトの検出時に対応する隠蔽領域であり、フェードアウト処理においてはオブジェクトが最後に検出できた検出時に対応する隠蔽領域である。以下、本実施の形態におけるフェードイン処理及びフェードアウト処理の概略を説明する。

【0014】

図１は本実施の形態におけるフェードイン処理を説明するための図である。図１の例は、オブジェクトが人物の顔であり、隠蔽領域が検出した人物の顔の領域である例を示している。そして、フレーム６において、人物の顔を初めて検出した場合を示している。

【0015】

フェードイン処理を行うフレーム区間長（以下、フェードインフレーム区間長と記載する）は、予め設定されている。フェードインフレーム区間長は、デフォルトで設定されていても良いし、ユーザが任意の区間長を設定するようにしても良い。本実施の形態では、フェードインフレーム区間長は５フレームに設定されているものとする。

【0016】

本例では、オブジェクトを検出したオブジェクト検出フレーム（フレーム６）をフェードイン終了フレームとし、オブジェクトを検出したオブジェクト検出フレーム（＝フェードイン終了フレーム）から５フレーム（フェードインフレーム区間長）前のフレームをフェードイン開始フレーム（フレーム１）とし、フェードイン開始フレームからフェードイン終了フレームまでのフレーム区間（以下、フェードインフレーム区間と記載する）にフェードイン処理を行う。図１の例では、フェードインフレーム区間は、フレーム１からフレーム６までの区間である。

【0017】

フェードイン処理の隠蔽領域は、オブジェクト検出フレームにおいてオブジェクトが検出された位置によって決定された隠蔽領域である。フェードイン処理の隠蔽は、フェードイン終了フレーム（＝オブジェクト検出フレーム）の隠蔽領域の隠蔽強度が最終的な隠蔽強度である最大強度となるようにし、その最大強度まで、フェードイン開始フレームからフェードイン終了フレームまで、フェードインフレーム区間に渡って隠蔽強度を徐々に増加させていく。本例では、フェードイン開始フレームであるフレーム１の隠蔽強度は０、フェードインフレーム区間のフレーム２の隠蔽強度は２０、フェードインフレーム区間のフレーム３の隠蔽強度は４０、フェードインフレーム区間のフレーム４の隠蔽強度は６０、フェードインフレーム区間のフレーム５の隠蔽強度は８０とし、フェードイン終了フレーム（＝オブジェクト検出フレーム）であるフレーム６の隠蔽強度が最大の隠蔽強度である１００となるようにする。フェードイン処理の終了後、オブジェクトが検出されている間は、オブジェクトの隠蔽領域に対して最大の隠蔽強度で隠蔽処理を行う。尚、オブジェクト検出後の隠蔽領域は、オブジェクトの移動に伴って移動する。

【0018】

尚、フェードイン開始フレームの隠蔽強度はかならずしも０である必要はなく、本発明の趣旨を逸脱しない範囲の数値であれば良い。重要なことは、フェードイン終了フレーム（＝オブジェクト検出フレーム）の隠蔽強度がオブジェクトを隠蔽できる程度の隠蔽強度であり、フェードイン開始フレームの隠蔽強度がそれ未満であることである。

【0019】

ここで、フェードインフレーム区間中に、映像のシーン変化があった場合について説明する。シーン変化は、映像の場面の転換であり、映像中の人物等のオブジェクトの変化を伴うことが多い。例えば、映像中に登場していた人物が消えたり、新たに登場したりする。このような映像のシーン変化があった場合であっても、設定されたフェードインフレーム区間長のフェードインフレーム区間の中で、フェードイン処理を行うと、隠蔽対象たるオブジェクトが映像中に登場していない、又は異なる位置に移動した、シーン変化前のフレームにも隠蔽を行うことになり、映像が不自然なものとなる。そこで、フェードインフレーム区間中にシーン変化があった場合は、フェードインフレーム区間の変更を行う。

【0020】

本実施の形態では、フェードインフレーム区間にシーン変化が検出されたシーン変化検出フレームが含まれる場合、フェードイン開始フレームをシーン変化検出フレームに変更し、フェードイン終了フレームは維持する。そして、フェードインフレーム区間を変更する。

【0021】

図２は、フェードインフレーム区間中にシーン変化があった場合のフェードイン処理を説明するための図である。フェードインフレーム区間中にシーン変化がない場合、すなわち、シーン変化フレームがフェードインフレーム区間に含まれない場合、フェードイン開始フレームはフレーム１であり、フェードイン終了フレームはフレーム６であり、フレーム１からフレーム６までの区間がフェードインフレーム区間である。

【0022】

一方、フェードインフレーム区間中にシーン変化がある場合、すなわち、シーン変化フレームがフェードインフレーム区間に含まれる場合、フェードイン開始フレームをシーン変化フレームのフレーム３に変更し、フェードイン終了フレームは維持する。そして、フェードインフレーム区間を、フェードイン開始フレームであるフレーム３から、フェードイン終了フレームであるフレーム６までとするフェードインフレーム区間に変更する。

【0023】

フェードイン開始フレームであるフレーム３の隠蔽強度は、フェードインフレーム区間中にシーン変化フレームが含まれない場合における、シーン変化フレームに対応するフレームの隠蔽強度とする。本例では、フェードイン開始フレームであるフレーム３の隠蔽強度は４０である。そして、フェードイン終了フレームまで、順次隠蔽強度を増加させていく。本例では、フレーム４の隠蔽強度は６０とし、フレーム５の隠蔽強度は８０とし、フェードイン終了フレーム（＝オブジェクト検出フレーム）であるフレーム６の隠蔽強度は最大の隠蔽強度１００である。尚、フェードイン開始フレームの隠蔽強度は４０である必要はなく、本発明の趣旨を逸脱しない範囲の数値であれば良い。フェードインフレーム区間におけるフェードイン処理の終了後、検出しているオブジェクトの隠蔽領域に対して、最大の隠蔽強度で隠蔽処理を行う。

【0024】

このような処理とすることにより、シーン変化の前に隠蔽の痕跡を残すことなく、オブジェクトが映像中に出現していても、ある程度の隠蔽強度を保ちつつオブジェクトを隠蔽することができる。尚、フェードイン開始フレームからフェードイン終了フレームまで、隠蔽強度をゼロから単調増加させることも可能であるが、フェードイン終了フレームの以前のフレームの隠蔽強度は、隠蔽強度を保ちつつオブジェクトを隠蔽することができる隠蔽強度であることが好ましい。

【0025】

次に、フェードアウト処理について説明する。
図３は本実施の形態におけるフェードアウト処理を説明するための図である。図３の例は、オブジェクトが人物の顔であり、隠蔽領域が検出した人物の顔の領域である例を示している。そして、フレーム１２において、検出されていた人物の顔を検出できなくなった場合を示している。

【0026】

フェードアウト処理を行うフレーム区間長（以下、フェードアウトフレーム区間長と記載する）は、予め設定されている。設定されるフェードアウトフレーム区間長は、デフォルトで設定されていても良いし、ユーザが任意の区間長を設定しても良い。本実施の形態では、フェードアウトフレーム区間長は５フレームに設定されているものとする。

【0027】

本例では、映像から人物の顔が検出できなくなったオブジェクト不検出フレーム（フレーム１２）をフェードアウト開始フレームとし、このフェードアウト開始フレームから５フレーム（フェードアウトフレーム区間長）後のフレームをフェードアウト終了フレーム（フレーム１７）とし、フェードアウト開始フレームからフェードアウト終了フレームまでのフレーム区間（以下、フェードアウトフレーム区間と記載する）にフェードアウト処理を行う。図３の例では、フェードアウトフレーム区間は、フレーム１２からフレーム１７までの区間である。

【0028】

フェードアウト処理の隠蔽領域は、オブジェクト不検出フレームの一つ前のフレームにおいてオブジェクトが検出された位置によって決定された隠蔽領域である。フェードアウト処理の隠蔽は、フェードアウト開始フレーム（＝オブジェクト不検出フレーム）の隠蔽強度を最大強度とし、フェードアウト終了フレームの隠蔽強度０とし、フェードアウト開始フレームからフェードアウト終了フレームまで、フェードアウトフレーム区間に渡って隠蔽強度を徐々に減少させていく。本例では、フェードアウト開始フレームであるフレーム１２の隠蔽強度は、フェードアウト処理前に行われていた隠蔽処理の隠蔽強度である１００である。続いて、フェードアウトフレーム区間のフレーム１３の隠蔽強度は８０、フェードアウトフレーム区間のフレーム１４の隠蔽強度は６０、フェードインフレーム区間のフレーム１５の隠蔽強度は４０、フェードアウトフレーム区間のフレーム１６の隠蔽強度は２０とする。そして、フェードアウト終了フレームであるフレーム１７の隠蔽強度は最小の隠蔽強度である０、すなわち、隠蔽が解除された状態となるようにする。

【0029】

尚、フェードアウト開始フレームの隠蔽強度はかならずしも最大の隠蔽強度である必要はなく、本発明の趣旨を逸脱しない範囲の数値であれば良い。重要なことは、フェードアウト開始フレームの隠蔽強度がオブジェクトを隠蔽できる程度の隠蔽強度であり、フェードアウト開始フレーム以降のフレームの隠蔽強度がそれ未満であることであり、フェードアウト終了フレームの隠蔽強度が隠蔽を解除するものであることである。

【0030】

ここで、フェードアウトフレーム区間中に、映像のシーン変化があった場合について説明する。シーン変化は、映像の場面の転換であり、映像中の人物等のオブジェクトの変化を伴うことが多い。例えば、映像中に登場していた人物が消えたり、新たに登場したりする。このような映像のシーン変化があった場合であっても、設定されたフェードアウトフレーム区間長のフェードアウトフレーム区間で、フェードアウト処理を行うと、隠蔽対象たるオブジェクトが映像中に登場していない、又は異なる位置に移動した、シーン変化後のフレームにも隠蔽を行うことになり、映像が不自然なものとなる。そこで、フェードアウトフレーム区間中にシーン変化があった場合は、フェードアウトフレーム区間の変更を行う。

【0031】

本実施の形態では、フェードアウトフレーム区間にシーン変化が検出されたシーン変化検出フレームが含まれる場合、フェードアウト開始フレームは維持し、フェードアウト終了フレームをシーン変化検出フレームに変更し、フェードアウトフレーム区間を変更する。

【0032】

図４はフェードアウトフレーム区間中にシーン変化があった場合のフェードアウト処理を説明するための図である。フェードアウトフレーム区間中にシーン変化がない場合、すなわち、シーン変化フレームがフェードアウトフレーム区間に含まれない場合、フェードアウト開始フレームはフレーム１２であり、フェードアウト終了フレームはフレーム１７であり、フレーム１２からフレーム１７までの区間がフェードアウトフレーム区間である。

【0033】

一方、フェードアウトフレーム区間中にシーン変化がある場合、すなわち、シーン変化フレームがフェードアウトフレーム区間に含まれる場合、フェードアウト開始フレームは変更せずに維持し、フェードアウト終了フレームをシーン変化検出フレームのフレーム１５に変更する。そして、フェードアウトフレーム区間を、フェードアウト開始フレームであるフレーム１２から、フェードアウト終了フレームであるフレーム１５までとするフェードアウトフレーム区間に変更する。

【0034】

フェードアウト開始フレームであるフレーム１２の隠蔽強度は、フェードアウト処理前に行われていた隠蔽処理の隠蔽強度である１００である。続いて、フェードアウトフレーム区間のフレーム１３の隠蔽強度は８０、フェードアウトフレーム区間のフレーム１４の隠蔽強度は６０とする。そして、フェードアウト終了フレームであるフレーム１５の隠蔽強度は最小の隠蔽強度である０、すなわち、隠蔽が解除された状態となるようにする。

【0035】

このような処理とすることにより、シーン変化の直前まで、隠蔽強度を保ちつつオブジェクトを隠蔽することができ、シーン変化後は隠蔽の痕跡を残すことなく処理できる。尚、フェードアウト開始フレームからフェードアウト終了フレームまで、隠蔽強度をゼロまで単調減少させることも可能であるが、フェードアウト終了フレームの以前のフレームの隠蔽強度は、隠蔽強度を保ちつつオブジェクトを隠蔽することができる隠蔽強度であることが好ましい。

【0036】

次に、上述のフェードイン処理及びフェードアウト処理を実行する映像処理装置１を説明する。図５は第１の実施の形態における映像処理装置１の機能ブロック図である。

【0037】

映像処理装置１は、オブジェクト検出部１０と、隠蔽領域決定部１１と、シーン変化検出部１２と、バッファ１３と、隠蔽処理部１４と、を備える。

【0038】

オブジェクト検出部１０は、隠蔽対象となるオブジェクトを、入力された映像から画像認識するものである。オブジェクトの画像認識は、オブジェクトの特徴量（例えば、オブジェクトが人物の顔の場合、顔の特徴量）等により認識する。このような、オブジェクトを認識する画像認識方法としては、パターンマッチングや、ディープラーニング等の手法を用いた機械学習を用いた画像認識技術などがある。尚、オブジェクトの検出はフレーム毎に行う。

【0039】

オブジェクト検出部１０が検出するオブジェクトの指定であるが、ユーザがオブジェクトを、オブジェクト検出部１０に指定することにより行われる。オブジェクトの指定は、個々の個体を特定する方法（例えば、特定の人物を指定する方法）と、個々の個体を特定しない方法（例えば、映像上に現れる人物等を指定する方法）とのいずれでも良い。また、指定するオブジェクトの数は、単数、複数を問わない。以下の説明では、オブジェクトを人物の顔とする例を説明するが、オブジェクトは人物の顔に限らず、車のナンバープレート、置物、建物等のオブジェクトでも良い。

【0040】

オブジェクト検出部１０は、検出したオブジェクトの位置、大きさを検出する。オブジェクトの大きさは、検出したオブジェクトを囲む矩形の検出エリアの大きさとすることができる。例えば、図６に示す如く、オブジェクトが人物の顔である場合、その顔の大きさは認識した顔を囲む矩形の検出エリアの大きさとすることができる。

【0041】

オブジェクトの検出は、各フレームについてオブジェクト毎に行われ、検出した各オブジェクトのオブジェクト識別子、検出エリアの位置及び大きさを隠蔽領域決定部１１に通知する。一度検出したオブジェクトはトラッキングされ、トラッキングができなくなるまで検出が続けられる。また、オブジェクトを初めて検出した場合、そのオブジェクト検出フレーム番号及びオブジェクト識別子を、フェードイン処理部１４１に通知する。また、オブジェクトをトラッキングができなくなった場合、すなわち、オブジェクトが不検出となった場合、そのオブジェクト不検出フレーム番号及びオブジェクト識別子を、フェードアウト処理部１４２に通知する。

【0042】

隠蔽領域決定部１１は、オブジェクト検出部１０から受けたオブジェクトの検出エリアの位置、大きさを用いて、隠蔽する隠蔽領域を決定する。例えば、図７に示す如く、検出エリアの中心を中心とする所定の大きさの円の領域である。尚、隠蔽領域の形状は限定するものではなく、隠蔽するオブジェクトの形状にあわせて適時変更可能である。

【0043】

シーン変化検出部１２は、映像のシーン（場面）が変化するシーン変化フレームを検出する。ここで、シーンとは、同一の場面あるいは話題についての連続した映像区間であり、シーン変化とは異なる場面あるいは話題に変化することである。また、シーン変化フレームとは、異なる場面あるいは話題に変化した最初のフレームを指すものとする。シーン変化の検出方法であるが、例えば、映像の輝度、色の変化を用いてシーンの変化を検出する方法や、多くの既知の映像データを用いてシーン変化を学習したシーン変化学習モデルを用いてシーンの変化を検出する方法がある。本実施の形態では、いずれの既知方法を採用しても良い。

【0044】

バッファ１３は、入力された映像を、フェードインフレーム区間及びフェードアウトフレーム区間のフレームの映像を少なくとも蓄積する。

【0045】

隠蔽処理部１４は、オブジェクトが検出されている間、決定された隠蔽領域に所定の隠蔽強度で隠蔽処理を行う。更に、隠蔽処理部１４は、フェードイン処理部１４１と、フェードアウト処理部１４２と、を備える。

【0046】

フェードイン処理部１４１は、オブジェクト検出部１０から、オブジェクト識別子、オブジェクト検出フレーム及びオブジェクト不検出フレームを受信し、シーン変化検出部１２からシーン変化検出フレームを受信し、設定されているフェードインフレーム区間長を用いて、フェードイン開始フレーム、フェードイン終了フレーム、及びフェードインフレーム区間を決定又は変更し、オブジェクト識別子に対応するオブジェクトの隠蔽領域に対して上述したフェードイン処理を行う。

【0047】

フェードアウト処理部１４２は、オブジェクト検出部１０から、オブジェクト識別子、オブジェクト検出フレーム及びオブジェクト不検出フレームを受信し、シーン変化検出部１２からシーン変化検出フレームを受信し、設定されているフェードアウトフレーム区間長を用いて、フェードアウト開始フレーム、フェードアウト終了フレーム、及びフェードアウトフレーム区間を決定又は変更し、オブジェクト識別子に対応するオブジェクトの隠蔽領域に対して上述したフェードアウト処理を行う。

【0048】

続いて、映像処理装置１の動作を説明する。
まず、フェードイン処理の動作を説明する。図８はフェードイン処理のフローチャートである。

【0049】

映像処理装置１は、隠蔽処理を行う映像２を入力する。
入力された映像について、オブジェクト検出部１０は、オブジェクトを検出する（Ｓｔｅｐ １００）。オブジェクトの検出は、各フレームについてオブジェクト毎に行われる。オブジェクトが検出されると、検出した各オブジェクトのオブジェクト識別子、検出エリアの位置及び大きさを隠蔽領域決定部１１に通知する。また、オブジェクトを初めて検出したフレームのフレーム番号（オブジェクト検出フレーム番号）及びオブジェクト識別子を、隠蔽処理部１４に通知する（Ｓｔｅｐ １０１）。

【0050】

隠蔽領域決定部１１は、検出した各オブジェクトの検出エリアの位置及び大きさを用いて、オブジェクトの隠蔽領域を決定する（Ｓｔｅｐ １０２）。隠蔽領域決定部１１は、決定したオブジェクトの隠蔽領域の位置及び大きさとそのオブジェクトのオブジェクト識別子とを、隠蔽処理部１４に通知する。

【0051】

隠蔽処理部１４のフェードイン処理部１４１は、オブジェクト識別子及びオブジェクト検出フレーム番号を受信すると、オブジェクト検出フレーム番号のフレームを、そのオブジェクトのフェードイン処理におけるフェードイン終了フレームと決定する（Ｓｔｅｐ １０３）。

【0052】

隠蔽処理部１４のフェードイン処理部１４１は、決定したフェードイン終了フレーム及び設定されたフェードインフレーム区間長により、フェードイン開始フレームを決定する（Ｓｔｅｐ １０４）。

【0053】

隠蔽処理部１４のフェードイン処理部１４１は、決定したフェードイン開始フレーム及びフェードイン終了フレームから、フェードインフレーム区間を決定する（Ｓｔｅｐ １０５）。

【0054】

一方、シーン変化検出部１２は、入力された映像について、シーン変化を検出し、シーン変化を検出した場合、そのシーン変化検出フレーム番号をフェードイン処理部１４１に通知する（Ｓｔｅｐ １０７）。
フェードイン処理部１４１は、シーン変化検出フレーム番号が決定したフェードインフレーム区間に含まれているかを判断する（Ｓｔｅｐ １０８）。

【0055】

シーン変化検出フレーム番号が決定したフェードインフレーム区間に含まれていない場合、フェードイン処理部１４１は、決定したフェードインフレーム区間により、フェードイン処理を行う（Ｓｔｅｐ １０９）。具体的には、フェードイン開始フレームからフェードイン終了フレームまで、隠蔽強度を増加させながら、オブジェクト識別子のオブジェクトに対応する隠蔽領域に対して隠蔽処理を行う。フェードイン開始フレームの隠蔽強度は０であり、フェードイン終了フレームの隠蔽強度は１００である。そして、フェードイン終了フレーム以降は、オブジェクトが検出されている限り、隠蔽強度１００で、隠蔽領域に対して隠蔽処理を行う。

【0056】

一方、フェードイン処理部１４１は、シーン変化検出フレーム番号が決定したフェードインフレーム区間に含まれている場合、フェードイン処理部１４１は、フェードイン開始フレームをシーン変化検出フレームに変更する（Ｓｔｅｐ １１０）。フェードイン処理部１４１は、フェードイン開始フレームの変更にともない、フェードインフレーム区間を変更する（Ｓｔｅｐ １１１）。そして、変更後のフェードインフレーム区間により、フェードイン処理を行う（Ｓｔｅｐ １１２）。具体的には、フェードイン開始フレームからフェードイン終了フレームまで、隠蔽強度を増加させながら、オブジェクト識別子のオブジェクトに対応する隠蔽領域に対して隠蔽処理を行う。ここで、フェードイン開始フレームの隠蔽強度であるが、フェードイン終了フレームの隠蔽強度である１００以下であれば良いが、例えば、変更前のフェードインフレーム区間におけるフェードイン開始フレーム（シーン変化検出フレーム）に対応するフレームの隠蔽強度である。そして、フェードイン終了フレーム以降は、オブジェクトが検出されている限り、隠蔽強度１００で、隠蔽領域に対して隠蔽処理を行う。
以上が、フェードイン処理の動作である。

【0057】

続いて、フェードアウト処理の動作を説明する。図９はフェードアウト処理のフローチャートである。
隠蔽処理部１４は、オブジェクトが検出されている間、オブジェクトに対して隠蔽処理を行っている（Ｓｔｅｐ ２００）。

【0058】

オブジェクト検出部１０は、トラッキングしていたオブジェクトが検出不可能になると、オブジェクトが検出不可能になったフレームであるオブジェクト不検出フレーム番号及びそのオブジェクト識別子を、フェードアウト処理部１４２に通知する（Ｓｔｅｐ ２０１）。

【0059】

隠蔽処理部１４のフェードアウト処理部１４２は、オブジェクト識別子及びオブジェクト不検出フレーム番号を受信すると、オブジェクト不検出フレーム番号のフレームを、そのオブジェクトのフェードアウト処理におけるフェードアウト開始フレームに決定する（Ｓｔｅｐ ２０２）。

【0060】

フェードアウト処理部１４２は、決定したフェードアウト開始フレーム及び設定されたフェードアウトフレーム区間長により、フェードアウト終了フレームを決定する（Ｓｔｅｐ ２０３）。

【0061】

フェードアウト処理部１４２は、決定したフェードアウト開始フレーム及びフェードアウト終了フレームから、フェードアウトフレーム区間を決定する（Ｓｔｅｐ ２０４）。

【0062】

一方、シーン変化検出部１２は、入力された映像について、シーン変化を検出し、シーン変化を検出した場合、そのシーン変化検出フレーム番号をフェードアウト処理部１４２に通知する（Ｓｔｅｐ ２０５）。

【0063】

フェードアウト処理部１４２は、シーン変化検出フレーム番号が決定したフェードアウトフレーム区間に含まれているかを判断する（Ｓｔｅｐ ２０６）。

【0064】

シーン変化検出フレーム番号が決定したフェードアウトフレーム区間に含まれていない場合、フェードアウト処理部１４２は、決定したフェードアウトフレーム区間により、フェードアウト処理を行う（Ｓｔｅｐ ２０８）。具体的には、フェードアウト開始フレームからフェードアウト終了フレームまで、隠蔽強度を減少させながら、オブジェクト識別子のオブジェクトに対応する隠蔽領域に対して隠蔽処理を行う。フェードアウト開始フレームの隠蔽強度は１００であり、フェードアウト終了フレームの隠蔽強度は０である。

【0065】

一方、シーン変化検出フレーム番号が決定したフェードアウトフレーム区間に含まれている場合、フェードアウト処理部１４２は、フェードアウト終了フレームをシーン変化検出フレームに変更する（Ｓｔｅｐ ２０９）。フェードアウト処理部１４２は、フェードアウト終了フレームの変更にともない、フェードアウトフレーム区間を変更する（Ｓｔｅｐ ２１０）。そして、変更後のフェードアウトフレーム区間により、フェードアウト処理を行う（Ｓｔｅｐ ２１１）。具体的には、フェードアウト開始フレームからフェードアウト終了フレームまで、隠蔽強度を減少させながら、オブジェクト識別子のオブジェクトに対応する隠蔽領域に対して隠蔽処理を行う。ここで、フェードアウト開始フレームの隠蔽強度は１００であり、フェードアウト終了フレーム（シーン変化検出フレーム）の隠蔽強度は０である。そして、フェードアウト開始フレーム及びフェードアウト終了フレームを除くフェードアウトフレーム区間のフレームの隠蔽強度は、０を超える１００以下の値であれば良いが、例えば、変更後のフェードアウトフレーム区間のフレームに対応する変更前のフェードアウトフレーム区間のフレームの隠蔽強度を用いることができる。
以上が、フェードアウト処理の動作である。

【0066】

本実施の形態は、オブジェクトが映像中に出現していてもオブジェクトを検出することができないような場合でも、オブジェクトの検出前又はオブジェクトの不検出後の所定時間、ある程度の隠蔽強度を保ちつつ、オブジェクトが存在すると推定される隠蔽領域に隠蔽を施しているので、オブジェクトの不検出に起因するオブジェクトの隠蔽処理の漏れを防止することができる。また、隠蔽強度を徐々に増加又は減少させているので、輝度などの急激な変化を起こすことなく、自然な映像を作成することができる。

【0067】

更に、本実施の形態では、シーン変化を考慮して、フェードイン処理区間及びフェードアウト処理区間を調整しているので、シーン変化の前後に隠蔽の痕跡を残すことはない。

【0068】

＜第１の実施の形態の変形例＞
第１の実施の形態において、フェードインフレーム区間の隠蔽領域は、オブジェクト検出フレームの隠蔽領域とした。また、フェードアウトフレーム区間の隠蔽領域は、オブジェクトが検出することができた最後のフレームの隠蔽領域とした。

【0069】

第１の実施の形態の変形例は、フェードインフレーム区間及びフェードアウトフレーム区間の隠蔽領域を、オブジェクト検出フレーム以降のオブジェクトの動きから予測する場合を説明する。過去又は未来のオブジェクトの位置を知る技術としては、動きベクトル等の技術がある。例えば、図１０に示されるように、オブジェクト検出フレーム以降のフレームのオブジェクトが右方向に移動している場合、オブジェクト検出フレーム前のフレームのオブジェクトも、右方向に移動していると考えられる。この予測を用いて、フェードインフレーム区間の検出エリアを予測し、予測した検出エリアからフェードインフレーム区間の隠蔽領域を推定する。フェードアウトフレーム区間の隠蔽領域も同様に予測する。
このような処理を行うことにより、より自然なフェードイン処理及びフェードアウト処理を行うことができる。

【0070】

＜第２の実施の形態＞
第２の実施の形態を説明する。
第２の実施の形態は、隠蔽対象であるオブジェクトの大きさに応じて、フェードインフレーム区間長及びフェードアウト区間長を調整することを特徴とする。図１１は第２の実施の形態を説明するための図である。

【0071】

第２の実施の形態では、処理の容易さから、検出されたオブジェクトの大きさを、そのオブジェクトの検出エリアの大きさとするが、検出されたオブジェクト自体の大きさ、オブジェクトの隠蔽領域の大きさとしても良い。

【0072】

図１１に示す如く、フェードイン処理においては、オブジェクト検出フレームにおけるオブジェクトの検出エリアが大きいほど、フェードインフレーム区間長を長くする。具体的には、検出エリアの大きさを所定範囲毎のクラスに分割し、そのクラス毎にフェードインフレーム区間長を定めておく。例えば、検出エリアの大きさを、大、中、小の３クラスに分けておき、それぞれのクラスに対応するフェードインフレーム区間長を定めておく。そして、オブジェクト検出フレームにおけるオブジェクトの検出エリアがいずれのクラスに属するかを判定し、属するクラスのフェードインフレーム区間長を、オブジェクト検出フレームのオブジェクトのフェードインフレーム区間長に決定する。

【0073】

フェードアウト処理においては、オブジェクト不検出フレームの前フレームにおけるオブジェクトの検出エリアが大きいほど、フェードアウトフレーム区間長を長くする。具体的には、検出エリアの大きさを所定範囲毎のクラスに分割し、そのクラス毎にフェードアウトフレーム区間長を定めておく。例えば、検出エリアの大きさを、大、中、小の３クラスに分けておき、それぞれのクラスに対応するフェードアウトフレーム区間長を定めておく。そして、オブジェクト検出フレームの前フレームにおけるオブジェクトの検出エリアがいずれのクラスに属するかを判定し、属するクラスのフェードアウトフレーム区間長を、そのオブジェクトのフェードアウトフレーム区間長に決定する。

【0074】

図１２は第２の実施の形態の映像処理装置１の機能ブロック図である。
第２の実施の形態の映像処理装置１は、第１の実施の形態の映像処理装置１に加えて、隠蔽処理部１４に区間長決定部１４３を備えている。

【0075】

区間長決定部１４３は、オブジェクト検出部１０からオブジェクト検出エリアの大きさを受信し、オブジェクト検出エリアの大きさに対応するフェードインフレーム区間長又はフェードアウトフレーム区間長を決定する。区間長決定部１４３は、区間長テーブルを記憶している。図１３は区間長テーブルの一例である。図１３に示される区間長テーブルは、検出エリアの大きさのクラスと、フェードインフレーム区間長及びフェードアウトフレーム区間長と、が対応付けられたテーブルである。検出エリアの大きさのクラスは、検出エリアの大きさがＸ１－Ｘ３の範囲のクラス１と、検出エリアの大きさがＸ４－Ｘ６の範囲のクラス２と、検出エリアの大きさがＸ７－Ｘ１０の範囲のクラス３と、がある。クラス１が検出エリアの大きさが最も大きいクラスであり、クラス３が検出エリアの大きさが最も小さいクラスである。

【0076】

区間長決定部１４３は、受信したオブジェクト検出エリアの大きさが、区間長テーブルのいずれのクラスに属するかを判定し、そのクラスに対応するフェードインフレーム区間長及びフェードアウトフレーム区間長を取得し、取得したフェードインフレーム区間長及びフェードアウトフレーム区間長を、フェードイン処理部１４１及びフェードアウト処理部１４２に送信する。

【0077】

次に、区間長決定部１４３の動作を説明する。
まず、フェードインフレーム区間長の決定動作について説明する。図１４はフェードインフレーム区間長の決定動作のフローチャートである。

【0078】

入力された映像について、オブジェクト検出部１０は、オブジェクトを検出する（Ｓｔｅｐ ３００）。オブジェクトの検出は、各フレームについてオブジェクト毎に行われる。オブジェクトが検出されると（Ｓｔｅｐ ３０１）、オブジェクト検出部１０は、検出した各オブジェクトのオブジェクト識別子及び検出エリアの大きさを、区間長決定部１４３に通知する。

【0079】

区間長決定部１４３は、受信したオブジェクト検出エリアの大きさが、区間長テーブルのいずれのクラスに属するかを判定する（Ｓｔｅｐ ３０２）。区間長決定部１４３は、オブジェクト検出エリアの大きさが属するクラスのフェードインフレーム区間長を取得し、取得したフェードインフレーム区間長及びオブジェクト識別子を、フェードイン処理部１４１に送信する（Ｓｔｅｐ ３０３）。

【0080】

そして、フェードイン処理部１４１は、区間長決定部１４３から通知されたフェードインフレーム区間長により、第１の実施の形態において説明したフェードイン処理を行う（Ｓｔｅｐ ３０４）。

【0081】

続いて、フェードアウトフレーム区間長の決定動作について説明する。図１５はフェードアウトフレーム区間長の決定動作のフローチャートである。

【0082】

入力された映像について、オブジェクト検出部１０は、オブジェクトを検出する（Ｓｔｅｐ ４００）。オブジェクトが不検出になると（Ｓｔｅｐ ４０１）、オブジェクト検出部１０は、オブジェクトが不検出となったフレームの前フレーム（最後にオブジェクトを検出できたフレーム）の検出エリアの大きさ、及びそのオブジェクトのオブジェクト識別子を、区間長決定部１４３に通知する。

【0083】

区間長決定部１４３は、受信したオブジェクト検出エリアの大きさが、区間長テーブルのいずれのクラスに属するかを判定する（Ｓｔｅｐ ４０２）。区間長決定部１４３は、オブジェクト検出エリアの大きさが属するクラスのフェードアウトフレーム区間長を取得し、取得したフェードアウトフレーム区間長を、フェードアウト処理部１４２に送信する（Ｓｔｅｐ ４０３）。

【0084】

そして、フェードアウト処理部１４２は、区間長決定部１４３から通知されたフェードアウトフレーム区間長により、第１の実施の形態において説明したフェードアウト処理を行う（Ｓｔｅｐ ４０４）。

【0085】

第２の実施の形態は、隠蔽対象のオブジェクトの大きさに応じて、フェードインフレーム区間長及びフェードアウトフレーム区間長を変更している。これにより、大きいオブジェクトのフェードインフレーム区間長及びフェードアウトフレーム区間長は長くなり、小さいオブジェクトのフェードインフレーム区間長及びフェードアウトフレーム区間長は短くなるので、自然な隠蔽を映像に施すことができる。また、大きいオブジェクトほど、フェードインフレーム区間長が長くなるので、オブジェクト不検出による隠蔽ミスの影響が大きいオブジェクトに対して、リスクを最小限にすることができる。
尚、第２の実施の形態は、第１の実施の形態の組合せのみならず、単独でも実施可能である。

【0086】

＜第３の実施の形態＞
第３の実施の形態を説明する。

【0087】

第３の実施の形態は、隠蔽対象であるオブジェクトの大きさに応じて、そのオブジェクトに施す最大の隠蔽強度を調整することを特徴とする。ここで、最大の隠蔽強度とは、フェードイン処理終了時の隠蔽強度、又は、フェードアウト処理開始時の隠蔽強度である。また、検出中（トラッキング中）のオブジェクトに施す隠蔽の隠蔽強度でもある。

【0088】

図１６は第３の実施の形態を説明するための図である。
第３の実施の形態では、処理の容易さから、検出されたオブジェクトの大きさを、そのオブジェクトの検出エリアの大きさとするが、検出されたオブジェクト自体の大きさ、オブジェクトの隠蔽領域の大きさとしても良い。

【0089】

図１６に示す如く、フェードイン処理においては、オブジェクト検出フレームにおけるオブジェクトの検出エリアが大きいほど、そのオブジェクトに施す隠蔽の隠蔽強度を強くする。具体的には、検出エリアの大きさを所定範囲毎のクラスに分割し、そのクラス毎に隠蔽強度を定めておく。例えば、検出エリアの大きさを、大、中、小の３クラスに分けておき、それぞれのクラスに対応する隠蔽強度を定めておく。そして、オブジェクト検出フレームにおけるオブジェクトの検出エリアがいずれのクラスに属するかを判定し、属するクラスの隠蔽強度を、そのオブジェクトのフェードイン処理における隠蔽強度に決定する。

【0090】

フェードアウト処理においては、オブジェクト不検出フレームの前フレーム（最後にオブジェクトを検出できたフレーム）におけるオブジェクトの検出エリアが大きいほど、隠蔽強度を強くする。具体的には、検出エリアの大きさを所定範囲毎のクラスに分割し、そのクラス毎に隠蔽強度を定めておく。例えば、検出エリアの大きさを、大、中、小の３クラスに分けておき、それぞれのクラスに対応する隠蔽強度を定めておく。そして、オブジェクト不検出フレームの前フレームにおけるオブジェクトの検出エリアがいずれのクラスに属するかを判定し、属するクラスの隠蔽強度を、そのオブジェクトのフェードアウト処理における隠蔽強度に決定する。

【0091】

図１７は第３の実施の形態の映像処理装置１の機能ブロック図である。
第３の実施の形態の映像処理装置１は、第１及び第２の実施の形態の映像処理装置１に加えて、隠蔽処理部１４に隠蔽強度決定部１４４を備えている。

【0092】

隠蔽強度決定部１４４は、オブジェクト検出部１０からオブジェクト検出エリアの大きさを受信し、オブジェクト検出エリアの大きさに対応する隠蔽強度を決定する。隠蔽強度決定部１４４は、隠蔽強度テーブルを記憶している。図１８は隠蔽強度テーブルの一例である。図１８に示される隠蔽強度テーブルは、検出エリアの大きさのクラスと隠蔽強度とが対応付けられたテーブルである。検出エリアの大きさのクラスは、検出エリアの大きさがＸ１－Ｘ３の範囲のクラス１と、検出エリアの大きさがＸ４－Ｘ６の範囲のクラス２と、検出エリアの大きさがＸ７－Ｘ１０の範囲のクラス３と、がある。クラス１が検出エリアの大きさが最も大きいクラスであり、クラス３が検出エリアの大きさが最も小さいクラスである。

【0093】

隠蔽強度決定部１４４は、受信したオブジェクト検出エリアの大きさが、隠蔽強度テーブルのいずれのクラスに属するかを判定し、そのクラスに対応する隠蔽強度を取得し、取得した隠蔽強度を、フェードイン処理部１４１及びフェードアウト処理部１４２に送信する。

【0094】

次に、隠蔽強度決定部１４４の動作を説明する。
まず、フェードイン処理における隠蔽強度の決定動作について説明する。図１９はフェードイン処理における隠蔽強度の決定動作のフローチャートである。

【0095】

入力された映像について、オブジェクト検出部１０は、オブジェクトを検出する（Ｓｔｅｐ ５００）。オブジェクトの検出は、各フレームについてオブジェクト毎に行われる。オブジェクトが検出されると（Ｓｔｅｐ ５０１）、オブジェクト検出部１０は、検出した各オブジェクトのオブジェクト識別子及び検出エリアの大きさを、隠蔽強度決定部１４４に通知する。

【0096】

隠蔽強度決定部１４４は、受信したオブジェクト検出エリアの大きさが、隠蔽強度テーブルのいずれのクラスに属するかを判定する（Ｓｔｅｐ ５０２）。隠蔽強度決定部１４４は、オブジェクト検出エリアの大きさが属するクラスの隠蔽強度を取得し、取得した隠蔽強度及びオブジェクト識別子を、フェードイン処理部１４１に送信する（Ｓｔｅｐ ５０３）。

【0097】

そして、フェードイン処理部１４１は、隠蔽強度決定部１４４から通知された隠蔽強度により、第１の実施の形態において説明したフェードイン処理を行う（Ｓｔｅｐ ３０４）。

【0098】

続いて、フェードアウト処理における隠蔽強度の決定動作について説明する。図２０はフェードアウト処理における隠蔽強度の決定動作のフローチャートである。

【0099】

入力された映像について、オブジェクト検出部１０は、オブジェクトを検出する（Ｓｔｅｐ ６００）。オブジェクトが不検出になると（Ｓｔｅｐ ６０１）、オブジェクト検出部１０は、オブジェクトが不検出となったフレームの前フレームの検出エリアの大きさ、及びそのオブジェクトのオブジェクト識別子を、隠蔽強度決定部１４４に通知する。

【0100】

隠蔽強度決定部１４４は、受信したオブジェクト検出エリアの大きさが、隠蔽強度テーブルのいずれのクラスに属するかを判定する（Ｓｔｅｐ ６０２）。隠蔽強度決定部１４４は、オブジェクト検出エリアの大きさが属するクラスの隠蔽強度を取得し、取得した隠蔽強度を、フェードアウト処理部１４２に送信する（Ｓｔｅｐ ６０３）。

【0101】

そして、フェードアウト処理部１４２は、隠蔽強度決定部１４４から通知された隠蔽強度により、第１の実施の形態において説明したフェードアウト処理を行う（Ｓｔｅｐ ６０４）。

【0102】

第３の実施の形態は、隠蔽対象のオブジェクトの大きさに応じて、フェードイン処理及びフェードアウト処理の最大の隠蔽強度を変更している。これにより、大きいオブジェクトの隠蔽強度は強く、小さいオブジェクトの隠蔽強度は弱くなるので、オブジェクトの大きさにかかわらず、同一の隠蔽強度の映像に比べて、より自然な隠蔽の映像を作成することができる。

【0103】

また、隠蔽強度決定部１４４の応用例として、取得した隠蔽強度のみならず、オブジェクトの大きさに応じて、隠蔽領域のエッジのぼかしを調整しても良い。例えば、オブジェクトの大きさが大きいほど、隠蔽領域のエッジぼかしを強くする。このようらすることにより、より自然な隠蔽を行うことができる。
また、エッジぼかしの調整とは、エッジ勾配の調整とも呼ばれ、画像の勾配（濃度勾配）の調整であり、各画素値の変化の度合を調整するものである。オブジェクトの大きさに応じて、このエッジ勾配を調整する。具体的には、オブジェクトの大きさが大きいほど、隠蔽領域のエッジ勾配を弱くする。
更に、別の言い方をするならば、エッジぼかしの調整とは、エッジのぼかし幅の調整であり、隠蔽領域の大きさが大きいほど、エッジのボカシ幅が大きくする。
尚、第３の実施の形態は、第１の実施の形態、又は、第２の実施の形態の組合せのみならず、単独でも実施可能である。

【0104】

＜第１から第３の実施の形態の変形例＞
第１から第３の実施の形態は映像処理装置１の例を説明したが、各種の演算処理等を行うプロセッサを有するコンピュータシステムによって実現することもできる。図２１はコンピュータシステム１００によって構成された映像処理装置１のブロック図である。

【0105】

映像処理装置１は、図２１に示す如く、プロセッサ１０１、メモリ（ＲＯＭやＲＡＭ）１０２、入力装置（キーボード、マウス、タッチパネルなど）１０３、通信装置１０４、記憶装置（ハードディスク、半導体ディスクなど）１０５を有するコンピュータ１００により構成することができる。

【0106】

コンピュータ１００は、記憶装置１０５に格納されたプログラムがメモリ１０２にロードされ、プロセッサ１０１により実行されることにより、オブジェクト検出処理１２１と、隠蔽領域決定処理１２２と、シーン変化検出処理１２３と、隠蔽処理１２４と、フェードイン処理１２５と、フェードアウト処理１２６と、区間長決定処理１２７と、隠蔽強度決定処理１２８と、が実行されるものである。

【0107】

ここで、オブジェクト検出処理１２１はオブジェクト検出部１０に対応し、隠蔽領域決定処理１２２は隠蔽領域決定部１１に対応し、シーン変化検出処理１２３はシーン変化検出部１２に対応し、隠蔽処理１２４は隠蔽処理部１４に対応し、フェードイン処理１２５はフェードイン処理部１４１に対応し、フェードアウト処理１２６はフェードアウト処理部１４２に対応し、区間長決定処理１２７は区間長決定部１４３に対応し、隠蔽強度決定処理１２８は隠蔽強度決定部１４４に対応する。また、メモリ（ＲＯＭやＲＡＭ）１０２はバッファ１３に対応する。尚、記憶装置１０５は、コンピュータ１００と物理的に外部に設けられ、ＬＡＮ等のネットワークを介してコンピュータ１００と接続されていても良い。また、各処理は適時組合せ可能である。

【0108】

また、本発明に係る映像処理装置は、かならずしも単独で存在することなく、コンピュータ１００はクラウド上に存在しても良い。クライアント端末から映像をクラウド上のコンピュータにアップロードし、クラウド上のコンピュータ１００が映像に対して隠蔽処理を行い、隠蔽映像３をクライアント端末に送信するようにしても良い。

【0109】

以上、好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

【符号の説明】

【0110】

１ 映像処理装置
２ 映像
３ 隠蔽映像
１０ オブジェクト検出部
１１ 隠蔽領域決定部
１２ シーン変化検出部
１４ 隠蔽処理部
１００ コンピュータ
１０１ プロセッサ
１０２ メモリ
１０３ 入力装置
１０４ 通信装置
１０５ 記憶装置
１４１ フェードイン処理部
１４２ フェードアウト処理部
１４３ 区間長決定部
１４４ 隠蔽強度決定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】