ホーム > 特許ランキング > 株式会社モノリシックデザイン
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022162793
(43)【公開日】2022-10-25
(54)【発明の名称】画像処理プログラム、画像処理装置及び画像処理方法
(51)【国際特許分類】
H04N 1/387 20060101AFI20221018BHJP
G06T 1/00 20060101ALI20221018BHJP
G06T 7/70 20170101ALI20221018BHJP
【ＦＩ】
H04N1/387
H04N1/387 110
H04N1/387 200
G06T1/00 340B
G06T7/70 A
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2021067788
(22)【出願日】2021-04-13
(71)【出願人】
【識別番号】521106544
【氏名又は名称】株式会社モノリシックデザイン
(74)【代理人】
【識別番号】100188662
【弁理士】
【氏名又は名称】浅見 浩二
(74)【代理人】
【識別番号】100177895
【弁理士】
【氏名又は名称】山田 一範
(72)【発明者】
【氏名】村上 直至
(72)【発明者】
【氏名】御手洗 秀一
【テーマコード（参考）】
5B057
5C076
5L096
【Ｆターム（参考）】
5B057AA20
5B057CA12
5B057CA16
5B057CB12
5B057CB16
5B057CC03
5B057CE08
5B057DA06
5B057DB02
5B057DC30
5C076AA02
5C076AA11
5C076AA13
5C076BA06
5C076CA10
5L096CA02
5L096FA69
5L096GA19
5L096MA03
(57)【要約】
【課題】撮影画像の一部をオブジェクトに置き換える画像処理を行うこと。
【解決手段】撮影画像を取得し、撮影画像に写る被写体を特定し、撮影範囲を分割した複数の単位領域の何れの個所に特定した被写体が位置するかを判定し、被写体が位置していると判定された前記単位領域のうちの少なくとも１つを着目領域とし、着目領域以外の中から置換対象となる領域を決定し、置換領域の個所に対して予めオブジェクトを配置して撮影することで得られたオブジェクト配置画像から抽出したオブジェクトとその周辺画素を含む置換用画像を取得し、置換領域のそれぞれにおいて置換画像と置き換える箇所の画素データを削除した切り抜き画像を生成し、背景画像を取得し、背景画像、切り抜き画像、及び、置換用画像を重ねて合成する。置換用画像に置き換える処理に替えて、置換領域の被写体を消去するようにしてもよい。
【選択図】図１
【解決手段】撮影画像を取得し、撮影画像に写る被写体を特定し、撮影範囲を分割した複数の単位領域の何れの個所に特定した被写体が位置するかを判定し、被写体が位置していると判定された前記単位領域のうちの少なくとも１つを着目領域とし、着目領域以外の中から置換対象となる領域を決定し、置換領域の個所に対して予めオブジェクトを配置して撮影することで得られたオブジェクト配置画像から抽出したオブジェクトとその周辺画素を含む置換用画像を取得し、置換領域のそれぞれにおいて置換画像と置き換える箇所の画素データを削除した切り抜き画像を生成し、背景画像を取得し、背景画像、切り抜き画像、及び、置換用画像を重ねて合成する。置換用画像に置き換える処理に替えて、置換領域の被写体を消去するようにしてもよい。
【選択図】図１
【特許請求の範囲】
【請求項1】
撮影画像の一部を消去する処理をコンピュータに実現させるための画像処理プログラムであって、
前記コンピュータに、
予め決められた撮影位置及び撮影アングルによって決定される撮影範囲について、所定のタイミングで撮影を行うことで生成された撮影画像を取得する撮影画像取得機能と、
前記撮影画像に写る被写体を特定する被写体特定機能と、
前記撮影範囲を予め設定した複数の単位領域に分割し、複数の単位領域の何れの個所に特定した被写体が位置するかを判定する被写体位置判定機能と、
被写体が位置していると判定された前記単位領域（以下、被写体領域）のうちの少なくとも１つに着目（以下、着目領域という）し、着目領域以外の前記被写体領域の中から所定規則に基づいて被写体を消去する対象となる前記被写体領域（以下、被写体消去領域という）を決定する被写体消去領域決定機能と、
前記被写体消去領域のそれぞれにおいて前記被写体の画素データを削除した切り抜き画像を生成する切り抜き画像生成機能と、
前記撮影画像と同一の撮影位置及び撮影アングルにおいて被写体が登場しない背景のみを撮影して記憶手段に記憶させておいた背景画像を取得する背景画像取得機能と、
前記背景画像及び前記切り抜き画像を重ねて合成することで、前記被写体消去領域の被写体を消去した消去済撮影画像を生成する消去済撮影画像生成機能と
を実現させる画像処理プログラム。
前記コンピュータに、
予め決められた撮影位置及び撮影アングルによって決定される撮影範囲について、所定のタイミングで撮影を行うことで生成された撮影画像を取得する撮影画像取得機能と、
前記撮影画像に写る被写体を特定する被写体特定機能と、
前記撮影範囲を予め設定した複数の単位領域に分割し、複数の単位領域の何れの個所に特定した被写体が位置するかを判定する被写体位置判定機能と、
被写体が位置していると判定された前記単位領域（以下、被写体領域）のうちの少なくとも１つに着目（以下、着目領域という）し、着目領域以外の前記被写体領域の中から所定規則に基づいて被写体を消去する対象となる前記被写体領域（以下、被写体消去領域という）を決定する被写体消去領域決定機能と、
前記被写体消去領域のそれぞれにおいて前記被写体の画素データを削除した切り抜き画像を生成する切り抜き画像生成機能と、
前記撮影画像と同一の撮影位置及び撮影アングルにおいて被写体が登場しない背景のみを撮影して記憶手段に記憶させておいた背景画像を取得する背景画像取得機能と、
前記背景画像及び前記切り抜き画像を重ねて合成することで、前記被写体消去領域の被写体を消去した消去済撮影画像を生成する消去済撮影画像生成機能と
を実現させる画像処理プログラム。
【請求項2】
被写体が搭乗可能な移動体が撮影対象である場合に、
前記コンピュータに、
前記撮影画像に写る前記移動体の位置を特定する移動体位置特定機能と、
前記撮影画像と同一の撮影位置及び撮影アングルにおいて被写体が搭乗していない移動体を撮影して移動体のみを抽出して記憶手段に記憶させておいた移動体画像を取得する移動体画像取得機能と
をさらに実現させ、
前記被写体位置判定機能では、前記移動体上の被写体の搭乗可能個所を複数の単位領域に分割するようにし、
前記背景画像取得機能では、前記移動体が存在しない状態における背景画像を取得するものとし、
前記消去済撮影画像生成機能では、前記背景画像、前記移動体画像及び前記切り抜き画像を、特定した前記移動体の位置情報を用いて重ねて合成することで、前記消去済撮影画像を生成する
請求項１に記載の画像処理プログラム。
前記コンピュータに、
前記撮影画像に写る前記移動体の位置を特定する移動体位置特定機能と、
前記撮影画像と同一の撮影位置及び撮影アングルにおいて被写体が搭乗していない移動体を撮影して移動体のみを抽出して記憶手段に記憶させておいた移動体画像を取得する移動体画像取得機能と
をさらに実現させ、
前記被写体位置判定機能では、前記移動体上の被写体の搭乗可能個所を複数の単位領域に分割するようにし、
前記背景画像取得機能では、前記移動体が存在しない状態における背景画像を取得するものとし、
前記消去済撮影画像生成機能では、前記背景画像、前記移動体画像及び前記切り抜き画像を、特定した前記移動体の位置情報を用いて重ねて合成することで、前記消去済撮影画像を生成する
請求項１に記載の画像処理プログラム。
【請求項3】
撮影画像の一部をオブジェクトに置き換える処理をコンピュータに実現させるための画像処理プログラムであって、
前記コンピュータに、
予め決められた撮影位置及び撮影アングルによって決定される撮影範囲について、所定のタイミングで撮影を行うことで生成された撮影画像を取得する撮影画像取得機能と、
前記撮影画像に写る被写体を特定する被写体特定機能と、
前記撮影範囲を予め設定した複数の単位領域に分割し、複数の単位領域の何れの個所に特定した被写体が位置するかを判定する被写体位置判定機能と、
被写体が位置していると判定された前記単位領域（以下、被写体領域）のうちの少なくとも１つに着目（以下、着目領域という）し、着目領域以外の前記被写体領域及び／又は前記単位領域の中から所定規則に基づいて置換対象となる前記被写体領域及び／又は前記単位領域（以下、置換領域という）を決定する置換領域決定機能と、
前記置換領域の個所に対して予めオブジェクトを配置して前記撮影画像と同一の撮影位置及び撮影アングルにおいて撮影を行って得られたオブジェクト配置画像から、前記オブジェクトとその周辺画素を含む所定の範囲の画像を抽出して記憶手段に記憶させておいた置換用画像を取得する置換用画像取得機能と、
前記置換領域のそれぞれにおいて前記置換画像と置き換える箇所の画素データを削除した切り抜き画像を生成する切り抜き画像生成機能と、
前記撮影画像と同一の撮影位置及び撮影アングルにおいて被写体が登場しない背景のみを撮影して記憶手段に記憶させておいた背景画像を取得する背景画像取得機能と、
前記背景画像、前記切り抜き画像、及び、前記置換用画像を重ねて合成することで、前記置換対象の位置に対して前記オブジェクトを置き換えた置換済撮影画像を生成する置換済撮影画像生成機能と
を実現させる画像処理プログラム。
前記コンピュータに、
予め決められた撮影位置及び撮影アングルによって決定される撮影範囲について、所定のタイミングで撮影を行うことで生成された撮影画像を取得する撮影画像取得機能と、
前記撮影画像に写る被写体を特定する被写体特定機能と、
前記撮影範囲を予め設定した複数の単位領域に分割し、複数の単位領域の何れの個所に特定した被写体が位置するかを判定する被写体位置判定機能と、
被写体が位置していると判定された前記単位領域（以下、被写体領域）のうちの少なくとも１つに着目（以下、着目領域という）し、着目領域以外の前記被写体領域及び／又は前記単位領域の中から所定規則に基づいて置換対象となる前記被写体領域及び／又は前記単位領域（以下、置換領域という）を決定する置換領域決定機能と、
前記置換領域の個所に対して予めオブジェクトを配置して前記撮影画像と同一の撮影位置及び撮影アングルにおいて撮影を行って得られたオブジェクト配置画像から、前記オブジェクトとその周辺画素を含む所定の範囲の画像を抽出して記憶手段に記憶させておいた置換用画像を取得する置換用画像取得機能と、
前記置換領域のそれぞれにおいて前記置換画像と置き換える箇所の画素データを削除した切り抜き画像を生成する切り抜き画像生成機能と、
前記撮影画像と同一の撮影位置及び撮影アングルにおいて被写体が登場しない背景のみを撮影して記憶手段に記憶させておいた背景画像を取得する背景画像取得機能と、
前記背景画像、前記切り抜き画像、及び、前記置換用画像を重ねて合成することで、前記置換対象の位置に対して前記オブジェクトを置き換えた置換済撮影画像を生成する置換済撮影画像生成機能と
を実現させる画像処理プログラム。
【請求項4】
被写体が搭乗可能な移動体が撮影対象である場合に、
前記コンピュータに、
前記撮影画像に写る前記移動体の位置を特定する移動体位置特定機能と、
前記撮影画像と同一の撮影位置及び撮影アングルにおいて被写体が搭乗していない移動体を撮影して移動体のみを抽出して記憶手段に記憶させておいた移動体画像を取得する移動体画像取得機能と
をさらに実現させ、
前記被写体位置判定機能では、前記移動体上の被写体の搭乗可能個所を複数の単位領域に分割するようにし、
前記背景画像取得機能では、前記移動体が存在しない状態における背景画像を取得するものとし、
前記置換済撮影画像生成機能では、前記背景画像、前記移動体画像、前記切り抜き画像、及び、前記置換用画像を、特定した前記移動体の位置情報を用いて重ねて合成することで、前記置換済撮影画像を生成する
請求項３に記載の画像処理プログラム。
前記コンピュータに、
前記撮影画像に写る前記移動体の位置を特定する移動体位置特定機能と、
前記撮影画像と同一の撮影位置及び撮影アングルにおいて被写体が搭乗していない移動体を撮影して移動体のみを抽出して記憶手段に記憶させておいた移動体画像を取得する移動体画像取得機能と
をさらに実現させ、
前記被写体位置判定機能では、前記移動体上の被写体の搭乗可能個所を複数の単位領域に分割するようにし、
前記背景画像取得機能では、前記移動体が存在しない状態における背景画像を取得するものとし、
前記置換済撮影画像生成機能では、前記背景画像、前記移動体画像、前記切り抜き画像、及び、前記置換用画像を、特定した前記移動体の位置情報を用いて重ねて合成することで、前記置換済撮影画像を生成する
請求項３に記載の画像処理プログラム。
【請求項5】
前記置換用画像取得機能では、オブジェクト配置画像から前記オブジェクトとその周辺に存在する位置合わせ用の特徴的構成個所を含む所定の範囲の画像を置換用画像として抽出するようにし、
前記置換済撮影画像生成機能では、前記位置合わせ用の特徴的構成個所を用いて位置合わせを行って重ねて合成するようにした
請求項３又は請求項４に記載の画像処理プログラム。
前記置換済撮影画像生成機能では、前記位置合わせ用の特徴的構成個所を用いて位置合わせを行って重ねて合成するようにした
請求項３又は請求項４に記載の画像処理プログラム。
【請求項6】
前記移動体位置特定機能では、前記移動体の外観における複数の特徴的構成を予め選定しておき、当該複数の特徴的構成が撮影画像中の何れの位置に存在するかを特定することで前記移動体の位置を特定するようにした
請求項２又は請求項４に記載の画像処理プログラム。
請求項２又は請求項４に記載の画像処理プログラム。
【請求項7】
前記被写体特定機能では、予め被写体の特定について学習を行った学習済モデルに基づいて一個体ごとに区別可能な形で被写体に該当する画素を特定するものとし、
前記被写体位置判定機能では、前記被写体特定機能において特定された被写体毎に同一個体と特定された画素を全て包含する最小矩形領域を設定し、その最小矩形領域の中心点が何れの前記単位領域に属するかに基づいて、複数の単位領域の何れの個所に特定した被写体が位置するかを判定する
請求項１から請求項６の何れか一項に記載の画像処理プログラム。
前記被写体位置判定機能では、前記被写体特定機能において特定された被写体毎に同一個体と特定された画素を全て包含する最小矩形領域を設定し、その最小矩形領域の中心点が何れの前記単位領域に属するかに基づいて、複数の単位領域の何れの個所に特定した被写体が位置するかを判定する
請求項１から請求項６の何れか一項に記載の画像処理プログラム。
【請求項8】
撮影画像の一部を消去する処理を行うための画像処理装置であって、
予め決められた撮影位置及び撮影アングルによって決定される撮影範囲について、所定のタイミングで撮影を行うことで生成された撮影画像を取得する撮影画像取得部と、
前記撮影画像に写る被写体を特定する被写体特定部と、
前記撮影範囲を予め設定した複数の単位領域に分割し、複数の単位領域の何れの個所に特定した被写体が位置するかを判定する被写体位置判定部と、
被写体が位置していると判定された前記単位領域（以下、被写体領域）のうちの少なくとも１つに着目（以下、着目領域という）し、着目領域以外の前記被写体領域の中から所定規則に基づいて被写体を消去する対象となる前記被写体領域（以下、被写体消去領域という）を決定する被写体消去領域決定部と、
前記被写体消去領域のそれぞれにおいて前記被写体の画素データを削除した切り抜き画像を生成する切り抜き画像生成部と、
前記撮影画像と同一の撮影位置及び撮影アングルにおいて被写体が登場しない背景のみを撮影して記憶手段に記憶させておいた背景画像を取得する背景画像取得部と、
前記背景画像及び前記切り抜き画像を重ねて合成することで、前記被写体消去領域の被写体を消去した消去済撮影画像を生成する消去済撮影画像生成部と
を備える画像処理装置。
予め決められた撮影位置及び撮影アングルによって決定される撮影範囲について、所定のタイミングで撮影を行うことで生成された撮影画像を取得する撮影画像取得部と、
前記撮影画像に写る被写体を特定する被写体特定部と、
前記撮影範囲を予め設定した複数の単位領域に分割し、複数の単位領域の何れの個所に特定した被写体が位置するかを判定する被写体位置判定部と、
被写体が位置していると判定された前記単位領域（以下、被写体領域）のうちの少なくとも１つに着目（以下、着目領域という）し、着目領域以外の前記被写体領域の中から所定規則に基づいて被写体を消去する対象となる前記被写体領域（以下、被写体消去領域という）を決定する被写体消去領域決定部と、
前記被写体消去領域のそれぞれにおいて前記被写体の画素データを削除した切り抜き画像を生成する切り抜き画像生成部と、
前記撮影画像と同一の撮影位置及び撮影アングルにおいて被写体が登場しない背景のみを撮影して記憶手段に記憶させておいた背景画像を取得する背景画像取得部と、
前記背景画像及び前記切り抜き画像を重ねて合成することで、前記被写体消去領域の被写体を消去した消去済撮影画像を生成する消去済撮影画像生成部と
を備える画像処理装置。
【請求項9】
撮影画像の一部をオブジェクトに置き換える処理を行うための画像処理装置であって、
予め決められた撮影位置及び撮影アングルによって決定される撮影範囲について、所定のタイミングで撮影を行うことで生成された撮影画像を取得する撮影画像取得部と、
前記撮影画像に写る被写体を特定する被写体特定部と、
前記撮影範囲を予め設定した複数の単位領域に分割し、複数の単位領域の何れの個所に特定した被写体が位置するかを判定する被写体位置判定部と、
被写体が位置していると判定された前記単位領域（以下、被写体領域）のうちの少なくとも１つに着目（以下、着目領域という）し、着目領域以外の前記被写体領域及び／又は前記単位領域の中から所定規則に基づいて置換対象となる前記被写体領域及び／又は前記単位領域（以下、置換領域という）を決定する置換領域決定部と、
前記置換領域の個所に対して予めオブジェクトを配置して前記撮影画像と同一の撮影位置及び撮影アングルにおいて撮影を行って得られたオブジェクト配置画像から、前記オブジェクトとその周辺画素を含む所定の範囲の画像を抽出して記憶手段に記憶させておいた置換用画像を取得する置換用画像取得部と、
前記置換領域のそれぞれにおいて前記置換画像と置き換える箇所の画素データを削除した切り抜き画像を生成する切り抜き画像生成部と、
前記撮影画像と同一の撮影位置及び撮影アングルにおいて被写体が登場しない背景のみを撮影して記憶手段に記憶させておいた背景画像を取得する背景画像取得部と、
前記背景画像、前記切り抜き画像、及び、前記置換用画像を重ねて合成することで、前記置換対象の位置に対して前記オブジェクトを置き換えた置換済撮影画像を生成する置換済撮影画像生成部と
を備える画像処理装置。
予め決められた撮影位置及び撮影アングルによって決定される撮影範囲について、所定のタイミングで撮影を行うことで生成された撮影画像を取得する撮影画像取得部と、
前記撮影画像に写る被写体を特定する被写体特定部と、
前記撮影範囲を予め設定した複数の単位領域に分割し、複数の単位領域の何れの個所に特定した被写体が位置するかを判定する被写体位置判定部と、
被写体が位置していると判定された前記単位領域（以下、被写体領域）のうちの少なくとも１つに着目（以下、着目領域という）し、着目領域以外の前記被写体領域及び／又は前記単位領域の中から所定規則に基づいて置換対象となる前記被写体領域及び／又は前記単位領域（以下、置換領域という）を決定する置換領域決定部と、
前記置換領域の個所に対して予めオブジェクトを配置して前記撮影画像と同一の撮影位置及び撮影アングルにおいて撮影を行って得られたオブジェクト配置画像から、前記オブジェクトとその周辺画素を含む所定の範囲の画像を抽出して記憶手段に記憶させておいた置換用画像を取得する置換用画像取得部と、
前記置換領域のそれぞれにおいて前記置換画像と置き換える箇所の画素データを削除した切り抜き画像を生成する切り抜き画像生成部と、
前記撮影画像と同一の撮影位置及び撮影アングルにおいて被写体が登場しない背景のみを撮影して記憶手段に記憶させておいた背景画像を取得する背景画像取得部と、
前記背景画像、前記切り抜き画像、及び、前記置換用画像を重ねて合成することで、前記置換対象の位置に対して前記オブジェクトを置き換えた置換済撮影画像を生成する置換済撮影画像生成部と
を備える画像処理装置。
【請求項10】
撮影画像の一部を消去する処理をコンピュータにより実現する画像処理方法であって、
予め決められた撮影位置及び撮影アングルによって決定される撮影範囲について、所定のタイミングで撮影を行うことで生成された撮影画像を取得する撮影画像取得手順と、
前記撮影画像に写る被写体を特定する被写体特定手順と、
前記撮影範囲を予め設定した複数の単位領域に分割し、複数の単位領域の何れの個所に特定した被写体が位置するかを判定する被写体位置判定手順と、
被写体が位置していると判定された前記単位領域（以下、被写体領域）のうちの少なくとも１つに着目（以下、着目領域という）し、着目領域以外の前記被写体領域の中から所定規則に基づいて被写体を消去する対象となる前記被写体領域（以下、被写体消去領域という）を決定する被写体消去領域決定手順と、
前記被写体消去領域のそれぞれにおいて前記被写体の画素データを削除した切り抜き画像を生成する切り抜き画像生成手順と、
前記撮影画像と同一の撮影位置及び撮影アングルにおいて被写体が登場しない背景のみを撮影して記憶手段に記憶させておいた背景画像を取得する背景画像取得手順と、
前記背景画像及び前記切り抜き画像を重ねて合成することで、前記被写体消去領域の被写体を消去した消去済撮影画像を生成する消去済撮影画像生成手順と
を含む画像処理方法。
予め決められた撮影位置及び撮影アングルによって決定される撮影範囲について、所定のタイミングで撮影を行うことで生成された撮影画像を取得する撮影画像取得手順と、
前記撮影画像に写る被写体を特定する被写体特定手順と、
前記撮影範囲を予め設定した複数の単位領域に分割し、複数の単位領域の何れの個所に特定した被写体が位置するかを判定する被写体位置判定手順と、
被写体が位置していると判定された前記単位領域（以下、被写体領域）のうちの少なくとも１つに着目（以下、着目領域という）し、着目領域以外の前記被写体領域の中から所定規則に基づいて被写体を消去する対象となる前記被写体領域（以下、被写体消去領域という）を決定する被写体消去領域決定手順と、
前記被写体消去領域のそれぞれにおいて前記被写体の画素データを削除した切り抜き画像を生成する切り抜き画像生成手順と、
前記撮影画像と同一の撮影位置及び撮影アングルにおいて被写体が登場しない背景のみを撮影して記憶手段に記憶させておいた背景画像を取得する背景画像取得手順と、
前記背景画像及び前記切り抜き画像を重ねて合成することで、前記被写体消去領域の被写体を消去した消去済撮影画像を生成する消去済撮影画像生成手順と
を含む画像処理方法。
【請求項11】
撮影画像の一部をオブジェクトに置き換える処理をコンピュータにより実現する画像処理方法であって、
予め決められた撮影位置及び撮影アングルによって決定される撮影範囲について、所定のタイミングで撮影を行うことで生成された撮影画像を取得する撮影画像取得手順と、
前記撮影画像に写る被写体を特定する被写体特定手順と、
前記撮影範囲を予め設定した複数の単位領域に分割し、複数の単位領域の何れの個所に特定した被写体が位置するかを判定する被写体位置判定手順と、
被写体が位置していると判定された前記単位領域（以下、被写体領域）のうちの少なくとも１つに着目（以下、着目領域という）し、着目領域以外の前記被写体領域及び／又は前記単位領域の中から所定規則に基づいて置換対象となる前記被写体領域及び／又は前記単位領域（以下、置換領域という）を決定する置換領域決定手順と、
前記置換領域の個所に対して予めオブジェクトを配置して前記撮影画像と同一の撮影位置及び撮影アングルにおいて撮影を行って得られたオブジェクト配置画像から、前記オブジェクトとその周辺画素を含む所定の範囲の画像を抽出して記憶手段に記憶させておいた置換用画像を取得する置換用画像取得手順と、
前記置換領域のそれぞれにおいて前記置換画像と置き換える箇所の画素データを削除した切り抜き画像を生成する切り抜き画像生成手順と、
前記撮影画像と同一の撮影位置及び撮影アングルにおいて被写体が登場しない背景のみを撮影して記憶手段に記憶させておいた背景画像を取得する背景画像取得手順と、
前記背景画像、前記切り抜き画像、及び、前記置換用画像を重ねて合成することで、前記置換対象の位置に対して前記オブジェクトを置き換えた置換済撮影画像を生成する置換済撮影画像生成手順と
を含む画像処理方法。
予め決められた撮影位置及び撮影アングルによって決定される撮影範囲について、所定のタイミングで撮影を行うことで生成された撮影画像を取得する撮影画像取得手順と、
前記撮影画像に写る被写体を特定する被写体特定手順と、
前記撮影範囲を予め設定した複数の単位領域に分割し、複数の単位領域の何れの個所に特定した被写体が位置するかを判定する被写体位置判定手順と、
被写体が位置していると判定された前記単位領域（以下、被写体領域）のうちの少なくとも１つに着目（以下、着目領域という）し、着目領域以外の前記被写体領域及び／又は前記単位領域の中から所定規則に基づいて置換対象となる前記被写体領域及び／又は前記単位領域（以下、置換領域という）を決定する置換領域決定手順と、
前記置換領域の個所に対して予めオブジェクトを配置して前記撮影画像と同一の撮影位置及び撮影アングルにおいて撮影を行って得られたオブジェクト配置画像から、前記オブジェクトとその周辺画素を含む所定の範囲の画像を抽出して記憶手段に記憶させておいた置換用画像を取得する置換用画像取得手順と、
前記置換領域のそれぞれにおいて前記置換画像と置き換える箇所の画素データを削除した切り抜き画像を生成する切り抜き画像生成手順と、
前記撮影画像と同一の撮影位置及び撮影アングルにおいて被写体が登場しない背景のみを撮影して記憶手段に記憶させておいた背景画像を取得する背景画像取得手順と、
前記背景画像、前記切り抜き画像、及び、前記置換用画像を重ねて合成することで、前記置換対象の位置に対して前記オブジェクトを置き換えた置換済撮影画像を生成する置換済撮影画像生成手順と
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影画像の一部をオブジェクトに置き換える技術に関するものである。
【背景技術】
【0002】
従来、予め設定された固定の撮影個所において撮影した撮影写真を被写体となった顧客に提示して、気に入った場合には購入してもらうというビジネスモデルが存在する。一例としては、アミューズメント施設のアトラクション内において自動で撮影した撮影写真を搭乗していた顧客に対してアトラクション終了後に提示して、希望者に対して撮影写真を販売するといったことが行われてきた。このような撮影写真に対して何らかの画像処理を行ってから販売することも考えられる。
【0003】
例えば、特許文献１には、画像データから複数種類のオブジェクトを検出し、検出したオブジェクトの種類や検出された領域に応じて画像処理を切り替える技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１０－００４３００号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、上記の写真販売のビジネスモデルにおいては、１回の撮影において複数のグループを同時に撮影することが考えられる。例えば、複数の乗車個所を有するアトラクションにおいて複数の乗車個所が同時に撮影範囲に含まれるように写真撮影を行う状況において、複数の乗車個所に異なるグループが搭乗した状態で写真撮影がなされることが挙げられる。撮影写真を購入するか否かは顧客ごとの自由であるが、他人が映り込んだ写真を購入したくないという顧客もいるため、写真の購入率が低下するという問題があった。
【0006】
本発明は、上記問題点に鑑みなされたものであり、撮影画像の一部をオブジェクトに置き換えることが可能な画像処理プログラム、画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明に係る画像処理プログラムは、撮影画像の一部を消去する処理をコンピュータに実現させるための画像処理プログラムであって、前記コンピュータに、予め決められた撮影位置及び撮影アングルによって決定される撮影範囲について、所定のタイミングで撮影を行うことで生成された撮影画像を取得する撮影画像取得機能と、前記撮影画像に写る被写体を特定する被写体特定機能と、前記撮影範囲を予め設定した複数の単位領域に分割し、複数の単位領域の何れの個所に特定した被写体が位置するかを判定する被写体位置判定機能と、被写体が位置していると判定された前記単位領域（以下、被写体領域）のうちの少なくとも１つに着目（以下、着目領域という）し、着目領域以外の前記被写体領域の中から所定規則に基づいて被写体を消去する対象となる前記被写体領域（以下、被写体消去領域という）を決定する被写体消去領域決定機能と、前記被写体消去領域のそれぞれにおいて前記被写体の画素データを削除した切り抜き画像を生成する切り抜き画像生成機能と、前記撮影画像と同一の撮影位置及び撮影アングルにおいて被写体が登場しない背景のみを撮影して記憶手段に記憶させておいた背景画像を取得する背景画像取得機能と、前記背景画像及び前記切り抜き画像を重ねて合成することで、前記被写体消去領域の被写体を消去した消去済撮影画像を生成する消去済撮影画像生成機能とを実現させることを特徴とする。
【0008】
また、本発明に係る画像処理プログラムは、さらに、被写体が搭乗可能な移動体が撮影対象である場合に、前記コンピュータに、前記撮影画像に写る前記移動体の位置を特定する移動体位置特定機能と、前記撮影画像と同一の撮影位置及び撮影アングルにおいて被写体が搭乗していない移動体を撮影して移動体のみを抽出して記憶手段に記憶させておいた移動体画像を取得する移動体画像取得機能とをさらに実現させ、前記被写体位置判定機能では、前記移動体上の被写体の搭乗可能個所を複数の単位領域に分割するようにし、前記背景画像取得機能では、前記移動体が存在しない状態における背景画像を取得するものとし、前記消去済撮影画像生成機能では、前記背景画像、前記移動体画像及び前記切り抜き画像を、特定した前記移動体の位置情報を用いて重ねて合成することで、前記消去済撮影画像を生成することを特徴とする。
【0009】
本発明に係る画像処理プログラムは、撮影画像の一部をオブジェクトに置き換える処理をコンピュータに実現させるための画像処理プログラムであって、前記コンピュータに、予め決められた撮影位置及び撮影アングルによって決定される撮影範囲について、所定のタイミングで撮影を行うことで生成された撮影画像を取得する撮影画像取得機能と、前記撮影画像に写る被写体を特定する被写体特定機能と、前記撮影範囲を予め設定した複数の単位領域に分割し、複数の単位領域の何れの個所に特定した被写体が位置するかを判定する被写体位置判定機能と、被写体が位置していると判定された前記単位領域（以下、被写体領域）のうちの少なくとも１つに着目（以下、着目領域という）し、着目領域以外の前記被写体領域及び／又は前記単位領域の中から所定規則に基づいて置換対象となる前記被写体領域及び／又は前記単位領域（以下、置換領域という）を決定する置換領域決定機能と、前記置換領域の個所に対して予めオブジェクトを配置して前記撮影画像と同一の撮影位置及び撮影アングルにおいて撮影を行って得られたオブジェクト配置画像から、前記オブジェクトとその周辺画素を含む所定の範囲の画像を抽出して記憶手段に記憶させておいた置換用画像を取得する置換用画像取得機能と、前記置換領域のそれぞれにおいて前記置換画像と置き換える箇所の画素データを削除した切り抜き画像を生成する切り抜き画像生成機能と、前記撮影画像と同一の撮影位置及び撮影アングルにおいて被写体が登場しない背景のみを撮影して記憶手段に記憶させておいた背景画像を取得する背景画像取得機能と、前記背景画像、前記切り抜き画像、及び、前記置換用画像を重ねて合成することで、前記置換対象の位置に対して前記オブジェクトを置き換えた置換済撮影画像を生成する置換済撮影画像生成機能とを実現させることを特徴とする。
【0010】
また、本発明に係る画像処理プログラムは、さらに、被写体が搭乗可能な移動体が撮影対象である場合に、前記コンピュータに、前記撮影画像に写る前記移動体の位置を特定する移動体位置特定機能と、前記撮影画像と同一の撮影位置及び撮影アングルにおいて被写体が搭乗していない移動体を撮影して移動体のみを抽出して記憶手段に記憶させておいた移動体画像を取得する移動体画像取得機能とをさらに実現させ、前記被写体位置判定機能では、前記移動体上の被写体の搭乗可能個所を複数の単位領域に分割するようにし、前記背景画像取得機能では、前記移動体が存在しない状態における背景画像を取得するものとし、前記置換済撮影画像生成機能では、前記背景画像、前記移動体画像、前記切り抜き画像、及び、前記置換用画像を、特定した前記移動体の位置情報を用いて重ねて合成することで、前記置換済撮影画像を生成することを特徴とする。
【0011】
また、本発明に係る画像処理プログラムは、さらに、前記置換用画像取得機能では、オブジェクト配置画像から前記オブジェクトとその周辺に存在する位置合わせ用の特徴的構成個所を含む所定の範囲の画像を置換用画像として抽出するようにし、前記置換済撮影画像生成機能では、前記位置合わせ用の特徴的構成個所を用いて位置合わせを行って重ねて合成するようにしたことを特徴とする。
【0012】
また、本発明に係る画像処理プログラムは、さらに、前記移動体位置特定機能では、前記移動体の外観における複数の特徴的構成を予め選定しておき、当該複数の特徴的構成が撮影画像中の何れの位置に存在するかを特定することで前記移動体の位置を特定するようにしたことを特徴とする。
【0013】
また、本発明に係る画像処理プログラムは、さらに、前記被写体特定機能では、予め被写体の特定について学習を行った学習済モデルに基づいて一個体ごとに区別可能な形で被写体に該当する画素を特定するものとし、前記被写体位置判定機能では、前記被写体特定機能において特定された被写体毎に同一個体と特定された画素を全て包含する最小矩形領域を設定し、その最小矩形領域の中心点が何れの前記単位領域に属するかに基づいて、複数の単位領域の何れの個所に特定した被写体が位置するかを判定することを特徴とする。
【0014】
本発明に係る画像処理装置は、撮影画像の一部を消去する処理を行うための画像処理装置であって、予め決められた撮影位置及び撮影アングルによって決定される撮影範囲について、所定のタイミングで撮影を行うことで生成された撮影画像を取得する撮影画像取得部と、前記撮影画像に写る被写体を特定する被写体特定部と、前記撮影範囲を予め設定した複数の単位領域に分割し、複数の単位領域の何れの個所に特定した被写体が位置するかを判定する被写体位置判定部と、被写体が位置していると判定された前記単位領域（以下、被写体領域）のうちの少なくとも１つに着目（以下、着目領域という）し、着目領域以外の前記被写体領域の中から所定規則に基づいて被写体を消去する対象となる前記被写体領域（以下、被写体消去領域という）を決定する被写体消去領域決定部と、前記被写体消去領域のそれぞれにおいて前記被写体の画素データを削除した切り抜き画像を生成する切り抜き画像生成部と、前記撮影画像と同一の撮影位置及び撮影アングルにおいて被写体が登場しない背景のみを撮影して記憶手段に記憶させておいた背景画像を取得する背景画像取得部と、前記背景画像及び前記切り抜き画像を重ねて合成することで、前記被写体消去領域の被写体を消去した消去済撮影画像を生成する消去済撮影画像生成部とを備えることを特徴とする。
【0015】
本発明に係る画像処理装置は、撮影画像の一部をオブジェクトに置き換える処理を行うための画像処理装置であって、予め決められた撮影位置及び撮影アングルによって決定される撮影範囲について、所定のタイミングで撮影を行うことで生成された撮影画像を取得する撮影画像取得部と、前記撮影画像に写る被写体を特定する被写体特定部と、前記撮影範囲を予め設定した複数の単位領域に分割し、複数の単位領域の何れの個所に特定した被写体が位置するかを判定する被写体位置判定部と、被写体が位置していると判定された前記単位領域（以下、被写体領域）のうちの少なくとも１つに着目（以下、着目領域という）し、着目領域以外の前記被写体領域及び／又は前記単位領域の中から所定規則に基づいて置換対象となる前記被写体領域及び／又は前記単位領域（以下、置換領域という）を決定する置換領域決定部と、前記置換領域の個所に対して予めオブジェクトを配置して前記撮影画像と同一の撮影位置及び撮影アングルにおいて撮影を行って得られたオブジェクト配置画像から、前記オブジェクトとその周辺画素を含む所定の範囲の画像を抽出して記憶手段に記憶させておいた置換用画像を取得する置換用画像取得部と、前記置換領域のそれぞれにおいて前記置換画像と置き換える箇所の画素データを削除した切り抜き画像を生成する切り抜き画像生成部と、前記撮影画像と同一の撮影位置及び撮影アングルにおいて被写体が登場しない背景のみを撮影して記憶手段に記憶させておいた背景画像を取得する背景画像取得部と、前記背景画像、前記切り抜き画像、及び、前記置換用画像を重ねて合成することで、前記置換対象の位置に対して前記オブジェクトを置き換えた置換済撮影画像を生成する置換済撮影画像生成部とを備えることを特徴とする。
【0016】
本発明に係る画像処理方法は、撮影画像の一部を消去する処理をコンピュータにより実現する画像処理方法であって、予め決められた撮影位置及び撮影アングルによって決定される撮影範囲について、所定のタイミングで撮影を行うことで生成された撮影画像を取得する撮影画像取得手順と、前記撮影画像に写る被写体を特定する被写体特定手順と、前記撮影範囲を予め設定した複数の単位領域に分割し、複数の単位領域の何れの個所に特定した被写体が位置するかを判定する被写体位置判定手順と、被写体が位置していると判定された前記単位領域（以下、被写体領域）のうちの少なくとも１つに着目（以下、着目領域という）し、着目領域以外の前記被写体領域の中から所定規則に基づいて被写体を消去する対象となる前記被写体領域（以下、被写体消去領域という）を決定する被写体消去領域決定手順と、前記被写体消去領域のそれぞれにおいて前記被写体の画素データを削除した切り抜き画像を生成する切り抜き画像生成手順と、前記撮影画像と同一の撮影位置及び撮影アングルにおいて被写体が登場しない背景のみを撮影して記憶手段に記憶させておいた背景画像を取得する背景画像取得手順と、前記背景画像及び前記切り抜き画像を重ねて合成することで、前記被写体消去領域の被写体を消去した消去済撮影画像を生成する消去済撮影画像生成手順とを含むことを特徴とする。
【0017】
本発明に係る画像処理方法は、撮影画像の一部をオブジェクトに置き換える処理をコンピュータにより実現する画像処理方法であって、予め決められた撮影位置及び撮影アングルによって決定される撮影範囲について、所定のタイミングで撮影を行うことで生成された撮影画像を取得する撮影画像取得手順と、前記撮影画像に写る被写体を特定する被写体特定手順と、前記撮影範囲を予め設定した複数の単位領域に分割し、複数の単位領域の何れの個所に特定した被写体が位置するかを判定する被写体位置判定手順と、被写体が位置していると判定された前記単位領域（以下、被写体領域）のうちの少なくとも１つに着目（以下、着目領域という）し、着目領域以外の前記被写体領域及び／又は前記単位領域の中から所定規則に基づいて置換対象となる前記被写体領域及び／又は前記単位領域（以下、置換領域という）を決定する置換領域決定手順と、前記置換領域の個所に対して予めオブジェクトを配置して前記撮影画像と同一の撮影位置及び撮影アングルにおいて撮影を行って得られたオブジェクト配置画像から、前記オブジェクトとその周辺画素を含む所定の範囲の画像を抽出して記憶手段に記憶させておいた置換用画像を取得する置換用画像取得手順と、前記置換領域のそれぞれにおいて前記置換画像と置き換える箇所の画素データを削除した切り抜き画像を生成する切り抜き画像生成手順と、前記撮影画像と同一の撮影位置及び撮影アングルにおいて被写体が登場しない背景のみを撮影して記憶手段に記憶させておいた背景画像を取得する背景画像取得手順と、前記背景画像、前記切り抜き画像、及び、前記置換用画像を重ねて合成することで、前記置換対象の位置に対して前記オブジェクトを置き換えた置換済撮影画像を生成する置換済撮影画像生成手順とを含むことを特徴とする。
【発明の効果】
【0018】
本発明によれば、置換対象の位置に対してオブジェクトを置き換えた置換済撮影画像を生成するようにしたので、撮影画像の一部をオブジェクトに置き換えた置換済撮影画像をえることが可能となる。すなわち、撮影画像に複数のグループが同時に写っている場合に、１つのグループについては撮影画像に残し、他のグループについては置換用画像に置き換えた置換済撮影画像を生成できるため、顧客にとっては自分たちのみが写っている撮影画像を得ることが可能となる。これにより、例えば、予め設定された固定の撮影個所において撮影した撮影写真を被写体となった顧客に提示して、気に入った場合には購入してもらうというビジネスモデルにおいて、他人が映り込んだ写真を購入したくないという顧客に対して、自分たちのみが写った写真を提供できる。さらに、顧客にとって魅力的なコンテンツに基づいて置換用画像を作成するようにすれば、置換済撮影画像がより魅力的な画像となるため、顧客の写真の購買意欲を刺激することが可能となる。さらに、アトラクションを運営する施設において、閑散期には移動体に空席が目立つことによって撮影画像がさみしいものとなってしまうおそれがあるが、このような場合に、空席個所に置換用画像を置き換えることで、賑やかな撮影画像をえることが可能となる。
【図面の簡単な説明】
【0019】
【図1】本発明に係る画像処理装置１００の構成の例を表したブロック図である。
【図2】本発明に係る画像処理装置１００における画像処理の流れを表したフローチャート図である。
【図3】本発明に係る画像処理装置１００における撮影画像の一例を表した説明図である。
【図4】本発明に係る画像処理装置１００における人物特定処理を実行後の画像の一例を表した説明図である。
【図5】本発明に係る画像処理装置１００における人物位置判定処理の一例を表した説明図である。
【図6】本発明に係る画像処理装置１００におけるオブジェクト配置画像の一例を表した説明図である。
【図7】本発明に係る画像処理装置１００におけるの置換用画像の一例を表した説明図である。
【図8】本発明に係る画像処理装置１００における画像合成の一例を表した説明図である。
【図9】本発明に係る画像処理装置１００における置換済撮影画像の一例を表した説明図である。
【発明を実施するための形態】
【0020】
［第１の実施の形態］
以下、図面を参照しながら、本発明の実施の形態に係る画像処理装置の例について説明する。図１は、本発明に係る画像処理装置１００の構成の例を表したブロック図である。図１に示すように、画像処理装置１００は、撮影画像取得部１１と、被写体特定部１２と、移動体位置特定部１３と、被写体位置判定部１４と、置換領域決定部１５と、置換用画像取得部１６と、切り抜き画像生成部１７と、背景画像取得部１８と、移動体画像取得部１９と、置換済撮影画像生成部２０と、記憶部２１とを備えている。本例においては、人物を乗せた移動体が所定の位置に到達したタイミングにおいて自動で写真撮影を行う構成を前提として説明を行うが、これはあくまで一例であり、移動体の登場しない撮影であっても本発明を適用可能である。
以下、図面を参照しながら、本発明の実施の形態に係る画像処理装置の例について説明する。図１は、本発明に係る画像処理装置１００の構成の例を表したブロック図である。図１に示すように、画像処理装置１００は、撮影画像取得部１１と、被写体特定部１２と、移動体位置特定部１３と、被写体位置判定部１４と、置換領域決定部１５と、置換用画像取得部１６と、切り抜き画像生成部１７と、背景画像取得部１８と、移動体画像取得部１９と、置換済撮影画像生成部２０と、記憶部２１とを備えている。本例においては、人物を乗せた移動体が所定の位置に到達したタイミングにおいて自動で写真撮影を行う構成を前提として説明を行うが、これはあくまで一例であり、移動体の登場しない撮影であっても本発明を適用可能である。
【0021】
なお、画像処理装置１００は、専用マシンとして設計した装置であってもよいが、一般的なコンピュータによって実現可能なものであるものとする。この場合に、画像処理装置１００は、一般的なコンピュータが通常備えているであろうＣＰＵ（Central Processing Unit：中央演算処理装置）、メモリ、ハードディスクドライブ等のストレージを具備しているものとする（図示省略）。また、必要に応じてＧＰＵ（Graphics Processing Unit：画像処理装置）を備えるようにしてもよい。また、これらの一般的なコンピュータを本例の画像処理装置１００として機能させるためにプログラムよって各種処理が実行されることは言うまでもない。
【0022】
また、画像処理装置１００は、通信ネットワークから独立してスタンドアローンで機能するものであってもよいが、画像処理装置１００の機能の一部または全部をサーバ装置に備えさせ、端末装置から通信ネットワークを介して接続して画像処理装置１００を利用するようにしてもよい。
【0023】
撮影画像取得部１１は、予め決められた撮影位置及び撮影アングルによって決定される撮影範囲について、所定のタイミングで撮影を行って生成された撮影画像を取得する機能を有する。撮影が実行される場所は様々であるので撮影のタイミングも適宜設定されるものであるが、本例のように移動体に登場している人物を撮影する場合には、撮影範囲に移動体が入ったタイミングで撮影が行われるように調整を行う。
【0024】
被写体特定部１２は、撮影画像に写る被写体を特定する機能を有する。撮影画像に写る対象となる被写体を特定することができればどのような手段であってもよいが、例えば、撮影画像から対象となる被写体を特定することについて予め学習を行った学習済モデルに基づいて被写体を特定する構成であってもよい。また、被写体が複数写っている場合には、一個体ずつ区別して特定可能であることが好ましい。撮影画像データを画素単位で被写体であるか否かを判定できればなお好ましい。なお、学習済モデルを用いる場合、その学習済モデルは後述する記憶部２１に記憶させる構成であってもよいし、通信ネットワークを介して接続可能なサーバ装置等の他の記憶手段に記憶させる構成であってもよい。
【0025】
移動体位置特定部１３は、撮影画像に写る前記移動体の位置を特定する機能を有する。移動体の正確な位置を特定できればどのような手法であってもよいが、例えば、移動体の外観における複数の特徴的構成を予め選定しておき、当該複数の特徴的構成が撮影画像中の何れの位置に存在するかを特定する、所謂テンプレートマッチングの手法によって移動体の位置を特定するようにしてもよい。この場合、特定した移動体の位置は、撮影画像中における座標を記憶させるようにする。このとき、各特徴的構成の座標位置によって記憶するようにしてもよい。
【0026】
被写体位置判定部１４は、撮影範囲を予め設定した複数の単位領域に分割し、複数の単位領域の何れの個所に特定した被写体が位置するかを判定する機能を有する。ここで、単位領域とは、オブジェクトに置き換える単位となる領域のことをいう。単位領域はどのように設定してもよいが、被写体が位置する領域を互いに区別しやすい単位とすることが好ましい。例えば、本例のように搭乗個所が複数存在する移動体の場合には、一列目、二列目、三列目をそれぞれ単位領域として設定することが考えられる。そして、被写体特定部１２において特定された各被写体がそれぞれどの単位領域に位置しているかを判定する。被写体が何れの単位領域に所属しているかを特定できればどのような手法であってもよいが、例えば、被写体と判定された範囲を全て包含可能な最小の矩形を設定したときにその矩形の中心が位置する領域がその被写体が位置する単位領域であると判定する手法が考えられる。
【0027】
置換領域決定部１５は、被写体が位置していると判定された単位領域（以下、被写体領域）のうちの少なくとも１つに着目（以下、着目領域という）し、着目領域以外の被写体領域及び／又は単位領域の中から所定規則に基づいて置換対象となる被写体領域及び／又は単位領域（以下、置換領域という）を決定する機能を有する。ここで、着目領域とは、被写体領域のうち置換をせずに撮影画像にそのまま残す被写体領域のことをいう。本例の画像処理においては、必ず１つは着目領域を設定するので、被写体が最低でも一個体は写った画像が最終的に生成される。ただ、必ずしも着目領域が１つである必要はないので、複数の着目領域を選択することも可能である。この置換領域決定部１５では、着目領域以外の被写体領域及び／又は被写体を含まない単位領域から、オブジェクトに置き換える対象とする置換領域を少なくとも１つ決定する。置換領域の決定方法はどのようなものであってもよい。置換領域の決定は、例えば、予め設定した所定規則に基づいて自動的に決定する手法であってもよいし、ユーザが選択する手法であってもよい。なお、最終的に置換済撮影画像の出力１つに対して１パターンの置換領域の決定が行われるのであって、複数のパターンを決定して、複数パターンの置換済撮影画像を出力するようにする運用も当然に考えられる。置換領域の決定に関して、着目領域以外の被写体領域と単位領域の数が少ない場合には、置換領域と決定するか否かについて全ての組み合わせについて置換済撮影画像を出力する構成としてもよい。
【0028】
置換用画像取得部１６は、置換領域の個所に対して予めオブジェクトを配置して撮影画像と同一の撮影位置及び撮影アングルにおいて撮影を行って得られたオブジェクト配置画像から、オブジェクトとその周辺画素を含む所定の範囲の画像を抽出して記憶手段に記憶させておいた置換用画像を取得する機能を有する。ここで、オブジェクトとは、置換領域と置き換える何らかの物体のことをいう。オブジェクトは、どのようなものであってもよいが、例えば、キャラクターの着ぐるみを来た人物をオブジェクトとしてもよい。この場合、キャラクターの着ぐるみを来た人物を実際に移動体に搭乗させてオブジェクト配置画像を撮影するようにする。そして、オブジェクト配置画像からオブジェクトとその周辺画素を含む置換用画像を抽出して予め記憶させておく。記憶させる対象は、後述する記憶部２１であってもよいし、他の記憶手段であってもよい。置換用画像は、１つである必要はなく、複数の置換用画像を予め記憶させておいて、適宜選択して利用するようにしてもよい。また、本例のように移動体の例の場合には、一列目、二列目、三列目のそれぞれに対して置き換える置換用画像が異なるように設定してもよい。例えば、置き換えるキャラクターが一列目、二列目、三列目でそれぞれ異なるように設定することが考えられる。なお、オブジェクト配置画像から置換用画像を抽出する範囲については、オブジェクトに該当する箇所のみを抽出するものであってもよい。
【0029】
ここで、形状や色彩などが異なる複数の移動体によってアトラクションが運用されているような状況においては、撮影画像に写る移動体が複数のうちの何れであるかを判定する必要がある。そこで、移動体毎に固有の形状や固有の色彩に基づいて、撮影画像に写る移動体を特定するようにする。また、撮影範囲内のどこに移動体が位置しているかによって撮影写真における移動体の写り方も変化するため、移動体に搭乗させたオブジェクトの写り方も変化する。そこで、合成画像における違和感をより低減させるために、同じ搭乗位置に同じオブジェクトを搭乗させた同じ移動体についてのオブジェクト配置画像を、撮影範囲における移動体の位置が相互に異なるように複数用意して、それらの複数のオブジェクト配置画像から複数の置換用画像を抽出して記憶させておくことで、撮影画像における移動体の位置に最も近い置換用画像を選択して用いることが可能となる。
【0030】
切り抜き画像生成部１７は、置換領域のそれぞれにおいて置換画像と置き換える箇所の画素データを削除した切り抜き画像を生成する機能を有する。切り抜き画像は、画像を合成する際に不要となる画素データを予め削除した画像である。例えば、置換領域に設定された被写体領域に写る被写体は画像合成の際にはオブジェクトに置き換えられるため、被写体に相当する画素データは削除し、併せて、必要に応じて周辺の画素データも削除する。置換領域においてどの範囲において画素データを削除するかについては予め所定規則を定めることによって適宜設定可能である。なお、被写体に相当する画素領域が置換用画像の領域に完全に含まれる関係性である場合、切り抜き処理（画素データの削除処理）を行わなくとも影響が生じないことになる。よって、切り抜き画像生成部１７における切り抜き処理は必ずしも必須の構成であるわけではない。場合によっては、被写体に相当する画素領域が置換用画像の領域に完全に含まれる関係性にあるか否かを判定した上で、被写体に相当する画素領域が置換用画像の領域からはみ出す部分のみを切り抜き処理する構成としてもよい。
【0031】
また、切り抜き画像生成部１７において被写体を切り抜く処理を行う際に、置換領域に写る被写体が隣接する着目領域との間に跨って写っている場合がある。例えば、置換領域にいる切り抜く対象の人物１が手を伸ばしていて着目領域に写る撮影画像に残すべき人物２の頭の後ろまで手が伸びているような場合、人物１の領域と人物２の領域を区別できていないと両方の人物を切り抜いてしまうおそれがある。よって、人物毎に区別して人物領域を特定可能であることが好ましい。そして、人物１の領域のみを切り抜いて背景画像や移動体画像で補うことで、切り抜かずに撮影画像に残したい人物２は適切に残すことが可能となる。
【0032】
背景画像取得部１８は、前記撮影機能における撮影と同一の撮影位置及び撮影アングルにおいて被写体が登場しない背景のみを撮影して記憶手段に記憶させておいた背景画像を取得する機能を有する。撮影画像においても背景は写っているが、切り抜き画像と置換用画像とを重畳したときに失われる背景データが存在すると違和感が生じてしまうため、背景画像を用意することで最終的な出力である置換済撮影画像に違和感が生じることを防ぐことができる。
【0033】
移動体画像取得部１９は、撮影画像と同一の撮影位置及び撮影アングルにおいて被写体が搭乗していない移動体を撮影して移動体のみを抽出して記憶させておいた移動体画像を取得する機能を有する。移動体画像は、背景画像と同様に、切り抜き画像と置換用画像とを重畳したときに失われる移動体画像データが存在すると違和感が生じてしまうため、移動体画像を用意することで最終的な出力である置換済撮影画像に違和感が生じることを防ぐことができる。移動体画像を記憶させる対象は、後述する記憶部２１であってもよいし、他の記憶手段であってもよい。なお、移動体画像は、移動体の位置が大きく異なる場合には１つの移動体画像を適用することが難しいため、移動体の位置や角度を少しずつ異ならせた複数の移動体画像を予め抽出して記憶させておくことで、より自然な置換済撮影画像とすることができる。また、形状や色彩などが異なる複数の移動体が含まれる状況の場合には、撮影画像に写る移動体を形状や色彩に基づいて一意に特定する必要がある。具体的には、予め設定した判定個所の形状や色彩を対比することで撮影画像に写る移動体を特定するようにする。そして、特定した移動体に関連付けて記憶させておいた移動体画像を抽出するようにする。すなわち、形状や色彩が異なる複数の移動体が存在する場合には、移動体毎に移動体の位置や角度を少しずつ異ならせた複数の移動体画像を予め抽出して記憶させておくことになる。
【0034】
置換済撮影画像生成部２０は、背景画像、移動体画像、切り抜き画像、及び、置換用画像を重ねて合成することで、置換対象の位置に対してオブジェクトを置き換えた置換済撮影画像を生成する機能を有する。画像の合成にあたっては、正確に位置合わせを行う必要がある。例えば、オブジェクト配置画像からオブジェクトとその周辺に存在する位置合わせ用の特徴的構成個所を含む所定の範囲の画像を置換用画像として抽出しておき、この置換済撮影画像生成部２０において、位置合わせ用の特徴的構成個所を用いて位置合わせを行うことが考えられる。具体例としては、本例の移動体の場合には、移動体の各列の前方に設けられた手すりの端部を位置合わせ用の特徴的構成個所に設定することが考えられる。また、移動体画像の位置合わせについては、テンプレートマッチングで用いた特徴的構成個所を用いて位置合わせを行うようにしてもよい。位置合わせを正確に行って背景画像、移動体画像、切り抜き画像、及び、置換用画像を合成することで、置換領域をオブジェクトに置き換えた置換済撮影画像が得られる。
【0035】
位置合わせについてより具体的に説明を行う。まず、切り抜き画像と移動体画像の位置合わせについては、移動体位置特定部１３において、移動体の外観における複数の特徴的構成を予め選定しておき、当該複数の特徴的構成が撮影画像中の何れの位置に存在するかを特定するテンプレートマッチングの手法によって移動体の位置を特定して位置合わせを行う。次に、移動体画像、切り抜き画像に対する置換用画像の位置合わせについては、移動体位置特定部１３におけるテンプレートマッチングで取得した座標を入力として、SVMによって、位置合わせ用の特徴的構成個所、例えば、各シートの前方に設置された手すりの端部の大まかな位置を推定する。そして、推定された位置の推定位置の近傍の所定範囲内で画素の不透明度を表現するアルファ値を考慮したテンプレートマッチングを実行することで、位置合わせ用の特徴的構成個所の正確な一致個所を特定したうえで重ね合わせを実行することが考えられる。
【0036】
なお、置換用画像は、必ずしも位置合わせ用の特徴的構成個所を含む画像である必要はない。例えば、置換用画像はオブジェクト個所のみを抽出しておき、位置合わせ用の特徴的構成個所と当該置換用画像との位置関係を正確に記憶させておくことで、位置合わせ用の特徴的構成個所に基づいて位置合わせを正確に行った上で、オブジェクト個所のみを抽出した置換用画像を合成するようにしてもよい。
【0037】
記憶部２１は、画像処理装置１００において行われる様々な処理で必要なデータ及び処理の結果として得られたデータを記憶させる機能を有する。
【0038】
次に、画像処理装置１００における画像処理の流れについて説明する。図２は、本発明に係る画像処理装置１００における画像処理の流れを表したフローチャート図である。なお、この図２に示すフローチャートの処理順序はあくまで一例であり、同一の結果が得られる範囲において適宜順序を入れ替え可能であることはいうまでもない。
【0039】
この図２に示すように、画像処理は、画像処理装置１００において撮影を行って撮影画像を取得することによって開始される（ステップＳ１０１）。次に、画像処理装置１００は、取得した撮影画像の中から被写体を特定する（ステップＳ１０２）。次に、画像処理装置１００は、移動体の位置を特定する（ステップＳ１０３）。次に、画像処理装置１００は、撮影画像に対して予め設定した所定の規則に基づいて単位領域を設定した場合に、特定した被写体が何れの単位領域に位置しているかを判定する（ステップＳ１０４）。次に、画像処理装置１００は、着目領域以外の被写体領域および又は単位領域から置換領域を決定する（ステップＳ１０５）。次に、画像処理装置１００は、置換領域の位置に対応した置換用画像を取得する（ステップＳ１０６）。次に、画像処理装置１００は、置換領域における所定範囲の画素データを削除して切り抜き画像を生成する（ステップＳ１０７）。次に、画像処理装置１００は、背景画像を取得する（ステップＳ１０８）。次に、画像処理装置１００は、移動体画像を取得する（ステップＳ１０９）。そして、画像処理装置１００は、背景画像、移動体画像、切り抜き画像、及び、置換用画像を重ねて合成して置換済撮影画像を出力して（ステップＳ１１０）、画像処理を終了する。
【0040】
次に、画像処理装置１００における画像処理について、具体例に基づいて説明を行う。図３は、本発明に係る画像処理装置１００における撮影画像の一例を表した説明図である。この図３に示す撮影画像は、シートが３列ある移動体に乗って楽しむアトラクションの途中で撮影した撮影画像を例として表している。
【0041】
図４は、本発明に係る画像処理装置１００における被写体特定処理を実行後の画像の一例を表した説明図である。図３に示す撮影画像に対して被写体特定処理を実行して被写体を特定すると、例えば、この図４に示すように、各被写体に相当する画素が互いに区別される形で特定される。この図４では、４人の人物が被写体として特定されている。
【0042】
図５は、本発明に係る画像処理装置１００における被写体位置判定処理の一例を表した説明図である。前提として、移動体の３列のシートを分割してそれぞれを単位領域に設定している状況において、各被写体が何れの単位領域に位置しているかを判定することになるが、この場合には図５に示すように、被写体に相当する画素を全て包含する最小の矩形を設定したときに、その矩形の中心点が位置する単位領域がその被写体の位置する単位領域であると判定する。
【0043】
図６は、本発明に係る画像処理装置１００におけるオブジェクト配置画像の一例を表した説明図である。図６に示す例は、移動体に実際にキャラクターの着ぐるみを着た人物を登場させて撮影を行うことで得られたオブジェクト配置画像を表している。
【0044】
図７は、本発明に係る画像処理装置１００におけるの置換用画像の一例を表した説明図である。図７（ａ）は、図６に示すオブジェクト配置画像からオブジェクト及びその周辺画素を抽出した置換用画像を表している。図７（ｂ）は、同様の手法によって移動体の２列目に対して置き換えるために用意する置換用画像を表している。
【0045】
図８は、本発明に係る画像処理装置１００における画像合成の一例を表した説明図である。この図８は、置換済撮影画像生成部２０において、背景画像、移動体画像、切り抜き画像、及び、置換用画像を重ねて合成する様子を表している。
【0046】
図９は、本発明に係る画像処理装置１００における置換済撮影画像の一例を表した説明図である。置換済撮影画像生成部２０において、図８に示す各画像について正確に位置合わせを行って合成することで、図９に示す置換済撮影画像が得られる。この置換済撮影画像は、１列目のシートに写っていた２名の人物に対して犬のキャラクターを置き換えた画像となっている。１列目と２列目が異なるグループであった場合、図９に示す置換済撮影画像は２列目のグループの顧客にとっては自分たちのみが写っている記念写真となる。
【0047】
以上のように、本発明に係る画像処理装置１００によれば、撮影画像を取得し、撮影画像に写る被写体を特定し、撮影範囲を分割した複数の単位領域の何れの個所に特定した被写体が位置するかを判定し、被写体が位置していると判定された前記単位領域のうちの少なくとも１つを着目領域とし、着目領域以外の中から置換対象となる領域を決定し、置換領域の個所に対して予めオブジェクトを配置して撮影することで得られたオブジェクト配置画像から抽出したオブジェクトとその周辺画素を含む置換用画像を取得し、置換領域のそれぞれにおいて置換画像と置き換える箇所の画素データを削除した切り抜き画像を生成し、背景画像を取得し、背景画像、切り抜き画像、及び、置換用画像を重ねて合成することで、置換対象の位置に対してオブジェクトを置き換えた置換済撮影画像を生成するようにしたので、撮影画像の一部をオブジェクトに置き換えた置換済撮影画像をえることが可能となる。
【0048】
すなわち、撮影画像に複数のグループが同時に写っている場合に、１つのグループについては撮影画像に残し、他のグループについては置換用画像に置き換えた置換済撮影画像を生成できるため、顧客にとっては自分たちのみが写っている撮影画像を得ることが可能となる。
【0049】
これにより、例えば、予め設定された固定の撮影個所において撮影した撮影写真を被写体となった顧客に提示して、気に入った場合には購入してもらうというビジネスモデルにおいて、他人が映り込んだ写真を購入したくないという顧客に対して、自分たちのみが写った写真を提供できる。さらに、顧客にとって魅力的なコンテンツに基づいて置換用画像を作成するようにすれば、置換済撮影画像がより魅力的な画像となるため、顧客の写真の購買意欲を刺激することが可能となる。
【0050】
さらに、アトラクションを運営する施設において、閑散期には移動体に空席が目立つことによって撮影画像がさみしいものとなってしまうおそれがあるが、このような場合に、空席個所に置換用画像を置き換えることで、賑やかな撮影画像をえることが可能となる。
【0051】
［第２の実施の形態］
第１の実施の形態においては、人物を被写体とした場合を例にして説明を行ったが、これに限定されるものではなく、人物以外の様々な被写体に対しても本発明の画像処理を適用可能である。
第１の実施の形態においては、人物を被写体とした場合を例にして説明を行ったが、これに限定されるものではなく、人物以外の様々な被写体に対しても本発明の画像処理を適用可能である。
【0052】
また、第１の実施の形態においては、置換領域を他のオブジェクト等で置き換える画像処理として説明を行っていたが、これに限定されるものではなく、置換領域に写る被写体を消去する画像処理であってもよい。置換領域においてどの範囲において画素データの消去処理を実行するかについては予め所定規則を定めることによって適宜設定可能である。この場合、第１の実施の形態における置換領域決定部１５は、置換する領域を決定する替わりに、被写体を消去する領域を決定する被写体消去領域決定部として機能する。また、置き換えを行わないため、置換用画像取得部１６は不要である。なお、被写体消去領域決定部では、被写体を残す着目領域を１つ選択して、他の単位領域に写る被写体は全て消去する構成とすることも可能である。この場合、被写体消去領域決定部において、被写体を残す着目領域以外の全ての単位領域を被写体消去領域として選択しているといえる。
【0053】
すなわち、予め決められた撮影位置及び撮影アングルによって決定される撮影範囲について、所定のタイミングで撮影を行うことで生成された撮影画像を取得する撮影画像取得部と、撮影画像に写る被写体を特定する被写体特定部と、撮影範囲を予め設定した複数の単位領域に分割し、複数の単位領域の何れの個所に特定した被写体が位置するかを判定する被写体位置判定部と、被写体が位置していると判定された単位領域（以下、被写体領域）のうちの少なくとも１つに着目（以下、着目領域という）し、着目領域以外の被写体領域の中から所定規則に基づいて被写体を消去する対象となる被写体領域（以下、被写体消去領域という）を決定する被写体消去領域決定部と、被写体消去領域のそれぞれにおいて被写体の画素データを削除した切り抜き画像を生成する切り抜き画像生成部と、撮影画像と同一の撮影位置及び撮影アングルにおいて被写体が登場しない背景のみを撮影して記憶手段に記憶させておいた背景画像を取得する背景画像取得部と、背景画像及び切り抜き画像を重ねて合成することで、被写体消去領域の被写体を消去した消去済撮影画像を生成する消去済撮影画像生成部とを備える画像処理装置としてもよい。
【0054】
なお、第１の実施の形態においては、被写体個所をオブジェクトに置き換える置換処理について説明し、第２の実施の形態においては、被写体個所を消去する消去処理について説明しているが、これらを組み合わせた処理であってもよい。すなわち、第１の実施の形態における置換領域決定部において、置換領域を決定するとともに被写体消去領域も併せて決定可能に構成すれば、置き換える個所と消去する箇所の両方を含む置換済撮影画像を生成することが可能となる。
【符号の説明】
【0055】
１０ 画像処理装置
１１ 撮影画像取得部
１２ 被写体特定部
１３ 移動体位置特定部
１４ 被写体位置判定部
１５ 置換領域決定部
１６ 置換用画像取得部
１７ 切り抜き画像生成部
１８ 背景画像取得部
１９ 移動体画像取得部
２０ 置換済撮影画像生成部
２１ 記憶部
１１ 撮影画像取得部
１２ 被写体特定部
１３ 移動体位置特定部
１４ 被写体位置判定部
１５ 置換領域決定部
１６ 置換用画像取得部
１７ 切り抜き画像生成部
１８ 背景画像取得部
１９ 移動体画像取得部
２０ 置換済撮影画像生成部
２１ 記憶部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】