特開 2023-173906 プログラム、被写体画像抽出装置、および被写体画像抽出システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023173906

(43)【公開日】2023-12-07

(54)【発明の名称】プログラム、被写体画像抽出装置、および被写体画像抽出システム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20231130BHJP

   G06T 7/70 20170101ALI20231130BHJP

   G06T 7/00 20170101ALI20231130BHJP

【ＦＩ】

H04N5/232 290

G06T7/70 A

G06T7/00 660Z

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022086458

(22)【出願日】2022-05-26

(71)【出願人】

【識別番号】000002897

【氏名又は名称】大日本印刷株式会社

(74)【代理人】

【識別番号】100122529

【弁理士】

【氏名又は名称】藤枡 裕実

(74)【代理人】

【識別番号】100135954

【弁理士】

【氏名又は名称】深町 圭子

(74)【代理人】

【識別番号】100119057

【弁理士】

【氏名又は名称】伊藤 英生

(74)【代理人】

【識別番号】100131369

【弁理士】

【氏名又は名称】後藤 直樹

(74)【代理人】

【識別番号】100171859

【弁理士】

【氏名又は名称】立石 英之

(72)【発明者】

【氏名】西本 卓也

(72)【発明者】

【氏名】清野 創

(72)【発明者】

【氏名】宮内 翼

(72)【発明者】

【氏名】倉持 惇彩

【テーマコード（参考）】

5C122

5L096

【Ｆターム（参考）】

5C122DA20

5C122EA61

5C122FH09

5C122FH10

5C122FH11

5C122HA46

5C122HA88

5C122HB01

5L096BA08

5L096CA04

5L096CA24

5L096DA01

5L096DA02

5L096EA35

5L096EA37

5L096FA02

5L096FA18

5L096FA60

5L096FA66

5L096FA67

5L096FA69

5L096FA77

5L096GA51

5L096HA02

5L096JA11

(57)【要約】

【課題】 高速に移動する被写体を撮影して、被写体が好適に写った画像を得ることが可能なプログラム、被写体画像抽出装置、および被写体画像抽出システムを提供する。
【解決手段】 撮影手段により連続して取得された各撮影画像を処理して、人物が位置する領域である人物領域を推定する人物領域推定手段２１、前記人物領域を含む座席領域を推定する座席領域推定手段２２、撮影画像における所定の領域である設定領域と、前記座席領域との重複の有無を確認する重複確認手段２３、座席領域と設定領域が重複している場合、前記座席領域と前記設定領域の所定点同士の距離である領域距離を算出する領域距離算出手段２４、座席領域と設定領域が重複する撮影画像が連続する画像群である重複画像群の中から、領域距離が最小となる撮影画像を被写体画像として抽出する被写体画像抽出手段２５、としてコンピュータを機能させるためのプログラム。
【選択図】 図２

【特許請求の範囲】

【請求項1】

撮影手段により連続して取得された各撮影画像を処理して、人物が位置する領域である人物領域を推定する人物領域推定手段、
前記人物領域を含み、座席が位置する座席領域を推定する座席領域推定手段、
前記撮影画像における所定の領域である設定領域と、前記座席領域との重複の有無を確認する重複確認手段、
前記座席領域と前記設定領域が重複している場合、前記座席領域と前記設定領域の所定点同士の距離である領域距離を算出する領域距離算出手段、
前記座席領域と前記設定領域が重複する撮影画像が連続する画像群である重複画像群の中から、前記領域距離が最小となる撮影画像を被写体画像として抽出する被写体画像抽出手段、
としてコンピュータを機能させるためのプログラム。

【請求項2】

前記座席が複数の人物を収容する座席であって、
前記座席領域推定手段は、近接する複数の人物領域を包含する領域を座席領域として推定する、請求項１に記載のプログラム。

【請求項3】

前記座席領域推定手段は、
前記近接する複数の人物領域の重心同士を結ぶ線分を求め、その線分と前記撮影画像の水平方向がなす角度が所定角度以下である場合に、前記近接する複数の人物領域を座席領域として推定、請求項２に記載のプログラム。

【請求項4】

前記撮影画像は、進行方向に沿って複数列の座席が配置された乗り物が撮影されており、
前記被写体画像抽出手段は、各重複画像群から抽出された前記被写体画像のうち、ある被写体画像とその直前の被写体画像との間隔に基づいて、各前記被写体画像に対応する前記座席の列順を特定する、請求項１に記載のプログラム。

【請求項5】

前記被写体画像抽出手段は、前記重複画像群における各前記撮影画像の前記領域距離を、直前の撮影画像の前記領域距離と比較し、後の撮影画像の前記領域距離が直前の撮影画像における前記領域距離よりも大きい場合に、当該直前の撮影画像を被写体画像として抽出し、
前記人物領域推定手段は、撮影順において所定間隔だけ後方に移動した箇所の撮影画像を次の処理対象とする、請求項１から請求項４のいずれか一項に記載のプログラム。

【請求項6】

撮影手段により連続して取得された各撮影画像を処理して、人物が位置する領域である人物領域を推定する人物領域推定手段と、
前記人物領域を含み、座席が位置する座席領域を推定する座席領域推定手段と、
前記撮影画像における所定の領域である設定領域と、前記座席領域との重複の有無を確認する重複確認手段と、
前記座席領域と前記設定領域が重複している場合、前記座席領域と前記設定領域の所定点同士の距離である領域距離を算出する領域距離算出手段と、
前記座席領域と前記設定領域が重複する撮影画像が連続する画像群である重複画像群の中から、前記領域距離が最小となる撮影画像を被写体画像として抽出する被写体画像抽出手段と、
を有する被写体画像抽出装置。

【請求項7】

画像を連続して撮影する撮影手段と、前記撮影手段により撮影された撮影画像を取得する被写体画像抽出装置と、前記被写体画像抽出装置により抽出された被写体画像を取得するユーザ端末と、を有する被写体画像抽出システムであって、
前記被写体画像抽出装置は、
前記撮影手段により取得された各撮影画像を処理して、人物が位置する領域である人物領域を推定する人物領域推定手段と、
前記人物領域を含み、座席が位置する座席領域を推定する座席領域推定手段と、
前記撮影画像における所定の領域である設定領域と、前記座席領域との重複の有無を確認する重複確認手段と、
前記座席領域と前記設定領域が重複している場合、前記座席領域と前記設定領域の所定点同士の距離である領域距離を算出する領域距離算出手段と、
前記座席領域と前記設定領域が重複する撮影画像が連続する画像群である重複画像群の中から、前記領域距離が最小となる撮影画像を被写体画像として抽出する被写体画像抽出手段と、
を有する被写体画像抽出システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、プログラム、被写体画像抽出装置、および被写体画像抽出システムに関する。

【背景技術】

【0002】

従来、遊園地、アミューズメントパーク、サーキット場などにおいて高速に移動する被写体をカメラで撮影することが行われている。高速に移動する被写体から好適な画像を抽出する技術としては様々なものが提案されている。その中で、カメラ映像を画像解析し、動きや人物の特徴に基づいた検出を用いた手法も開示されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－７１５５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記従来の技術では、撮影のトリガとして別途センサが必要になるなど設備が複雑になるという問題がある。

【0005】

そこで、本開示は、高速に移動する被写体を撮影して、被写体が好適に写った画像を得ることが可能なプログラム、被写体画像抽出装置、および被写体画像抽出システムを提供することを課題とする。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本開示では、
撮影手段により連続して取得された各撮影画像を処理して、人物が位置する領域である人物領域を推定する人物領域推定手段、
前記人物領域を含む座席領域を推定する座席領域推定手段、
前記撮影画像における所定の領域である設定領域と、前記座席領域との重複の有無を確認する重複確認手段、
前記座席領域と前記設定領域が重複している場合、前記座席領域と前記設定領域の所定点同士の距離である領域距離を算出する領域距離算出手段、
前記座席領域と前記設定領域が重複する撮影画像が連続する画像群である重複画像群の中から、前記領域距離が最小となる撮影画像を被写体画像として抽出する被写体画像抽出手段、
としてコンピュータを機能させるためのプログラムを提供する。

【0007】

また、本開示のプログラムは、
前記座席が複数人を収容する座席であって、
前記座席領域推定手段は、近接する複数の人物領域を包含する領域を座席領域として推定してもよい。

【0008】

また、本開示のプログラムにおける、
前記座席領域推定手段は、
前記近接する複数の人物領域の重心同士を結ぶ線分を求め、その線分と前記撮影画像の水平方向がなす角度が所定角度以下である場合に、前記近接する複数の人物領域を座席領域として推定してもよい。

【0009】

また、本開示のプログラムにおいて、
前記撮影画像は、進行方向に沿って複数列の座席が配置された乗り物が撮影されており、
前記被写体画像抽出手段は、各重複画像群から抽出された前記被写体画像のうち、ある被写体画像とその直前の被写体画像との間隔に基づいて、各前記被写体画像に対応する前記座席の列順を特定してもよい。

【0010】

また、本開示のプログラムにおける、
前記被写体画像抽出手段は、前記重複画像群における各前記撮影画像の前記領域距離を、直前の撮影画像の前記領域距離と比較し、後の撮影画像の前記領域距離が直前の撮影画像における前記領域距離よりも大きい場合に、当該直前の撮影画像を被写体画像として抽出し、
前記人物領域推定手段は、撮影順において所定間隔だけ後方に移動した箇所の撮影画像を次の処理対象としてもよい。

【0011】

また、本開示では、
撮影手段により連続して取得された各撮影画像を処理して、人物が位置する領域である人物領域を推定する人物領域推定手段と、
前記人物領域を含む座席領域を推定する座席領域推定手段と、
前記撮影画像における所定の領域である設定領域と、前記座席領域との重複の有無を確認する重複確認手段と、
前記座席領域と前記設定領域が重複している場合、前記座席領域と前記設定領域の所定点同士の距離である領域距離を算出する領域距離算出手段と、
前記座席領域と前記設定領域が重複する撮影画像が連続する画像群である重複画像群の中から、前記領域距離が最小となる撮影画像を被写体画像として抽出する被写体画像抽出手段と、
を有する被写体画像抽出装置を提供する。

【0012】

また、本開示では、
画像を連続して撮影する撮影手段と、前記撮影手段により撮影された撮影画像を取得する被写体画像抽出装置と、前記被写体画像抽出装置により抽出された被写体画像を取得するユーザ端末と、を有する被写体画像抽出システムであって、
前記被写体画像抽出装置は、
前記撮影手段により取得された各撮影画像を処理して、人物が位置する領域である人物領域を推定する人物領域推定手段と、
前記人物領域を含む座席領域を推定する座席領域推定手段と、
前記撮影画像における所定の領域である設定領域と、前記座席領域との重複の有無を確認する重複確認手段と、
前記座席領域と前記設定領域が重複している場合、前記座席領域と前記設定領域の所定点同士の距離である領域距離を算出する領域距離算出手段と、
前記座席領域と前記設定領域が重複する撮影画像が連続する画像群である重複画像群の中から、前記領域距離が最小となる撮影画像を被写体画像として抽出する被写体画像抽出手段と、
を有する被写体画像抽出システムを提供する。

【発明の効果】

【0013】

本開示によれば、高速に移動する被写体を撮影して、好適な静止画を得ることが可能なプログラム、被写体画像抽出装置、および被写体画像抽出システムを提供することが可能となる。

【図面の簡単な説明】

【0014】

【図1】本開示の一実施形態に係る被写体画像抽出システムの構成を示す図である。

【図2】処理装置１１の詳細を示す機能ブロック図である。

【図3】本開示の一実施形態に係る被写体画像抽出システムの処理概要を示すフローチャートである。

【図4】撮影装置１２、撮影対象、撮影画角の関係を示す図である。

【図5】人物領域と撮影画像の関係を示す図である。

【図6】座席領域と撮影画像の関係を示す図である。

【図7】１つの撮影画像において、下方に２つ、上方に２つ、計４つの人物領域が推定された場合を示す図である。

【図8】人物領域の重心同士を結ぶ線分と画像の水平方向がなす角度が所定角度以下である場合において推定された座席領域を示す図である。

【図9】撮影画像における設定領域と座席領域を示す図である。

【図10】撮影画像における設定領域と座席領域の中心同士を結ぶ線分を示す図である。

【図11】各撮影画像と、座席領域と設定領域の中心同士の距離の関係を示す図である。

【図12】途中に空席がある場合における、各撮影画像と、座席領域と設定領域の所定点同士の距離の関係を示す図である。

【図13】被写体画像のトリミングを示す図である。

【図14】被写体画像のインペインティングを示す図である。

【図15】応用例を示す図である。

【発明を実施するための形態】

【0015】

以下、本開示の好適な実施形態について図面を参照して詳細に説明する。
＜システム構成＞
図１は、本開示の一実施形態に係る被写体画像抽出システムの構成を示す図である。図１において、１０は被写体画像抽出システム、１１は処理装置、１２は撮影装置、１３は表示装置、１４はプリンタ、１５は画像データ出力部、３０はユーザ端末である。このうち、処理装置１１、表示装置１３、プリンタ１４、画像データ出力部１５は、被写体画像抽出装置４０を構成する。

【0016】

処理装置１１は、被写体画像抽出システム１０における様々な演算処理を行う装置であり、ＣＰＵ、主メモリ、不揮発性の記憶装置等を有するコンピュータに、被写体画像抽出システム１０としての機能を実現するためのプログラムを組み込むことにより実現される。処理装置１１を実現するコンピュータとしては、ＧＰＵ等のプロセッサを備えていてもよい。処理装置１１は、撮影装置に接続されている。撮影装置１２は、撮影を行って画像データとして撮影画像を取得する撮影手段であり、ＣＣＤ等の撮影素子を備えた動画撮影カメラにより実現される。動画は静止画である画像を連続して撮影することにより得られる。本明細書において、単に画像という場合は静止画を意味する。

【0017】

表示装置１３は、処理装置１１により処理された結果に基づいて表示を行う表示手段であり、液晶ディスプレイ、有機ＥＬディスプレイ等の汎用の表示機器により実現される。プリンタ１４、画像データ出力部１５は、画像を出力する画像出力手段である。プリンタ１４は、画像を紙媒体等にプリント出力する。画像データ出力部１５は、画像をデータとして出力するデータ出力装置である。画像データ出力部１５は、被写体画像として抽出された静止画である撮影画像として出力してもよいし、被写体画像およびその前後の撮影画像を含む、連続する複数の撮影画像を動画として出力してもよい。

【0018】

被写体画像抽出システム１０の構成要素は、一部あるいは全体が１つの筐体内に配置される構成であってもよい。本実施形態では、被写体画像抽出装置４０を構成する処理装置１１、表示装置１３、プリンタ１４、画像データ出力部１５を１つの筐体内に収納し、画像提供端末として設置している。本実施形態では、出力される被写体画像に写っている顧客は、自身が被写体として写っている被写体画像を画像提供端末（被写体画像抽出装置４０）から出力することができる。例えば、画像データ出力部１５から被写体画像を無線通信によりスマートフォン等のユーザ端末３０に出力することができる。

【0019】

図２は、処理装置１１の詳細を示す機能ブロック図である。本実施形態では、処理装置１１は、汎用のコンピュータに専用のプログラムを組み込むことにより実現される。図２に示すように、処理装置１１は、人物領域推定手段２１、座席領域推定手段２２、重複確認手段２３、領域距離算出手段２４、被写体画像抽出手段２５、画像加工手段２６を有する。

【0020】

人物領域推定手段２１は、撮影装置１２により取得された撮影画像に対して画像解析を行い、人物が位置する領域を推定する手段であり、不揮発性の記憶装置に記憶されたプログラムや学習済みモデルをＣＰＵ、ＧＰＵ等が読み込んで実行することにより実現される。
座席領域推定手段２２は、人物領域を含む座席領域を推定する手段であり、不揮発性の記憶装置に記憶されたプログラムをＣＰＵが読み込んで実行することにより実現される。

【0021】

重複確認手段２３は、撮影画像における所定の領域である設定領域と、座席領域との重複の有無を確認する手段であり、不揮発性の記憶装置に記憶されたプログラムをＣＰＵが読み込んで実行することにより実現される。領域距離算出手段２４は、座席領域と設定領域が重複している場合に、座席領域と設定領域の所定点同士の距離を算出する手段であり、不揮発性の記憶装置に記憶されたプログラムをＣＰＵが読み込んで実行することにより実現される。被写体画像抽出手段２５は、座席領域と設定領域が重複する撮影画像が連続する画像群である重複画像群の中から、座席領域と設定領域の所定点同士の距離である領域距離が最小となる撮影画像を好適な被写体画像として抽出する手段であり、不揮発性の記憶装置に記憶されたプログラムをＣＰＵが読み込んで実行することにより実現される。

【0022】

処理装置１１は、キーボードやマウス等の指示入力部を備え、ユーザからの指示を受け付ける。ユーザからの指示に基づき、様々な設定値を設置することができる。

【0023】

＜処理動作＞
次に、本実施形態に係る被写体画像抽出システムの処理動作について、本実施形態に係る被写体画像抽出方法とともに説明する。図３は、本実施形態に係る被写体画像抽出システムの処理概要を示すフローチャートである。

【0024】

まず、被写体画像抽出システムが起動し、処理を開始する。そして、撮影装置１２が常時撮影し、撮影により得られた画像データを撮影画像として取り込む（ステップＳ１）。図４は、撮影装置１２、撮影対象、撮影画角の関係を示す図である。図４の例では、ライド・アトラクションの一例であるジェットコースターのような乗り物、および乗り物に乗った人物が撮影対象である。本実施形態で撮影対象とする乗り物は、座席が複数の人物を収容する構造のものを想定している。ただし、必ずしも座席に複数の人物が収容されなくてもよい。このような状態において、乗り物に乗った人物を撮影可能な撮影画角を設定し、その撮影画角で撮影可能な位置に撮影装置１２が設置されている。撮影画角は所定の位置に固定されている。

【0025】

本実施形態に係る被写体画像抽出システムは、特にジェットコースター（ローラーコースター）のように、進行方向に沿って複数列の座席が配置されているような場合に、人物を被写体として撮影する場合に適している。撮影装置１２は、図４に示したような撮影画角において所定の間隔で撮影し、静止画像である撮影画像を取得する。撮影画像は所定の時間間隔で得られる。このため、得られた撮影画像を順に表示すると動画として見える。このため、撮影装置１２は、動画像を取得しているとも言える。取り込まれた撮影画像は処理装置１１に渡されて所定の処理が行われる。撮影装置１２は、所定のレート（ｆｐｓ：フレーム（画像）／秒）で撮影を行い、撮影画像を取り込んで処理装置１１に送る。所定のレートとしては任意に設定することができる。本実施形態では、６０ｆｐｓとしている。撮影装置１２による撮影画像の取得は、被写体画像抽出システムの稼働中は常に行われる。

【0026】

被写体画像抽出システムで処理が開始されると、処理装置１１は、取り込んだ撮影画像に対して、解析等の処理を行う。処理装置１１における撮影画像の解析レートは、撮影装置１２による撮影レートと同じであってもよいし、異なっていてもよい。例えば、上記のように撮影レートが６０ｆｐｓである場合、処理装置１１における解析レートは、撮影レートと同じ６０ｆｐｓとしてもよいし、レートを落として例えば４０ｆｐｓとしてもよい。

【0027】

処理装置１１では、人物領域推定手段２１が、人物領域の推定を行う（ステップＳ２）。具体的には、人物領域推定手段２１は、撮影画像を解析して所定の領域を人物領域として特定する。図５は、人物領域と撮影画像の関係を示す図である。図５に示すように、人物が２人検出された場合、２つの人物領域が撮影画像上で推定される。図５の例では、人物領域として人物の顔を含むようにして、矩形状の人物領域が推定されている。人物領域推定手段２１が行う人物領域特定の手法は特に限定されないが、機械学習により得られた学習済みモデルや、ルールベースを用いることができる。人物領域の形状は特に限定されないが、本実施形態では、図５に示すように、人物領域を矩形状としている。図５においては、人物領域を実線の矩形で示している。

【0028】

人物領域推定手段２１により人物領域が推定されたら、座席領域推定手段２２が座席領域の推定を行う（ステップＳ３）。座席領域推定手段２２は、撮影画角と乗り物の種類に応じて設定されたパラメータに基づき座席領域を推定する。具体的には、人物領域推定手段２１により推定された人物領域のうち、近接する複数の人物領域を包含する外接矩形を取得する。そして、取得した外接矩形から上下左右それぞれにマージンをとった領域を座席領域として推定する。近傍とする人物領域の距離（ピクセル数）、及び上下左右のマージン幅（ピクセル数）は、撮影画角と乗り物の種類に応じて設定されるパラメータである。このようなパラメータは、指示入力部を介して、処理装置１１に入力することにより設定しておくことができる。

【0029】

図６は座席領域と撮影画像の関係を示す図である。２つの人物領域が近接する場合、図６に示すように、座席領域は２つの人物領域を包含する領域として設定される。座席領域の形状は特に限定されないが、本実施形態では、図６に示すように、座席領域を矩形状としている。図６においては、人物領域を実線の矩形、座席領域を破線の矩形で示している。

【0030】

図７は、１つの撮影画像において、下方に２つ、上方に２つ、計４つの人物領域が推定された場合を示す図である。図７の例では、下方の２つの人物領域は、乗り物の前方の席を示し、上方の２つの人物領域は、乗り物の後方の席を示している。このため、下方の２つの人物領域を含む１つの座席領域を推定し、上方の２つの人物領域を含む１つの座席領域を推定することが好ましい。

【0031】

図７のような例において、単純に人物領域の距離で近接を判定すると、下方の人物領域と上方の人物領域を含む座席領域が設定されてしまう。これにより、本来の座席が座席領域として設定されないことになる。そこで、本実施形態では、人物領域の重心同士を結ぶ線分を求め、その線分と画像の水平方向（横方向：図７における左右方向）がなす角度が所定角度以下である場合に、その２つの人物領域を含んだ座席領域を推定するようにしている。この所定角度としては、任意に設定することができるが、２０度以下であることが好ましく、１０度以下であることがより好ましい。通常、撮影画角は、人物が並んだ状態で撮影されるように設定されているため、所定角度が０度に近付く程、好適な状態で人物が撮影されるためである。図８は、人物領域の重心同士を結ぶ線分と画像の水平方向がなす角度が所定角度以下である場合において推定された座席領域を示す図である。図８においても、人物領域を実線の矩形、座席領域を破線の矩形で示している。

【0032】

座席領域推定手段２２により座席領域が推定されたら、重複確認手段２３が座席領域と設定領域の重複の有無を確認する（ステップＳ４）。具体的には、座席領域と設定領域の重複の有無は、座席領域と設定領域が同一の画素を少なくとも一画素以上含むか否かにより判定する。設定領域は、撮影画像の所定の領域に設定されている。設定領域は任意の位置に設定しておくことが可能である。しかし、設定領域は、被写体である人物が配置されて好適な位置に設定しておくことが好ましい。

【0033】

例えば、設定領域を撮影画像の中央に設定しておくことにより、中央から離れた位置に人物領域が位置する撮影画像と、中央に近い位置に人物領域が位置する撮影画像を区別することが可能となる。設定領域は、指示入力部を用いてユーザにより直接指定された領域であってもよい。また、設定領域は、例えば、撮影画像の中心点から所定の範囲に渡って設定された領域であってもよい。図９は、撮影画像における設定領域と人物領域を示す図である。図９においては、座席領域を破線の矩形、設定領域を一点鎖線の矩形で示している。図９の例では、設定領域と人物領域は重複している。

【0034】

重複確認手段２３により座席領域と設定領域が重複している場合、領域距離算出手段２４が座席領域と設定領域の所定点同士の距離である領域距離を算出する（ステップＳ５）。領域所定点としては、任意に設定することができる。ただし、所定点としては、座席領域と設定領域の近接度を的確に反映することができる点が好ましい。そのため、領域の中心や重心を所定点としてもよい。本実施形態では、所定点を領域の中心としている。図１０は、撮影画像における設定領域と人物領域の中心同士を結ぶ線分を示す図である。図１０に示した中心同士を結ぶ線分の長さが設定領域と座席領域の領域距離として算出される。ステップＳ２～Ｓ５の処理を各撮影画像に対して行う。この結果、座席領域と設定領域が重複する各撮影画像に対して、座席領域と設定領域の所定点同士の距離が領域距離として求められる。したがって、座席領域と設定領域が重複していない撮影画像に対しては、領域距離を算出しなくてもよい。

【0035】

各撮影画像に対して、ステップＳ１～Ｓ５の処理がなされたら、被写体画像抽出手段２５が、解析された撮影画像の中から、好適な撮影画像を被写体画像として抽出する（ステップＳ６）。具体的には、連続して取得された複数の撮影画像の中から、人物が好適に写っている撮影画像を特定して抽出する。通常、その撮影画角において、被写体である人物は特定の位置に写っていることが好ましい。例えば、ジェットコースターを所定の位置で撮影する場合の撮影画角において、人物が位置する好ましい領域が特定される。本実施形態では、撮影装置１２による撮影画角に基づいて、撮影画像の全体領域における所定の領域を設定領域として設定しておく。このため、人物が写っている位置が設定領域に近いほど好適な画像と言えることになる。

【0036】

そのため、本実施形態では、座席領域と設定領域の所定点同士の距離である領域距離に基づき、好適な撮影画像を特定する。具体的には、まず、座席領域と設定領域が重複している撮影画像が連続する画像群を重複画像群として特定する。したがって、座席領域と設定領域が重複していない撮影画像があった場合は、その箇所で重複画像群は途切れる。図１１は、各撮影画像と、座席領域と設定領域の所定点同士の距離である領域距離の関係を示す図である。このうち、図１１（ａ）は各撮影画像における、座席領域と設定領域の所定点同士の距離である領域距離を示すグラフである。図１１（ａ）において、横軸は、連続する撮影画像（フレーム）の撮影順であり、縦軸は、座席領域と設定領域の所定点同士の距離である領域距離を示している。また、横軸方向において、網掛けされている部分は、座席領域と設定領域が重複している撮影画像を示し、網掛けされていない部分は、座席領域と設定領域が重複していない撮影画像を示している。すなわち、網掛けされている部分は、重複画像群を示し、網掛けされていない部分は、非重複画像群を示している。

【0037】

図１１（ａ）の例では、重複画像群と非重複画像群は交互に現れている。これは、座席領域が設定領域に近い位置に写っている重複画像群の間に、座席領域が設定領域から遠い位置にある非重複画像群が存在することを示している。アトラクションの構成によっては、非重複画像群におけるいくつかの撮影画像には、座席領域が存在しない場合もある。重複画像群における撮影画像は、座席領域が設定領域に近い位置に写っており、好適な撮影画像であることが多い。

【0038】

図１１（ａ）に示すように、重複画像群においては、距離のグラフは極小点を有している。したがって、各重複画像群において、座席領域と設定領域の所定点同士の距離が最小となる撮影画像を特定することができる。座席領域と設定領域の所定点同士の距離が最小となる撮影画像においては、座席領域が最も好ましい位置に写っていると考えられる。そのため、本実施形態では、被写体画像抽出手段２５は、１つの重複画像群において、座席領域と設定領域の所定点同士の距離が最小となる撮影画像を、被写体画像として抽出する。抽出された被写体画像は、被写体が好適に写っている撮影画像である。

【0039】

各重複画像群において、座席領域と設定領域の所定点同士の距離が最小となる撮影画像を抽出することにより、各座席についての被写体画像を抽出することができる。図１１（ｂ）は、図１１（ａ）に示した３つの重複画像群から抽出した、座席領域と設定領域の所定点同士の距離が最小となる撮影画像を示す図である。図１１（ｂ）に示すように、３つの重複画像群から抽出された被写体画像には、それぞれ１列目、２列目、３列目の座席の人物が被写体として好適な状態で写っている。本実施形態によれば、以上のようにして、進行方向に対して複数列の座席が存在する乗り物を撮影した際に、各座席の被写体画像を取得することが可能となる。

【0040】

図１１の例では、１列目、２列目、３列目に全て人物が乗っていた場合を説明した。次に、途中の列に人物が乗っていない場合について説明する。図１２は、途中に空席がある場合における、各撮影画像と、座席領域と設定領域の所定点同士の距離の関係を示す図である。図１１と比較すると、図１２の場合、２枚目の被写体画像と３枚目の被写体画像の抽出間隔が、１枚目の被写体画像と２枚目の被写体画像の抽出間隔よりもかなり大きくなっている。抽出間隔は、２つの被写体画像の間の撮影画像数すなわちフレーム数で換算することができる。通常、高速で走るアトラクションは、同一間隔で各座席がある撮影ポイントに到達することになる。したがって、人物が検出された被写体画像の抽出間隔が大きい場合、その間に空席が存在したことを意味する。本実施形態では、隣り合う座席間における抽出間隔（撮影画像数）である標準抽出間隔を設定し、この標準抽出間隔との比較により、被写体画像間の間に空席があったか否かを判定する。

【0041】

隣り合う座席間における抽出間隔（撮影画像数）である標準抽出間隔を事前に計測し、設定しておいてもよい。また、抽出された全被写体画像間のうち最低の抽出間隔を標準抽出間隔としてもよい。ある抽出間隔を標準抽出間隔と比較することにより、間に空席がいくつあったかを特定することができる。例えば、図１２の例の場合、１枚目の被写体画像と２枚目の被写体画像が標準抽出間隔で抽出されたとする。そして、２枚目の被写体画像と３枚目の被写体画像の抽出間隔が標準抽出間隔の約２倍であったとする。すると、２枚目の被写体画像と３枚目の被写体画像の間に空席があったと考えられる。この場合、２枚目の被写体画像が２列目の座席を撮影したものであったとすると、３枚目の被写体画像は４列目の座席を撮影したものと特定される。このようにして、各撮影画像が何列目の座席を撮影したものであるかを特定することができる。現実には、抽出間隔は、標準抽出間隔の整数倍になるとは、限らない。そのため、本実施形態では、抽出間隔を標準抽出間隔で除算して得られた値を四捨五入して整数値とする。その整数値の分だけ後の被写体画像は前の被写体画像から列数がずれているとして、後の被写体画像の列数を特定する。

【0042】

本実施形態では、ステップＳ６においては、被写体画像の抽出の後、画像加工手段２６が、さらに被写体画像に対して加工処理を行う。被写体画像に対する加工処理としては、例えば、トリミングやインペインティングがある。トリミングとは、画像における一部の領域を切り出す処理である。本実施形態では、座席領域のみを被写体画像から切り出して新たな切り出し画像を得ることができる。図１３は、被写体画像のトリミングを示す図である。図１３（ａ）はトリミング前の被写体画像であり、図１３（ｂ）はトリミング後の切り出し画像である。この切り出し画像をデータ出力やプリント出力して顧客に提供することができる。図１３（ａ）においては、トリミング領域を破線の矩形で示している。

【0043】

また、インペインティングとは、被写体画像において一部を他の情報に描き換える処理である。本実施形態では、座席領域以外に人物を検出した場合、その部分を、他の情報で描き換える。他の情報としては、例えばキャラクターなどの絵柄であってもよいし、周囲の画素であってもよい。図１４は、被写体画像のインペインティングを示す図である。図１４（ａ）はインペインティング前の被写体画像であり、図１４（ｂ）はインペインティング後の加工画像である。この加工画像をデータ出力やプリント出力して顧客に提供することができる。なお、画像加工手段２６は、必須の手段ではなく、抽出された被写体画像に対して、必ずしも加工を行う必要はない。

【0044】

上記のようにして、被写体画像が抽出されたら、画像出力手段が、抽出された被写体画像を出力する（ステップＳ７）。具体的には、被写体画像とその被写体画像の列順（何列目であるかの情報）を出力する。被写体画像として抽出された撮影画像は、プリンタ１４、画像データ出力部１５等の画像出力手段に出力される。

【0045】

画像出力手段への被写体画像の出力は、被写体画像抽出手段２５により抽出された被写体画像を直接出力するようにしてもよい。また、被写体画像抽出手段２５により抽出された被写体画像を表示装置１３に表示出力し、内容を確認した後、指示入力部からのユーザからの指示に基づき、画像出力手段へ被写体画像を出力するようにしてもよい。画像データ出力部１５からはネットワークを介してスマートフォンで実現されるユーザ端末３０に送信してもよい。

【0046】

被写体画像抽出手段２５は、１つの重複画像群から複数の被写体画像を抽出するようにしてもよい。例えば、領域距離が最小の撮影画像とその前後の撮影画像とすることもできる。そのような場合、画像データ出力部１５は、複数の被写体画像を表示装置１３またはユーザ端末３０に表示してユーザに選択を促す。そして、画像データ出力部１５は、ユーザの指示により選択された被写体画像をユーザ端末３０に送信する。上述のように、被写体画像は、何列目の座席であるかという情報と対応付けられている。このため、ユーザにより列順を指定されると、画像データ出力部１５は、その列順に対応した被写体画像を表示装置１３またはユーザ端末３０に表示することもできる。

【0047】

＜応用例＞
次に、応用例について説明する。応用例においては、ステップＳ６における被写体画像の抽出の処理が上記実施形態と異なる。図１５は、応用例を示す図である。本システムでは、上記のように各撮影画像に対して解析を行い、座席領域と設定領域の重複を判定し、座席領域と設定領域の所定点同士の距離を算出してもよい。しかし、全ての撮影画像に対して解析を行うと、システムの処理負荷が大きくなり、高速な処理が難しい。このため、応用例では、システムの処理負荷を軽減する対応を行っている。具体的には、図１３において説明したように、重複画像群の全ての撮影画像の中から、座席領域と設定領域の中心同士の距離が最小のものを被写体画像として抽出するのではなく、座席領域とを設定領域の中心同士の距離が増加に転じた時点で、その直前の撮影画像を被写体画像として抽出する。そして、その時点から所定間隔だけ移動した箇所から、撮影画像の解析を行う。すなわち、撮影順において所定間隔だけ後方に移動した箇所の撮影画像を次の処理対象とする。

【0048】

所定間隔としては、標準抽出間隔に所定の比率αを乗じた値とすることができる。この比率αは、任意に設定することができるが、０．５以上とすることが好ましく、０．８以上とすることがより好ましい。比率αが小さ過ぎると、処理を省略する撮影画像の数が少なく、処理負荷の軽減が十分に行えない。比率αが大き過ぎると、座席領域と設定領域の中心同士の距離が最小となるはずの撮影画像の処理をし損ねる恐れがある。例えば比率α＝０．９とした場合、９０％の撮影画像は処理しなくてよいことになり、システムの処理負荷が大きく軽減される。したがって、図１５に右向きの矢印で示した分だけ撮影画像を読み飛ばしたような状態になる。

【0049】

以上、本開示の好適な実施形態について説明したが、本開示は上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、処理装置１１としてコンピュータを用い、記憶装置に記憶された専用のプログラムをＣＰＵが実行することにより、人物領域推定手段、座席領域推定手段、重複確認手段、領域距離算出手段、被写体画像抽出手段、画像加工手段を実現するようにしたが、これらの各手段を演算回路としてハードウェアに組み込むようにしても良い。

【符号の説明】

【0050】

１０・・被写体画像抽出システム
１１・・・処理装置
１２・・・撮影装置
１３・・・表示装置
１４・・・プリンタ
１５・・・画像データ出力部
２１・・・人物領域推定手段
２２・・・座席領域推定手段
２３・・・重複確認手段
２４・・・領域距離算出手段
２５・・・被写体画像抽出手段
２６・・・画像加工手段
３０・・・ユーザ端末
４０・・被写体画像抽出装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】