ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-18
(45)【発行日】2024-11-26
(54)【発明の名称】撮像制御装置、撮像制御方法、プログラム、撮像装置
(51)【国際特許分類】
H04N 23/611 20230101AFI20241119BHJP
H04N 23/63 20230101ALI20241119BHJP
H04N 23/60 20230101ALI20241119BHJP
H04N 5/77 20060101ALI20241119BHJP
H04N 5/92 20060101ALI20241119BHJP
G03B 15/00 20210101ALI20241119BHJP
G02B 7/34 20210101ALI20241119BHJP
G02B 7/36 20210101ALI20241119BHJP
G03B 13/36 20210101ALI20241119BHJP
【ＦＩ】
H04N23/611
H04N23/63
H04N23/60 300
H04N5/77
H04N5/92 010
G03B15/00 Q
G02B7/34
G02B7/36
G03B13/36
【請求項の数】
20
(21)【出願番号】P 2021543957
(86)(22)【出願日】2020-06-12
(86)【国際出願番号】 JP2020023241
(87)【国際公開番号】W WO2021044692
(87)【国際公開日】2021-03-11
【審査請求日】2023-05-16
(31)【優先権主張番号】P 2019160511
(32)【優先日】2019-09-03
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110003410
【氏名又は名称】弁理士法人テクノピア国際特許事務所
(74)【代理人】
【識別番号】100116942
【弁理士】
【氏名又は名称】岩田 雅信
(74)【代理人】
【識別番号】100167704
【弁理士】
【氏名又は名称】中川 裕人
(72)【発明者】
【氏名】齋藤 太一
【審査官】高野 美帆子
(56)【参考文献】
【文献】特表２００３－５２０５２８（ＪＰ，Ａ）
【文献】特開２０１１－０８７１８３（ＪＰ，Ａ）
【文献】特開２００３－１６８０２１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／６１１
Ｈ０４Ｎ ２３／６３
Ｈ０４Ｎ ２３／６０
Ｈ０４Ｎ ５／７７
Ｈ０４Ｎ ５／９２
Ｇ０３Ｂ １５／００
Ｇ０２Ｂ ７／３４
Ｇ０２Ｂ ７／３６
Ｇ０３Ｂ １３／３６
(57)【特許請求の範囲】
【請求項1】
撮像装置の撮像部により得られる撮像画像データに基づいて、画像内で人によって紹介されている物品である紹介対象、及び画像内で前記紹介対象を紹介する人である対象紹介者をそれぞれ被写体として特定する特定部と、前記紹介対象と、前記対象紹介者と、前記撮像装置のうちの少なくともいずれか２つの位置関係に基づいて、前記紹介対象と前記対象紹介者の一方を対象被写体として選択する選択部と、
前記選択部で前記対象被写体として選択された被写体に対応した撮像制御を行う撮像制御部と、を備えた
撮像制御装置。
【請求項2】
前記選択部は、前記紹介対象と前記対象紹介者の位置関係に基づいて、前記紹介対象と前記対象紹介者の一方を前記対象被写体として選択する請求項１に記載の撮像制御装置。
【請求項3】
前記選択部は、前記紹介対象と前記撮像装置の位置関係に基づいて、前記紹介対象と前記対象紹介者の一方を前記対象被写体として選択する請求項１に記載の撮像制御装置。
【請求項4】
前記特定部は、前記撮像画像データに基づいて前記紹介対象を認識することで前記紹介対象を特定する請求項１に記載の撮像制御装置。
【請求項5】
前記特定部は、前記撮像画像データに基づいて前記対象紹介者の手を認識し、前記手の認識結果に基づいて、前記紹介対象を特定する請求項１に記載の撮像制御装置。
【請求項6】
前記特定部は、前記手を本来の紹介対象の代替として仮想的に前記紹介対象として特定する請求項５に記載の撮像制御装置。
【請求項7】
前記特定部は、前記手の状態に基づいて前記紹介対象を特定する請求項５に記載の撮像制御装置。
【請求項8】
前記選択部は、前記紹介対象と、前記対象紹介者の手の状態による前記紹介対象と前記対象紹介者の位置関係に基づいて、前記紹介対象と前記対象紹介者の一方を前記対象被写体として選択する請求項５に記載の撮像制御装置。
【請求項9】
前記手の状態とは、前記対象紹介者の手が紹介対象に触れている状態である請求項７に記載の撮像制御装置。
【請求項10】
前記手の状態とは、前記対象紹介者の手が紹介対象を指し示している状態である請求項７に記載の撮像制御装置。
【請求項11】
前記選択部は、前記位置関係である、前記紹介対象、前記対象紹介者及び前記撮像装置のうちの少なくともいずれか２つの間の距離関係に基づいて、前記紹介対象と前記対象紹介者の一方を対象被写体として選択する請求項１に記載の撮像制御装置。
【請求項12】
前記距離関係は、前記紹介対象と前記撮像装置の間の距離である請求項１１に記載の撮像制御装置。
【請求項13】
前記距離関係は、前記対象紹介者と前記紹介対象との間の距離である請求項１１に記載の撮像制御装置。
【請求項14】
前記距離関係は、前記対象紹介者と前記紹介対象と前記撮像装置の間の距離である請求項１１に記載の撮像制御装置。
【請求項15】
前記選択部は、前記紹介対象又は前記対象紹介者の少なくとも一方の領域が前記撮像画像データのフレーム全体に対して占める比率に基づいて前記距離関係を検出する請求項１１に記載の撮像制御装置。
【請求項16】
前記撮像装置と前記紹介対象との距離が所定の値より短い場合に、前記撮像制御が困難である制御困難状態であることを前記対象紹介者へ提示する提示制御を行う提示制御部をさらに備える請求項１に記載の撮像制御装置。
【請求項17】
前記選択部による選択結果に関連するメタデータを前記撮像画像データに関連付ける関連付け制御を行う関連付け制御部をさらに有する請求項１に記載の撮像制御装置。
【請求項18】
撮像部と、前記撮像部により得られる撮像画像データに基づいて、画像内で人によって紹介されている物品である紹介対象及び画像内で前記紹介対象を紹介する人である対象紹介者を特定する特定部と、
前記紹介対象と、前記対象紹介者と、撮像装置のうちの少なくともいずれか２つの位置関係に基づいて、前記紹介対象と前記対象紹介者の一方を対象被写体として選択する選択部と、
前記選択部で前記対象被写体として選択された被写体に対して撮像制御を行う撮像制御部と、を備えた
撮像装置。
【請求項19】
撮像装置の撮像部により得られる撮像画像データに基づいて、画像内で人によって紹介されている物品である紹介対象及び画像内で前記紹介対象を紹介する人である対象紹介者をそれぞれ被写体として特定する特定処理と、前記紹介対象と、前記対象紹介者と、前記撮像装置のうちの少なくともいずれか２つの位置関係に基づいて、前記紹介対象と前記対象紹介者の一方を対象被写体として選択する選択処理と、
前記選択処理で前記対象被写体として選択された被写体に対応した撮像制御を行う撮像制御処理とを含む
撮像制御方法。
【請求項20】
撮像装置の撮像部により得られる撮像画像データに基づいて、画像内で人によって紹介されている物品である紹介対象及び画像内で前記紹介対象を紹介する人である対象紹介者をそれぞれ被写体として特定する特定処理と、前記紹介対象と、前記対象紹介者と、前記撮像装置のうちの少なくともいずれか２つの位置関係に基づいて、前記紹介対象と前記対象紹介者の一方を対象被写体として選択する選択処理と、
前記選択処理で前記対象被写体として選択された被写体に対応した撮像制御を行う撮像制御処理と、
を撮像制御装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は撮像制御装置、撮像制御方法、プログラム、撮像装置に関し、特に被写体に応じた撮像制御についての技術に関する。
【背景技術】
【0002】
撮像装置で撮像した動画についてのフォーカス制御など、各種の撮像に関する処理を行う技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１８－３３０１３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで昨今は、ユーザがデジタルビデオカメラ、或いはスマートフォンなどの撮像装置により、自身で撮像した動画を動画投稿サイトやＳＮＳ（Social Networking Service）などへ投稿することが盛んに行われている。
このような環境下では、ユーザ自身が被写体となることが多く、ユーザ自身が撮像装置の操作をすることが難しいため、撮像装置の動作を適切に調整できないことがある。そこで、オートフォーカス等の自動機能を用いることが多いが、適切に動作させることが難しい場合があった。
そこで本開示では、撮像に関する機能を適切に動作させることができるようにする技術を提案する。
このような環境下では、ユーザ自身が被写体となることが多く、ユーザ自身が撮像装置の操作をすることが難しいため、撮像装置の動作を適切に調整できないことがある。そこで、オートフォーカス等の自動機能を用いることが多いが、適切に動作させることが難しい場合があった。
そこで本開示では、撮像に関する機能を適切に動作させることができるようにする技術を提案する。
【課題を解決するための手段】
【0005】
本技術に係る撮像制御装置は、撮像装置の撮像部により得られる撮像画像データに基づいて、画像内で人によって紹介されている物品である紹介対象及び画像内で前記紹介対象を紹介する人である対象紹介者をそれぞれ被写体として特定する特定部と、前記紹介対象と、前記対象紹介者と、前記撮像装置のうちの少なくともいずれか２つの位置関係に基づいて、前記紹介対象と前記対象紹介者の一方を対象被写体として選択する選択部と、前記選択部で前記対象被写体として選択された被写体に対応した撮像制御を行う撮像制御部とを備える。
紹介対象とは例えば被写体となっている物品、商品等であり、対象紹介者とは例えば被写体となっている人物などである。そして紹介対象と対象紹介者と撮像装置のうちのいずれか２つの位置関係によって紹介対象と対象紹介者のどちらが主たる被写体となっているかを推定して撮像制御を決める。
撮像制御としては、撮像部の撮像動作に関する制御として、例えばオートフォーカス制御、ＡＥ（Auto Exposure）制御（絞り制御、ＳＳ（Shutter Speed）制御、ゲイン制御）などが想定される。また撮像制御としては、撮像画像データに対する画像処理の制御も考えられ、例えばホワイトバランス処理、コントラスト調整処理などの信号処理制御も想定される。
なお、紹介対象と、対象紹介者と、撮像装置のうちの少なくともいずれか２つの位置関係とは、対象紹介者と紹介対象の位置関係、紹介対象と撮像装置の位置関係、撮像装置と対象紹介者の位置関係、又は対象紹介者と紹介対象と撮像装置の位置関係などが想定される。
紹介対象とは例えば被写体となっている物品、商品等であり、対象紹介者とは例えば被写体となっている人物などである。そして紹介対象と対象紹介者と撮像装置のうちのいずれか２つの位置関係によって紹介対象と対象紹介者のどちらが主たる被写体となっているかを推定して撮像制御を決める。
撮像制御としては、撮像部の撮像動作に関する制御として、例えばオートフォーカス制御、ＡＥ（Auto Exposure）制御（絞り制御、ＳＳ（Shutter Speed）制御、ゲイン制御）などが想定される。また撮像制御としては、撮像画像データに対する画像処理の制御も考えられ、例えばホワイトバランス処理、コントラスト調整処理などの信号処理制御も想定される。
なお、紹介対象と、対象紹介者と、撮像装置のうちの少なくともいずれか２つの位置関係とは、対象紹介者と紹介対象の位置関係、紹介対象と撮像装置の位置関係、撮像装置と対象紹介者の位置関係、又は対象紹介者と紹介対象と撮像装置の位置関係などが想定される。
【0006】
上記した本技術に係る撮像制御装置においては、前記選択部は、前記紹介対象と前記対象紹介者の位置関係に基づいて、前記紹介対象と前記対象紹介者の一方を前記対象被写体として選択することが考えられる。
紹介対象と対象紹介者の位置関係によって、シーンや状況が推定できる場合があるためそれを利用して対象被写体を選択する。
紹介対象と対象紹介者の位置関係によって、シーンや状況が推定できる場合があるためそれを利用して対象被写体を選択する。
【0007】
上記した本技術に係る撮像制御装置においては、前記選択部は、前記紹介対象と前記撮像装置の位置関係に基づいて、前記紹介対象と前記対象紹介者の一方を前記対象被写体として選択することが考えられる。
紹介対象と撮像装置の位置関係によって、シーンや状況が推定できる場合があるためそれを利用して対象被写体を選択する。
紹介対象と撮像装置の位置関係によって、シーンや状況が推定できる場合があるためそれを利用して対象被写体を選択する。
【0008】
上記した本技術に係る撮像制御装置においては、前記特定部は、前記撮像画像データに基づいて前記紹介対象を認識することで前記紹介対象を特定することが考えられる。
つまり紹介対象となる物品等を画像認識により直接特定する。
つまり紹介対象となる物品等を画像認識により直接特定する。
【0009】
上記した本技術に係る撮像制御装置においては、前記特定部は、前記撮像画像データに基づいて前記対象紹介者の手を認識し、前記手の認識結果に基づいて、前記紹介対象を特定することが考えられる。
例えば紹介対象が直接特定できなくとも、或いは直接特定しないで、手の認識結果に基づいて間接的に紹介対象を特定することができる。
例えば紹介対象が直接特定できなくとも、或いは直接特定しないで、手の認識結果に基づいて間接的に紹介対象を特定することができる。
【0010】
上記した本技術に係る撮像制御装置においては、前記特定部は、前記手を本来の紹介対象の代替として仮想的に前記紹介対象として特定することが考えられる。
例えば手で紹介対象を持っている場合などを想定する場合、手の認識により紹介対象を特定できる。
例えば手で紹介対象を持っている場合などを想定する場合、手の認識により紹介対象を特定できる。
【0011】
上記した本技術に係る撮像制御装置においては、前記特定部は、前記手の状態に基づいて前記紹介対象を特定することが考えられる。
例えば対象紹介者の身体の一部である手が物品等を持つ、つまむ、掴む等の状態となることで紹介対象を特定する。
例えば対象紹介者の身体の一部である手が物品等を持つ、つまむ、掴む等の状態となることで紹介対象を特定する。
【0012】
上記した本技術に係る撮像制御装置においては、前記選択部は、前記紹介対象と、前記対象紹介者の手の状態による前記紹介対象と前記対象紹介者の位置関係に基づいて、前記紹介対象と前記対象紹介者の一方を前記対象被写体として選択することが考えられる。
この場合も手の状態とは、例えば対象紹介者の身体の一部である手が物品等を持つ、つまむ、掴む等の状態であり、これらの状態に伴う位置関係に基づいて対象被写体の選択を行う。
この場合も手の状態とは、例えば対象紹介者の身体の一部である手が物品等を持つ、つまむ、掴む等の状態であり、これらの状態に伴う位置関係に基づいて対象被写体の選択を行う。
【0013】
上記した本技術に係る撮像制御装置においては、前記手の状態とは、前記対象紹介者の手が紹介対象に触れている状態であることが考えられる。
物品等に手で触れていることで、その物品等を紹介対象として特定する。
物品等に手で触れていることで、その物品等を紹介対象として特定する。
【0014】
上記した本技術に係る撮像制御装置においては、前記手の状態とは、前記対象紹介者の手が紹介対象を指し示している状態であることが考えられる。
物品等に対して手で指し示していることで、その物品等を紹介対象として特定する。
物品等に対して手で指し示していることで、その物品等を紹介対象として特定する。
【0015】
上記した本技術に係る撮像制御装置においては、前記選択部は、前記位置関係である、前記紹介対象、前記対象紹介者及び前記撮像装置のうちの少なくともいずれか２つの間の距離関係に基づいて、前記紹介対象と前記対象紹介者の一方を対象被写体として選択することが考えられる。
位置関係は、それぞれの間の距離関係と考えることができる。この場合、距離関係やその変化などにより、紹介対象と対象紹介者のどちらが主たる被写体となっているかを推定して撮像制御を決める。
位置関係は、それぞれの間の距離関係と考えることができる。この場合、距離関係やその変化などにより、紹介対象と対象紹介者のどちらが主たる被写体となっているかを推定して撮像制御を決める。
【0016】
上記した本技術に係る撮像制御装置においては、前記距離関係は、前記紹介対象と前記撮像装置の間の距離であることが考えられる。
紹介対象と撮像装置の距離関係によって、シーンや状況が推定できる場合があるためそれを利用して対象被写体を選択する。
紹介対象と撮像装置の距離関係によって、シーンや状況が推定できる場合があるためそれを利用して対象被写体を選択する。
【0017】
上記した本技術に係る撮像制御装置においては、前記距離関係は、前記対象紹介者と前記紹介対象との間の距離であることが考えられる。
紹介対象と対象紹介者の距離関係によって、シーンや状況が推定できる場合があるためそれを利用して対象被写体を選択する。
紹介対象と対象紹介者の距離関係によって、シーンや状況が推定できる場合があるためそれを利用して対象被写体を選択する。
【0018】
上記した本技術に係る撮像制御装置においては、前記距離関係は、前記対象紹介者と前記紹介対象と前記撮像装置の間の距離であることが考えられる。
紹介対象と対象紹介者と撮像装置のそれぞれの距離関係によっても、シーンや状況が推定できる場合があるため、それを利用して対象被写体を選択する。
紹介対象と対象紹介者と撮像装置のそれぞれの距離関係によっても、シーンや状況が推定できる場合があるため、それを利用して対象被写体を選択する。
【0019】
上記した本技術に係る撮像制御装置においては、前記選択部は、前記紹介対象又は前記対象紹介者の少なくとも一方の領域が前記撮像画像データのフレーム全体に対して占める比率に基づいて前記距離関係を検出することが考えられる。
例えば、紹介対象の撮像画像上で占める比率が所定よりも大きい状態となることをもって、紹介対象を対象被写体と判定し、撮像制御を実行する。
例えば、紹介対象の撮像画像上で占める比率が所定よりも大きい状態となることをもって、紹介対象を対象被写体と判定し、撮像制御を実行する。
【0020】
上記した本技術に係る撮像制御装置においては、前記撮像装置と前記紹介対象との距離が所定の値より短い場合に、前記撮像制御が困難である制御困難状態であることを前記対象紹介者へ提示する提示制御を行う提示制御部をさらに備えることが考えられる。
例えば被写体が近すぎて適切に撮像できない状態をユーザに通知できるようにする。
例えば被写体が近すぎて適切に撮像できない状態をユーザに通知できるようにする。
【0021】
上記した本技術に係る撮像制御装置においては、前記選択部による選択結果に関連するメタデータを前記撮像画像データに関連付ける関連付け制御を行う関連付け制御部をさらに有することが考えられる。
例えばメタデータにより撮像制御の対象として対象被写体がいずれであるかが、後の再生時等の時点でも確認できるようにする。
例えばメタデータにより撮像制御の対象として対象被写体がいずれであるかが、後の再生時等の時点でも確認できるようにする。
【0022】
本技術の撮像装置は撮像部と以上の撮像制御装置を有する。例えば撮像装置内の情報処理装置が撮像制御装置として機能する。
【0023】
本技術の撮像方法は、撮像装置の撮像部により得られる撮像画像データに基づいて、画像内で人によって紹介されている物品である紹介対象及び画像内で前記紹介対象を紹介する人である対象紹介者をそれぞれ被写体として特定する特定処理と、前記紹介対象と、前記対象紹介者と、前記撮像装置のうちの少なくともいずれか２つの位置関係に基づいて、前記紹介対象と前記対象紹介者の一方を対象被写体として選択する選択処理と、前記選択部で前記対象被写体として選択された被写体に対応した撮像制御を行う撮像制御処理とを含む撮像方法である。これにより撮像時に撮像制御の対象とすべき被写体を適切に設定できるようにする。
【0024】
本技術に係るプログラムは、このような撮像制御方法に相当する処理を撮像制御装置に実行させるプログラムである。これにより情報処理装置、マイクロコンピュータ等により上述の撮像制御装置の実現を可能とする。
【図面の簡単な説明】
【0025】
【図1】本技術の実施の形態で用いられる機器の説明図である。
【図2】実施の形態の撮像装置のブロック図である。
【図3】実施の形態のコンピュータ装置のブロック図である。
【図4】第１の実施の形態のシーン判定の第１の説明図である。
【図5】第１の実施の形態のシーン判定の第２の説明図である。
【図6】第２の実施の形態のシーン判定の第１の説明図である。
【図7】第２の実施の形態のシーン判定の第２の説明図である。
【図8】第３の実施の形態のシーン判定の第１の説明図である。
【図9】第３の実施の形態のシーン判定の第２の説明図である。
【図10】第３の実施の形態のシーン判定の第３の説明図である。
【図11】第３の実施の形態のシーン判定の第４の説明図である。
【図12】第４の実施の形態のシーン判定の第１の説明図である。
【図13】第４の実施の形態のシーン判定の第２の説明図である。
【図14】各実施の形態の処理例のフローチャートである。
【図15】実施の形態の撮像制御の一例を示す図である。
【図16】実施の形態の撮像制御の一例を示す図である。
【図17】第１の実施の形態の処理例のフローチャートである。
【図18】第２の実施の形態の処理例のフローチャートである。
【図19】第３の実施の形態の処理例のフローチャートである。
【図20】第３の実施の形態の変型例の処理例のフローチャートである。
【図21】第４の実施の形態の処理例のフローチャートである。
【発明を実施するための形態】
【0026】
以下、実施の形態を次の順序で説明する。
＜１．撮像制御装置として適用できる機器の構成＞
＜２．撮像装置の構成＞
＜３．シーン判定及び撮像に関する制御の概要＞
＜４．各実施の形態を実現するための処理＞
＜５．まとめ及び変形例＞
なお、一度説明した内容、構造については、以下同一符号を付し、説明を省略するものとする。
＜１．撮像制御装置として適用できる機器の構成＞
＜２．撮像装置の構成＞
＜３．シーン判定及び撮像に関する制御の概要＞
＜４．各実施の形態を実現するための処理＞
＜５．まとめ及び変形例＞
なお、一度説明した内容、構造については、以下同一符号を付し、説明を省略するものとする。
【0027】
本技術は、動画の撮像により得られる撮像画像データに基づいて紹介対象及び当該紹介対象を紹介する対象紹介者を特定する。そして例えば、紹介対象と、対象紹介者と、撮像装置のうちの、少なくともいずれか２つの位置関係に基づいて、紹介対象と対象紹介者の一方を対象被写体として選択する。この対象被写体として選択された被写体の領域に適した撮像制御を行うものである。
本実施の形態では、一例として動画投稿サイトやＳＮＳ等に投稿される動画の撮像において、紹介対象又は対象紹介者の画像領域について適切な撮像制御を行う撮像装置について説明する。
ここでは、投稿される動画の一例として、動画投稿者が商品を紹介する商品レビュー動画を例に挙げて説明する。
本実施の形態では、一例として動画投稿サイトやＳＮＳ等に投稿される動画の撮像において、紹介対象又は対象紹介者の画像領域について適切な撮像制御を行う撮像装置について説明する。
ここでは、投稿される動画の一例として、動画投稿者が商品を紹介する商品レビュー動画を例に挙げて説明する。
【0028】
そして商品レビュー動画においては、撮像装置により、紹介対象となる商品と当該商品を紹介する対象紹介者が撮像される。対象紹介者は、主に動画投稿者であり、商品レビュー動画において自身で商品を紹介する者である。
本実施の形態では、撮像装置を固定した状態で対象紹介者が自分撮りにより商品レビュー動画の撮像を行う場面が想定されている。
ここで紹介対象とは物品をいい、本実施の形態では物品の一例として商品について説明する。なお、ここでいう物品は商取引の対象とならないものであってもよく、例えば自身で創作した著作物等であってもよい。
本実施の形態では、撮像装置を固定した状態で対象紹介者が自分撮りにより商品レビュー動画の撮像を行う場面が想定されている。
ここで紹介対象とは物品をいい、本実施の形態では物品の一例として商品について説明する。なお、ここでいう物品は商取引の対象とならないものであってもよく、例えば自身で創作した著作物等であってもよい。
【0029】
また実施の形態では、商品レビュー動画は、パフォーマンスシーンと商品紹介シーンから構成されることを想定する。
パフォーマンスシーンは、対象紹介者の自己紹介や商品概要の説明等、対象紹介者のパフォーマンスの撮像を目的とするシーンであり、商品紹介シーンは、商品の形状や動作、商品の実際の使用方法等の撮像を目的とするシーンである。
本実施の形態の撮像装置は、商品レビュー動画がパフォーマンスシーン又は商品紹介シーンの何れであるかを、例えば紹介対象と対象紹介者と撮像装置のうちの少なくともいずれか２つの位置関係に基づいて判定し、各シーンに応じて対象被写体を選択する。そして選択した対象被写体に応じた撮像制御を行う。
パフォーマンスシーンは、対象紹介者の自己紹介や商品概要の説明等、対象紹介者のパフォーマンスの撮像を目的とするシーンであり、商品紹介シーンは、商品の形状や動作、商品の実際の使用方法等の撮像を目的とするシーンである。
本実施の形態の撮像装置は、商品レビュー動画がパフォーマンスシーン又は商品紹介シーンの何れであるかを、例えば紹介対象と対象紹介者と撮像装置のうちの少なくともいずれか２つの位置関係に基づいて判定し、各シーンに応じて対象被写体を選択する。そして選択した対象被写体に応じた撮像制御を行う。
【0030】
＜１．撮像制御装置として適用できる機器の構成＞
以下では、主に撮像装置により本開示に係る撮像制御装置が実現される例を説明する。本開示の実施の形態の撮像制御装置は、各種の機器、特に撮像装置に内蔵される形態をとる。
以下では、主に撮像装置により本開示に係る撮像制御装置が実現される例を説明する。本開示の実施の形態の撮像制御装置は、各種の機器、特に撮像装置に内蔵される形態をとる。
【0031】
図１は、撮像装置１となりうる機器の例を示している。
撮像装置１となりうる機器は、動画の撮像機能を有する機器であり、デジタルビデオカメラ１Ａやデジタルスチルカメラ１Ｂ、或いはスマートフォン等の携帯端末１Ｃなどが想定される。例えば上記に挙げた撮像装置１に撮像制御装置が組み込まれている。
なお、撮像装置１は上記に挙げた例に限られることはなく、撮像制御装置を含みうる機器や撮像制御装置の制御対象となる機器であればよく、他にも各種考えられる。また、撮像制御装置は、撮像装置１に組み込まれている他、別体として設けられていてもよい。
撮像装置１となりうる機器は、動画の撮像機能を有する機器であり、デジタルビデオカメラ１Ａやデジタルスチルカメラ１Ｂ、或いはスマートフォン等の携帯端末１Ｃなどが想定される。例えば上記に挙げた撮像装置１に撮像制御装置が組み込まれている。
なお、撮像装置１は上記に挙げた例に限られることはなく、撮像制御装置を含みうる機器や撮像制御装置の制御対象となる機器であればよく、他にも各種考えられる。また、撮像制御装置は、撮像装置１に組み込まれている他、別体として設けられていてもよい。
【0032】
撮像装置１では、当該撮像装置１の内部のマイクロコンピュータ等が撮像制御を行う。
撮像制御とは、撮像装置１の撮像に関する制御をいい、例えば被写体光を撮像部のイメージセンサ（撮像素子）に集光させるための光学系や受光動作に関する制御である撮像動作制御や、撮像画像データに対する信号処理に対する制御である撮像画像処理制御のことである。
撮像動作制御には、例えばオートフォーカス制御、ＡＥ制御（絞り制御、ＳＳ制御、ゲイン制御）、ズーム制御などが想定される。
また撮像画像処理制御には、例えばホワイトバランス処理制御、コントラスト調整処理制御、画像エフェクト処理制御などが想定される。
撮像装置１では、これらの撮像動作制御、撮像画像処理制御に応じて受光・撮像動作や画像信号処理が行われ、撮像画像が出力される。すなわち撮像画像は記録媒体に記録されたり、表示部で表示されたりする。
撮像制御とは、撮像装置１の撮像に関する制御をいい、例えば被写体光を撮像部のイメージセンサ（撮像素子）に集光させるための光学系や受光動作に関する制御である撮像動作制御や、撮像画像データに対する信号処理に対する制御である撮像画像処理制御のことである。
撮像動作制御には、例えばオートフォーカス制御、ＡＥ制御（絞り制御、ＳＳ制御、ゲイン制御）、ズーム制御などが想定される。
また撮像画像処理制御には、例えばホワイトバランス処理制御、コントラスト調整処理制御、画像エフェクト処理制御などが想定される。
撮像装置１では、これらの撮像動作制御、撮像画像処理制御に応じて受光・撮像動作や画像信号処理が行われ、撮像画像が出力される。すなわち撮像画像は記録媒体に記録されたり、表示部で表示されたりする。
【0033】
以上のように実施の形態の撮像制御装置として機能する装置は多様であるが、以下では、デジタルビデオカメラ１Ａとしての撮像装置１が、本開示の撮像制御装置として実現される例について説明する。
【0034】
＜２．撮像装置の構成＞
撮像装置１としてのデジタルビデオカメラ１Ａの構成例を図２を参照して説明する。
図２に示すように撮像装置１は、光学系１１、ドライバ部１２、撮像部１３、カメラ信号処理部１６、記録制御部１７、提示部１８、出力部１９、操作部２０、カメラ制御部２１、メモリ部２３、センサ部２４を有する。
撮像装置１としてのデジタルビデオカメラ１Ａの構成例を図２を参照して説明する。
図２に示すように撮像装置１は、光学系１１、ドライバ部１２、撮像部１３、カメラ信号処理部１６、記録制御部１７、提示部１８、出力部１９、操作部２０、カメラ制御部２１、メモリ部２３、センサ部２４を有する。
【0035】
光学系１１は、ズームレンズ、フォーカスレンズ等のレンズや絞り機構などを備える。この光学系１１により、被写体からの光（入射光）が導かれ撮像部１３に集光される。
【0036】
ドライバ部１２には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構駆動モータに対するモータドライバ、シャッター駆動モータに対するシャッタードライバ等が設けられている。
ドライバ部１２は、カメラ制御部２１やカメラ信号処理部１６からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉、シャッター動作等を実行させる。
ドライバ部１２は、カメラ制御部２１やカメラ信号処理部１６からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉、シャッター動作等を実行させる。
【0037】
絞り機構は絞り機構駆動モータによって駆動され、後述する撮像部１３への入射光量を制御する。フォーカスレンズはフォーカスレンズ駆動モータによって駆動され、焦点調節に用いられる。ズームレンズはズームレンズ駆動モータによって駆動され、ズームの調節に用いられる。シャッター機構はシャッター駆動モータによって駆動され、シャッター動作が行われる。
【0038】
撮像部１３は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型などのイメージセンサ１４（撮像素子）を有して構成される。イメージセンサ１４は、被写体の画像を撮像するための撮像画素と、被写体の光像の位相差を検出するための像面位相差画素とから構成される。なお、イメージセンサ１４は位相差画素を含んでいなくてもよい。
【0039】
撮像部１３では、イメージセンサ１４で受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。撮像部１３は、デジタルデータとしての撮像信号を、カメラ信号処理部１６やカメラ制御部２１に出力する。
【0040】
イメージセンサ１４は複数の撮像画素を含み、それぞれの撮像画素は受光した光の強度に応じた電荷を蓄える。
イメージセンサ１４は、例えばベイヤー配列のカラーフィルタにより覆われていてもよい。これらの撮像画素群が受光した光を光電変換して得た電気信号から撮像信号を読み出すことができる。
イメージセンサ１４は、撮像信号をカメラ信号処理部１６やカメラ制御部２１に出力する。
イメージセンサ１４は、例えばベイヤー配列のカラーフィルタにより覆われていてもよい。これらの撮像画素群が受光した光を光電変換して得た電気信号から撮像信号を読み出すことができる。
イメージセンサ１４は、撮像信号をカメラ信号処理部１６やカメラ制御部２１に出力する。
【0041】
イメージセンサ１４は像面位相差画素を含んでいてもよく、像面位相差画素は位相差情報を検出する。像面位相差画素は一対の位相差信号を検出し、撮像部１３は、像面位相差画素により検出した一対の位相差信号を出力する。当該位相差信号は例えば撮像装置１から紹介対象や対象紹介者までの距離を算出するための相関演算に用いられる。
なお、必ずしもイメージセンサ１４に像面位相差画素を設ける必要はない。撮像装置１から紹介対象である商品や対象紹介者までの距離を算出するためにはイメージセンサ１４とは別に配置した専用位相差センサやＴＯＦ（Time of Flight）センサなどを用いてもよい。また撮像装置１から商品や対象紹介者までの距離については、距離そのものを検出するだけでなく、距離に相当する値を求めるようにしてもよい。例えば撮像された画像内での商品や対象紹介者の領域サイズ（領域に含まれる画素数）や、フォーカスレンズの位置情報などは、撮像装置１からの距離を間接的に表す情報となる。
なお、必ずしもイメージセンサ１４に像面位相差画素を設ける必要はない。撮像装置１から紹介対象である商品や対象紹介者までの距離を算出するためにはイメージセンサ１４とは別に配置した専用位相差センサやＴＯＦ（Time of Flight）センサなどを用いてもよい。また撮像装置１から商品や対象紹介者までの距離については、距離そのものを検出するだけでなく、距離に相当する値を求めるようにしてもよい。例えば撮像された画像内での商品や対象紹介者の領域サイズ（領域に含まれる画素数）や、フォーカスレンズの位置情報などは、撮像装置１からの距離を間接的に表す情報となる。
【0042】
撮像部１３は、位相差信号をカメラ信号処理部１６やカメラ制御部２１に出力する。
カメラ信号処理部１６は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。
カメラ信号処理部１６は、撮像部１３からのデジタル信号（撮像画像信号）に対して、各種の信号処理を施す。例えばカメラ信号処理部１６は、前処理、同時化処理、ＹＣ生成処理、各種補正処理、解像度変換処理、コーデック処理等を行う。
カメラ信号処理部１６は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。
カメラ信号処理部１６は、撮像部１３からのデジタル信号（撮像画像信号）に対して、各種の信号処理を施す。例えばカメラ信号処理部１６は、前処理、同時化処理、ＹＣ生成処理、各種補正処理、解像度変換処理、コーデック処理等を行う。
【0043】
前処理では、撮像部１３からの撮像画像信号に対して、Ｒ，Ｇ，Ｂの黒レベルを所定の信号レベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を行う。
同時化処理では、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
ＹＣ生成処理では、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
解像度変換処理では、各種の信号処理をする前又は信号処理が施された画像データに対して、解像度変換処理を実行する。
同時化処理では、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
ＹＣ生成処理では、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
解像度変換処理では、各種の信号処理をする前又は信号処理が施された画像データに対して、解像度変換処理を実行する。
【0044】
カメラ信号処理部１６におけるコーデック処理では、以上の各種処理が施された画像データについて、例えば記録用や通信用の符号化処理、ファイル生成を行う。例えばＭＰＥＧ－４準拠の動画・音声の記録に用いられているＭＰ４フォーマットなどとしての画像ファイルＭＦの生成を行う。また静止画ファイルとしてＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）等の形式のファイル生成を行うことも考えられる。
【0045】
なお、カメラ信号処理部１６は、カメラ制御部２１から送信されたメタデータを画像ファイルに付加する処理を行う。
メタデータとしては、カメラ信号処理部１６における各種処理のパラメータや後述するセンサ部２４で得られた検出情報が含まれ、例えば動画を構成する各フレームに対応して付加されたり、動画全体に対応して付加されたり、或いはシーン単位などの所定の単に対応して付加されたりする。
本実施の形態の場合、カメラ制御部２１（撮像制御装置２２）は、後述のように商品紹介シーンとパフォーマンスシーンの識別に応じた制御を行うことになるが、それに関連するメタデータも生成され、画像ファイルに付加されることが想定される。
具体的には、各フレームについて商品紹介シーンとパフォーマンスシーンのいずれであるかを示す情報、シーンの識別が成功しているか未識別かを示す情報、紹介対象や対象紹介者の特定の有無の情報、特定された紹介対象や対象紹介者の画像内の領域を示す情報、エラーフラグ（図１８等で後述）などがメタデータとして付加されることが考えられる。
なお、ここではカメラ信号処理部１６でメタデータ付加の処理を行う例で説明しているが、メタデータ付加の処理を記録制御部１７や出力部１９で行う例も考えられる。
メタデータとしては、カメラ信号処理部１６における各種処理のパラメータや後述するセンサ部２４で得られた検出情報が含まれ、例えば動画を構成する各フレームに対応して付加されたり、動画全体に対応して付加されたり、或いはシーン単位などの所定の単に対応して付加されたりする。
本実施の形態の場合、カメラ制御部２１（撮像制御装置２２）は、後述のように商品紹介シーンとパフォーマンスシーンの識別に応じた制御を行うことになるが、それに関連するメタデータも生成され、画像ファイルに付加されることが想定される。
具体的には、各フレームについて商品紹介シーンとパフォーマンスシーンのいずれであるかを示す情報、シーンの識別が成功しているか未識別かを示す情報、紹介対象や対象紹介者の特定の有無の情報、特定された紹介対象や対象紹介者の画像内の領域を示す情報、エラーフラグ（図１８等で後述）などがメタデータとして付加されることが考えられる。
なお、ここではカメラ信号処理部１６でメタデータ付加の処理を行う例で説明しているが、メタデータ付加の処理を記録制御部１７や出力部１９で行う例も考えられる。
【0046】
また図２では音声処理系については図示を省略しているが、実際には音声収録系、音声処理系を有し、画像ファイルには動画としての画像データとともに音声データが含まれていてもよい。
音声収録を行う場合には、図示しないマイクロフォン等の音声入力部より入力された音声信号が音声処理系においてデジタル音声信号に変換された後、カメラ制御部２１に送られる。カメラ制御部２１は、該デジタル音声信号を画像信号と対応付けて例えば不揮発性メモリによる記録媒体に記録させる制御を行う。
音声収録を行う場合には、図示しないマイクロフォン等の音声入力部より入力された音声信号が音声処理系においてデジタル音声信号に変換された後、カメラ制御部２１に送られる。カメラ制御部２１は、該デジタル音声信号を画像信号と対応付けて例えば不揮発性メモリによる記録媒体に記録させる制御を行う。
【0047】
記録制御部１７は、例えば不揮発性メモリによる記録媒体に対して記録再生を行う。記録制御部１７は例えば記録媒体に対し動画データや静止画データ等の画像ファイルやサムネイル画像等を記録する処理を行う。
なお、記録制御部１７は、撮像制御装置２２に設けられていてもよい。
なお、記録制御部１７は、撮像制御装置２２に設けられていてもよい。
【0048】
記録制御部１７の実際の形態は多様に考えられる。例えば記録制御部１７は、撮像装置１に内蔵されるフラッシュメモリとその書込／読出回路として構成されてもよいし、撮像装置１に着脱できる記録媒体、例えばメモリカード（可搬型のフラッシュメモリ等）に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。
【0049】
提示部１８は撮像者に対して各種表示を行う表示部を有し、表示部は、例えば撮像装置１の筐体に配置される液晶パネル（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスによる表示パネルやビューファインダーとされる。
また提示部１８はスピーカー等の音声出力部を有し、カメラ制御部２１により読み出されたデジタル音声信号は、カメラ信号処理部１６により音声信号に変換した後、音声出力部により出力される。
また提示部１８はスピーカー等の音声出力部を有し、カメラ制御部２１により読み出されたデジタル音声信号は、カメラ信号処理部１６により音声信号に変換した後、音声出力部により出力される。
【0050】
提示部１８における表示部は、カメラ制御部２１の指示に基づいて表示画面上に各種表示を実行させる。例えば、カメラ信号処理部１６で表示用に解像度変換された撮像画像データが供給され、表示部はカメラ制御部２１の指示に応じて、当該撮像画像データに基づいて表示を行う。これによりスタンバイ中や記録中の撮像画像である、いわゆるスルー画（被写体のモニタリング画像）が表示される。
また表示部は、記録制御部１７において記録媒体から読み出された撮像画像データの再生画像を表示させる。
表示部はカメラ制御部２１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。
また表示部は、記録制御部１７において記録媒体から読み出された撮像画像データの再生画像を表示させる。
表示部はカメラ制御部２１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。
【0051】
出力部１９は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
例えば外部の表示装置、記録装置、再生装置等に対して撮像画像データ（静止画ファイルや動画ファイル）の送信出力を行う。
また出力部１９はネットワーク通信部であるとして、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
例えば外部の表示装置、記録装置、再生装置等に対して撮像画像データ（静止画ファイルや動画ファイル）の送信出力を行う。
また出力部１９はネットワーク通信部であるとして、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
【0052】
操作部２０は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部２０は撮像装置１の筐体に設けられた各種の操作子（キー、ダイヤル、タッチパネル、タッチパッド等）を示している。
操作部２０によりユーザの操作が検出され、入力された操作に応じた信号はカメラ制御部２１へ送られる。
操作部２０によりユーザの操作が検出され、入力された操作に応じた信号はカメラ制御部２１へ送られる。
【0053】
カメラ制御部２１はＣＰＵ（Central Processing Unit）を備えたマイクロコンピュータ（演算処理装置）により構成される。
メモリ部２３は、カメラ制御部２１が処理に用いる情報等を記憶する。図示するメモリ部２３としては、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなど包括的に示している。
メモリ部２３はカメラ制御部２１としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
カメラ制御部２１はメモリ部２３のＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１の全体を制御する。
例えばカメラ制御部２１は、撮像部１３のシャッタースピードの制御、カメラ信号処理部１６における各種信号処理の指示、レンズ情報の取得、ユーザの操作に応じた撮像動作や記録動作、動画記録の開始／終了制御、記録した画像ファイルの再生動作、レンズ鏡筒におけるズーム、フォーカス、露光調整等のカメラ動作、ユーザインタフェース動作等について、必要各部の動作を制御する。
メモリ部２３は、カメラ制御部２１が処理に用いる情報等を記憶する。図示するメモリ部２３としては、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなど包括的に示している。
メモリ部２３はカメラ制御部２１としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
カメラ制御部２１はメモリ部２３のＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１の全体を制御する。
例えばカメラ制御部２１は、撮像部１３のシャッタースピードの制御、カメラ信号処理部１６における各種信号処理の指示、レンズ情報の取得、ユーザの操作に応じた撮像動作や記録動作、動画記録の開始／終了制御、記録した画像ファイルの再生動作、レンズ鏡筒におけるズーム、フォーカス、露光調整等のカメラ動作、ユーザインタフェース動作等について、必要各部の動作を制御する。
【0054】
メモリ部２３におけるＲＡＭは、カメラ制御部２１のＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
メモリ部２３におけるＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。
メモリ部２３におけるＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。
【0055】
カメラ制御部２１は撮像制御装置２２としての機能を有する。撮像制御装置２２は例えば特定部２２ａ、選択部２２ｂ、撮像制御部２２ｃ、提示制御部２２ｄ、関連付け制御部２２ｅとしての機能を有するものとされる。これらの機能はマイクロコンピュータ等としてのカメラ制御部２１においてソフトウエア（アプリケーションプログラム）によって実現される。
【0056】
特定部２２ａは、撮像装置１の撮像部１３により得られる撮像画像データに基づいて、被写体である商品及び当該紹介対象を紹介する対象紹介者を特定する処理を行う。例えば特定部２２ａは、取得した撮像画像データの解析処理を行うことにより商品や対象紹介者の顔を特定する。
ここでいう商品の特定には、撮像画像データ内に映っている被写体から検出された商品から紹介対象となる商品を選択するものだけでなく、例えば、対象紹介者の手の位置や状態等により、商品の位置を推定することも含まれる。
ここでいう商品の特定には、撮像画像データ内に映っている被写体から検出された商品から紹介対象となる商品を選択するものだけでなく、例えば、対象紹介者の手の位置や状態等により、商品の位置を推定することも含まれる。
【0057】
選択部２２ｂは、紹介対象である商品と、対象紹介者と、撮像装置１について、例えばいずれか２つの位置関係に基づいて商品と対象紹介者の一方を対象被写体として選択する。より具体的には選択部２２ｂは、この対象被写体の選択のためにシーン判定、即ち現在動画撮像中のシーンがパフォーマンスシーンと商品紹介シーンのいずれであるかの判定を行い、判定したシーンに応じて商品と対象紹介者の一方を対象被写体として選択する。
本開示では、商品、対象紹介者及び撮像装置１の間の位置関係を被写体位置関係と呼ぶが、被写体位置関係は、例えば撮像装置１と商品の距離、商品と対象紹介者の距離、撮像装置１と対象紹介者の距離などに基づいて決定される。
なお、距離は距離そのものでなくともよく、距離と相関のある値を用いても良い。例えば、商品又は対象紹介者の領域が撮像画像のフレーム全体に対して占める比率を距離に相当する値として用いても良い。また、フォーカスレンズの位置情報等を距離に相当する情報として用いても良い。
本開示では、商品、対象紹介者及び撮像装置１の間の位置関係を被写体位置関係と呼ぶが、被写体位置関係は、例えば撮像装置１と商品の距離、商品と対象紹介者の距離、撮像装置１と対象紹介者の距離などに基づいて決定される。
なお、距離は距離そのものでなくともよく、距離と相関のある値を用いても良い。例えば、商品又は対象紹介者の領域が撮像画像のフレーム全体に対して占める比率を距離に相当する値として用いても良い。また、フォーカスレンズの位置情報等を距離に相当する情報として用いても良い。
【0058】
撮像制御部２２ｃは、選択部２２ｂで対象被写体として選択された被写体の領域に適した撮像制御を行う。例えば撮像制御部２２ｃは、対象被写体の領域に適したオートフォーカス制御等の撮像動作制御やホワイトバランス処理制御等の撮像画像処理制御を行う。
【0059】
提示制御部２２ｄは、撮像装置１と商品との距離が所定の値より短い場合に、撮像制御が困難である制御困難状態であることを対象紹介者へ提示する提示制御を行う。例えば提示制御部２２ｄは、状況に応じて、提示部１８における表示部でのメッセージ、アイコン等の出力、警告ランプの点灯や点滅などの実行制御を行うことが想定される。
【0060】
関連付け制御部２２ｅは、選択部２２ｂによる選択結果に関連するメタデータを撮像画像データに関連付ける関連付け制御を行う。
選択部２２ｂによる選択結果に関連するメタデータとは、例えば商品紹介シーンとパフォーマンスシーンのいずれであるかを示す情報、シーンの識別が成功しているか未識別かを示す情報、紹介対象や対象紹介者の特定の有無の情報、特定された紹介対象や対象紹介者の画像内の領域を示す情報、対象被写体の情報（対象紹介者６０と商品７０のいずれが選択されたかの情報）、紹介対象や対象被写体が何か（物品の種類など）の情報、判定不能状態を示すエラーフラグ（図１８等で後述）などが想定される。
選択部２２ｂによる選択結果に関連するメタデータとは、例えば商品紹介シーンとパフォーマンスシーンのいずれであるかを示す情報、シーンの識別が成功しているか未識別かを示す情報、紹介対象や対象紹介者の特定の有無の情報、特定された紹介対象や対象紹介者の画像内の領域を示す情報、対象被写体の情報（対象紹介者６０と商品７０のいずれが選択されたかの情報）、紹介対象や対象被写体が何か（物品の種類など）の情報、判定不能状態を示すエラーフラグ（図１８等で後述）などが想定される。
【0061】
例えば関連付け制御部２２ｅは、このような選択部２２ｂによる選択結果に関連するメタデータをカメラ信号処理部１６に送信することで、カメラ信号処理部１６において選択部２２ｂによる選択結果に関連するメタデータが画像ファイルに含まれるようにする。
即ち関連付け制御部２２ｅは、選択部２２ｂのシーン判定や対象被写体選択の結果に応じて、例えばフレーム単位で当該情報をカメラ信号処理部１６に提供する。
関連付け制御部２２ｅがこのようにメタデータを提供し、カメラ信号処理部１６においてメタデータを画像ファイルに付加する処理を実行させることで、結果的に選択部２２ｂによる選択結果に関連するメタデータが、撮像画像データと同じ記録媒体に記録されたり、同じファイルに入れられて記録、送信等がなされたりするようになる。もちろん画像ファイルとは別のメタデータファイルとして構成され、各メタデータが、画像ファイル及び画像ファイル内の撮像画像データのフレームに関連づけられてもよい。
結果として、商品紹介シーンとパフォーマンスシーンを示すメタデータなど、選択部２２ｂによる選択結果に関連するメタデータについては、撮像画像データに対してフレーム単位で関連づけられる状態となる。
なお選択部２２ｂによる選択結果に関連するメタデータは、撮像画像データのフレームに関連づけられるのではなく、例えばシーン単位で関連づけられてもよい。
即ち関連付け制御部２２ｅは、選択部２２ｂのシーン判定や対象被写体選択の結果に応じて、例えばフレーム単位で当該情報をカメラ信号処理部１６に提供する。
関連付け制御部２２ｅがこのようにメタデータを提供し、カメラ信号処理部１６においてメタデータを画像ファイルに付加する処理を実行させることで、結果的に選択部２２ｂによる選択結果に関連するメタデータが、撮像画像データと同じ記録媒体に記録されたり、同じファイルに入れられて記録、送信等がなされたりするようになる。もちろん画像ファイルとは別のメタデータファイルとして構成され、各メタデータが、画像ファイル及び画像ファイル内の撮像画像データのフレームに関連づけられてもよい。
結果として、商品紹介シーンとパフォーマンスシーンを示すメタデータなど、選択部２２ｂによる選択結果に関連するメタデータについては、撮像画像データに対してフレーム単位で関連づけられる状態となる。
なお選択部２２ｂによる選択結果に関連するメタデータは、撮像画像データのフレームに関連づけられるのではなく、例えばシーン単位で関連づけられてもよい。
【0062】
センサ部２４は、撮像装置１に搭載される各種のセンサを包括的に示している。センサ部２４としては、例えば位置情報センサ、照度センサ、加速度センサ等が搭載されている。
【0063】
以上の機能を備えた撮像制御装置２２を有するデジタルビデオカメラ１Ａにより、本技術を実現するための処理が行われる。
【0064】
ところで後述するような撮像制御装置２２による制御処理は、デジタルビデオカメラ１Ａに限らず、図１に示したスマートフォン等の携帯端末１Ｃにおいても実現できる。そこで携帯端末１Ｃの構成例についても説明しておく。
携帯端末１Ｃは、例えば図３に示す構成を備えたコンピュータ装置３０として実現できる。
携帯端末１Ｃは、例えば図３に示す構成を備えたコンピュータ装置３０として実現できる。
【0065】
図３において、コンピュータ装置３０のＣＰＵ（Central Processing Unit）３１は、ＲＯＭ( Read Only Memory)３２に記憶されているプログラム、または記憶部３９からＲＡＭ( Random Access Memory )３３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ３３にはまた、ＣＰＵ３１が各種の処理を実行する上において必要なデータなども適宜記憶される。ＣＰＵ３１には、例えばアプリケーションプログラムにより、上述の撮像制御装置２２としての機能構成が設けられる。
【0066】
ＣＰＵ３１、ＲＯＭ３２、及びＲＡＭ３３は、バス３４を介して相互に接続されている。このバス３４には、入出力インタフェース３５も接続されている。
入出力インタフェース３５には入力部３６、撮像部３７、出力部３８、記憶部３９、通信部４０が接続されている。
入力部３６はキーボード、マウス、タッチパネルなどよりなる。
撮像部３７は、撮像レンズや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイなどから成る。
入出力インタフェース３５には入力部３６、撮像部３７、出力部３８、記憶部３９、通信部４０が接続されている。
入力部３６はキーボード、マウス、タッチパネルなどよりなる。
撮像部３７は、撮像レンズや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイなどから成る。
【0067】
出力部３８は、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）、有機ＥＬ（Electroluminescence）パネルなどよりなるディスプレイ、並びにスピーカーなどよりなる。
例えば出力部３８は、ＣＰＵ３１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また出力部３８はＣＰＵ３１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。
記憶部３９はＨＤＤ（Hard Disk Drive）や固体メモリなどより構成され、各種の情報記憶が行われる。
通信部４０は、インターネット等の伝送路を介しての通信処理を行ったり、各種機器との有線／無線通信、バス通信などによる通信を行ったりする。
例えば出力部３８は、ＣＰＵ３１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また出力部３８はＣＰＵ３１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。
記憶部３９はＨＤＤ（Hard Disk Drive）や固体メモリなどより構成され、各種の情報記憶が行われる。
通信部４０は、インターネット等の伝送路を介しての通信処理を行ったり、各種機器との有線／無線通信、バス通信などによる通信を行ったりする。
【0068】
入出力インタフェース３５にはまた、必要に応じてドライブ４１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体４２が適宜装着される。
ドライブ４１により、リムーバブル記録媒体４２からは画像ファイル等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部３９に記憶されたり、データファイルに含まれる画像や音声が出力部３８で出力されたりする。またリムーバブル記録媒体４２から読み出されたコンピュータプログラム等は必要に応じて記憶部３９にインストールされる。
ドライブ４１により、リムーバブル記録媒体４２からは画像ファイル等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部３９に記憶されたり、データファイルに含まれる画像や音声が出力部３８で出力されたりする。またリムーバブル記録媒体４２から読み出されたコンピュータプログラム等は必要に応じて記憶部３９にインストールされる。
【0069】
このコンピュータ装置３０では、例えば本開示の撮像制御装置としての処理を実行するためのソフトウエアを、通信部４０によるネットワーク通信やリムーバブル記録媒体４２を介してインストールすることができる。或いは当該ソフトウエアは予めＲＯＭ３２や記憶部３９等に記憶されていてもよい。
【0070】
なお、コンピュータ装置３０は、図３のように単一で構成されることに限らず、複数のコンピュータ装置がシステム化されて構成されてもよい。複数のコンピュータ装置には、クラウドコンピューティングサービスによって利用可能なサーバ群（クラウド）としてのコンピュータ装置が含まれてもよい。
【0071】
＜３．シーン判定の概要＞
以下、本技術におけるシーン判定の概要について説明する。ここでは、各シーンに応じて撮像装置１による撮像に対して異なる撮像制御が行われる。本実施の形態では、撮像制御の一例として、主にフォーカス制御対象の切り替えについて説明する。
近年、動画投稿サイトやＳＮＳの普及により個人でも気軽に撮像した動画を投稿することが可能となり、それに伴い、個人で撮像した動画により商品を紹介する商品レビュー動画の投稿者が増加している。
以下、本技術におけるシーン判定の概要について説明する。ここでは、各シーンに応じて撮像装置１による撮像に対して異なる撮像制御が行われる。本実施の形態では、撮像制御の一例として、主にフォーカス制御対象の切り替えについて説明する。
近年、動画投稿サイトやＳＮＳの普及により個人でも気軽に撮像した動画を投稿することが可能となり、それに伴い、個人で撮像した動画により商品を紹介する商品レビュー動画の投稿者が増加している。
【0072】
このような商品レビュー動画は、主に対象紹介者の自己紹介や商品概要の説明等、対象紹介者のパフォーマンスの撮像を目的とし、商品紹介シーンの前や後に行われることが多いパフォーマンスシーンと、商品の形状や動作、商品の実際の使用方法等の撮像を目的とする商品紹介シーンとから構成されることが多い。
パフォーマンスシーンにおいては、商品を紹介する対象紹介者を対象としてフォーカス制御が行われることが望ましいが、具体的な商品を説明する商品紹介シーンにおいては、商品の形状等が見やすいように、商品を対象としてフォーカス制御が行われることが望ましい。
パフォーマンスシーンにおいては、商品を紹介する対象紹介者を対象としてフォーカス制御が行われることが望ましいが、具体的な商品を説明する商品紹介シーンにおいては、商品の形状等が見やすいように、商品を対象としてフォーカス制御が行われることが望ましい。
【0073】
しかしながら、個人で商品レビュー動画を撮像する場合には、商品を紹介する対象紹介者自身で動画の撮像のための操作を行う、つまり自分撮りをすることが多く、撮像装置１は据え置きで撮像されることになる。そのため、対象紹介者が、撮像中に撮像シーンに応じてフォーカス制御の対象を変更する操作を行い、フォーカス制御の対象を切り換えることが難しかった。
また、実際の動画の撮像においては商品に加えて対象紹介者等が映り込むため、どれが紹介する商品かを撮像装置１側で認識することができず、商品紹介シーンにおいてフォーカス制御の対象とすべき商品に合焦させるようなフォーカス制御がされないという問題もある。
また、実際の動画の撮像においては商品に加えて対象紹介者等が映り込むため、どれが紹介する商品かを撮像装置１側で認識することができず、商品紹介シーンにおいてフォーカス制御の対象とすべき商品に合焦させるようなフォーカス制御がされないという問題もある。
【0074】
そこで本技術では、撮像中の撮像画像について、現在、パフォーマンスシーンと商品紹介シーンのどちらのシーンであるかを判定し、各シーンに適した被写体を特定したうえでフォーカス制御等の撮像制御を行う。
【0075】
具体的なフォーカス制御の概要について、図４から図１３を参照して説明する。
図４と図５、及び図６と図７は、紹介対象、対象紹介者、撮像装置の距離関係を示している。また、図８から図１３は、商品レビュー動画の撮像において、表示部にスルー画として表示される撮像表示画面５０を示している。撮像表示画面５０には、商品７０を紹介する対象紹介者６０と紹介対象である商品７０が表示されている。対象紹介者６０は、身体の一部として手６１と顔６２とを有している。
また図４から図１３では、手６１、顔６２、商品７０を示す部分を説明の便宜上破線で囲まれた領域として示している。
図４と図５、及び図６と図７は、紹介対象、対象紹介者、撮像装置の距離関係を示している。また、図８から図１３は、商品レビュー動画の撮像において、表示部にスルー画として表示される撮像表示画面５０を示している。撮像表示画面５０には、商品７０を紹介する対象紹介者６０と紹介対象である商品７０が表示されている。対象紹介者６０は、身体の一部として手６１と顔６２とを有している。
また図４から図１３では、手６１、顔６２、商品７０を示す部分を説明の便宜上破線で囲まれた領域として示している。
【0076】
まず第１の実施の形態について、図４及び図５を参照して説明する。第１の実施の形態では、被写体位置関係から生じる距離関係に応じてシーン判定を行う。
この第１の実施の形態は、撮像装置１から商品７０までの距離に基づいてシーンを判定し、各シーンに応じた対象被写体を選択し、撮像制御を行う例である。
なお、商品レビュー動画の撮像時に、商品紹介者は撮像装置１の前に位置して移動することなく一定の位置にいて撮像を行うことが多いが、本実施の形態は、このような場合に適用することができる。
この第１の実施の形態は、撮像装置１から商品７０までの距離に基づいてシーンを判定し、各シーンに応じた対象被写体を選択し、撮像制御を行う例である。
なお、商品レビュー動画の撮像時に、商品紹介者は撮像装置１の前に位置して移動することなく一定の位置にいて撮像を行うことが多いが、本実施の形態は、このような場合に適用することができる。
【0077】
撮像装置１から商品７０までの距離Ｌｏｃはシーンに応じて変化すると考えることができる。例えば商品レビュー動画の撮像時に、対象紹介者６０は、手６１に持った商品７０を撮像装置１に近付けることで、商品７０を目立たせながら説明することがある。
そこで、シーン判定による被写体選択は、商品７０と撮像装置１との位置関係、特には距離Ｌｏｃに表れる距離関係に基づいて行うものとする。
なお、ここでいう商品７０は撮像制御装置２２により特定した紹介対象である。また、商品７０が認識できていない場合において、対象紹介者６０の手６１を商品７０に代替して特定する場合も含まれる。即ち本来の紹介対象が商品７０であるが、それに代替して対象紹介者６０の手６１を紹介対象として特定する場合である。これは例えば商品７０が小さすぎて画像内で特定できない場合などについて、手６１で商品７０を持っている状況を想定し、手を商品７０とみなして商品７０の画像内での位置を特定するということである。
そこで、シーン判定による被写体選択は、商品７０と撮像装置１との位置関係、特には距離Ｌｏｃに表れる距離関係に基づいて行うものとする。
なお、ここでいう商品７０は撮像制御装置２２により特定した紹介対象である。また、商品７０が認識できていない場合において、対象紹介者６０の手６１を商品７０に代替して特定する場合も含まれる。即ち本来の紹介対象が商品７０であるが、それに代替して対象紹介者６０の手６１を紹介対象として特定する場合である。これは例えば商品７０が小さすぎて画像内で特定できない場合などについて、手６１で商品７０を持っている状況を想定し、手を商品７０とみなして商品７０の画像内での位置を特定するということである。
【0078】
図４は商品７０から撮像装置１までの距離Ｌｏｃの値が、所定値Ｌｔｈよりも大きい値である場合を示している。これは撮像装置１から商品７０までの距離が比較的離れている状態であるとする。そしてこれは対象紹介者６０が商品７０を目立たせるように商品７０を撮像装置１に近づけるということはしていない状態であることから、対象紹介者６０がパフォーマンスを行うパフォーマンスシーンであると考えられる。
そのため、撮像制御装置２２は、パフォーマンスを行っている対象紹介者６０の顔６２を対象被写体として選択し、顔６２をターゲットとしてフォーカス制御を行うようにする。これによりパフォーマンスシーンにおいては、視聴者を、話をしている対象紹介者６０に注目させるような動画撮像を行うことができる。
なお、対象紹介者６０の顔６２を対象被写体としてフォーカス制御を行っているが、対象紹介者６０の目等を対象被写体としてフォーカス制御を行うこととしてもよい。
そのため、撮像制御装置２２は、パフォーマンスを行っている対象紹介者６０の顔６２を対象被写体として選択し、顔６２をターゲットとしてフォーカス制御を行うようにする。これによりパフォーマンスシーンにおいては、視聴者を、話をしている対象紹介者６０に注目させるような動画撮像を行うことができる。
なお、対象紹介者６０の顔６２を対象被写体としてフォーカス制御を行っているが、対象紹介者６０の目等を対象被写体としてフォーカス制御を行うこととしてもよい。
【0079】
一方で図５のように、商品７０から撮像装置１までの距離Ｌｏｃの値が、所定値Ｌｔｈ１よりも小さい値である場合、対象紹介者６０が撮像装置１に商品７０を近づけている状態であると推定でき、対象紹介者６０が商品７０を紹介している商品紹介シーンであると考えられる。
このような商品紹介シーンでは、撮像制御装置２２は商品７０を対象被写体として選択し、商品７０をターゲットとしてフォーカス制御を行う。これにより、対象紹介者６０が紹介しようとしている商品７０を合焦させるフォーカス制御が行われることとなり、視聴者を商品７０に注目させるような動画撮像を行うことができる。
このような商品紹介シーンでは、撮像制御装置２２は商品７０を対象被写体として選択し、商品７０をターゲットとしてフォーカス制御を行う。これにより、対象紹介者６０が紹介しようとしている商品７０を合焦させるフォーカス制御が行われることとなり、視聴者を商品７０に注目させるような動画撮像を行うことができる。
【0080】
このように、第１の実施の形態では、撮像装置１から商品７０までの距離に基づいてシーンを判定し、各シーンに応じた対象被写体を合焦させるフォーカス制御を行う。
【0081】
第２の実施の形態について、図６及び図７を参照して説明する。第２の実施の形態も被写体位置関係から生じる距離関係に応じてシーン判定を行うが、この第２の実施の形態は、対象紹介者６０と商品７０の間の距離に基づいてシーンを判定し、各シーンに応じた対象被写体を選択し、撮像制御を行う例とする。
【0082】
上記図４，図５と同じように、例えば商品レビュー動画の撮像時に、対象紹介者６０は、手６１に持った商品７０を撮像装置１に近付けることで、商品７０を目立たせながら説明することを想定する。これは、図６、図７に示す距離Ｌｈｏの変化としてとらえることもできる。つまり対象紹介者６０と商品７０の間の距離Ｌｈｏはシーンに応じて変化すると考えることができる。
そこで、シーン判定による被写体選択は、対象紹介者６０と商品７０との位置関係、特には距離Ｌｈｏに表れる距離関係に基づいて行うものとする。
そこで、シーン判定による被写体選択は、対象紹介者６０と商品７０との位置関係、特には距離Ｌｈｏに表れる距離関係に基づいて行うものとする。
【0083】
図６は距離Ｌｈｏが比較的小さい場合を示している。
撮像装置１においては、撮像装置１から対象紹介者６０の距離Ｌｈｃ、撮像装置１から商品７０の距離Ｌｏｃを測定することができ、これにより対象紹介者６０と商品７０との距離Ｌｈｏを求めることができる（Ｌｈｏ＝Ｌｈｃ－Ｌｏｃ）。
この図６の場合、距離Ｌｈｏは所定値Ｌｔｈ２よりも小さい値である場合を示している。これは対象紹介者６０から商品７０までの距離が比較的近い状態である。
そしてこれは対象紹介者６０が、商品７０を目立たせるように撮像装置１に近づけるということはしていない状態であることから、対象紹介者６０がパフォーマンスを行うパフォーマンスシーンであると考えられる。
そのため、撮像制御装置２２は、パフォーマンスを行っている対象紹介者６０の顔６２を対象被写体として選択し、顔６２（又は目等）をターゲットとしてフォーカス制御を行うようにする。これによりパフォーマンスシーンにおいては、視聴者を、話をしている対象紹介者６０に注目させるような動画撮像を行うことができる。
撮像装置１においては、撮像装置１から対象紹介者６０の距離Ｌｈｃ、撮像装置１から商品７０の距離Ｌｏｃを測定することができ、これにより対象紹介者６０と商品７０との距離Ｌｈｏを求めることができる（Ｌｈｏ＝Ｌｈｃ－Ｌｏｃ）。
この図６の場合、距離Ｌｈｏは所定値Ｌｔｈ２よりも小さい値である場合を示している。これは対象紹介者６０から商品７０までの距離が比較的近い状態である。
そしてこれは対象紹介者６０が、商品７０を目立たせるように撮像装置１に近づけるということはしていない状態であることから、対象紹介者６０がパフォーマンスを行うパフォーマンスシーンであると考えられる。
そのため、撮像制御装置２２は、パフォーマンスを行っている対象紹介者６０の顔６２を対象被写体として選択し、顔６２（又は目等）をターゲットとしてフォーカス制御を行うようにする。これによりパフォーマンスシーンにおいては、視聴者を、話をしている対象紹介者６０に注目させるような動画撮像を行うことができる。
【0084】
一方で図７は、距離Ｌｈｏは所定値Ｌｔｈ２よりも大きい値である場合を示している。これは対象紹介者６０から商品７０までの距離が比較的遠くなった状態である。
そしてこれは対象紹介者６０が、商品７０を目立たせるように撮像装置１に近づけている状態であることから、対象紹介者６０が商品７０を紹介している商品紹介シーンであると考えられる。
このような商品紹介シーンでは、撮像制御装置２２は商品７０を対象被写体として選択し、商品７０をターゲットとしてフォーカス制御を行う。これにより、対象紹介者６０が紹介しようとしている商品７０を合焦させるフォーカス制御が行われることとなり、視聴者を商品７０に注目させるような動画撮像を行うことができる。
そしてこれは対象紹介者６０が、商品７０を目立たせるように撮像装置１に近づけている状態であることから、対象紹介者６０が商品７０を紹介している商品紹介シーンであると考えられる。
このような商品紹介シーンでは、撮像制御装置２２は商品７０を対象被写体として選択し、商品７０をターゲットとしてフォーカス制御を行う。これにより、対象紹介者６０が紹介しようとしている商品７０を合焦させるフォーカス制御が行われることとなり、視聴者を商品７０に注目させるような動画撮像を行うことができる。
【0085】
このように、第２の実施の形態では、対象紹介者６０から商品７０までの距離に基づいてシーンを判定し、各シーンに応じた対象被写体に対応するフォーカス制御を行う。
この第２の実施の形態と第１の実施の形態は、同じく距離関係によってシーン判定を行うものであるが、第２の実施の形態のようにあくまでも対象紹介者６０と商品７０の距離Ｌｈｏで判定する場合、対象紹介者６０の動き（位置）に関わらず判定ができるという利点が生ずる。
つまり、第１の実施の形態のシーン判定では、対象紹介者６０が撮像装置１に対して動かない（同一距離を保つ）ことが必要となる。対象紹介者６０が商品７０を手に持って前後に動いたような場合、シーン判定が不正確になる可能性がある。
一方第２の実施の形態の場合、あくまでも対象紹介者６０と商品７０の距離Ｌｈｏに注目して判定することで、対象紹介者６０が前後に動く場合でもシーン判定の正確性が維持できる。
この第２の実施の形態と第１の実施の形態は、同じく距離関係によってシーン判定を行うものであるが、第２の実施の形態のようにあくまでも対象紹介者６０と商品７０の距離Ｌｈｏで判定する場合、対象紹介者６０の動き（位置）に関わらず判定ができるという利点が生ずる。
つまり、第１の実施の形態のシーン判定では、対象紹介者６０が撮像装置１に対して動かない（同一距離を保つ）ことが必要となる。対象紹介者６０が商品７０を手に持って前後に動いたような場合、シーン判定が不正確になる可能性がある。
一方第２の実施の形態の場合、あくまでも対象紹介者６０と商品７０の距離Ｌｈｏに注目して判定することで、対象紹介者６０が前後に動く場合でもシーン判定の正確性が維持できる。
【0086】
ところで以上では、距離Ｌｈｏに注目し、距離Ｌｈｏと所定値Ｌｔｈ２を比較するという例としたが、距離Ｌｈｏと距離Ｌｏｃの差分値の変化に注目してシーン判定を行うようにしてもよい。即ち距離Ｌｈｏと距離Ｌｏｃの差（又は比）が所定値以上／未満によりパフォーマンスシーンと商品紹介シーンを判定するものである。
【0087】
また以上の例は、商品紹介シーンでは商品７０を撮像装置１に近づけるという挙動を想定したが、逆の挙動を想定した方がよい場合もある。
即ちパフォーマンスシーンでは、対象紹介者６０は商品７０を自分から離しておき、商品紹介シーンでは、対象紹介者６０が商品７０を手に持つなどして自分に近づけるという挙動をとることも考えられる。
そのような挙動に対処できるように、シーン判定の論理を逆にすることも考えられる。例えば距離Ｌｈｏが所定値Ｌｔｈ２より長ければパフォーマンスシーン、距離Ｌｈｏが所定値Ｌｔｈ２以下であれば商品紹介シーンなどとする例である。
例えばユーザがいずれのシーン判定の論理を用いるかを選択できるようにしてもよい。
また各距離については撮像装置１からの奥行き方向の距離（深度）に注目したが、対象紹介者６０と商品の上下左右方向の距離を加味してもよい。
即ちパフォーマンスシーンでは、対象紹介者６０は商品７０を自分から離しておき、商品紹介シーンでは、対象紹介者６０が商品７０を手に持つなどして自分に近づけるという挙動をとることも考えられる。
そのような挙動に対処できるように、シーン判定の論理を逆にすることも考えられる。例えば距離Ｌｈｏが所定値Ｌｔｈ２より長ければパフォーマンスシーン、距離Ｌｈｏが所定値Ｌｔｈ２以下であれば商品紹介シーンなどとする例である。
例えばユーザがいずれのシーン判定の論理を用いるかを選択できるようにしてもよい。
また各距離については撮像装置１からの奥行き方向の距離（深度）に注目したが、対象紹介者６０と商品の上下左右方向の距離を加味してもよい。
【0088】
第３の実施の形態について、図８から図１１を参照して説明する。第３の実施の形態は、対象紹介者６０の手６１の状態、特には手６１と商品７０の関係により商品７０を特定するとともに、シーン判定を行う例である。
図８及び図９は、対象紹介者６０の手６１で商品７０を持つ等の状態に基づく対象紹介者６０と商品７０の位置関係によりシーン判定を行い、各シーンに応じて選択した対象被写体に応じたフォーカス制御を行うことを示している。
ここでの対象紹介者６０の手６１の状態には、商品７０を持った状態だけでなく、商品７０をつまむ、掴む、手に乗せる等、商品７０に手６１が触れる様々な状態が含まれる。
図８及び図９は、対象紹介者６０の手６１で商品７０を持つ等の状態に基づく対象紹介者６０と商品７０の位置関係によりシーン判定を行い、各シーンに応じて選択した対象被写体に応じたフォーカス制御を行うことを示している。
ここでの対象紹介者６０の手６１の状態には、商品７０を持った状態だけでなく、商品７０をつまむ、掴む、手に乗せる等、商品７０に手６１が触れる様々な状態が含まれる。
【0089】
図８のように対象紹介者６０が商品７０を持っていない状態では、対象紹介者６０がパフォーマンスを行うパフォーマンスシーンであると考えられる。
そのため対象紹介者６０の顔６２を対象被写体として、フォーカス制御を行う。これにより、パフォーマンスシーンにおいては、視聴者が、話をしている対象紹介者６０に注目するような動画撮像を行うことができる。
そのため対象紹介者６０の顔６２を対象被写体として、フォーカス制御を行う。これにより、パフォーマンスシーンにおいては、視聴者が、話をしている対象紹介者６０に注目するような動画撮像を行うことができる。
【0090】
一方、図９のように、対象紹介者６０が商品７０を持っている状態では、商品７０を特定できるとともに、対象紹介者６０が商品７０の具体的な紹介を行う場面、即ち商品紹介シーンであると考えられる。
商品紹介シーンでは、商品７０の形状等、商品７０の具体的な態様を説明することになるため、商品７０を対象被写体としてフォーカス制御等を行う。
これにより、対象紹介者６０が紹介しようとしている商品７０に合焦させるフォーカス制御が行われることとなり、視聴者が商品７０に注目するような動画撮像を行うことができる。
商品紹介シーンでは、商品７０の形状等、商品７０の具体的な態様を説明することになるため、商品７０を対象被写体としてフォーカス制御等を行う。
これにより、対象紹介者６０が紹介しようとしている商品７０に合焦させるフォーカス制御が行われることとなり、視聴者が商品７０に注目するような動画撮像を行うことができる。
【0091】
このように、第３の実施の形態では、商品７０を持つといった対象紹介者６０の手６１の状態に基づいてシーンを判定し、各シーンに応じた対象被写体に合焦させるフォーカス制御を行う。
【0092】
また第３の実施の形態では、商品７０を指さす等の対象紹介者６０の手６１のジェスチャに基づいて商品７０を特定するとともにシーンを判定し、各シーンに応じて選択した対象被写体に適した撮像制御を行うことも考えられる。
ここでいうジェスチャは、対象紹介者６０の手６１の状態であり、手６１の一瞬の状態として静的に検出されるものであってもよいし、手６１の動作として動的に検出されるものであってもよい。
ここでいうジェスチャは、対象紹介者６０の手６１の状態であり、手６１の一瞬の状態として静的に検出されるものであってもよいし、手６１の動作として動的に検出されるものであってもよい。
【0093】
図１０のように対象紹介者６０が商品７０を指さすといったジェスチャを行っていない状態では、対象紹介者６０がパフォーマンスを行うパフォーマンスシーンであると考えられる。
そのため、対象紹介者６０の顔６２を対象被写体として、フォーカス制御等の撮像制御を行う。これにより、視聴者が、話をしている対象紹介者６０に注目するような動画撮像を行うことができる。
そのため、対象紹介者６０の顔６２を対象被写体として、フォーカス制御等の撮像制御を行う。これにより、視聴者が、話をしている対象紹介者６０に注目するような動画撮像を行うことができる。
【0094】
一方、図１１のように、対象紹介者６０が商品７０を指さすといったジェスチャを行っている状態は、対象紹介者６０が商品７０を紹介している商品紹介シーンであると考えられる。
商品紹介シーンでは、特定した商品７０を対象被写体とし、商品７０に合焦させるフォーカス制御を行う。これにより、視聴者に、対象紹介者６０が紹介しようとしている商品７０に注目させるような動画撮像を行うことができる。
商品紹介シーンでは、特定した商品７０を対象被写体とし、商品７０に合焦させるフォーカス制御を行う。これにより、視聴者に、対象紹介者６０が紹介しようとしている商品７０に注目させるような動画撮像を行うことができる。
【0095】
この例では、対象紹介者６０が商品７０を指さすといったジェスチャに基づいてシーン判定を行い、各シーンに応じて選択した対象被写体にフォーカス制御を行うことで、各シーンに適したフォーカス制御を行うことができる。
手６１がジェスチャにより商品７０を指し示す状態から、対象被写体６０の商品７０との相対的な位置関係が規定されるため、このシーン判定による被写体選択は、商品７０と対象紹介者６０の被写体位置関係に基づいて行われるものといえる。
本例は、例えば商品７０が手６１で持てない場合や、対象紹介者６０が離れた位置にある商品７０を紹介する場合等に適している。
手６１がジェスチャにより商品７０を指し示す状態から、対象被写体６０の商品７０との相対的な位置関係が規定されるため、このシーン判定による被写体選択は、商品７０と対象紹介者６０の被写体位置関係に基づいて行われるものといえる。
本例は、例えば商品７０が手６１で持てない場合や、対象紹介者６０が離れた位置にある商品７０を紹介する場合等に適している。
【0096】
なお以上の説明では、対象紹介者６０が商品７０を手に持ったり、指し示したりすることで、紹介対象たる商品７０の特定と、シーン判定を行うものとしたが、既に画像内で商品７０が特定できている場合もあるし、手の状態により初めて商品７０を特定できる場合もあり、これらいずれであってもよい。
例えば商品７０が特定できていなくても、対象紹介者６０が或る物体を持ったり指し示したりする状態を認識することで、商品７０を特定しつつ、シーン判定を行うことができる。
また商品７０が特定できている状態であれは、対象紹介者６０が、その商品７０を持ったり指し示したりする状態を認識することでシーン判定を行うことができる。
例えば商品７０が特定できていなくても、対象紹介者６０が或る物体を持ったり指し示したりする状態を認識することで、商品７０を特定しつつ、シーン判定を行うことができる。
また商品７０が特定できている状態であれは、対象紹介者６０が、その商品７０を持ったり指し示したりする状態を認識することでシーン判定を行うことができる。
【0097】
第４の実施の形態について、図１２及び図１３を参照して説明する。第４の実施の形態は、被写体位置関係により生じる、商品７０の領域が撮像画像のフレーム全体に対して占める比率に基づいてシーンを判定し、各シーンに応じた対象被写体に対しフォーカス制御を行う例である。
【0098】
図１２のように対象紹介者６０が商品７０を撮像装置１に近づけていない状態では、撮像表示画面５０に占める商品７０の比率は大きくない。従って、対象紹介者６０が商品７０を紹介している状態でないパフォーマンスシーンであると考えられる。
従って、撮像表示画面５０に占める商品７０の比率が所定値よりも小さいことをもってパフォーマンスシーンと判定し、対象紹介者６０の顔６２等を対象被写体とするフォーカス制御を行う。これにより、視聴者に、話をしている対象紹介者６０に注目させるような動画撮像を行うことができる。
従って、撮像表示画面５０に占める商品７０の比率が所定値よりも小さいことをもってパフォーマンスシーンと判定し、対象紹介者６０の顔６２等を対象被写体とするフォーカス制御を行う。これにより、視聴者に、話をしている対象紹介者６０に注目させるような動画撮像を行うことができる。
【0099】
一方で図１３のように、対象紹介者６０が商品７０を手に持つなどして、商品７０を撮像装置１に近づけた場合は、撮像表示画面５０に占める商品７０の比率は大きくなる。この場合は、対象紹介者６０が商品７０を説明しようとしていることが想定される。
そこで撮像表示画面５０に占める商品７０の比率が所定値よりも大きくなることをもって商品紹介シーンと判定し、商品７０を対象被写体とするフォーカス制御を行う。これにより、視聴者に、商品７０に注目させるような動画撮像を行うことができる。
そこで撮像表示画面５０に占める商品７０の比率が所定値よりも大きくなることをもって商品紹介シーンと判定し、商品７０を対象被写体とするフォーカス制御を行う。これにより、視聴者に、商品７０に注目させるような動画撮像を行うことができる。
【0100】
このように、第４の実施の形態では、撮像画像の面積に対して占める商品７０の面積の比率に基づいてシーンを判定し、各シーンに応じた対象被写体に適したフォーカス制御等の撮像制御を行うことができる。
撮像画像のフレーム全体に対して占める商品７０の面積の比率の変化は、商品７０と撮像装置１の距離の変化、即ち撮像装置１と商品７０との位置関係の変化に応じて生ずる。従ってこのシーン判定による被写体選択は撮像装置１と商品７０の被写体位置関係に基づいて行われるものといえる。なお、この場合、対象紹介者６０と商品７０の被写体位置関係の変化ととらえるようにしてもよい。
撮像画像のフレーム全体に対して占める商品７０の面積の比率の変化は、商品７０と撮像装置１の距離の変化、即ち撮像装置１と商品７０との位置関係の変化に応じて生ずる。従ってこのシーン判定による被写体選択は撮像装置１と商品７０の被写体位置関係に基づいて行われるものといえる。なお、この場合、対象紹介者６０と商品７０の被写体位置関係の変化ととらえるようにしてもよい。
【0101】
以上のように、本技術におけるシーン判定及び各シーンに応じた撮像制御には、様々な態様が考えられる。
【0102】
【0103】
まず各実施の形態における処理の全体手順について図１４を参照して説明する。
各実施の形態では、撮像装置１の撮像制御装置２２が、撮像画像データ内における紹介対象である商品７０及び対象紹介者６０を特定し、被写体位置関係に基づいてシーン判定を行う。そして判定したシーンに応じて紹介対象と対象紹介者の一方を対象被写体として選択し、選択した対象被写体に対応するフォーカス制御を行う。
即ち、撮像制御装置２２は、撮像画像データから検出される被写体位置関係に基づいて、商品７０と対象紹介者６０の一方を対象被写体として選択し、当該選択された対象被写体に適した撮像制御を行う。
各実施の形態では、撮像装置１の撮像制御装置２２が、撮像画像データ内における紹介対象である商品７０及び対象紹介者６０を特定し、被写体位置関係に基づいてシーン判定を行う。そして判定したシーンに応じて紹介対象と対象紹介者の一方を対象被写体として選択し、選択した対象被写体に対応するフォーカス制御を行う。
即ち、撮像制御装置２２は、撮像画像データから検出される被写体位置関係に基づいて、商品７０と対象紹介者６０の一方を対象被写体として選択し、当該選択された対象被写体に適した撮像制御を行う。
【0104】
なお、本実施の形態における撮像装置１の撮像モードには、上記した判定したシーンに応じて選択した対象被写体にフォーカス制御を行う紹介動画モードが設けられている。撮像モードが紹介動画モードに設定された状態で、動画の記録が開始された場合に、撮像制御装置２２は図１４の処理を実行するものとする。
紹介動画モードは、例えば動画の記録を開始する前に、対象紹介者６０の撮像装置１へのモード設定操作に応じて設定される。
以下、撮像制御装置２２が実行する図１４の処理について説明する。
紹介動画モードは、例えば動画の記録を開始する前に、対象紹介者６０の撮像装置１へのモード設定操作に応じて設定される。
以下、撮像制御装置２２が実行する図１４の処理について説明する。
【0105】
まず撮像制御装置２２は、ステップＳ１０１において被写体の認識を行う。撮像制御装置２２は、撮像部１３から１フレームの画像データ又は複数フレームの画像データを取得し、取得したフレームの画像信号を用いて画像解析処理等を行うことで、例えば図４から図１３に示したような対象紹介者６０の手６１や顔６２、商品７０を認識する。
【0106】
具体的には、撮像制御装置２２は、例えば対象紹介者６０の姿勢推定や、画像データにおける肌色抽出により、対象紹介者６０の手６１や顔６２を認識することが想定される。
また撮像制御装置２２は、紹介対象となる商品７０については、形状認識、パターン認識などにより画像内で物体部分を認識し、対象紹介者６０や背景等と区別して紹介対象たる商品７０を特定する。
また撮像制御装置２２は、紹介対象となる商品７０については、形状認識、パターン認識などにより画像内で物体部分を認識し、対象紹介者６０や背景等と区別して紹介対象たる商品７０を特定する。
【0107】
また例えば撮像制御装置２２は、認識した手６１の状態に基づいて紹介対象となる商品７０を特定することもできる。撮像制御装置２２は、商品７０を持つ、つまむ、掴むなど、手６１が商品７０と触れている状態を認識した場合に、手６１と触れている商品７０を紹介対象となる商品７０として特定する。これにより、撮像場所に配置された様々な商品等が映り込んだ状態において、手６１で触れている商品７０が、商品レビュー動画において紹介される商品７０であることが特定できる。つまり商品７０が手６１と触れているという位置関係に基づいて紹介対象となる商品が特定される。
【0108】
さらに撮像制御装置２２は、対象紹介者６０の手６１により商品７０を特定するためのジェスチャが行われている状態を認識し、当該ジェスチャに基づいて紹介対象となる商品７０を特定することもできる。例えば商品７０を指さす手６１のジェスチャを認識した場合、当該手６１で指し示す方向の延長線上にある商品７０を、紹介対象となる商品７０として特定することができる。つまり商品７０が手６１で指し示す方向に存在するという位置関係に基づいて紹介対象となる商品が特定される。
これらのように撮像制御装置２２は、対象紹介者６０と商品７０の位置関係により紹介対象となる商品７０を特定することができる。
これらのように撮像制御装置２２は、対象紹介者６０と商品７０の位置関係により紹介対象となる商品７０を特定することができる。
【0109】
なお、ここでの紹介対象となる商品７０の特定は、認識した商品７０から紹介対象を特定するのみならず、対象紹介者６０の手６１の位置に基づいて紹介対象となる商品７０の位置を推定することにより特定することも含まれる。
この場合、撮像制御装置２２は、対象紹介者６０の手６１を特定することで、手６１の位置に紹介対象となる商品７０があると推定し、紹介対象となる商品７０の位置を特定する。例えば商品７０が小さく、画像上での認識が困難な場合などは、手６１を仮想的に商品７０とみなし（商品７０が手に持たれていると仮定し）、本来の紹介対象たる商品７０の代替的に手６１を認識することで商品７０を特定できる。
この場合、撮像制御装置２２は、対象紹介者６０の手６１を特定することで、手６１の位置に紹介対象となる商品７０があると推定し、紹介対象となる商品７０の位置を特定する。例えば商品７０が小さく、画像上での認識が困難な場合などは、手６１を仮想的に商品７０とみなし（商品７０が手に持たれていると仮定し）、本来の紹介対象たる商品７０の代替的に手６１を認識することで商品７０を特定できる。
【0110】
このように、撮像制御装置２２が検出した対象紹介者６０の手６１の状態から紹介対象となる商品７０を特定したり、手６１を本来の紹介対象の商品７０の代替として特定したりすることで、撮像場所に配置された様々な商品等が映り込んだ状態であっても商品レビュー動画において紹介される商品７０を特定することができる。
【0111】
続いてステップＳ１０２で撮像制御装置２２は、取得した各被写体の認識結果を用いてシーン判定処理を行う。
撮像制御装置２２は、認識された各被写体や撮像装置１との間の被写体位置関係に基づいて、現在のシーンがパフォーマンスシーンであるか、商品紹介シーンであるかを判定する。具体的なシーン判定処理としては、上述の第１から第４の実施の形態の例が想定される。それぞれの実施の形態に相当するシーン判定処理例については後に図１７から図２１で順次説明する。
撮像制御装置２２は、認識された各被写体や撮像装置１との間の被写体位置関係に基づいて、現在のシーンがパフォーマンスシーンであるか、商品紹介シーンであるかを判定する。具体的なシーン判定処理としては、上述の第１から第４の実施の形態の例が想定される。それぞれの実施の形態に相当するシーン判定処理例については後に図１７から図２１で順次説明する。
【0112】
撮像制御装置２２はステップＳ１０３で、シーン判定処理の結果に応じて処理を分岐する。
シーン判定処理において商品紹介シーンと判定した場合、撮像制御装置２２は、ステップＳ１０３からステップＳ１０４に処理を進め、ステップＳ１０１で特定した商品７０を対象被写体として選択する。
そして、撮像制御装置２２は、ステップＳ１０５において、対象被写体である商品７０の領域に適した撮像制御を実行する。例えば撮像制御の一例として商品７０をターゲットとしてフォーカス制御が行われるように制御する。なお、以下の説明では、撮像制御の例としてフォーカス制御を用いて説明する。
シーン判定処理において商品紹介シーンと判定した場合、撮像制御装置２２は、ステップＳ１０３からステップＳ１０４に処理を進め、ステップＳ１０１で特定した商品７０を対象被写体として選択する。
そして、撮像制御装置２２は、ステップＳ１０５において、対象被写体である商品７０の領域に適した撮像制御を実行する。例えば撮像制御の一例として商品７０をターゲットとしてフォーカス制御が行われるように制御する。なお、以下の説明では、撮像制御の例としてフォーカス制御を用いて説明する。
【0113】
これにより、撮像装置１は、商品紹介シーンにおいては商品７０にフォーカスを合わせた撮像を行う状態となる。撮像制御装置２２は、フレーム中の商品７０の領域の検波情報を用いた画面（フレーム）全体におけるフォーカス制御がされた撮像画像を撮像装置１の表示部に提示制御する。
なお、撮像制御装置２２は、撮像動作制御として、商品７０へのフォーカス制御に合わせてＦ値を小さくするような絞り制御を行うことで、被写界深度を狭くし、商品７０の前景や背景をぼやけさせることを合わせて行っても良い。
なお、撮像制御装置２２は、撮像動作制御として、商品７０へのフォーカス制御に合わせてＦ値を小さくするような絞り制御を行うことで、被写界深度を狭くし、商品７０の前景や背景をぼやけさせることを合わせて行っても良い。
【0114】
一方、シーン判定処理においてパフォーマンスシーンと判定した場合、撮像制御装置２２は、ステップＳ１０３からステップＳ１０８に処理を進め、ステップＳ１０１で特定した対象紹介者６０を対象被写体として選択する。
そして、撮像制御装置２２は、ステップＳ１０９において、対象被写体である対象紹介者６０の顔６２を合焦させるフォーカス制御を実行する。これにより、パフォーマンスシーンにおいては対象紹介者６０の顔６２にフォーカスを合わせた撮像を行う状態となる。撮像制御装置２２は、フレーム中の顔６２の領域の検波情報を用いた画面（フレーム）全体におけるフォーカス制御がされた撮像画像を撮像装置１の表示部に提示制御する。
そして、撮像制御装置２２は、ステップＳ１０９において、対象被写体である対象紹介者６０の顔６２を合焦させるフォーカス制御を実行する。これにより、パフォーマンスシーンにおいては対象紹介者６０の顔６２にフォーカスを合わせた撮像を行う状態となる。撮像制御装置２２は、フレーム中の顔６２の領域の検波情報を用いた画面（フレーム）全体におけるフォーカス制御がされた撮像画像を撮像装置１の表示部に提示制御する。
【0115】
以上のステップＳ１０５又はステップＳ１０９も処理の後、撮像制御装置２２は、ステップＳ１０６に処理を進め、現在判定しているシーンが何であるかや、フォーカス制御の対象である商品７０を示す情報を、オンスクリーン表示や、ＬＥＤ等の特定の表示部のオンオフや、音声等で示す提示を行うための提示制御を行う。
例えば撮像制御装置２２は、商品紹介シーン或いはパフォーマンスシーンであることを示すアイコンやメッセージを表示してもよい。
また撮像制御装置２２は、商品紹介シーンであれば商品７０を対象にフォーカス制御を行っていることを示すために、商品部分を囲うようなフォーカス枠を撮像画像に重畳表示させたり、パフォーマンスシーンであれば顔６２を対象にフォーカス制御を行っていることを示すために、顔部分を囲うようなフォーカス枠を撮像画像に重畳表示させたりするようにしてもよい。
例えば撮像制御装置２２は、商品紹介シーン或いはパフォーマンスシーンであることを示すアイコンやメッセージを表示してもよい。
また撮像制御装置２２は、商品紹介シーンであれば商品７０を対象にフォーカス制御を行っていることを示すために、商品部分を囲うようなフォーカス枠を撮像画像に重畳表示させたり、パフォーマンスシーンであれば顔６２を対象にフォーカス制御を行っていることを示すために、顔部分を囲うようなフォーカス枠を撮像画像に重畳表示させたりするようにしてもよい。
【0116】
そして、撮像制御装置２２は、ステップＳ１０７において、メタデータの関連付けを行う。例えば撮像制御装置２２は、現在のフレームについてのシーン情報、エラーフラグ、撮像制御のパラメータ等についてのメタデータを生成する。
シーン情報とはパフォーマンスシーンか商品紹介シーンかを示す情報である。エラーフラグは後述の図１４で説明する情報である。撮像制御のパラメータとは、上述した撮像動作制御や撮像画像処理制御に関するパラメータである。
そして撮像制御装置２２は生成したメタデータを現フレームに対応するメタデータとしてカメラ信号処理部１６に送信することで、メタデータを撮像画像データに関連づけるようにする。その後、撮像制御装置２２は、ステップＳ１０１に戻り処理を実行する。
シーン情報とはパフォーマンスシーンか商品紹介シーンかを示す情報である。エラーフラグは後述の図１４で説明する情報である。撮像制御のパラメータとは、上述した撮像動作制御や撮像画像処理制御に関するパラメータである。
そして撮像制御装置２２は生成したメタデータを現フレームに対応するメタデータとしてカメラ信号処理部１６に送信することで、メタデータを撮像画像データに関連づけるようにする。その後、撮像制御装置２２は、ステップＳ１０１に戻り処理を実行する。
【0117】
なおメタデータについては、例えばカメラ信号処理部１６の処理により、対応するフレームに関連づけられて画像ファイルに組み込まれることで、撮像画像データとの関連付けが行われるが、それに限られない。例えば撮像画像データ（画像ファイル）と関連づけられるＩＤや対応するフレームが示されたメタデータファイルが撮像画像データとは別に形成されて記録されたり送信されたりしてもよい。どのような形であれ、後の時点で撮像画像データとメタデータの対応付けできる状態とされればよい。
【0118】
また図１２では動画の記録処理については示していないが、この図１２の処理が実行されている期間、カメラ信号処理部１６では、撮像部１３から得られる各フレームについての動画記録のための処理を実行している。撮像制御装置２２が図１２のステップＳ１０７で生成したメタデータは、撮像画像データのフレームに対応づけられて記録媒体に記録されることになる。これにより、シーン判定情報やそれに応じた撮像制御のパラメータなどが撮像画像データに関連づけられることになる。
【0119】
撮像制御装置２２は、例えば対象紹介者６０により動画の記録の終了操作がされるか、対象紹介者６０により撮像モードが紹介動画モード以外のモードに変更されるまで、図１４の処理を繰り返し実行する。
【0120】
以上の処理により、各実施の形態における撮像制御装置２２によるシーンに応じた対象被写体に対するフォーカス制御が実現される。
これにより、紹介する商品７０に注目させたい商品紹介シーンにおいては紹介対象となる商品７０にフォーカスを合わせ、対象紹介者６０のパフォーマンスに注目させたいパフォーマンスシーンにおいては対象紹介者６０にフォーカスを合わせた撮像を行うことで、各シーンにおいて視聴者に注目させたい対象に対して効果的にフォーカス制御を行うことができる。
これにより、紹介する商品７０に注目させたい商品紹介シーンにおいては紹介対象となる商品７０にフォーカスを合わせ、対象紹介者６０のパフォーマンスに注目させたいパフォーマンスシーンにおいては対象紹介者６０にフォーカスを合わせた撮像を行うことで、各シーンにおいて視聴者に注目させたい対象に対して効果的にフォーカス制御を行うことができる。
【0121】
なお、本実施の形態では、一例として紹介動画モードが対象紹介者６０による撮像装置１へのモード設定操作に応じて設定されることとしたが、紹介動画モードの設定は様々な態様が考えられる。
例えば、図１のデジタルビデオカメラ１Ａは、撮像装置本体２と表示部を有する表示筐体３を備え、撮像装置本体２に対して表示筐体３を移動させることで撮像レンズと同じ側に表示筐体３の表示部を向けた状態とすることが可能であるとする。このような撮像装置１であれば、当該状態にすることをもって、自分撮りをしているものと判断することができるため、これをもって、紹介動画モードに設定することができる。即ち撮像制御装置２２は、撮像レンズと同じ側に表示筐体３の表示部を向けた状態を検知すると、撮像モードを紹介動画モードに設定する。
例えば、図１のデジタルビデオカメラ１Ａは、撮像装置本体２と表示部を有する表示筐体３を備え、撮像装置本体２に対して表示筐体３を移動させることで撮像レンズと同じ側に表示筐体３の表示部を向けた状態とすることが可能であるとする。このような撮像装置１であれば、当該状態にすることをもって、自分撮りをしているものと判断することができるため、これをもって、紹介動画モードに設定することができる。即ち撮像制御装置２２は、撮像レンズと同じ側に表示筐体３の表示部を向けた状態を検知すると、撮像モードを紹介動画モードに設定する。
【0122】
なお、商品レビュー動画の撮像においては、図４のように対象紹介者６０自身が動画の撮像を行うことが一般的である。従って、商品レビュー動画の記録中に対象紹介者６０が表示部に表示される内容によって、現在の撮像制御の状態を確認できる状態にしておくことで、対象紹介者６０自身が商品レビュー動画の記録中に動画の取り直し、又は続行などを判断することができる。
【0123】
また本実施の形態では、撮像制御装置２２は、ステップＳ１０１の処理において、認識した手６１の状態に基づいて紹介対象となる商品７０を特定する例を述べたが、音声入力部により得られる音声データに基づいて紹介対象となる商品７０を特定することもできる。
例えば、あらかじめ商品７０と名称を対応付けておくことにより、撮像制御装置２２は、撮像装置１から集音した音声から音声データを取得し、取得した音声データについて言語解析を行い、当該言語解析により取得した名称に該当する商品７０を特定することができる。
例えば、あらかじめ商品７０と名称を対応付けておくことにより、撮像制御装置２２は、撮像装置１から集音した音声から音声データを取得し、取得した音声データについて言語解析を行い、当該言語解析により取得した名称に該当する商品７０を特定することができる。
【0124】
また撮像制御装置２２は、対象紹介者６０の視線方向に基づいて紹介対象となる商品７０を特定することもできる。
例えば、撮像制御装置２２は、ステップＳ１０１において、取得したフレーム情報を用いて画像解析処理を行うことで対象紹介者６０の視線方向を認識し、当該認識した視線方向の延長線上にある商品７０を紹介対象の商品７０として特定することができる。
例えば、撮像制御装置２２は、ステップＳ１０１において、取得したフレーム情報を用いて画像解析処理を行うことで対象紹介者６０の視線方向を認識し、当該認識した視線方向の延長線上にある商品７０を紹介対象の商品７０として特定することができる。
【0125】
また紹介動画モードにおいて商品レビュー動画の記録を開始する前に、対象紹介者６０の操作を介して紹介対象の商品７０を登録することとしてもよい。例えば、撮像制御装置２２は、撮像画像データから商品７０を認識し、認識した商品７０を表示部に表示させる。対象紹介者６０は、表示された商品７０から紹介対象とする商品７０を選択する操作を行う。撮像制御装置２２は、認識した商品７０から紹介対象となる商品７０を当該選択操作に応じて登録する。
または、撮像制御装置２２は、認識した商品７０を対象紹介者６０に選択させずにそのまま登録しても良い。
この場合、商品レビュー動画の記録中において、撮像制御装置２２は、ステップＳ１０１において認識した商品７０のうち、記録前に登録しておいた商品７０を紹介対象として特定する。
または、撮像制御装置２２は、認識した商品７０を対象紹介者６０に選択させずにそのまま登録しても良い。
この場合、商品レビュー動画の記録中において、撮像制御装置２２は、ステップＳ１０１において認識した商品７０のうち、記録前に登録しておいた商品７０を紹介対象として特定する。
【0126】
また本実施の形態では、対象被写体への撮像制御をフォーカス制御として説明したが、対象被写体への撮像制御は、他にも様々な処理が考えられる。
例えば、撮像制御装置２２は、ステップＳ１０２で商品紹介シーンと判定するとステップＳ１０３，Ｓ１０４，Ｓ１０５の順に処理を進め、選択した商品７０の領域の露光が適切となるようにＡＥ制御を行い、ステップＳ１０２でパフォーマンスシーンと判定するとステップＳ１０３，Ｓ１０８，Ｓ１０９の順に処理を進め、選択した対象被写体６０の顔６２の領域の露光が適切となるようにＡＥ制御を行う。
例えば、撮像制御装置２２は、ステップＳ１０２で商品紹介シーンと判定するとステップＳ１０３，Ｓ１０４，Ｓ１０５の順に処理を進め、選択した商品７０の領域の露光が適切となるようにＡＥ制御を行い、ステップＳ１０２でパフォーマンスシーンと判定するとステップＳ１０３，Ｓ１０８，Ｓ１０９の順に処理を進め、選択した対象被写体６０の顔６２の領域の露光が適切となるようにＡＥ制御を行う。
【0127】
また撮像制御装置２２は、ステップＳ１０５、Ｓ１０９の撮像制御として、対象被写体に対応する撮像画像処理制御を行うこともできる。具体的には、ホワイトバランス処理制御やコントラスト調整制御などが考えられる。
撮像制御装置２２は、フレーム中の対象被写体の領域における検波情報を用いて、対象被写体の領域のホワイトバランスが適切となるようにオートホワイトバランス制御を行ったり、対象被写体の領域のコントラストが適切となるようにコントラスト調整として画質補正処理等を行う。
例えば、撮像制御装置２２は、ステップＳ１０２で商品紹介シーンと判定するとステップＳ１０３，Ｓ１０４，Ｓ１０５の順に処理を進め、選択した商品７０に対して撮像画像処理制御を行い、ステップＳ１０２でパフォーマンスシーンと判定するとステップＳ１０３，Ｓ１０８，Ｓ１０９の順に処理を進め、選択した対象被写体６０の顔６２に対して撮像画像処理制御を行う。
撮像制御装置２２は、フレーム中の対象被写体の領域における検波情報を用いて、対象被写体の領域のホワイトバランスが適切となるようにオートホワイトバランス制御を行ったり、対象被写体の領域のコントラストが適切となるようにコントラスト調整として画質補正処理等を行う。
例えば、撮像制御装置２２は、ステップＳ１０２で商品紹介シーンと判定するとステップＳ１０３，Ｓ１０４，Ｓ１０５の順に処理を進め、選択した商品７０に対して撮像画像処理制御を行い、ステップＳ１０２でパフォーマンスシーンと判定するとステップＳ１０３，Ｓ１０８，Ｓ１０９の順に処理を進め、選択した対象被写体６０の顔６２に対して撮像画像処理制御を行う。
【0128】
また撮像制御装置２２は、現在のシーンが商品紹介シーンであると判定した場合、商品７０を効果的に注目させるための処理を行うこともできる。
例えば、撮像制御装置２２は、ステップＳ１０２で商品紹介シーンであると判定すると、ステップＳ１０３，Ｓ１０４，Ｓ１０５の順に処理を進め、対象被写体に対応する撮像画像処理制御として、選択した商品７０以外の背景部分をぼやけさせるような画像処理を行うことができる。
例えば図１５の撮像表示画面５０において、商品７０以外の部分がぼやけて表示される。図１５では、ぼやけて表示される被写体について一点鎖線で示している。
例えば、撮像制御装置２２は、ステップＳ１０２で商品紹介シーンであると判定すると、ステップＳ１０３，Ｓ１０４，Ｓ１０５の順に処理を進め、対象被写体に対応する撮像画像処理制御として、選択した商品７０以外の背景部分をぼやけさせるような画像処理を行うことができる。
例えば図１５の撮像表示画面５０において、商品７０以外の部分がぼやけて表示される。図１５では、ぼやけて表示される被写体について一点鎖線で示している。
【0129】
また図１６に示すように、選択した商品７０の周りに複数の集中線を配置することで、商品７０を目立たせることもできる。ここで集中線とは、ある領域を中心とし、その中心から放射状に配置された複数の線のことをいう。
例えば撮像制御装置２２は、ステップＳ１０２で商品紹介シーンであると判定すると、ステップＳ１０３，Ｓ１０４，Ｓ１０５の順に処理を進め、対象被写体に対応する撮像画像処理制御として、取得した撮像画像データと集中線エフェクトのデータを合成することで、商品７０の周りに複数の集中線が配置された集中線エフェクト画像を生成する。
例えば撮像制御装置２２は、ステップＳ１０２で商品紹介シーンであると判定すると、ステップＳ１０３，Ｓ１０４，Ｓ１０５の順に処理を進め、対象被写体に対応する撮像画像処理制御として、取得した撮像画像データと集中線エフェクトのデータを合成することで、商品７０の周りに複数の集中線が配置された集中線エフェクト画像を生成する。
【0130】
また、商品紹介シーンにおける対象被写体である商品７０について、商品７０の種別に応じた撮像制御を行うことも可能である。
このとき、撮像制御装置２２は、ステップＳ１０１で商品７０を特定する際に、画像解析処理などにより商品７０の種別を判定しておく。そして撮像制御装置２２は、ステップＳ１０２のシーン判定処理で現在のシーンが商品紹介シーンであると判定すると、ステップＳ１０３，Ｓ１０４の順に処理を進め、商品７０を対象被写体として選択する。
その後、撮像制御装置２２は、ステップＳ１０１で判定した商品７０の種別情報を、商品７０の種別に対応する撮像制御情報が記憶されたクラウドサーバに送信し、クラウドサーバから商品７０に応じた撮像制御情報を取得する。
撮像制御装置２２は、ステップＳ１０５において、クラウドサーバから取得した撮像制御情報に基づいて、商品７０に応じた撮像制御を行う。
なお、商品７０の種別に対応する撮像制御情報は、あらかじめ撮像装置１に記憶されていてもよい。
このとき、撮像制御装置２２は、ステップＳ１０１で商品７０を特定する際に、画像解析処理などにより商品７０の種別を判定しておく。そして撮像制御装置２２は、ステップＳ１０２のシーン判定処理で現在のシーンが商品紹介シーンであると判定すると、ステップＳ１０３，Ｓ１０４の順に処理を進め、商品７０を対象被写体として選択する。
その後、撮像制御装置２２は、ステップＳ１０１で判定した商品７０の種別情報を、商品７０の種別に対応する撮像制御情報が記憶されたクラウドサーバに送信し、クラウドサーバから商品７０に応じた撮像制御情報を取得する。
撮像制御装置２２は、ステップＳ１０５において、クラウドサーバから取得した撮像制御情報に基づいて、商品７０に応じた撮像制御を行う。
なお、商品７０の種別に対応する撮像制御情報は、あらかじめ撮像装置１に記憶されていてもよい。
【0131】
商品７０の種別、及び当該種別に対応する撮像制御には様々な例が考えられる。例えば、商品７０の種別が、フリッカ現象が生じるおそれのある表示部を備えるテレビジョン装置やデジタルカメラ装置などである場合に、フリッカ現象の生じないシャッタースピードに変更するＳＳ制御が考えられる。
【0132】
なお、商品紹介シーンの場合にこれらの制御処理を行う一方、現在のシーンが商品紹介シーンでなくパフォーマンスシーンであると判定した場合は、撮像制御装置２２は、上記した実施の形態と同様に、ステップＳ１０３，Ｓ１０８，Ｓ１０９の順に処理を進め、対象紹介者６０の顔６２を合焦させるフォーカス制御を行うことが考えられる。例えば他の部分のぼかし、集中線エフェクト、商品種別に応じた制御等は行わないとする。
【0133】
以下、各実施の形態におけるシーン判定処理について説明する。
図１７は第１の実施の形態のシーン判定処理例を示している。第１の実施の形態は、図４，図５に示したように撮像装置１から商品７０までの距離Ｌｏｃを用いてシーン判定が行われる例である。
図１７は第１の実施の形態のシーン判定処理例を示している。第１の実施の形態は、図４，図５に示したように撮像装置１から商品７０までの距離Ｌｏｃを用いてシーン判定が行われる例である。
【0134】
まず撮像制御装置２２は、ステップＳ２０１において、撮像装置１から紹介対象の商品７０までの距離Ｌｏｃを算出する。例えば、撮像画像データのフレームを取得する際に位相差信号を取得し、当該取得した位相差信号を用いて相関演算を行うことで、撮像装置１から紹介対象の商品７０までの距離Ｌｏｃを算出する。
なお、撮像制御装置２２は、コントラストＡＦにおけるフォーカスレンズの位置に基づいて撮像装置１から商品７０までの距離Ｌｏｃを算出してもよいし、位相差センサや赤外線センサ等を用いた専用の測距センサの検出情報を用いて撮像装置１から商品７０までの距離Ｌｏｃを算出してもよい。
なお、撮像制御装置２２は、コントラストＡＦにおけるフォーカスレンズの位置に基づいて撮像装置１から商品７０までの距離Ｌｏｃを算出してもよいし、位相差センサや赤外線センサ等を用いた専用の測距センサの検出情報を用いて撮像装置１から商品７０までの距離Ｌｏｃを算出してもよい。
【0135】
撮像制御装置２２は、ステップＳ２０２において、撮像装置１から商品７０までの距離Ｌｏｃが、最短撮像距離以上であるか否かを判定する。
最短撮像距離とは、撮像装置１から被写体までの距離のうち、被写体をぼけることなくフォーカス制御することができる最短の距離をいう。従って距離Ｌｏｃがここでいう最短撮像距離より短い場合は、商品７０を対象としてフォーカス制御を行ってもぼけた状態となってしまう。例えば対象紹介者６０が商品７０を強調しようとして、過度に撮像装置１に近づけたような場合、距離Ｌｏｃが最短撮像距離より短くなる。
最短撮像距離とは、撮像装置１から被写体までの距離のうち、被写体をぼけることなくフォーカス制御することができる最短の距離をいう。従って距離Ｌｏｃがここでいう最短撮像距離より短い場合は、商品７０を対象としてフォーカス制御を行ってもぼけた状態となってしまう。例えば対象紹介者６０が商品７０を強調しようとして、過度に撮像装置１に近づけたような場合、距離Ｌｏｃが最短撮像距離より短くなる。
【0136】
このような場合は、適切な撮像ができなくなるため、距離Ｌｏｃが最短撮像距離よりも短い場合には、撮像制御装置２２は、ステップＳ２０２からステップＳ２０３に処理を進め、エラーフラグをＯＮに設定する。
ここでエラーフラグは、シーン判定を行うことができる適切な撮像状態か否かを示すフラグである。エラーフラグがＯＮであることは、フォーカス制御可能範囲を越え、ぼけない状態での動画撮像が行えず、シーン判定による対象被写体選択を実行することができない判定不能状態であることを示している。
ここでエラーフラグは、シーン判定を行うことができる適切な撮像状態か否かを示すフラグである。エラーフラグがＯＮであることは、フォーカス制御可能範囲を越え、ぼけない状態での動画撮像が行えず、シーン判定による対象被写体選択を実行することができない判定不能状態であることを示している。
【0137】
ステップＳ２０３でエラーフラグをオンとした場合、撮像制御装置２２は、ステップＳ２０４から図１４のステップＳ１０６に処理を進め、判定不能状態であることの提示制御を行う。例えば判定不能状態であることを示すアイコンやメッセージのオンスクリーン表示や、ＬＥＤ等の特定の表示部のオンオフや、エラー音或いは音声等で判定不能状態を提示するための提示制御を行う。
なお、撮像画像を表示する表示部が対象紹介者６０側に向いていない場合は、この表示部以外の表示部や音声等を用いて対象紹介者６０に提示制御を行うことが好ましい。
なお、撮像画像を表示する表示部が対象紹介者６０側に向いていない場合は、この表示部以外の表示部や音声等を用いて対象紹介者６０に提示制御を行うことが好ましい。
【0138】
そして、撮像制御装置２２は、図１４のステップＳ１０７において、エラーフラグがオンであることを示すメタデータを生成する。生成したメタデータは、カメラ信号処理部１６に送信され、例えば撮像画像データの対応するフレームに関連付けられて記録媒体に記録される。その後、撮像制御装置２２は、図１４のステップＳ１０１に戻り、既述の処理を実行する。
【0139】
図１５のステップＳ２０２において距離Ｌｏｃが最短撮像距離よりも長い場合は、特に以上のようなエラーとしての対処を行う必要がない場合である。
撮像制御装置２２は、ステップＳ２１０において、エラーフラグがＯＮであるかを判定し、エラーフラグがＯＮである場合は、ステップＳ２０５でエラーフラグをＯＦＦとしたうえでステップＳ２０６に処理を進める。
また、ステップＳ２１０において、エラーフラグがＯＦＦと確認した場合、撮像制御装置２２はステップＳ２０５の処理を行うことなくステップＳ２０６に処理を進める。
撮像制御装置２２は、ステップＳ２１０において、エラーフラグがＯＮであるかを判定し、エラーフラグがＯＮである場合は、ステップＳ２０５でエラーフラグをＯＦＦとしたうえでステップＳ２０６に処理を進める。
また、ステップＳ２１０において、エラーフラグがＯＦＦと確認した場合、撮像制御装置２２はステップＳ２０５の処理を行うことなくステップＳ２０６に処理を進める。
【0140】
撮像制御装置２２は、ステップＳ２０６において、算出した距離Ｌｏｃが所定値Ｌｔｈ１よりも短いか否かを判定する。
先の図４，図５の説明から理解されるように、所定値Ｌｔｈ１とは、現在のシーンがパフォーマンスシーンか、商品紹介シーンかを判断するための基準となる値である。例えば距離Ｌｏｃが所定値Ｌｔｈ１よりも短い場合、商品紹介シーンと判定され、距離Ｌｏｃが所定値Ｌｔｈ１以上であればパフォーマンスシーンと判定される。
所定値Ｌｔｈ１は撮像を行う者が任意に設定してもよいし、あらかじめ撮像装置１に設定されていてもよい。或いは、撮像開始前、或いは撮像中などに実際の測距データから今回の撮像に係る所定値Ｌｔｈ１を設定するような処理を行ってもよい。例えば対象紹介者６０までの距離を測定し、その距離から適切な距離の減算等をして所定値Ｌｔｈ１を求めることが考えられる。
先の図４，図５の説明から理解されるように、所定値Ｌｔｈ１とは、現在のシーンがパフォーマンスシーンか、商品紹介シーンかを判断するための基準となる値である。例えば距離Ｌｏｃが所定値Ｌｔｈ１よりも短い場合、商品紹介シーンと判定され、距離Ｌｏｃが所定値Ｌｔｈ１以上であればパフォーマンスシーンと判定される。
所定値Ｌｔｈ１は撮像を行う者が任意に設定してもよいし、あらかじめ撮像装置１に設定されていてもよい。或いは、撮像開始前、或いは撮像中などに実際の測距データから今回の撮像に係る所定値Ｌｔｈ１を設定するような処理を行ってもよい。例えば対象紹介者６０までの距離を測定し、その距離から適切な距離の減算等をして所定値Ｌｔｈ１を求めることが考えられる。
【0141】
撮像制御装置２２は、ステップＳ２０６において、距離Ｌｏｃが所定値Ｌｔｈ１よりも短いと判定すると、ステップＳ２０７において現在のシーンが商品紹介シーンであると判定する。
すると撮像制御装置２２は、ステップＳ２０４，図１４のステップＳ１０３，Ｓ１０４の順に処理を進め、ステップＳ１０１で特定した商品７０を対象被写体として選択し、ステップＳ１０５において、対象被写体である商品７０に対して撮像制御として、例えばフォーカス制御を実行する。もちろん上述のように撮像制御装置２２は、撮像制御として、フォーカス制御とは別に、または、フォーカス制御に加えてフリッカ現象の生じないＳＳ制御や輝度処理、画像効果処理など様々な制御を行うようにしてもよい。
その後、撮像制御装置２２は、ステップＳ１０６，Ｓ１０７の処理を行う。
すると撮像制御装置２２は、ステップＳ２０４，図１４のステップＳ１０３，Ｓ１０４の順に処理を進め、ステップＳ１０１で特定した商品７０を対象被写体として選択し、ステップＳ１０５において、対象被写体である商品７０に対して撮像制御として、例えばフォーカス制御を実行する。もちろん上述のように撮像制御装置２２は、撮像制御として、フォーカス制御とは別に、または、フォーカス制御に加えてフリッカ現象の生じないＳＳ制御や輝度処理、画像効果処理など様々な制御を行うようにしてもよい。
その後、撮像制御装置２２は、ステップＳ１０６，Ｓ１０７の処理を行う。
【0142】
撮像制御装置２２は、図１７のステップＳ２０６において、距離Ｌｏｃが所定値Ｌｔｈ１よりも短いと判定しなかった場合は、ステップＳ２０８において現在のシーンがパフォーマンスシーンであると判定する。
その後、撮像制御装置２２は、ステップＳ２０４，図１４のステップＳ１０３，Ｓ１０８の順に処理を進め、ステップＳ１０１で特定した対象紹介者６０を対象被写体として選択し、ステップＳ１０９において、対象被写体である対象紹介者６０の顔６２に対して撮像制御として、例えばフォーカス制御等を実行する。そして撮像制御装置２２は、ステップＳ１０６，Ｓ１０７の処理を行う。
その後、撮像制御装置２２は、ステップＳ２０４，図１４のステップＳ１０３，Ｓ１０８の順に処理を進め、ステップＳ１０１で特定した対象紹介者６０を対象被写体として選択し、ステップＳ１０９において、対象被写体である対象紹介者６０の顔６２に対して撮像制御として、例えばフォーカス制御等を実行する。そして撮像制御装置２２は、ステップＳ１０６，Ｓ１０７の処理を行う。
【0143】
以上のように第１の実施の形態によれば、撮像装置１から商品７０までの距離Ｌｏｃに基づいてシーン判定を行うことで、対象紹介者６０と紹介対象である商品７０との被写体位置関係に基づいたシーン判定を行うこととなる。
【0144】
【0145】
撮像制御装置２２は、ステップＳ２５１において、撮像装置１から商品７０までの距離Ｌｏｃ、及び撮像装置１から対象紹介者６０までの距離Ｌｈｃを算出する。また距離Ｌｈｃ－距離Ｌｏｃの演算により対象紹介者６０と商品７０との距離Ｌｈｏを求める。
【0146】
撮像制御装置２２は、ステップＳ２５２において、撮像装置１から商品７０までの距離Ｌｏｃ、又は撮像装置１から対象紹介者６０までの距離Ｌｈｃのいずれかが、最短撮像距離以上であるか否かを判定する。
【0147】
距離Ｌｏｃ，距離Ｌｈｃのいずれかが最短撮像距離よりも短い場合は、適切な撮像ができなくなるため、撮像制御装置２２は、ステップＳ２５２からステップＳ２５８に処理を進め、エラーフラグをＯＮに設定し、判定不能状態であるとする。
この場合、撮像制御装置２２は、ステップＳ２５９から図１４のステップＳ１０６に処理を進め、判定不能状態であることの提示制御を行う。
そして、撮像制御装置２２は、図１４のステップＳ１０７において、エラーフラグがオンであることを示すメタデータを生成し、その後、ステップＳ１０１に戻り、既述の処理を実行する。以上は図１７で説明した第１の実施の形態と同様である。
この場合、撮像制御装置２２は、ステップＳ２５９から図１４のステップＳ１０６に処理を進め、判定不能状態であることの提示制御を行う。
そして、撮像制御装置２２は、図１４のステップＳ１０７において、エラーフラグがオンであることを示すメタデータを生成し、その後、ステップＳ１０１に戻り、既述の処理を実行する。以上は図１７で説明した第１の実施の形態と同様である。
【0148】
図１８のステップＳ２５２において距離Ｌｏｃが最短撮像距離以上の場合は、撮像制御装置２２は、ステップＳ２５３において、エラーフラグがＯＮであるかを判定し、エラーフラグがＯＮである場合は、ステップＳ２５４でエラーフラグをＯＦＦとした上でステップＳ２５５に処理を進める。
また、ステップＳ２５３において、エラーフラグがＯＦＦと確認した場合、撮像制御装置２２はステップＳ２５４の処理を行うことなくステップＳ２５５に処理を進める。
また、ステップＳ２５３において、エラーフラグがＯＦＦと確認した場合、撮像制御装置２２はステップＳ２５４の処理を行うことなくステップＳ２５５に処理を進める。
【0149】
撮像制御装置２２は、ステップＳ２５５において、算出した距離Ｌｈｏが所定値Ｌｔｈ２よりも短いか否かを判定する。
先の図６，図７の説明から理解されるように、所定値Ｌｔｈ２は、現在のシーンがパフォーマンスシーンか、商品紹介シーンかを判断するための基準となる値である。例えば距離Ｌｈｏが所定値Ｌｔｈ２よりも短い場合、パフォーマンスシーンと判定され、距離Ｌｈｏが所定値Ｌｔｈ２以上であれば商品紹介シーンと判定される。
所定値Ｌｔｈ２は撮像を行う者が任意に設定してもよいし、あらかじめ撮像装置１に設定されていてもよい。或いは、撮像開始前、撮像中などに実際の測距データから今回の撮像に係る所定値Ｌｔｈ２を設定するような処理を行ってもよい。例えばまだ商品紹介に至る前の時点（例えば撮像開始時など）で計測されるシーン距離Ｌｈｃと距離Ｌｏｃに基づいて、適切な所定値Ｌｔｈ２を求めることが考えられる。
先の図６，図７の説明から理解されるように、所定値Ｌｔｈ２は、現在のシーンがパフォーマンスシーンか、商品紹介シーンかを判断するための基準となる値である。例えば距離Ｌｈｏが所定値Ｌｔｈ２よりも短い場合、パフォーマンスシーンと判定され、距離Ｌｈｏが所定値Ｌｔｈ２以上であれば商品紹介シーンと判定される。
所定値Ｌｔｈ２は撮像を行う者が任意に設定してもよいし、あらかじめ撮像装置１に設定されていてもよい。或いは、撮像開始前、撮像中などに実際の測距データから今回の撮像に係る所定値Ｌｔｈ２を設定するような処理を行ってもよい。例えばまだ商品紹介に至る前の時点（例えば撮像開始時など）で計測されるシーン距離Ｌｈｃと距離Ｌｏｃに基づいて、適切な所定値Ｌｔｈ２を求めることが考えられる。
【0150】
撮像制御装置２２は、ステップＳ２５５において、距離Ｌｈｏが所定値Ｌｔｈ２よりも短いと判定すると、ステップＳ２５７において現在のシーンがパフォーマンスシーンであると判定する。
すると撮像制御装置２２は、ステップＳ２５９，図１４のステップＳ１０３，Ｓ１０８の順に処理を進め、ステップＳ１０１で特定した対象紹介者６０を対象被写体として選択し、ステップＳ１０９において、対象被写体である対象紹介者６０の顔６２に対して撮像制御として、例えばフォーカス制御等を実行する。そして撮像制御装置２２は、ステップＳ１０６，Ｓ１０７の処理を行う。
すると撮像制御装置２２は、ステップＳ２５９，図１４のステップＳ１０３，Ｓ１０８の順に処理を進め、ステップＳ１０１で特定した対象紹介者６０を対象被写体として選択し、ステップＳ１０９において、対象被写体である対象紹介者６０の顔６２に対して撮像制御として、例えばフォーカス制御等を実行する。そして撮像制御装置２２は、ステップＳ１０６，Ｓ１０７の処理を行う。
【0151】
撮像制御装置２２は、図１８のステップＳ２５５において、距離Ｌｈｏが所定値Ｌｔｈ２よりも短いと判定しなかった場合は、ステップＳ２５６において現在のシーンが商品紹介シーンであると判定する。
すると撮像制御装置２２は、ステップＳ２５９，図１４のステップＳ１０３，Ｓ１０４の順に処理を進め、ステップＳ１０１で特定した商品７０を対象被写体として選択し、ステップＳ１０５において、対象被写体である商品７０に対して撮像制御として、例えばフォーカス制御等を実行する。その後、撮像制御装置２２は、ステップＳ１０６，Ｓ１０７の処理を行う。
すると撮像制御装置２２は、ステップＳ２５９，図１４のステップＳ１０３，Ｓ１０４の順に処理を進め、ステップＳ１０１で特定した商品７０を対象被写体として選択し、ステップＳ１０５において、対象被写体である商品７０に対して撮像制御として、例えばフォーカス制御等を実行する。その後、撮像制御装置２２は、ステップＳ１０６，Ｓ１０７の処理を行う。
【0152】
以上のように第２の実施の形態によれば、対象紹介者６０から商品７０までの距離Ｌｈｏに基づいてシーン判定を行うことで、対象紹介者６０と紹介対象である商品７０との被写体位置関係に基づいたシーン判定を行うこととなる。
【0153】
なお先にも言及したが、対象紹介者６０が商品７０を紹介するシーンでは、対象紹介者６０は手６１により商品７０を自身に近づけて紹介することが考えられる。そのような挙動を想定する場合は、ステップＳ２５５の論理を逆にすればよい。
即ち、撮像制御装置２２は、距離Ｌｈｏが所定の値よりも短くなったことをもって、現在のシーンを商品紹介シーンと判定し、距離Ｌｈｏが所定の値以上であれば現在のシーンをパフォーマンスシーンと判定するようにする。
即ち、撮像制御装置２２は、距離Ｌｈｏが所定の値よりも短くなったことをもって、現在のシーンを商品紹介シーンと判定し、距離Ｌｈｏが所定の値以上であれば現在のシーンをパフォーマンスシーンと判定するようにする。
【0154】
なお、第１、第２の実施の形態では、撮像制御装置２２は、撮像装置１から商品７０までの距離Ｌｏｃ、或いは対象紹介者６０と商品７０の間の距離Ｌｈｏに基づいてシーン判定を行うこととしたが、撮像装置１から対象紹介者６０までの距離に基づいてシーン判定を行うことも考えられる。
【0155】
第３の実施の形態のシーン判定処理について図１９を参照して説明する。第３の実施の形態は、対象紹介者６０の身体の一部の状態に応じてシーン判定が行われる例である。ここでは一例として、対象紹介者６０の手６１の状態に応じてシーン判定が行われる例を説明する。
【0156】
撮像制御装置２２は、ステップＳ３０１において、対象紹介者６０の手６１の状態を判定する。即ち、撮像制御装置２２は、図１４のステップＳ１０１で取得したフレームの画像データを用いて画像解析処理を行うことで、手６１が対象特定状態であるか否かを判定する。
ここで対象特定状態とは、紹介対象である商品７０が対象紹介者６０の手６１により特定可能な状態をいい、例えば、手６１で商品７０を持つ、つまむ、掴む等の手６１が商品７０に触れている状態や、対象紹介者６０の手６１で商品７０を指さすといった手６１により商品７０を特定するためのジェスチャをしている状態などのことである。
なお、撮像制御装置２２は、取得した１フレームの画像データを用いて画像解析処理を行うことで、手６１が対象特定状態であるか否かを判定することが考えられるが、複数フレームの画像データを取得して画像解析処理等を行うことで、フレーム間における画像データの変化から手６１の動きを検出し、当該動きに基づいて手６１が対象特定状態であるか否かを判定することとしてもよい。
ここで対象特定状態とは、紹介対象である商品７０が対象紹介者６０の手６１により特定可能な状態をいい、例えば、手６１で商品７０を持つ、つまむ、掴む等の手６１が商品７０に触れている状態や、対象紹介者６０の手６１で商品７０を指さすといった手６１により商品７０を特定するためのジェスチャをしている状態などのことである。
なお、撮像制御装置２２は、取得した１フレームの画像データを用いて画像解析処理を行うことで、手６１が対象特定状態であるか否かを判定することが考えられるが、複数フレームの画像データを取得して画像解析処理等を行うことで、フレーム間における画像データの変化から手６１の動きを検出し、当該動きに基づいて手６１が対象特定状態であるか否かを判定することとしてもよい。
【0157】
撮像制御装置２２は、ステップＳ３０２において、手６１が対象特定状態であると判定すると、ステップＳ３０３において現在のシーンが商品紹介シーンであると判定する。
その後、撮像制御装置２２は、図１４のようにステップＳ１０３，Ｓ１０４の順に処理を進め、ステップＳ１０１で特定した商品７０を対象被写体として選択し、ステップＳ１０５において、対象被写体である商品７０が合焦するようにフォーカス制御を実行する。そして撮像制御装置２２は、ステップＳ１０６，Ｓ１０７の処理を行う。
その後、撮像制御装置２２は、図１４のようにステップＳ１０３，Ｓ１０４の順に処理を進め、ステップＳ１０１で特定した商品７０を対象被写体として選択し、ステップＳ１０５において、対象被写体である商品７０が合焦するようにフォーカス制御を実行する。そして撮像制御装置２２は、ステップＳ１０６，Ｓ１０７の処理を行う。
【0158】
なお、手６１が商品７０を持つなど、手６１が商品７０に触れている対象特定状態である場合、撮像制御装置２２は、ステップＳ１０５において、商品７０に触れている手６１の領域に適したフォーカス制御等を行うこととしてもよい。
対象紹介者６０の手６１の領域を対象としてフォーカス制御を行うことで、手６１と触れている商品７０にもフォーカスを合わせた動画撮像を行うことができる。これは特に、商品７０が小さすぎて商品７０自体に対するフォーカス制御が困難である場合に有効である。
対象紹介者６０の手６１の領域を対象としてフォーカス制御を行うことで、手６１と触れている商品７０にもフォーカスを合わせた動画撮像を行うことができる。これは特に、商品７０が小さすぎて商品７０自体に対するフォーカス制御が困難である場合に有効である。
【0159】
一方、撮像制御装置２２は、ステップＳ３０２において手６１が対象特定状態でないと判定すると、ステップＳ３０４において現在のシーンがパフォーマンスシーンであると判定する。
その後、撮像制御装置２２は、図１４のステップＳ１０３，Ｓ１０８の順に処理を進め、ステップＳ１０１で特定した対象紹介者６０を対象被写体として選択し、ステップＳ１０９において、対象被写体である対象紹介者６０の顔６２に対してフォーカス制御を実行する。そして撮像制御装置２２は、ステップＳ１０６，Ｓ１０７の処理を行う。
その後、撮像制御装置２２は、図１４のステップＳ１０３，Ｓ１０８の順に処理を進め、ステップＳ１０１で特定した対象紹介者６０を対象被写体として選択し、ステップＳ１０９において、対象被写体である対象紹介者６０の顔６２に対してフォーカス制御を実行する。そして撮像制御装置２２は、ステップＳ１０６，Ｓ１０７の処理を行う。
【0160】
このように第３の実施の形態によれば、対象紹介者６０の手６１が対象特定状態であるか否かに基づいてシーン判定を行うことで、対象紹介者６０の手６１と紹介対象である商品７０との被写体位置関係に基づいたシーン判定を行っていることになる。
【0161】
なお第３の実施の形態は以下の形態をとることもできる。第３の実施の形態の変型例について図２０を参照して説明する。
本例は、被写体位置関係に基づいて、対象紹介者６０の身体の一部である手６１の状態、及び被写体位置関係に基づく撮像装置１から商品７０までの距離を用いてシーン判定が行われる例である。
本例は、被写体位置関係に基づいて、対象紹介者６０の身体の一部である手６１の状態、及び被写体位置関係に基づく撮像装置１から商品７０までの距離を用いてシーン判定が行われる例である。
【0162】
まず撮像制御装置２２は、ステップＳ４０１において、対象紹介者６０の手６１の状態を判定する。即ち、撮像制御装置２２は、図１４のステップＳ１０１で取得したフレームの画像データを用いて画像解析処理を行うことで、手６１が例えば商品７０を持つ等の対象特定状態であるか否かを判定する。
【0163】
撮像制御装置２２は、ステップＳ４０２において、手６１が対象特定状態でないと判定すると、ステップＳ４０３において現在のシーンがパフォーマンスシーンであると判定する。
その後、撮像制御装置２２は、図２０の処理を終え、図１４のステップＳ１０３，Ｓ１０８の順に処理を進め、ステップＳ１０１で特定した対象紹介者６０を対象被写体として選択し、ステップＳ１０９において、対象被写体である対象紹介者６０の顔６２の領域を対象としたフォーカス制御を実行する。そして撮像制御装置２２は、ステップＳ１０６，Ｓ１０７の処理を行う。
その後、撮像制御装置２２は、図２０の処理を終え、図１４のステップＳ１０３，Ｓ１０８の順に処理を進め、ステップＳ１０１で特定した対象紹介者６０を対象被写体として選択し、ステップＳ１０９において、対象被写体である対象紹介者６０の顔６２の領域を対象としたフォーカス制御を実行する。そして撮像制御装置２２は、ステップＳ１０６，Ｓ１０７の処理を行う。
【0164】
撮像制御装置２２は、図２０のステップＳ４０２において、手６１が対象特定状態であると判定すると、ステップＳ４０４に処理を進め、撮像装置１から紹介対象の商品７０までの距離Ｌｏｃを算出する。
【0165】
撮像制御装置２２は、ステップＳ４０５において、算出した距離Ｌｏｃが所定値よりも短いか否かを判定する。
撮像制御装置２２は、ステップＳ４０５において距離Ｌｏｃが所定値Ｌｔｈ１よりも短いと判定すると、ステップＳ４０６において現在のシーンが商品紹介シーンであると判定する。
その後、撮像制御装置２２は、図２０の処理を終え、図１４のステップＳ１０３，Ｓ１０４の順に処理を進め、ステップＳ１０１で特定した商品７０を対象被写体として選択し、ステップＳ１０５において、対象被写体である商品７０に対してフォーカス制御を実行する。そして撮像制御装置２２は、ステップＳ１０６，Ｓ１０７の処理を行う。
撮像制御装置２２は、ステップＳ４０５において距離Ｌｏｃが所定値Ｌｔｈ１よりも短いと判定すると、ステップＳ４０６において現在のシーンが商品紹介シーンであると判定する。
その後、撮像制御装置２２は、図２０の処理を終え、図１４のステップＳ１０３，Ｓ１０４の順に処理を進め、ステップＳ１０１で特定した商品７０を対象被写体として選択し、ステップＳ１０５において、対象被写体である商品７０に対してフォーカス制御を実行する。そして撮像制御装置２２は、ステップＳ１０６，Ｓ１０７の処理を行う。
【0166】
撮像制御装置２２は、ステップＳ４０５において、距離Ｌｏｃが所定値Ｌｔｈ１以上と判定すると、ステップＳ４０３において現在のシーンがパフォーマンスシーンであると判定する。
その後、撮像制御装置２２は、図２０の処理を終え、図１４のステップＳ１０３，Ｓ１０８の順に処理を進め、ステップＳ１０１で特定した対象紹介者６０を対象被写体として選択し、ステップＳ１０９において、対象被写体である対象紹介者６０の顔６２に対してフォーカス制御を実行する。そして撮像制御装置２２は、ステップＳ１０６，Ｓ１０７の処理を行う。
その後、撮像制御装置２２は、図２０の処理を終え、図１４のステップＳ１０３，Ｓ１０８の順に処理を進め、ステップＳ１０１で特定した対象紹介者６０を対象被写体として選択し、ステップＳ１０９において、対象被写体である対象紹介者６０の顔６２に対してフォーカス制御を実行する。そして撮像制御装置２２は、ステップＳ１０６，Ｓ１０７の処理を行う。
【0167】
以上のように、対象紹介者６０の手６１の状態、及び商品７０から撮像装置１までの距離Ｌｏｃに基づいてシーン判定を行うことで、対象紹介者６０と紹介対象である商品７０との被写体位置関係に基づいたシーン判定を行うことになる。
例えば商品レビュー動画において、対象紹介者６０は、商品７０を映して紹介していない時であっても商品７０を手６１で持つこと（即ち、対象特定状態となること）がある。このような場合、対象紹介者６０の手６１の持つ等の状態に基づいて手６１に対してフォーカス制御を行うこととすると、実際はパフォーマンスシーンであるにも関わらず商品７０に対してフォーカス制御が行われてしまうおそれがある。
そこで、対象紹介者６０の手６１の状態に加えて、撮像装置１から商品７０までの距離Ｌｏｃの状態を加味してシーン判定を行うことで、対象紹介者の意図をより反映させたフォーカス制御等の撮像制御を行うことが可能となる。即ち、撮像制御装置２２によるシーン判定の精度を向上させることができる。
例えば商品レビュー動画において、対象紹介者６０は、商品７０を映して紹介していない時であっても商品７０を手６１で持つこと（即ち、対象特定状態となること）がある。このような場合、対象紹介者６０の手６１の持つ等の状態に基づいて手６１に対してフォーカス制御を行うこととすると、実際はパフォーマンスシーンであるにも関わらず商品７０に対してフォーカス制御が行われてしまうおそれがある。
そこで、対象紹介者６０の手６１の状態に加えて、撮像装置１から商品７０までの距離Ｌｏｃの状態を加味してシーン判定を行うことで、対象紹介者の意図をより反映させたフォーカス制御等の撮像制御を行うことが可能となる。即ち、撮像制御装置２２によるシーン判定の精度を向上させることができる。
【0168】
なお、本例における撮像制御装置２２は、シーン判定にあたりステップＳ４０４において撮像装置１から紹介対象の商品７０までの距離Ｌｏｃを算出することとしたが、例えば手６１が商品７０を持つといった対象特定状態である場合には、撮像装置１から対象紹介者６０の手６１までの距離を算出することとしてもよい。
手６１が商品７０を持つ等、手６１が商品７０に触れている状態においては、撮像装置１から手６１までの距離をもって、撮像装置１から商品７０までの距離を推定することができるためである。
またこのとき、撮像制御装置２２は、ステップＳ１０５において、商品７０に触れている手６１に対してフォーカス制御を行うことも可能である。これによっても商品７０にフォーカスを合わせた動画撮像を実現できる。
手６１が商品７０を持つ等、手６１が商品７０に触れている状態においては、撮像装置１から手６１までの距離をもって、撮像装置１から商品７０までの距離を推定することができるためである。
またこのとき、撮像制御装置２２は、ステップＳ１０５において、商品７０に触れている手６１に対してフォーカス制御を行うことも可能である。これによっても商品７０にフォーカスを合わせた動画撮像を実現できる。
【0169】
また本例では説明を省略したが、撮像装置１から商品７０までの距離Ｌｏｃが最短撮像距離よりも短い場合には、撮像制御装置２２は、判定不能状態であることを示すエラーフラグをＯＮに設定し、撮像装置１の表示部にエラー表示を行うこととしてもよい。
【0170】
第４の実施の形態のシーン判定処理について図２１を参照して説明する。第４の実施の形態は、紹介対象である商品７０の領域が撮像画像のフレーム全体に対して占める比率に基づいてシーン判定が行われる例である。この場合の比率は被写体位置関係に相当するものとなる。
【0171】
まず撮像制御装置２２は、ステップＳ５０１において、撮像画像のフレーム全体における紹介対象の商品７０の占める比率を算出する。即ち、撮像制御装置２２は、撮像画像のフレーム全体の面積に対して占める商品７０の面積の比率Ｐを算出する。
【0172】
その後、撮像制御装置２２は、ステップＳ５０２において、撮像画像のフレーム全体の面積に対して占める商品７０の面積の比率Ｐが所定値ｔｈＰより大きいか否かを判定する。ここでいう所定値ｔｈＰとは、現在のシーンがパフォーマンスシーンか、商品紹介シーンかを判断するための基準となる値であり、比率Ｐが所定値ｔｈＰより大きいことをもって商品紹介シーンと判定するものである。
【0173】
撮像画像のフレーム全体の面積に対して占める商品７０の面積の比率Ｐが所定値ｔｈＰより大きくなる場合、撮像制御装置２２は、ステップＳ５０３において、現在のシーンが商品紹介シーンであると判定する。
撮像画像のフレーム全体の面積に対して、商品７０の面積の占める比率Ｐが増加するということは、商品７０と撮像装置１の距離が近づいているといえるため、対象紹介者６０が商品７０を撮像装置１に近づけて商品７０を紹介しようとしていることが推定できるためである。
このように、本実施の形態のように商品７０の面積の占める比率Ｐに基づいてシーン判定を行うことは、間接的に商品７０と撮像装置１の距離関係に基づいてシーン判定を行っているともいえる。つまり、本実施の形態では、商品７０と撮像装置１の位置関係を距離とは異なる物理量で検出している。
撮像画像のフレーム全体の面積に対して、商品７０の面積の占める比率Ｐが増加するということは、商品７０と撮像装置１の距離が近づいているといえるため、対象紹介者６０が商品７０を撮像装置１に近づけて商品７０を紹介しようとしていることが推定できるためである。
このように、本実施の形態のように商品７０の面積の占める比率Ｐに基づいてシーン判定を行うことは、間接的に商品７０と撮像装置１の距離関係に基づいてシーン判定を行っているともいえる。つまり、本実施の形態では、商品７０と撮像装置１の位置関係を距離とは異なる物理量で検出している。
【0174】
その後、撮像制御装置２２は、ステップＳ５０３，図１４のステップＳ１０３，Ｓ１０４の順に処理を進め、ステップＳ１０１で特定した商品７０を対象被写体として選択し、ステップＳ１０５において、対象被写体である商品７０に対してフォーカス制御を実行する。そして撮像制御装置２２は、ステップＳ１０６，Ｓ１０７の処理を行う。
【0175】
図２１のステップＳ５０２で撮像画像のフレーム全体の面積に対して占める商品７０の面積の比率Ｐが所定値ｔｈＰ以下である場合、撮像制御装置２２は、ステップＳ５０４において、現在のシーンがパフォーマンスシーンであると判定する。
その後、撮像制御装置２２は、ステップＳ５０４，図１４のステップＳ１０３，Ｓ１０８の順に処理を進め、ステップＳ１０１で特定した対象紹介者６０を対象被写体として選択し、ステップＳ１０９において、対象被写体である対象紹介者６０の顔６２に対してフォーカス制御を実行する。そして撮像制御装置２２は、ステップＳ１０６，Ｓ１０７の処理を行う。
その後、撮像制御装置２２は、ステップＳ５０４，図１４のステップＳ１０３，Ｓ１０８の順に処理を進め、ステップＳ１０１で特定した対象紹介者６０を対象被写体として選択し、ステップＳ１０９において、対象被写体である対象紹介者６０の顔６２に対してフォーカス制御を実行する。そして撮像制御装置２２は、ステップＳ１０６，Ｓ１０７の処理を行う。
【0176】
以上の第４の実施の形態によれば、紹介対象である商品７０が撮像画像のフレーム全体に対して占める比率に基づいてシーン判定を行うことで、対象紹介者６０の手６１と紹介対象である商品７０との被写体位置関係に基づいたシーン判定を行うことになる。
【0177】
なお、本実施の形態では、撮像制御装置２２は、紹介対象である商品７０が撮像画像のフレーム全体に対して占める比率に基づいてシーン判定を行ったが、対象紹介者６０の領域が撮像画像のフレーム全体に対して占める比率に基づいてシーン判定を行うこととしてもよい。
例えば、撮像制御装置２２は、ステップＳ５０１において撮像画像の面積に対して占める対象紹介者６０の領域の面積の比率Ｐ１を算出し、ステップＳ５０２で比率Ｐ１が所定値ｔｈＰ’よりも小さいか否かを判定する。ここでいう所定値ｔｈＰ’とは、現在のシーンがパフォーマンスシーンか、商品紹介シーンかを判断するための基準となる値であり、比率Ｐ１が所定値ｔｈＰ’より小さいことをもって商品紹介シーンと判定するものである。
例えば、撮像制御装置２２は、ステップＳ５０１において撮像画像の面積に対して占める対象紹介者６０の領域の面積の比率Ｐ１を算出し、ステップＳ５０２で比率Ｐ１が所定値ｔｈＰ’よりも小さいか否かを判定する。ここでいう所定値ｔｈＰ’とは、現在のシーンがパフォーマンスシーンか、商品紹介シーンかを判断するための基準となる値であり、比率Ｐ１が所定値ｔｈＰ’より小さいことをもって商品紹介シーンと判定するものである。
【0178】
撮像画像の面積に対して占める対象紹介者６０の面積の比率Ｐ１が所定値ｔｈＰ’より小さくなる場合、撮像制御装置２２は、ステップＳ５０３において、現在のシーンが商品紹介シーンであると判定する。
また、比率Ｐ１が所定値ｔｈＰ’以上の場合、撮像制御装置２２は、ステップＳ５０４において、現在のシーンがパフォーマンスシーンであると判定する。
撮像画像の面積に対して対象紹介者６０の面積の占める比率Ｐ１が所定値ｔｈＰ’以上となるということは、対象紹介者６０がパフォーマンスを行うために撮像装置１に近づいていることが推定できるためである。
また、比率Ｐ１が所定値ｔｈＰ’以上の場合、撮像制御装置２２は、ステップＳ５０４において、現在のシーンがパフォーマンスシーンであると判定する。
撮像画像の面積に対して対象紹介者６０の面積の占める比率Ｐ１が所定値ｔｈＰ’以上となるということは、対象紹介者６０がパフォーマンスを行うために撮像装置１に近づいていることが推定できるためである。
【0179】
また撮像制御装置２２は、紹介対象である商品７０が撮像画像上で占める比率Ｐと対象紹介者６０が撮像画像上で占める比率Ｐ１の両方に基づいてシーン判定を行うこともできる。
例えば、撮像制御装置２２は、撮像画像の面積に対して占める商品７０の面積の比率Ｐが所定値ｔｈＰより大きくなり、かつ撮像画像の面積に対して占める対象紹介者６０の面積の比率Ｐ１が所定値ｔｈＰ’より小さくなる場合に、現在のシーンを商品紹介シーンと判定し、それ以外をパフォーマンスシーンと判定することができる。
例えば、撮像制御装置２２は、撮像画像の面積に対して占める商品７０の面積の比率Ｐが所定値ｔｈＰより大きくなり、かつ撮像画像の面積に対して占める対象紹介者６０の面積の比率Ｐ１が所定値ｔｈＰ’より小さくなる場合に、現在のシーンを商品紹介シーンと判定し、それ以外をパフォーマンスシーンと判定することができる。
【0180】
また撮像制御装置２２は、商品７０や対象紹介者６０の撮像画像上に占める比率のみならず、商品７０と対象紹介者６０の面積の比率に基づいてシーン判定を行うことも可能である。
【0181】
＜５．まとめ及び変形例＞
以上の実施の形態の撮像装置１に搭載された撮像制御装置２２は、撮像装置１の撮像部１３により得られる撮像画像データ内における被写体である紹介対象（商品７０）及び紹介対象（商品７０）を紹介する対象紹介者６０を特定する特定部２２ａと、紹介対象（商品７０）と、対象紹介者６０と、撮像装置１のうちの少なくともいずれか２つの位置関係に基づいて、紹介対象（商品７０）と対象紹介者６０の一方を対象被写体として選択する選択部２２ｂと、選択部２２ｂで対象被写体として選択された被写体に対して撮像制御を行う撮像制御部２２ｃと、を備える（図１４、図１７から図２１参照）。
従って、例えば対象紹介者６０が、当該撮像制御装置２２が搭載された撮像装置１から離れて商品レビュー動画等のパフォーマンスを行うなど、撮像装置１を操作できない状態であっても、例えば商品を動かしたり、持ったり、指し示したりする手６１の動きに応じて自動的に撮像制御装置２２がシーンに適した撮像制御を行うようになる。これにより、パフォーマンスの撮像中に対象紹介者６０が撮像装置１を操作することなく、対象紹介者６０の意図を反映させた撮像制御がなされた動画を撮像することができる。
なお、紹介対象と、対象紹介者と、撮像装置１のうちの少なくともいずれか２つの位置関係とは、第２、第３の実施の形態のような対象紹介者６０と紹介対象の位置関係、第１、第４の実施の形態のような紹介対象と撮像装置１の位置関係の他、撮像装置１と対象紹介者６０の位置関係もある。撮像装置１と対象紹介者６０の位置関係に該当する例としては、例えば第４の実施の形態で言及した撮像画像の面積に対して占める対象紹介者６０の面積の比率Ｐ１が所定値ｔｈＰ’より小さくなるか否かでシーン判定（対象被写体の選択）を行う例がある。もちろん図６の距離Ｌｈｃを適切な閾値と比較してシーン判定（対象被写体の選択）をすることも考えられる。
また位置関係の例としては、対象紹介者と紹介対象と撮像装置の３者の位置関係も想定される。
以上の実施の形態の撮像装置１に搭載された撮像制御装置２２は、撮像装置１の撮像部１３により得られる撮像画像データ内における被写体である紹介対象（商品７０）及び紹介対象（商品７０）を紹介する対象紹介者６０を特定する特定部２２ａと、紹介対象（商品７０）と、対象紹介者６０と、撮像装置１のうちの少なくともいずれか２つの位置関係に基づいて、紹介対象（商品７０）と対象紹介者６０の一方を対象被写体として選択する選択部２２ｂと、選択部２２ｂで対象被写体として選択された被写体に対して撮像制御を行う撮像制御部２２ｃと、を備える（図１４、図１７から図２１参照）。
従って、例えば対象紹介者６０が、当該撮像制御装置２２が搭載された撮像装置１から離れて商品レビュー動画等のパフォーマンスを行うなど、撮像装置１を操作できない状態であっても、例えば商品を動かしたり、持ったり、指し示したりする手６１の動きに応じて自動的に撮像制御装置２２がシーンに適した撮像制御を行うようになる。これにより、パフォーマンスの撮像中に対象紹介者６０が撮像装置１を操作することなく、対象紹介者６０の意図を反映させた撮像制御がなされた動画を撮像することができる。
なお、紹介対象と、対象紹介者と、撮像装置１のうちの少なくともいずれか２つの位置関係とは、第２、第３の実施の形態のような対象紹介者６０と紹介対象の位置関係、第１、第４の実施の形態のような紹介対象と撮像装置１の位置関係の他、撮像装置１と対象紹介者６０の位置関係もある。撮像装置１と対象紹介者６０の位置関係に該当する例としては、例えば第４の実施の形態で言及した撮像画像の面積に対して占める対象紹介者６０の面積の比率Ｐ１が所定値ｔｈＰ’より小さくなるか否かでシーン判定（対象被写体の選択）を行う例がある。もちろん図６の距離Ｌｈｃを適切な閾値と比較してシーン判定（対象被写体の選択）をすることも考えられる。
また位置関係の例としては、対象紹介者と紹介対象と撮像装置の３者の位置関係も想定される。
【0182】
各実施の形態の撮像制御装置２２において、選択部２２ｂは、被写体位置関係に基づいて撮像画像におけるシーン判定処理を行い、当該シーン判定処理で判定したシーンに応じて、紹介対象である商品７０と対象紹介者６０の一方を対象被写体として選択することができる（図１４のステップＳ１０２参照）。
これにより、各シーンに適した対象被写体に対応してフォーカス制御等の撮像制御を行うことができる。従って、動画の撮像中に撮像装置１を直接操作することなしに対象紹介者６０の意図を反映させた動画撮像を実現できる。
例えば、商品レビュー動画において、商品７０を紹介する場面である商品紹介シーンでは商品７０を対象被写体としてフォーカス制御等を行い、対象紹介者６０がパフォーマンスを行う場面であるパフォーマンスシーンでは対象紹介者６０を対象被写体としてフォーカス制御等を行うことができる。これにより、現在のシーンで注目されるべき被写体に適したフォーカス制御等を行うことができる。
これにより、各シーンに適した対象被写体に対応してフォーカス制御等の撮像制御を行うことができる。従って、動画の撮像中に撮像装置１を直接操作することなしに対象紹介者６０の意図を反映させた動画撮像を実現できる。
例えば、商品レビュー動画において、商品７０を紹介する場面である商品紹介シーンでは商品７０を対象被写体としてフォーカス制御等を行い、対象紹介者６０がパフォーマンスを行う場面であるパフォーマンスシーンでは対象紹介者６０を対象被写体としてフォーカス制御等を行うことができる。これにより、現在のシーンで注目されるべき被写体に適したフォーカス制御等を行うことができる。
【0183】
第１の実施の形態の撮像制御装置２２において、選択部２２ｂは、紹介対象（商品７０）と撮像装置１の位置関係に基づいて、紹介対象（商品７０）と対象紹介者６０の一方を対象被写体として選択する。即ち、撮像制御装置２２は、商品７０と撮像装置１の位置関係に基づいて、シーン判定処理を行う（図１４のＳ１０２，図１７参照）。
例えば選択部２２ｂは、撮像装置１に対する商品７０の位置関係に基づいて、紹介対象（商品７０）と対象紹介者６０の一方を対象被写体として選択する。
このようにすることで、撮像中に対象紹介者６０が撮像装置１を操作することなく、対象紹介者６０の意図を反映させた撮像制御がなされた動画を撮像することができる。
例えば選択部２２ｂは、撮像装置１に対する商品７０の位置関係に基づいて、紹介対象（商品７０）と対象紹介者６０の一方を対象被写体として選択する。
このようにすることで、撮像中に対象紹介者６０が撮像装置１を操作することなく、対象紹介者６０の意図を反映させた撮像制御がなされた動画を撮像することができる。
【0184】
特に第１の実施の形態では、選択部２２ｂは、紹介対象（商品７０）と撮像装置１の位置関係により生ずる、紹介対象（商品７０）に対する撮像装置１からの距離Ｌｏｃに基づいて、紹介対象（商品７０）と対象紹介者６０の一方を対象被写体として選択する。
例えば商品レビュー動画において、対象紹介者６０は、紹介する商品７０を視聴者に注目させるために、商品７０を撮像装置１の撮像レンズに近づけることがある。このような場合に、例えば紹介対象の商品７０から撮像装置１までの距離が所定の値よりも近づいたことをもって現在のシーンを商品紹介シーンと判定し、商品紹介シーンにおいて対象被写体として選択される商品７０の領域に対応したフォーカス制御等の撮像制御を実行することができる。特に距離測定によりシーン判定及びそれに応じた制御が可能となり、制御が容易となる。
例えば商品レビュー動画において、対象紹介者６０は、紹介する商品７０を視聴者に注目させるために、商品７０を撮像装置１の撮像レンズに近づけることがある。このような場合に、例えば紹介対象の商品７０から撮像装置１までの距離が所定の値よりも近づいたことをもって現在のシーンを商品紹介シーンと判定し、商品紹介シーンにおいて対象被写体として選択される商品７０の領域に対応したフォーカス制御等の撮像制御を実行することができる。特に距離測定によりシーン判定及びそれに応じた制御が可能となり、制御が容易となる。
【0185】
第２の実施の形態の撮像制御装置２２において、選択部２２ｂは、紹介対象（商品７０）と対象紹介者６０の位置関係に基づいて、紹介対象（商品７０）と対象紹介者６０の一方を対象被写体として選択する。即ち、撮像制御装置２２は、商品７０と対象紹介者６０の位置関係に基づいて、シーン判定処理を行う（図１４のステップＳ１０２，図１７参照）。
商品７０と対象紹介者６０の位置関係は、撮像装置１からの商品７０、対象紹介者６０のそれぞれの距離に基づいて判定できる。
このように、 商品７０と対象紹介者６０の位置関係により対象被写体を選択することで、撮像中に対象紹介者６０が撮像装置１を操作することなく、対象紹介者６０の意図を反映させた撮像制御がなされた動画を撮像することができる。
また紹介対象（商品７０）と対象紹介者６０の位置関係に基づいてシーン判定、及び対象被写体の選択を行うことは、対象紹介者６０の前後の動きにも左右されにくく、シーン判定、ひいては対象被写体選択の正確性を維持できることにもなる。
商品７０と対象紹介者６０の位置関係は、撮像装置１からの商品７０、対象紹介者６０のそれぞれの距離に基づいて判定できる。
このように、 商品７０と対象紹介者６０の位置関係により対象被写体を選択することで、撮像中に対象紹介者６０が撮像装置１を操作することなく、対象紹介者６０の意図を反映させた撮像制御がなされた動画を撮像することができる。
また紹介対象（商品７０）と対象紹介者６０の位置関係に基づいてシーン判定、及び対象被写体の選択を行うことは、対象紹介者６０の前後の動きにも左右されにくく、シーン判定、ひいては対象被写体選択の正確性を維持できることにもなる。
【0186】
特に第２の実施の形態では、選択部２２ｂは、紹介対象（商品７０）と撮像装置１の位置関係により生ずる、紹介対象（商品７０）に対する対象紹介者６０からの距離Ｌｈｏに基づいて、紹介対象（商品７０）と対象紹介者６０の一方を対象被写体として選択する。
これにより対象紹介者６０と商品７０の位置関係を容易に把握してシーン判定ができ、シーンに適した対象被写体を設定して制御を行うことができる。
これにより対象紹介者６０と商品７０の位置関係を容易に把握してシーン判定ができ、シーンに適した対象被写体を設定して制御を行うことができる。
【0187】
第３の実施の形態の撮像制御装置２２において、選択部２２ｂは、対象紹介者６０の身体の一部の状態に基づいて、紹介対象（商品７０）と対象紹介者６０の一方を対象被写体として選択し、当該選択した対象被写体に適したフォーカス制御等の撮像制御を行う（図１９参照）。特には、対象紹介者６０の手６１の状態による紹介対象（商品７０）と対象紹介者６０の位置関係に基づいて、紹介対象と対象紹介者の一方を対象被写体として選択する。
例えば、選択部２２ｂは、対象紹介者６０の手６１が紹介対象（商品７０）に触れている状態に基づいて、紹介対象（商品７０）と対象紹介者６０の一方を対象被写体として選択し、当該選択した対象被写体の領域に適したフォーカス制御等の撮像制御を行う。
対象紹介者６０の手６１が商品７０に触れていない状態は、対象紹介者６０が始まりのあいさつ等のパフォーマンスを行っているパフォーマンスシーンであると考えられる。この場合は、対象紹介者６０を対象被写体として顔６２にフォーカス制御を行う。これにより、パフォーマンスシーンにおいては、パフォーマンスを行っている対象紹介者６０を目立たせることができる。
また一方で、対象紹介者６０の手６１が商品７０を持つ等の商品７０に触れている状態は、撮像中のシーンは商品７０を紹介する商品紹介シーンである考えられる。そのため、紹介対象の商品７０を対象としてフォーカス制御を行い、紹介する商品７０を目立たせることができる。
このように、対象紹介者６０の手６１の状態に基づいて、商品７０と対象紹介者６０の一方を対象被写体と判定することで、各シーンに応じて各被写体に適した撮像制御を実行することができる。従って、より対象紹介者６０の意図を反映させた動画の撮像が可能となる。
例えば、選択部２２ｂは、対象紹介者６０の手６１が紹介対象（商品７０）に触れている状態に基づいて、紹介対象（商品７０）と対象紹介者６０の一方を対象被写体として選択し、当該選択した対象被写体の領域に適したフォーカス制御等の撮像制御を行う。
対象紹介者６０の手６１が商品７０に触れていない状態は、対象紹介者６０が始まりのあいさつ等のパフォーマンスを行っているパフォーマンスシーンであると考えられる。この場合は、対象紹介者６０を対象被写体として顔６２にフォーカス制御を行う。これにより、パフォーマンスシーンにおいては、パフォーマンスを行っている対象紹介者６０を目立たせることができる。
また一方で、対象紹介者６０の手６１が商品７０を持つ等の商品７０に触れている状態は、撮像中のシーンは商品７０を紹介する商品紹介シーンである考えられる。そのため、紹介対象の商品７０を対象としてフォーカス制御を行い、紹介する商品７０を目立たせることができる。
このように、対象紹介者６０の手６１の状態に基づいて、商品７０と対象紹介者６０の一方を対象被写体と判定することで、各シーンに応じて各被写体に適した撮像制御を実行することができる。従って、より対象紹介者６０の意図を反映させた動画の撮像が可能となる。
【0188】
また第３の実施の形態において選択部２２ｂは、対象紹介者６０の手６１が紹介対象（商品７０）を指し示している状態に基づいて、紹介対象（商品７０）と対象紹介者６０の一方を対象被写体として選択し、当該選択した対象被写体にフォーカス制御等の撮像制御を行う（図２０参照）。
例えば、対象紹介者６０の手６１が指をさす等のジェスチャをしていない状態は、対象紹介者６０がパフォーマンスを行っているパフォーマンスシーンであると考えられる。この場合は、対象紹介者６０を対象被写体として顔６２にフォーカス制御を行う。これにより、パフォーマンスを行っている対象紹介者６０を目立たせることができる。
また一方で、対象紹介者６０の手６１が商品７０を指さす等のジェスチャをしている状態は、対象紹介者６０が商品７０を紹介する商品紹介シーンである考えられる。そのため、紹介対象の商品７０を対象としてフォーカス制御を行うことで、紹介する商品７０を目立たせることができる。
このように、対象紹介者６０の手６１が指をさす等のジェスチャの状態によってもシーン判定を行うことが可能であり、各シーンに応じて各被写体に適した撮像制御を実行することができる。従って、より対象紹介者６０の意図を反映させた動画の撮像が可能となる。
例えば、対象紹介者６０の手６１が指をさす等のジェスチャをしていない状態は、対象紹介者６０がパフォーマンスを行っているパフォーマンスシーンであると考えられる。この場合は、対象紹介者６０を対象被写体として顔６２にフォーカス制御を行う。これにより、パフォーマンスを行っている対象紹介者６０を目立たせることができる。
また一方で、対象紹介者６０の手６１が商品７０を指さす等のジェスチャをしている状態は、対象紹介者６０が商品７０を紹介する商品紹介シーンである考えられる。そのため、紹介対象の商品７０を対象としてフォーカス制御を行うことで、紹介する商品７０を目立たせることができる。
このように、対象紹介者６０の手６１が指をさす等のジェスチャの状態によってもシーン判定を行うことが可能であり、各シーンに応じて各被写体に適した撮像制御を実行することができる。従って、より対象紹介者６０の意図を反映させた動画の撮像が可能となる。
【0189】
第４の実施の形態の撮像制御装置２２において、選択部２２ｂは、位置関係である、紹介対象（商品７０）の領域が撮像画像のフレーム全体に対して占める比率と対象紹介者６０の領域が撮像画像のフレーム全体に対して占める比率の一方又は両方に基づいて、紹介対象（商品７０）と対象紹介者６０の一方を対象被写体として選択する（図２１参照）。
例えば商品レビュー動画において、対象紹介者６０は、紹介する商品７０を視聴者に注目させるために、商品７０を撮像装置１の撮像レンズに近づけることがある。このとき、被写体位置関係が変化することで、紹介対象の商品７０が撮像画像上で占める比率は大きくなる。
そこで、例えば紹介対象の商品７０が撮像画像上で占める比率が所定の値よりも大きくなったことをもって現在のシーンを商品紹介シーンと判定し、商品紹介シーンにおいて対象被写体として選択される商品７０に対してフォーカス制御等の撮像制御を実行することができる。
例えば商品レビュー動画において、対象紹介者６０は、紹介する商品７０を視聴者に注目させるために、商品７０を撮像装置１の撮像レンズに近づけることがある。このとき、被写体位置関係が変化することで、紹介対象の商品７０が撮像画像上で占める比率は大きくなる。
そこで、例えば紹介対象の商品７０が撮像画像上で占める比率が所定の値よりも大きくなったことをもって現在のシーンを商品紹介シーンと判定し、商品紹介シーンにおいて対象被写体として選択される商品７０に対してフォーカス制御等の撮像制御を実行することができる。
【0190】
第１，第２の実施の形態においては、対象紹介者６０、紹介対象（商品７０）、撮像装置１の間の位置関係は距離関係としてとらえる例を述べた。距離関係を判定することで、距離同士の比較や距離と所定値（閾値）の比較などにより比較的容易にシーン判定及び対象被写体の選択が可能となる。
また、距離関係としては、対象紹介者６０と紹介対象（商品７０）と撮像装置１の間の距離であることもある。即ち対象紹介者６０と紹介対象の距離Ｌｈｏ、紹介対象と撮像装置１の距離Ｌｏｃ、撮像装置１と対象紹介者６０の距離Ｌｈｃのうちの２つ、又は全てに基づいてシーン判定及び対象被写体の選択を行うことも考えられる。
この３者間のそれぞれの距離に基づくシーン判定の例としては、商品７０と撮像装置１の距離Ｌｏｃが所定値Ｌｔｈ１以下であっても、対象紹介者６０と商品７０の距離Ｌｈｃが離れすぎていたら紹介シーンではない（別の商品を取りに行っている等）と判断することが考えられる。
或いはさらにパフォーマンスシーンについて、対象紹介者６０と撮像装置１の距離Ｌｈｃがある範囲内であることを条件とすることも考えられる。
また、距離関係としては、対象紹介者６０と紹介対象（商品７０）と撮像装置１の間の距離であることもある。即ち対象紹介者６０と紹介対象の距離Ｌｈｏ、紹介対象と撮像装置１の距離Ｌｏｃ、撮像装置１と対象紹介者６０の距離Ｌｈｃのうちの２つ、又は全てに基づいてシーン判定及び対象被写体の選択を行うことも考えられる。
この３者間のそれぞれの距離に基づくシーン判定の例としては、商品７０と撮像装置１の距離Ｌｏｃが所定値Ｌｔｈ１以下であっても、対象紹介者６０と商品７０の距離Ｌｈｃが離れすぎていたら紹介シーンではない（別の商品を取りに行っている等）と判断することが考えられる。
或いはさらにパフォーマンスシーンについて、対象紹介者６０と撮像装置１の距離Ｌｈｃがある範囲内であることを条件とすることも考えられる。
【0191】
各実施の形態の撮像制御装置２２において、特定部２２ａは、撮像画像データに基づいて紹介対象（商品７０）を特定する（図１４のＳ１０１参照）。即ち、特定部２２ａは、例えば撮像部１３から取得した撮像画像データの画像解析処理等を行うことで、画像データ内に映っている被写体から紹介対象となる商品７０を特定する。これにより撮像されている被写体に応じた商品７０に特定が行われる。
【0192】
各実施の形態では、撮像制御装置２２は、撮像画像データに基づいて対象紹介者６０の手６１を検出し、当該検出した手６１の位置に基づいて紹介対象（商品７０）を特定する場合もある。これにより、画像データに基づいて商品７０が検出できない場合であっても、手６１の位置から商品７０の位置を推定することで、紹介対象となる商品７０を特定することができる。
【0193】
各実施の形態の撮像制御装置２２においては、特定部２２ａが、対象紹介者６０の身体の一部（手６１）の状態に基づいて紹介対象（商品７０）を特定する例を述べた（図１４のＳ１０１参照）。
これにより、例えば対象紹介者６０の身体の一部である手６１の、商品７０を持つ、掴む、つまむ、指さす等の状態から紹介対象である商品７０を特定することができる。従って、撮像画像データ内に複数の商品７０が映り込んでいた場合であっても、手６１の状態に基づいて紹介対象となる商品７０を特定することができる。
また各実施の形態の撮像制御装置２２においては、特定部２２ａが、手６１を本来の紹介対象の代替として、仮想的に紹介対象として特定する場合もある。紹介対象とする商品７０を特定するときに、手を代替的に紹介対象として特定することで、特定処理を容易化する。
これにより、例えば対象紹介者６０の身体の一部である手６１の、商品７０を持つ、掴む、つまむ、指さす等の状態から紹介対象である商品７０を特定することができる。従って、撮像画像データ内に複数の商品７０が映り込んでいた場合であっても、手６１の状態に基づいて紹介対象となる商品７０を特定することができる。
また各実施の形態の撮像制御装置２２においては、特定部２２ａが、手６１を本来の紹介対象の代替として、仮想的に紹介対象として特定する場合もある。紹介対象とする商品７０を特定するときに、手を代替的に紹介対象として特定することで、特定処理を容易化する。
【0194】
撮像においては、撮像画面に様々な被写体が映り込むため、例えば商品レビュー動画において、どの商品７０が紹介対象であるかを判定することは難しい。そこで、画像解析処理等により検出が容易な対象紹介者６０の手６１の状態から紹介対象である商品７０を特定することで、撮像画像に映り込んだ商品７０の中から紹介対象を容易に特定することができる。
【0195】
各実施の形態の撮像制御装置２２において、撮像制御とは、撮像動作制御、即ち被写体光を撮像部１３のイメージセンサ１４に集光させるための光学系及び撮像部１３による撮像動作の制御である例を述べた（図１４のステップＳ１０５，Ｓ１０９参照）。
例えば対象被写体に対応したオートフォーカス制御、ＡＥ制御（絞り制御、ＳＳ制御、ゲイン制御）などが行われる。よって、動画の撮像中に撮像装置１を直接操作しなくても対象紹介者６０の意図を反映させた撮像動作を実現できる。
例えば現在のシーンに応じた対象被写体にオートフォーカス制御を行うことで、商品レビュー動画において、商品紹介シーンでは商品７０に、パフォーマンスシーンでは対象紹介者６０にフォーカスを合わせた撮像をすることができる。
例えば対象被写体に対応したオートフォーカス制御、ＡＥ制御（絞り制御、ＳＳ制御、ゲイン制御）などが行われる。よって、動画の撮像中に撮像装置１を直接操作しなくても対象紹介者６０の意図を反映させた撮像動作を実現できる。
例えば現在のシーンに応じた対象被写体にオートフォーカス制御を行うことで、商品レビュー動画において、商品紹介シーンでは商品７０に、パフォーマンスシーンでは対象紹介者６０にフォーカスを合わせた撮像をすることができる。
【0196】
実施の形態の撮像制御装置２２において、撮像制御とは、撮像画像処理制御、即ち撮像画像データに対する画像処理の制御である例を述べた（図１２のＳ１０５，Ｓ１０９参照）。例えば撮像画像データに対して、対象被写体の領域に適合するホワイトバランス処理制御、コントラスト調整処理制御、画像エフェクト処理制御などが行われる。
従って、現在のシーンに応じて適した画像信号処理が実行されるようになり、動画の撮像中に撮像装置１を直接操作しなくても対象紹介者６０の意図を反映させた信号処理が実現される。
従って、現在のシーンに応じて適した画像信号処理が実行されるようになり、動画の撮像中に撮像装置１を直接操作しなくても対象紹介者６０の意図を反映させた信号処理が実現される。
【0197】
各実施の形態の撮像制御装置２２は、選択部２２ｂの選択結果に関連するメタデータを撮像画像データに関連づけるようにしている（図１４参照）。
これにより、動画としての撮像画像データについて、再生や編集の際に、パフォーマンスシーンを抽出したり、商品紹介シーンを抽出したりすることが容易となる。
またメタデータとして撮像画像データに関連づける情報としては、選択部２２ｂが判定不能状態であることを示すエラーフラグの情報も含まれる。従って、例えば録画後においてはエラーフラグが付されたフレームを削除するなどにより、適切な動画撮像ができなかった区間を効率的に削除することができる。
つまり選択部２２ｂの選択結果に関連するメタデータにより、動画としての撮像画像データの編集効率を向上させたり、確認のための再生作業が容易になったりする。
これにより、動画としての撮像画像データについて、再生や編集の際に、パフォーマンスシーンを抽出したり、商品紹介シーンを抽出したりすることが容易となる。
またメタデータとして撮像画像データに関連づける情報としては、選択部２２ｂが判定不能状態であることを示すエラーフラグの情報も含まれる。従って、例えば録画後においてはエラーフラグが付されたフレームを削除するなどにより、適切な動画撮像ができなかった区間を効率的に削除することができる。
つまり選択部２２ｂの選択結果に関連するメタデータにより、動画としての撮像画像データの編集効率を向上させたり、確認のための再生作業が容易になったりする。
【0198】
また実施の形態の撮像装置１は、以上の撮像制御装置２２を備えることで、上記の効果を奏する撮像装置として実現される。
その撮像装置１は、提示部１８を有し、提示部１８は、選択部２２ｂが判定不能状態であることを提示する（図１４のステップＳ１０６、図１７のステップＳ２０２，Ｓ２０３，Ｓ２０４等参照）。
これにより、提示部１８の表示部に判定不能状態であることが表示される。また、提示部１８の音声出力から判定不能状態であることを通知する音が発せられる場合もある。
従って、撮像装置１が判定不能状態であることを対象紹介者６０が知ることができる。例えば、撮像中に撮像装置１が判定不能状態になっていたことを対象紹介者６０が気づかなかった場合、撮像した動画が対象紹介者６０の意図が反映された撮像制御になっていないことがある。この場合、対象紹介者６０はまた一から動画を撮像する必要があり、余計な労力や時間を消費することになってしまう。そのため、対象紹介者６０が途中で気がつくように判定不能状態であることを通知することで、対象紹介者６０の利便性の向上を図ることができる。
なお、提示部１８のスピーカーからの音により判定不能状態であることを通知することで、撮像装置１の表示部が対象紹介者６０側を向いていないときであっても対象紹介者６０にエラーであることを気付かせることができる。
その撮像装置１は、提示部１８を有し、提示部１８は、選択部２２ｂが判定不能状態であることを提示する（図１４のステップＳ１０６、図１７のステップＳ２０２，Ｓ２０３，Ｓ２０４等参照）。
これにより、提示部１８の表示部に判定不能状態であることが表示される。また、提示部１８の音声出力から判定不能状態であることを通知する音が発せられる場合もある。
従って、撮像装置１が判定不能状態であることを対象紹介者６０が知ることができる。例えば、撮像中に撮像装置１が判定不能状態になっていたことを対象紹介者６０が気づかなかった場合、撮像した動画が対象紹介者６０の意図が反映された撮像制御になっていないことがある。この場合、対象紹介者６０はまた一から動画を撮像する必要があり、余計な労力や時間を消費することになってしまう。そのため、対象紹介者６０が途中で気がつくように判定不能状態であることを通知することで、対象紹介者６０の利便性の向上を図ることができる。
なお、提示部１８のスピーカーからの音により判定不能状態であることを通知することで、撮像装置１の表示部が対象紹介者６０側を向いていないときであっても対象紹介者６０にエラーであることを気付かせることができる。
【0199】
より具体的には、提示部１８では、撮像装置１からの紹介対象（商品７０）までの距離Ｌｏｃが最短撮像処理未満のときに制御不能状態であることを提示する。
例えば、紹介対象の商品７０が最短撮像距離より近い距離にある場合、商品７０にフォーカスを合わせるようにフォーカスレンズを動かすことができず、商品７０にぼけが生じてしまう。そこで対象紹介者６０が途中で気がつくように判定不能状態であることを通知することで、対象紹介者６０の利便性の向上を図る。
特に制御不能状態であることを対象紹介者６０に対して表示することで（図１４のステップＳ１０６等参照）、対象紹介者６０が視認して判定不能状態であることを知ることができる。また、音による通知ではなく撮像装置１の表示部での表示により通知することで、撮像中に余計な音が録音されることを防止することができる。
例えば、紹介対象の商品７０が最短撮像距離より近い距離にある場合、商品７０にフォーカスを合わせるようにフォーカスレンズを動かすことができず、商品７０にぼけが生じてしまう。そこで対象紹介者６０が途中で気がつくように判定不能状態であることを通知することで、対象紹介者６０の利便性の向上を図る。
特に制御不能状態であることを対象紹介者６０に対して表示することで（図１４のステップＳ１０６等参照）、対象紹介者６０が視認して判定不能状態であることを知ることができる。また、音による通知ではなく撮像装置１の表示部での表示により通知することで、撮像中に余計な音が録音されることを防止することができる。
【0200】
実施の形態のプログラムは、図１４、図１７から図２１の処理を、例えばＣＰＵ、ＤＳＰ等、或いはこれらを含むデバイスに実行させるプログラムである。
即ち実施の形態のプログラムは、撮像装置１の撮像部１３により得られる撮像画像データに基づいて、紹介対象（例えば商品７０）及び紹介対象を紹介する対象紹介者６０をそれぞれ被写体として特定する特定処理と、紹介対象（商品７０）と対象紹介者６０と撮像装置１のうちの少なくともいずれか２つの位置関係に基づいて、前記紹介対象と前記対象紹介者の一方を対象被写体として選択する選択処理と、選択処理で対象被写体として選択された被写体に対応した撮像制御を行う撮像制御処理と、を撮像制御装置に実行させるプログラムである。
このようなプログラムにより、上述した撮像制御装置２２を、例えばデジタルビデオカメラ１Ａや動画の撮像機能を有するデジタルスチルカメラ１Ｂ、スマートフォン等の携帯端末１Ｃなどの撮像装置１において実現できる。
即ち実施の形態のプログラムは、撮像装置１の撮像部１３により得られる撮像画像データに基づいて、紹介対象（例えば商品７０）及び紹介対象を紹介する対象紹介者６０をそれぞれ被写体として特定する特定処理と、紹介対象（商品７０）と対象紹介者６０と撮像装置１のうちの少なくともいずれか２つの位置関係に基づいて、前記紹介対象と前記対象紹介者の一方を対象被写体として選択する選択処理と、選択処理で対象被写体として選択された被写体に対応した撮像制御を行う撮像制御処理と、を撮像制御装置に実行させるプログラムである。
このようなプログラムにより、上述した撮像制御装置２２を、例えばデジタルビデオカメラ１Ａや動画の撮像機能を有するデジタルスチルカメラ１Ｂ、スマートフォン等の携帯端末１Ｃなどの撮像装置１において実現できる。
【0201】
このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【0202】
またこのようなプログラムによれば、実施の形態の撮像制御装置の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示の撮像制御装置として機能させることができる。
【0203】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
また、本明細書に記載された実施の形態の説明はあくまでも一例であり、本技術が上述の実施の形態に限定されることはない。従って、上述した実施の形態以外であっても、本技術の技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能なことはもちろんである。
また、本明細書に記載された実施の形態の説明はあくまでも一例であり、本技術が上述の実施の形態に限定されることはない。従って、上述した実施の形態以外であっても、本技術の技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能なことはもちろんである。
【0204】
本技術は以下のような構成も採ることができる。
（１）
撮像装置の撮像部により得られる撮像画像データに基づいて、紹介対象及び前記紹介対象を紹介する対象紹介者をそれぞれ被写体として特定する特定部と、
前記紹介対象と、前記対象紹介者と、前記撮像装置のうちの少なくともいずれか２つの位置関係に基づいて、前記紹介対象と前記対象紹介者の一方を対象被写体として選択する選択部と、
前記選択部で前記対象被写体として選択された被写体に対応した撮像制御を行う撮像制御部と、を備えた
撮像制御装置。
（２）
前記選択部は、前記紹介対象と前記対象紹介者の位置関係に基づいて、前記紹介対象と前記対象紹介者の一方を前記対象被写体として選択する
上記（１）に記載の撮像制御装置。
（３）
前記選択部は、前記紹介対象と前記撮像装置の位置関係に基づいて、前記紹介対象と前記対象紹介者の一方を前記対象被写体として選択する
上記（１）に記載の撮像制御装置。
（４）
前記特定部は、前記撮像画像データに基づいて前記紹介対象を認識することで前記紹介対象を特定する
上記（１）から（３）の何れかに記載の撮像制御装置。
（５）
前記特定部は、前記撮像画像データに基づいて前記対象紹介者の手を認識し、前記手の認識結果に基づいて、前記紹介対象を特定する
上記（１）から（４）の何れかに記載の撮像制御装置。
（６）
前記特定部は、前記手を本来の紹介対象の代替として仮想的に前記紹介対象として特定する
上記（５）に記載の撮像制御装置。
（７）
前記特定部は、前記手の状態に基づいて前記紹介対象を特定する
上記（５）又は（６）に記載の撮像制御装置。
（８）
前記選択部は、前記紹介対象と、前記対象紹介者の手の状態による前記紹介対象と前記対象紹介者の位置関係に基づいて、前記紹介対象と前記対象紹介者の一方を前記対象被写体として選択する
上記（５）から（７）のいずれかに記載の撮像制御装置。
（９）
前記手の状態とは、前記対象紹介者の手が紹介対象に触れている状態である
上記（７）又は（８）に記載の撮像制御装置。
（１０）
前記手の状態とは、前記対象紹介者の手が紹介対象を指し示している状態である
上記（７）又は（８）に記載の撮像制御装置。
（１１）
前記選択部は、前記位置関係である、前記紹介対象、前記対象紹介者及び前記撮像装置のうちの少なくともいずれか２つの間の距離関係に基づいて、前記紹介対象と前記対象紹介者の一方を対象被写体として選択する
上記（１）に記載の撮像制御装置。
（１２）
前記距離関係は、前記紹介対象と前記撮像装置の間の距離である
上記（１１）に記載の撮像制御装置。
（１３）
前記距離関係は、前記対象紹介者と前記紹介対象との間の距離である
上記（１１）に記載の撮像制御装置。
（１４）
前記距離関係は、前記対象紹介者と前記紹介対象と前記撮像装置の間の距離である
上記（１１）に記載の撮像制御装置。
（１５）
前記選択部は、前記紹介対象又は前記対象紹介者の少なくとも一方の領域が前記撮像画像データのフレーム全体に対して占める比率に基づいて前記距離関係を検出する
上記（１１）に記載の撮像制御装置。
（１６）
前記撮像装置と前記紹介対象との距離が所定の値より短い場合に、前記撮像制御が困難である制御困難状態であることを前記対象紹介者へ提示する提示制御を行う提示制御部をさらに備える
上記（１）から（１５）の何れかに記載の撮像制御装置。
（１７）
前記選択部による選択結果に関連するメタデータを前記撮像画像データに関連付ける関連付け制御を行う関連付け制御部をさらに有する
上記（１）から（１６）の何れかに記載の撮像制御装置。
（１８）
撮像部と、
前記撮像部により得られる撮像画像データに基づいて、紹介対象及び前記紹介対象を紹介する対象紹介者を特定する特定部と、
前記紹介対象と、前記対象紹介者と、撮像装置のうちの少なくともいずれか２つの位置関係に基づいて、前記紹介対象と前記対象紹介者の一方を対象被写体として選択する選択部と、
前記選択部で前記対象被写体として選択された被写体に対して撮像制御を行う撮像制御部と、を備えた
撮像装置。
（１９）
撮像装置の撮像部により得られる撮像画像データに基づいて、紹介対象及び前記紹介対象を紹介する対象紹介者をそれぞれ被写体として特定する特定処理と、
前記紹介対象と、前記対象紹介者と、前記撮像装置のうちの少なくともいずれか２つの位置関係に基づいて、前記紹介対象と前記対象紹介者の一方を対象被写体として選択する選択処理と、
前記選択部で前記対象被写体として選択された被写体に対応した撮像制御を行う撮像制御処理とを含む
撮像制御方法。
（２０）
撮像装置の撮像部により得られる撮像画像データに基づいて、紹介対象及び前記紹介対象を紹介する対象紹介者をそれぞれ被写体として特定する特定処理と、
前記紹介対象と、前記対象紹介者と、前記撮像装置のうちの少なくともいずれか２つの位置関係に基づいて、前記紹介対象と前記対象紹介者の一方を対象被写体として選択する選択処理と、
前記選択部で前記対象被写体として選択された被写体に対応した撮像制御を行う撮像制御処理と、
を撮像制御装置に実行させるプログラム。
（１）
撮像装置の撮像部により得られる撮像画像データに基づいて、紹介対象及び前記紹介対象を紹介する対象紹介者をそれぞれ被写体として特定する特定部と、
前記紹介対象と、前記対象紹介者と、前記撮像装置のうちの少なくともいずれか２つの位置関係に基づいて、前記紹介対象と前記対象紹介者の一方を対象被写体として選択する選択部と、
前記選択部で前記対象被写体として選択された被写体に対応した撮像制御を行う撮像制御部と、を備えた
撮像制御装置。
（２）
前記選択部は、前記紹介対象と前記対象紹介者の位置関係に基づいて、前記紹介対象と前記対象紹介者の一方を前記対象被写体として選択する
上記（１）に記載の撮像制御装置。
（３）
前記選択部は、前記紹介対象と前記撮像装置の位置関係に基づいて、前記紹介対象と前記対象紹介者の一方を前記対象被写体として選択する
上記（１）に記載の撮像制御装置。
（４）
前記特定部は、前記撮像画像データに基づいて前記紹介対象を認識することで前記紹介対象を特定する
上記（１）から（３）の何れかに記載の撮像制御装置。
（５）
前記特定部は、前記撮像画像データに基づいて前記対象紹介者の手を認識し、前記手の認識結果に基づいて、前記紹介対象を特定する
上記（１）から（４）の何れかに記載の撮像制御装置。
（６）
前記特定部は、前記手を本来の紹介対象の代替として仮想的に前記紹介対象として特定する
上記（５）に記載の撮像制御装置。
（７）
前記特定部は、前記手の状態に基づいて前記紹介対象を特定する
上記（５）又は（６）に記載の撮像制御装置。
（８）
前記選択部は、前記紹介対象と、前記対象紹介者の手の状態による前記紹介対象と前記対象紹介者の位置関係に基づいて、前記紹介対象と前記対象紹介者の一方を前記対象被写体として選択する
上記（５）から（７）のいずれかに記載の撮像制御装置。
（９）
前記手の状態とは、前記対象紹介者の手が紹介対象に触れている状態である
上記（７）又は（８）に記載の撮像制御装置。
（１０）
前記手の状態とは、前記対象紹介者の手が紹介対象を指し示している状態である
上記（７）又は（８）に記載の撮像制御装置。
（１１）
前記選択部は、前記位置関係である、前記紹介対象、前記対象紹介者及び前記撮像装置のうちの少なくともいずれか２つの間の距離関係に基づいて、前記紹介対象と前記対象紹介者の一方を対象被写体として選択する
上記（１）に記載の撮像制御装置。
（１２）
前記距離関係は、前記紹介対象と前記撮像装置の間の距離である
上記（１１）に記載の撮像制御装置。
（１３）
前記距離関係は、前記対象紹介者と前記紹介対象との間の距離である
上記（１１）に記載の撮像制御装置。
（１４）
前記距離関係は、前記対象紹介者と前記紹介対象と前記撮像装置の間の距離である
上記（１１）に記載の撮像制御装置。
（１５）
前記選択部は、前記紹介対象又は前記対象紹介者の少なくとも一方の領域が前記撮像画像データのフレーム全体に対して占める比率に基づいて前記距離関係を検出する
上記（１１）に記載の撮像制御装置。
（１６）
前記撮像装置と前記紹介対象との距離が所定の値より短い場合に、前記撮像制御が困難である制御困難状態であることを前記対象紹介者へ提示する提示制御を行う提示制御部をさらに備える
上記（１）から（１５）の何れかに記載の撮像制御装置。
（１７）
前記選択部による選択結果に関連するメタデータを前記撮像画像データに関連付ける関連付け制御を行う関連付け制御部をさらに有する
上記（１）から（１６）の何れかに記載の撮像制御装置。
（１８）
撮像部と、
前記撮像部により得られる撮像画像データに基づいて、紹介対象及び前記紹介対象を紹介する対象紹介者を特定する特定部と、
前記紹介対象と、前記対象紹介者と、撮像装置のうちの少なくともいずれか２つの位置関係に基づいて、前記紹介対象と前記対象紹介者の一方を対象被写体として選択する選択部と、
前記選択部で前記対象被写体として選択された被写体に対して撮像制御を行う撮像制御部と、を備えた
撮像装置。
（１９）
撮像装置の撮像部により得られる撮像画像データに基づいて、紹介対象及び前記紹介対象を紹介する対象紹介者をそれぞれ被写体として特定する特定処理と、
前記紹介対象と、前記対象紹介者と、前記撮像装置のうちの少なくともいずれか２つの位置関係に基づいて、前記紹介対象と前記対象紹介者の一方を対象被写体として選択する選択処理と、
前記選択部で前記対象被写体として選択された被写体に対応した撮像制御を行う撮像制御処理とを含む
撮像制御方法。
（２０）
撮像装置の撮像部により得られる撮像画像データに基づいて、紹介対象及び前記紹介対象を紹介する対象紹介者をそれぞれ被写体として特定する特定処理と、
前記紹介対象と、前記対象紹介者と、前記撮像装置のうちの少なくともいずれか２つの位置関係に基づいて、前記紹介対象と前記対象紹介者の一方を対象被写体として選択する選択処理と、
前記選択部で前記対象被写体として選択された被写体に対応した撮像制御を行う撮像制御処理と、
を撮像制御装置に実行させるプログラム。
【符号の説明】
【0205】
１ 撮像装置、１１ 光学系、１３ 撮像部、１４ イメージセンサ、１８ 提示部、２２ 撮像制御装置、２２ａ 特定部、２２ｂ 選択部、２２ｃ 撮像制御部、２２ｄ 提示制御部、２２ｅ 関連付け制御部、６１ 手、６２ 顔、７０ 商品
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】