(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-30
(45)【発行日】2024-09-09
(54)【発明の名称】動画撮影支援システム、動画撮影支援システムの制御方法及びプログラム
(51)【国際特許分類】
H04N 21/24 20110101AFI20240902BHJP
H04N 21/466 20110101ALI20240902BHJP
【FI】
H04N21/24
H04N21/466
(21)【出願番号】P 2020075426
(22)【出願日】2020-04-21
【審査請求日】2023-03-16
(73)【特許権者】
【識別番号】520141748
【氏名又は名称】株式会社野本
(74)【代理人】
【識別番号】110000176
【氏名又は名称】弁理士法人一色国際特許事務所
(72)【発明者】
【氏名】野本 真吾
【審査官】富樫 明
(56)【参考文献】
【文献】国際公開第2016/088583(WO,A1)
【文献】特開2014-149677(JP,A)
【文献】特開2009-296355(JP,A)
【文献】特開2006-185393(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00-21/858
(57)【特許請求の範囲】
【請求項1】
動画内の所定の被写体
である人物の顔を変形させる画像処理を行う際に支障となる原因を動画データから検出して動画制作者に通知する動画撮影支援システムであって、
前記被写体が記録された複数の画像データを用いて事前に行われた前記被写体に対する認証処理の結果から、前記認証処理の支障となる原因を出力するように学習されたAIモデルを記憶するAIモデル記憶部と、
前記被写体が記録された動画データを取得する動画データ取得部と、
前記動画データと、前記AIモデルと、を用いて、前記動画データの中から前記画像処理を行う際に支障となる原因を検出する原因検出部と、
前記画像処理を行う際に支障となる原因に対応する指摘内容である指摘情報と、前記動画データがどの程度前記画像処理に適しているのかを数値化したデータである環境評価値と、を格納する環境チェック指摘テーブルと、
前記環境チェック指摘テーブルから、前記原因を示す情報
として前記指摘情報を抽出して前記動画制作者が有するユーザ端末に出力する原因出力部と、を備え
、
所定タイミングで、前記環境評価値が所定値以上である前記動画データを前記画像処理に適するものとして抽出し、前記環境評価値が前記所定値よりも小さい他の所定値以下である前記動画データを前記画像処理に適さないものとして抽出した結果に基づいて、前記環境チェック指摘テーブルを更新する、
動画撮影支援システム。
【請求項2】
請求項1に記載の動画撮影支援システムであって、
前記原因検出部によって検出される前記原因に対する対応策を記憶する対応策記憶部と、
を備え、
前記原因出力部は、前記原因を示す情報と共に、前記原因に対する対応策を前記ユーザ端末に出力する、動画撮影支援システム。
【請求項3】
請求項1又は2に記載の動画撮影支援システムであって、
前記動画制作者にチュートリアル情報として出力される画像データを記憶するチュートリアル情報記憶部と、
前記ユーザ端末から出力されるリクエストに応じて、前記チュートリアル情報を前記ユーザ端末に出力するチュートリアル情報出力部と、
を備える動画撮影支援システム。
【請求項4】
請求項3に記載の動画撮影支援システムであって、
前記チュートリアル情報は、過去に前記原因を検出する処理が行われた動画データの中から選出された動画データを含む、動画撮影支援システム。
【請求項5】
動画内の所定の被写体
である人物の顔を変形させる画像処理を行う際に支障となる原因を動画データから検出して動画制作者に通知する動画撮影支援システムの制御方法であって、
前記動画撮影支援システムが、
前記被写体が記録された複数の画像データを用いて事前に行われた前記被写体に対する認証処理の結果から、前記認証処理の支障となる原因を出力するように学習されたAIモデルを記憶し、
前記被写体が記録された動画データを取得し、
前記動画データと、前記AIモデルと、を用いて、前記動画データの中から前記画像処理を行う際に支障となる原因を検出し、
前記画像処理を行う際に支障となる原因に対応する指摘内容である指摘情報と、前記動画データがどの程度前記画像処理に適しているのかを数値化したデータである環境評価値と、を環境チェック指摘テーブルに格納し、
前記環境チェック指摘テーブルから、前記原因を示す情報
として前記指摘情報を抽出して前記動画制作者が有するユーザ端末に出力
し、
所定タイミングで、前記環境評価値が所定値以上である前記動画データを前記画像処理に適するものとして抽出し、前記環境評価値が前記所定値よりも小さい他の所定値以下である前記動画データを前記画像処理に適さないものとして抽出した結果に基づいて、前記環境チェック指摘テーブルを更新する、
動画撮影支援システムの制御方法。
【請求項6】
動画内の所定の被写体
である人物の顔を変形させる画像処理を行う際に支障となる原因を動画データから検出して動画制作者に通知する動画撮影支援システムに、
前記被写体が記録された複数の画像データを用いて事前に行われた前記被写体に対する認証処理の結果から、前記認証処理の支障となる原因を出力するように学習されたAIモデルを記憶する機能と、
前記被写体が記録された動画データを取得する機能と、
前記動画データと、前記AIモデルと、を用いて、前記動画データの中から前記画像処理を行う際に支障となる原因を検出する機能と、
前記画像処理を行う際に支障となる原因に対応する指摘内容である指摘情報と、前記動画データがどの程度前記画像処理に適しているのかを数値化したデータである環境評価値と、を環境チェック指摘テーブルに格納する機能と、
前記環境チェック指摘テーブルから、前記原因を示す情報
として前記指摘情報を抽出して前記動画制作者が有するユーザ端末に出力する機能と、
所定タイミングで、前記環境評価値が所定値以上である前記動画データを前記画像処理に適するものとして抽出し、前記環境評価値が前記所定値よりも小さい他の所定値以下である前記動画データを前記画像処理に適さないものとして抽出した結果に基づいて、前記環境チェック指摘テーブルを更新する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画撮影支援システム、動画撮影支援システムの制御方法及びプログラムに関する。
【背景技術】
【0002】
近年、インターネット上に開設された動画投稿サイトの利用者が増加している。動画投稿サイトの利用方法はサイトにより異なるが、いずれのサイトでも、所定のユーザ登録を行えば誰でも動画を投稿することができる。そしてこのようにして投稿された動画が多くの人によって閲覧されることにより、動画の出演者が有名になることもある。
【0003】
このような動画投稿に関しては、様々な技術が開発されている(例えば特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
一方で、投稿された動画から出演者が個人として特定された場合、出演者が第三者から迷惑行為を受けることもありうる。そのため、出演者の中には、個人が特定されないように変装したり、顔を出さないようにする者もいる。
【0006】
しかしながら、動画を投稿するたびに、変装したり顔が映らないように撮影したりするのは大変な労力を要するため、画像処理技術を用いて、出演者が特定されないように動画を加工することも行われるようになっている。
【0007】
ところが、このような画像処理が適切に行われるか否かは、出演者のメイクやヘアスタイル、顔の向き、動作、衣装、姿勢、さらには、動画の背景に移りこんでいる景色や背景の明るさ、撮影場所等の撮影条件や撮影環境によって様々な影響を受ける。そのため、動画の出演者やカメラマン、演出家などの動画制作者は、撮影した動画の画像処理が適切に行われるように、様々な点に気を配らなければならない。
【0008】
このようなことは、例えば、撮影した動画内に意図せずに写ってしまった人や背景にある物体などの所定の被写体を画像処理を用いて加工する場合も同様である。
【0009】
このようなことから、動画内の所定の被写体に対する画像処理が適切に行われるように、事前に動画の撮影環境や撮影条件をチェックし、動画制作者の労力を軽減可能とする技術が求められている。
【0010】
本発明はこのような課題を鑑みてなされたものであり、動画内の所定の被写体に対する画像処理が適切に行われるように、事前に動画の撮影環境や撮影条件をチェックし、動画制作者の労力を軽減可能とする動画撮影支援装置、動画撮影支援装置の制御方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明の一実施形態の動画撮影支援システムは、動画内の所定の被写体である人物の顔を変形させる画像処理を行う際に支障となる原因を動画データから検出して動画制作者に通知する動画撮影支援システムであって、前記被写体が記録された複数の画像データを用いて事前に行われた前記被写体に対する認証処理の結果から、前記認証処理の支障となる原因を出力するように学習されたAIモデルを記憶するAIモデル記憶部と、前記被写体が記録された動画データを取得する動画データ取得部と、前記動画データと、前記AIモデルと、を用いて、前記動画データの中から前記画像処理を行う際に支障となる原因を検出する原因検出部と、前記画像処理を行う際に支障となる原因に対応する指摘内容である指摘情報と、前記動画データがどの程度前記画像処理に適しているのかを数値化したデータである環境評価値と、を格納する環境チェック指摘テーブルと、前記環境チェック指摘テーブルから、前記原因を示す情報として前記指摘情報を抽出して前記動画制作者が有するユーザ端末に出力する原因出力部と、を備え、所定タイミングで、前記環境評価値が所定値以上である前記動画データを前記画像処理に適するものとして抽出し、前記環境評価値が前記所定値よりも小さい他の所定値以下である前記動画データを前記画像処理に適さないものとして抽出した結果に基づいて、前記環境チェック指摘テーブルを更新する。
【0012】
その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄の記載、及び図面の記載等により明らかにされる。
【発明の効果】
【0013】
本発明によれば、動画内の所定の被写体に対する画像処理が適切に行われるように、事前に動画の撮影環境や撮影条件をチェックし、動画制作者の労力を軽減可能とすることができる。
【図面の簡単な説明】
【0014】
【
図2】ユーザ端末および動画撮影支援装置のハードウェア構成を示す図である。
【
図4】動画撮影支援装置の記憶装置を示す図である。
【
図5】動画撮影支援システムの機能構成を示す図である。
【
図9】環境チェックアドバイステーブルを示す図である。
【
図12】環境チェック履歴テーブルを示す図である。
【
図13】動画撮影支援システムの全体の処理の流れを示すフローチャートである。
【
図14】ユーザ端末に表示される画面例を示す図である。
【
図15】ユーザ端末に表示される画面例を示す図である。
【
図16】ユーザ端末に表示される画面例を示す図である。
【
図17】チュートリアル処理の流れを示すフローチャートである。
【
図18】環境チェック処理の流れを示すフローチャートである。
【
図19】環境チェック処理の流れを示すフローチャートである。
【
図20】履歴参照処理の流れを示すフローチャートである。
【
図21】チュートリアルの更新処理の流れを示すフローチャートである。
【
図22】指摘情報及びアドバイス内容の更新処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0015】
本明細書および添付図面の記載により、少なくとも以下の事項が明らかとなる。以下、本発明をその一実施形態に即して添付図面を参照しつつ説明する。
【0016】
==全体構成==
図1に、本発明の一実施形態に係る動画撮影支援システム1000の全体構成を示す。 動画撮影支援システム1000は、動画内の所定の被写体に対する画像処理を行う際に支障となる原因を動画データから検出して、動画制作者に通知する情報処理システムである。本実施形態では、動画撮影支援システム1000が、動画内の人物の顔を変形させる画像処理を行う際に支障となる原因を動画データから検出して動画制作者に通知する場合を例に説明する。
【0017】
本実施形態に係る動画撮影支援システム1000は、動画撮影支援装置200及びユーザ端末100を含んで構成される。動画撮影支援装置200及びユーザ端末100は、インターネットやLAN(Local Area Network)、電話網等のネットワーク500を通じて相互に通信可能に接続されている。
【0018】
なお
図1には、ユーザ端末100及び動画撮影支援装置200が1台ずつ記載されているが、ユーザ端末100及び動画撮影支援装置200は、いずれか一方または両方が2台以上であってもよい。
【0019】
動画撮影支援装置200は、動画制作者による動画撮影を支援するための情報処理装置である。本実施形態では、動画撮影支援装置200は、ユーザ端末100を用いて撮影された動画に対して、動画出演者の特定を防止するための画像処理(例えば動画出演者の顔を、本人と認識されにくいように別人の顔に変形する処理)を行う機能や、その画像処理を行う際に支障となる動画の撮影環境や撮影条件や対応策を動画制作者に指摘する機能を有している。
【0020】
このような態様によって、動画制作者は、本番の撮影に入る前のテスト撮影の段階で撮影条件や撮影環境を修正することが可能になるので、効率的に撮影作業を進めることができる。また動画の出演者が本人と認識されにくいような画像処理を確実に行うことが可能となる。
【0021】
ユーザ端末100は、動画制作者が有する情報機器であり、本実施形態では、スマートフォンやノートパソコン、タブレット、デジタルビデオカメラなどの動画撮影機能を有する携帯型の情報処理装置である。本実施形態では、ユーザ端末100は、動画の撮影データを解析することで、動画出演者の顔の変形などの動画に対する画像処理を行う際に支障となる撮影環境や撮影条件がないかをチェックして、その解析結果を動画撮影支援装置200に送信する。
【0022】
動画撮影支援装置200は、動画に対する画像処理を行う際に支障となる撮影環境や撮影条件の内容や対応策をユーザ端末100に送信する。動画撮影支援装置200は、サーバやパソコン等のハードウェア機器を用いて物理的に構築されたコンピュータシステムであってもよいし、仮想マシンやクラウドコンピュータのように、ハードウェア機器上に仮想的に構築されたコンピュータシステムであってもよい。
【0023】
なお、動画撮影支援装置200が有する機能の少なくとも一部をユーザ端末100が備えるようにすることにより、ユーザ端末100が動画制作者に対する上記改善点や対応策の指摘等の処理を行うような態様も可能であるが、本実施形態に係る動画撮影支援システム1000では、動画撮影支援装置200が改善点や対応策の指摘を行うように機能が分担されている。
【0024】
また本実施形態では、ユーザ端末100が、動画の撮影データを解析して動画の撮影環境や撮影条件のチェックを行っているが、動画撮影支援装置200が行うようにしてもよい。
【0025】
以下、詳細に説明する。
【0026】
==ハードウェア構成==
まず、ユーザ端末100及び動画撮影支援装置200のハードウェア構成について、
図2を参照しながら説明する。なおユーザ端末100及び動画撮影支援装置200はいずれもコンピュータであり、これらのハードウェア構成は必ずしも同じではないものの、基本的な構成は共通している。そのため図面の重複を避けるためにこれらのハードウェア構成を
図2にまとめて記す。
【0027】
<ユーザ端末>
まずユーザ端末100のハードウェア構成について説明する。
【0028】
ユーザ端末100は、CPU(Central Processing Unit)110、メモリ120、通信装置130、記憶装置140、入力装置150、出力装置160、及び記録媒体読取装置170を備えて構成される。
【0029】
記憶装置140は、
図3に示すように、ユーザ端末100によって実行されるユーザ端末制御プログラム700や、出演者を撮影して得られる動画データ600、後述する環境チェックAI(Artificial Intelligence)610、被写体加工AI620等の各種のプログラムやデータを格納する。
【0030】
記憶装置140に記憶されているユーザ端末制御プログラム700や各種のデータがメモリ120に読み出されてCPU110によって実行あるいは処理されることにより、ユーザ端末100の各種機能が実現される。
【0031】
ここで、記憶装置140は例えばハードディスクやSSD(Solid State Drive)、フラッシュメモリ等の不揮発性の記憶装置である。
【0032】
環境チェックAI610は、動画データ600を解析することで、動画出演者の顔を変形させる画像処理を行う際に支障となる原因(撮影時の撮影環境や撮影条件)がないかを見つけ出して出力する人工知能モデル(AIモデル)である。環境チェックAI610は、事前に人間の顔が記録された複数の画像データを用いて行われた顔認証処理の結果から、顔認証処理に支障となる原因を出力するように学習(例えば教師あり学習)されることで作成される。
【0033】
また被写体加工AI620は、動画出演者が本人であると認識されにくいように動画データ600を加工して出力する人工知能モデルである。例えば被写体加工AI620は、動画出演者の顔を別人の顔に変形させる。被写体加工AI620は、例えば出演者の髪型や目の大きさや間隔、鼻や唇の形、頭の形状、性別や年齢、人種を変換するように動画を加工することができる。動画制作者は、出演者の顔をどのように加工するかをユーザ端末100から入力して指定することができる。
【0034】
このように本実施形態では、動画データ600の加工、及びこの加工に支障がありそうな撮影環境や撮影条件のチェックをいずれも人工知能を用いて行っている。以下の説明では、動画データ600の加工をAI加工とも記す。
【0035】
ユーザ端末制御プログラム700は、ユーザ端末100が有する機能を実現するためのプログラムを総称しており、例えば、ユーザ端末100上で動作するアプリケーションプログラムやOS(Operating System)、種々のライブラリ等を含む。
【0036】
記録媒体読取装置170は、SDカード等の記録媒体800に記録されたユーザ端末制御プログラム700や各種のデータを読み取り、記憶装置140に格納する。
【0037】
通信装置130は、ネットワーク500を介して、動画撮影支援装置200や不図示の他のコンピュータとユーザ端末制御プログラム700や各種のデータの授受を行う。
【0038】
例えば他のコンピュータに上述したユーザ端末制御プログラム700や環境チェックAI610、被写体加工AI620を格納しておき、ユーザ端末100がこのコンピュータからユーザ端末制御プログラム700や環境チェックAI610、被写体加工AI620をダウンロードするようにすることができる。
【0039】
入力装置150は、ユーザによるコマンドやデータの入力を受け付ける各種ボタンやスイッチ、キーボード、タッチパネルディスプレイ上でのタッチ位置を検出するタッチセンサ、マイクなどの入力インタフェース、加速度センサ、温度センサ、GPS受信機やコンパスなどの位置検出センサ、カメラなどである。
【0040】
なお、本実施形態では、ユーザ端末100はカメラ機能を有しており、このカメラ機能を用いて動画の撮影が行われることを想定しているが、ユーザ端末100は、カメラ機能を備えていなくてもよい。この場合ユーザ端末100は、カメラ機能を備えた別途の電子機器によって撮影された動画データ600を入力装置150、通信装置130あるいは記録媒体読取装置170を介して取得する。
【0041】
出力装置160は、例えばディスプレイなどの表示装置、スピーカ、バイブレータ、照明などの出力ユーザインタフェースである。
【0042】
<動画撮影支援装置>
次に動画撮影支援装置200について説明する。
【0043】
動画撮影支援装置200は、
図2に示すように、CPU210、メモリ220、通信装置230、記憶装置240、入力装置250、出力装置260、及び記録媒体読取装置270を備えて構成される。なお上述したように、これらの動画撮影支援装置200のハードウェア構成は、ユーザ端末100のハードウェア構成と基本的に共通である。そのため、これらのハードウェア構成についての重複した説明は省略する。
【0044】
記憶装置240は、
図4に示すように、動画撮影支援装置200によって実行される動画撮影支援装置制御プログラム710や、マルチメディアマスタ300、チュートリアルテーブル310、環境チェック指摘テーブル320、環境チェックアドバイステーブル330、AI加工関連情報DB340、撮影指示テーブル350、環境チェック履歴テーブル360等の各種のプログラムやデータを格納する。
【0045】
記憶装置240に記憶されている動画撮影支援装置制御プログラム710や各種のデータがメモリ220に読み出されてCPU210によって実行あるいは処理されることにより、動画撮影支援装置200の各種機能が実現される。
【0046】
例えば動画撮影支援装置200は、ユーザ端末100から動画データ600を取得してマルチメディアマスタ300に格納する。
【0047】
また動画撮影支援装置200は、ユーザ端末100から送信されてきた動画データ600の解析結果を元に、環境チェック指摘テーブル320及び環境チェックアドバイステーブル330から撮影環境や撮影条件に対する改善点及びアドバイスを抽出して、ユーザ端末100に送信する。
【0048】
[マルチメディアマスタ]
図6に、マルチメディアマスタ300の一例を示す。マルチメディアマスタ300は、ユーザ端末100から送信されてきた動画データ600や、この動画データ600を画像処理して加工した動画データ600を格納している。またマルチメディアマスタ300に格納される動画データ600には、静止画像データが含まれていてもよい。
【0049】
マルチメディアマスタ300は、一例として「メディアID」「ユーザID」「撮影地」「撮影日」「動画ファイル」「環境チェック指摘ID」「加工状態」「AI加工関連情報ID」の各欄を有する。
【0050】
「メディアID」は、マルチメディアマスタ300に格納される動画データ600の識別情報である。メディアIDは、新たな動画データ600がマルチメディアマスタ300に格納されるごとに動画撮影支援装置200によって付与される。
【0051】
「ユーザID」は、動画撮影支援装置200を利用するユーザ(動画制作者)の識別情報である。ユーザIDは、動画撮影支援装置200の利用開始時に行うユーザ登録の際に、動画撮影支援装置200によって付与される。
【0052】
「撮影地」及び「撮影日」は、それぞれ、動画データ600が撮影された場所及び撮影された日付を示す情報である。撮影地及び撮影日は、ユーザ端末100から動画撮影支援装置200に動画データ600が送信されてきた際に、ユーザ端末100から合わせて撮影メモとして送信されてくる。なお、撮影メモにはその他、撮影に用いた機材や、当日の天候、撮影時刻、出演者や撮影者、演出家等の氏名、撮影時の備忘録などが含まれていてもよい。マルチメディアマスタ300には、これらの撮影メモも格納されてもよい。
【0053】
「動画ファイル」は、動画データ600のファイルの格納場所を示すリンク情報である。動画データ600の格納場所は、動画撮影支援装置200の記憶装置240であってもよいし、通信可能に接続された他のコンピュータやデータセンタであってもよい。
【0054】
「環境チェック指摘ID」は、動画データ600に対する指摘内容(出演者の顔を変形させる画像処理を行う際に支障となる原因を示す情報)を特定するための情報である。詳細は後述するが、動画撮影支援装置200は、この環境チェック指摘IDを元に、
図8に示す環境チェック指摘テーブル320を参照することにより、具体的な指摘内容を得ることができる。
【0055】
「加工状態」は、動画データ600に対する画像処理が行われているか否かを示す情報である。「前」と書かれている動画データ600には、画像処理は行われておらず、出演者の顔が未加工の状態で写っている。「後」と書かれている動画データ600は、画像処理が実施済みであり、動画に写っている出演者は、本人とわかりにくいように加工されている。
【0056】
「AI加工関連情報ID」は、動画データ600に対する画像処理(AI加工)を行う際に用いるフィルタに関する情報や、AI加工による別人化の成功度合いを示す評価結果などを特定するための情報である。詳細は後述するが、動画撮影支援装置200は、このAI加工関連情報IDを元に
図10に示すAI加工関連情報DB340を参照することにより、具体的な内容を得ることができる。
【0057】
[チュートリアルテーブル]
チュートリアルテーブル310は、主に動画撮影支援装置200を初めて使用するユーザや使い始めたばかりのユーザなどを対象に、どのような動画がAI加工に適し、どのような動画がAI加工に適さないのかについての画像データを含むチュートリアル情報(モデルケース情報)を提供するために用いられるテーブルである。
【0058】
チュートリアルテーブル310は、
図7に示すように、「チュートリアルID」「モデルケース情報」の各欄を有している。
【0059】
「チュートリアルID」は、各チュートリアル情報の識別情報である。「モデルケース情報」は、本実施形態では、ユーザ端末100にチュートリアル情報を表示する際のページを構成するデータである。チュートリアル情報には、AI加工に適した動画や静止画像及びその説明(どういった点がAI加工に適しているのかなどの説明)や、AI加工に適さない動画や静止画像及びその説明(どういった点がAI加工に適していないのかなどの説明)などが含まれている。
【0060】
図7に示すように、チュートリアル情報に含まれる動画や静止画像は、メディアIDによって特定されており、過去に環境チェック(顔の変形を行う画像処理の支障となる原因を検出する処理)が行われた動画データ600の中から選出された動画データ600を含んでもよい。このような態様により、架空の事例ではなく、実際の事例をチュートリアル情報としてユーザに提供することが可能となる。
【0061】
本実施形態では、チュートリアルテーブル310に格納されている各チュートリアル情報は、ユーザ端末100から送信されるリクエストに応じて、動画撮影支援装置200からユーザ端末100に送信され、ユーザ端末100上で表示される。
【0062】
このような態様により、撮影場所の選定やカット割り、出演者のメイクなどに関する様々な注意点や撮影のコツなどについて、撮影前に分かりやすく動作制作者に提供することが可能となる。
【0063】
[環境チェック指摘テーブル]
環境チェック指摘テーブル320は、ユーザ端末100から送信されてきた動画データ600の解析結果(AI加工の支障となる原因)に対応する指摘内容(支障となる原因に関する説明)を格納するテーブルである。この指摘内容は、例えば
図15(A)(B)(C)に示すようにユーザ端末100に表示あるいは音声として再生される。
【0064】
環境チェック指摘テーブル320は、
図8に示すように、「環境チェック指摘ID」「指摘情報」「環境評価」の各欄を備える。
【0065】
「環境チェック指摘ID」欄は、各指摘内容の識別情報が記録される。
【0066】
「指摘情報」欄には、メディアIDで特定される動画データ600の中のAI加工に適さない撮影条件や撮影環境についての説明や、AI加工に適さない理由などの説明文を含む指摘情報が記録されている。また指摘情報には、環境チェックアドバイスIDが含まれており、動画撮影支援装置200は、
図9に示す環境チェックアドバイステーブル330を参照することで、指摘内容に対する具体的な対応案を取得することができる。動画撮影支援装置200は、指摘情報と対応策とを合わせてユーザ端末100に送信し、動画制作者に提示するようにすることができる。このような態様により、動画制作者は、動画撮影条件や動画撮影環境に対する改善作業を効率的に行うことが可能となる。
【0067】
また「環境評価」欄には、動画データ600がどの程度AI加工に適しているのかを数値化したデータが記録される。環境評価は、例えばユーザ端末100が環境チェックAI610を用いて動画データ600を解析する際に合わせて算出され、解析結果に含めてユーザ端末100から動画撮影支援装置200に送信される。
【0068】
[環境チェックアドバイステーブル]
環境チェックアドバイステーブル330は、動画データ600に含まれるAI加工に適さない撮影条件や撮影環境に対する対応策を記録したテーブルである。
【0069】
図9に示すように、環境チェックアドバイステーブル330は、「環境チェックアドバイスID」「アドバイス内容」の各欄を有する。
【0070】
アドバイス内容の欄には、上記対応策が記載されている。
【0071】
[AI加工関連情報DB]
AI加工関連情報DB340は、動画データ600に対して行われるAI加工の内容を記録したテーブルである。
【0072】
具体的には、AI加工関連情報DB340には、
図10に示すように、AI加工前の動画データ600を示す加工前メディアID、AI加工後の動画データ600を示す加工後メディアID、AI加工による別人化の成功度合いを示す加工評価が含まれる。なお上述したように、AI加工は被写体加工AI620によって行われる。そして
図10には示されていないが、AI加工関連情報DB340には、被写体加工AI620がAI加工を行う際に用いるフィルタの種類や重さ等のパラメータを示す情報などに関する情報が含まれる。
【0073】
なお加工評価は、例えば、AI加工前後の動画データ600を比較して動画出演者が同一人物であるか否かを判定する不図示のAI(加工評価AI)を用いて算出するようにすることができる。この場合、例えば被写体加工AI620と、この加工評価AIと、を用いてGAN(Generative Adversarial Networks)を構成してもよい。
【0074】
[撮影指示テーブル]
撮影指示テーブル350は、
図11に示すように、ユーザ端末100の使用者に対して、動画の撮影手順を指示するための情報(撮影指示内容)を記憶するテーブルである。動画撮影支援装置200は、ユーザ端末100から動画の撮影環境チェック開始のリクエストを受け取った際に、撮影指示テーブル350に記録されている撮影指示内容を順にユーザ端末100に送信する。
【0075】
[環境チェック履歴テーブル]
環境チェック履歴テーブル360には、動画撮影支援装置200によって行われた動画の撮影環境チェックの履歴情報が記録される。
図12に示すように、環境チェック履歴テーブル360は、「環境チェックID」「メディアID」「履歴情報」「チェック日」「環境評価」の各欄を有する。
【0076】
「環境チェックID」の欄は、履歴情報の識別情報が記録される。
【0077】
「メディアID」の欄には、環境チェックの対象となった動画データ600の識別情報が記録される。
【0078】
「履歴情報」の欄には、環境チェックの結果を表す情報が記録される。
図12には環境チェックアドバイスIDが記載されているが、その他に、AI加工の失敗の原因や、撮影条件や撮影環境に関する情報などが記録されていてもよい。
【0079】
「チェック日」の欄には、環境チェックの実施日が記録される。
【0080】
「環境評価」の欄には、動画データ600がどの程度AI加工に適しているのかを数値化したデータが記録される。環境評価は、環境チェック指摘テーブル320に記録されるものと同じである。
【0081】
<機能構成>
次に動画撮影支援システム1000の機能構成図の一例を
図5に示す。
【0082】
本実施形態に係る動画撮影支援システム1000は、AIモデル記憶部1001、動画データ取得部1002、原因検出部1003、原因出力部1004、対応策記憶部1005、チュートリアル情報記憶部1006、チュートリアル情報出力部1007の各機能を含む。
【0083】
これらの各機能は、動画撮影支援システム1000(ユーザ端末100及び動画撮影支援装置200)のハードウェアによって本実施形態に係るユーザ端末制御プログラム700及び動画撮影支援装置制御プログラム710が実行されることにより実現される。
【0084】
なお上述したように、上記各機能はユーザ端末100と動画撮影支援装置200との間で適宜分担させることができる。
【0085】
AIモデル記憶部1001は、人間の顔のような所定の被写体が記録された複数の画像データを用いて事前に行われた認証処理の結果から、この認証処理の支障となる原因を出力するように学習されたAIモデルを記憶する。本実施形態では、このAIモデルは環境チェックAI610として具現化されており、AIモデル記憶部1001はユーザ端末100の記憶装置140として具現化されている。
【0086】
なお、環境チェックAI610は、動画撮影支援装置200の記憶装置240、あるいはユーザ端末100の記憶装置140と動画撮影支援装置200の記憶装置240の両方に格納される態様であってもよい。
【0087】
動画データ取得部1002は、被写体である人物の顔が記録された動画データ600を取得する。本実施形態では、ユーザ端末100が動画データ600を取得する。ユーザ端末100は、カメラ機能を用いて人物を撮影することで動画データ600を取得するが、デジタルビデオカメラ等、ユーザ端末100とは別の撮影機器を用いて撮影された動画データ600を取得する態様であってもよい。なおこの動画データ600は、ユーザ端末100から動画撮影支援装置200に送信されて、メディアIDが付与された上でマルチメディアマスタ300に格納される。
【0088】
原因検出部1003は、動画データ取得部1002が取得した動画データ600と、環境チェックAI610(AIモデル)と、を用いて、被写体に対する画像処理、例えば人物の顔を変形させる画像処理を行う際に支障となる原因を動画データ600の中から検出する。本実施形態では、原因検出部1003は、ユーザ端末100と動画撮影支援装置200との間で機能を分担して実現されている。
【0089】
具体的には、まずユーザ端末100において、原因検出部1003は、動画データ600を構成するフレーム画像を、適宜間引きながら環境チェックAI610へ入力する。そして原因検出部1003は、環境チェックAI610から、各フレーム画像に対する顔認証処理の成否の判定結果と、顔認証処理が失敗したと判定された場合には、フレーム画像内で顔の候補として抽出された部分に対して顔であると判定できなかった原因となった部分と、顔認証処理に要した負荷(処理ステップあるいは処理時間など)から算出した環境評価と、を解析結果として取得する。そしてユーザ端末100はこの解析結果を動画撮影支援装置200に送信する。
【0090】
動画撮影支援装置200の原因検出部1003は、ユーザ端末100から送信された解析結果と、環境チェック指摘テーブル320内の指摘情報と、を照合することで、該当する指摘情報を特定する。
【0091】
原因出力部1004は、動画撮影支援装置200に設けられる。原因出力部1004は、環境チェック指摘テーブル320から、AI加工の支障になる原因を示す情報として指摘情報を抽出し、動画制作者が有するユーザ端末100に出力する。
【0092】
対応策記憶部1005は、原因検出部1003によって検出された画像処理に支障となる原因に対する対応策を記憶する。本実施形態では、対応策記憶部1005は、環境チェックアドバイステーブル330として具現化されている。
【0093】
環境チェックアドバイステーブル330に記憶されているアドバイス内容(対応策)は、環境チェック指摘テーブル320から画像処理に支障となる原因を示す情報として抽出された指摘情報と共に、原因出力部1004によってユーザ端末100に送信される。
【0094】
原因出力部1004によって送信された指摘情報及びアドバイス内容がユーザ端末100に表示されている様子を
図15に示す。
【0095】
チュートリアル情報記憶部1006は、動画制作者にチュートリアル情報として出力される画像データを記憶する。本実施形態では、チュートリアル情報記憶部1006は、チュートリアルテーブル310として具現化されている。
【0096】
チュートリアル情報出力部1007は、ユーザ端末100から出力されるリクエストに応じて、チュートリアル情報記憶部1006に記憶されているチュートリアル情報をユーザ端末100に出力する。
【0097】
==処理の流れ==
次に、本実施形態に係る動画撮影支援システム1000による処理の具体例を、
図13~
図21を参照しながら説明する。
【0098】
<全体の処理>
まず、全体の処理の流れを
図13及び
図14を参照しながら説明する。
図13は、全体の処理の流れを示すフローチャートであり、
図14は、ユーザ端末100に表示される処理メニューの例を示す図である。動画制作者は、
図14に示すユーザ端末100に表示される処理メニュー内の項目を選択することで、処理を開始することができる。
【0099】
動画制作者が
図14に示す処理メニューにおいて「撮影環境チェック」を選択すると、動画撮影支援システム1000は環境チェック処理を開始する(S1000)。
【0100】
環境チェック処理は、動画内の所定の被写体に対する画像処理、例えば人物の顔を変形させる画像処理の支障となる原因を動画データ600から検出して動画制作者に通知する処理である。つまり、動画撮影支援システム1000は、動画撮影時の背景や明るさ、出演者の姿勢やメイク、髪型、服装など、撮影対象や撮影環境、撮影条件に問題がないかをチェックして動画制作者に通知する。例えば動画撮影支援システム1000は、被写体加工AI620が出演者の顔を誤認しそうな背景になっていないか、誤認しそうな背景になっていれば、どのカットのどの構図のどの背景が問題かを通知する。これにより、動画制作者は、本番の撮影を始める前に、カット割りの修正や調整を行うことができる。
【0101】
続いて動画制作者が
図14に示す処理メニューにおいて「被写体事前撮影」を選択すると、動画撮影支援システム1000は被写体チェック処理を開始する(S1010)。
【0102】
被写体チェック処理は、出演者の顔(被写体)の特徴量を抽出する処理である。また顔の特徴量が抽出しにくい場合は、どのようにすればよいかのアドバイスを行うこともできる。
【0103】
そして動画制作者が
図14に示す処理メニューにおいて「本番撮影中チェック」を選択すると、動画撮影支援システム1000は動画撮影処理を開始する(S1020)。動画撮影処理は、本番の動画撮影を行う処理である。
【0104】
その後、動画制作者が
図14に示す処理メニューにおいて「加工処理」を選択すると、動画撮影支援システム1000は被写体加工処理を開始する(S1030)。
【0105】
被写体加工処理は、被写体加工AI620を用いて、動画内の被写体、例えば動画の出演者の顔を別人の顔に変形する処理である。上述した環境チェック処理及び被写体チェック処理を事前に行うことで、出演者の顔を別人の顔に変形するような、被写体に対する加工を行う際の問題点が生じることなく本番の動画撮影が行われるので、本番の撮影をやり直したりすることなく、極めて効率的に動画制作作業を行うことができる。
【0106】
<環境チェック処理>
続いて、上述した環境チェック処理について、
図15~
図22を参照しながら説明する。
図16は、
図14において「撮影環境チェック」を選択した場合に、ユーザ端末100に表示される処理メニューの例を示す図である。動画制作者は、
図16に示すユーザ端末100に表示される処理メニュー内の項目を選択することで、各処理を開始することができる。
【0107】
[チュートリアル処理]
動画制作者が
図16に示す処理メニューにおいて「チュートリアル」を選択すると、動画撮影支援システム1000はチュートリアル情報をユーザ端末100に出力する処理を開始する。
【0108】
ユーザ端末100は、「チュートリアル」が選択されると、チュートリアルデータ送信要求を動画撮影支援装置200に送信する(S2000)。これを受けて動画撮影支援装置200は、チュートリアルテーブル310からチュートリアル情報を読み出して(S2010)、ユーザ端末100に送信する(S2020)。
【0109】
ここで、例えばチュートリアル情報はウェブページを構成しており、動画制作者は、閲覧したい内容のチュートリアル情報をユーザ端末100上で選択して、ユーザ端末100に表示させることができる(S2030)。
【0110】
チュートリアル情報には、テキストや写真、動画、音声など、様々なデータを含めることができる。
【0111】
このように、動画制作者はいつでも見たい内容のチュートリアル情報を閲覧することができるので、初めて動画撮影支援システム1000を使う場合や、使い方に慣れていない場合など、AI加工に適した撮影条件や撮影環境がどういうものであるのかが分からない場合であっても、過去の環境チェックの結果や指摘内容を踏まえて、AI加工に適した事例やモデルケースを見ることができるので、不安なく動画撮影支援システム1000を使用することが可能となる。
【0112】
[インプット]
動画制作者が
図16に示す処理メニューにおいて「インプット」を選択すると、動画撮影支援システム1000は動画データ600を取得する処理を開始する。動画撮影支援システム1000への動画データ600の取り込み方法は主に2つあり、一つは、ユーザ端末100のカメラ機能を用いて動画を撮影する方法であり、もう一つは、別途の動画撮影機器等を用いて事前に撮影された動画の動画データ600をユーザ端末100に取り込む方法である。
【0113】
図16のメニュー画面において「カメラ撮影開始」を選択すると前者の方法で動画データ600がユーザ端末100に取り込まれ、「撮影済みデータ入稿」を選択すると、後者の方法で動画データ600がユーザ端末100に取り込まれる。
【0114】
図18及び
図19に、前者の方法で動画データ600を取り込む場合のフローチャートを示す。なお後者の方法で動画データ600を取り込む場合のフローチャートは、S3050から始まる以外、
図18及び
図19のフローチャートと同じなので省略する。
【0115】
まずユーザ端末100は、「カメラ撮影開始」が選択されると、撮影環境チェック開始要求を動画撮影支援装置200に送信する(S3000)。これを受けて動画撮影支援装置200は、撮影指示テーブル350から撮影指示内容を読み出して(S3010)、ユーザ端末100に送信する(S3020)。
【0116】
ユーザ端末100は、撮影指示内容を画面に表示した後(S3030)、カメラ機能を使って動画の撮影開始する(S3040)。
【0117】
ユーザ端末100は、動画の撮影が終了すると、動画データ600を動画撮影支援装置200に送信する(S3050)。そして動画撮影支援装置200は、動画データ600に対してメディアIDを付与した上で、動画データ600をしてマルチメディアマスタ300に保存する(S3060)。また動画撮影支援装置200は、新たな環境チェックIDを生成し、環境チェック履歴テーブル360に登録する(S3070)。
【0118】
一方、ユーザ端末100は、動画データ600を環境チェックAI610に入力することで、環境チェック処理を行う(S3080)。この環境チェック処理において、動画データ600に対する解析が行われると、ユーザ端末100は、解析結果を動画撮影支援装置200に送信する(S3090)。
【0119】
解析結果に、顔認証処理が失敗した旨の通知が含まれていた場合には、動画撮影支援装置200は、S3100においてYes(問題あり)に進み、環境チェック指摘テーブル320及び環境チェックアドバイステーブル330から、ぞれぞれ、解析結果の内容に該当する指摘情報とアドバイス内容を取得する(S3110)。またユーザ端末100はS3140においてYes(問題あり)に進む。
【0120】
そして動画撮影支援装置200は、上記の指摘情報及びアドバイス内容をユーザ端末100に送信し(S3120)、ユーザ端末100は、
図15に例示したように、指摘情報とアドバイス内容を画面に表示する(S3130)。
【0121】
一方、解析結果に、顔認証処理が失敗した旨の通知が含まれていない場合には、動画撮影支援装置200は、S3100においてNo(問題なし)に進む。
【0122】
そしてユーザ端末100は、S3140においてNo(問題なし)に進み、動画データ600に問題がなかった旨の解析結果を画面に表示する
その後ユーザ端末100は、動画撮影時の備忘録等の撮影メモの入力を受け付けて(S3160、S3170)、撮影メモを動画撮影支援装置200に送信する(S3180)。そして動画撮影支援装置200は、撮影メモをマルチメディアマスタ300に記録する(S3190)。
【0123】
動画制作者が動画の撮影をやり直す場合には、ユーザ端末100は、S3200においてNoに進み、上記の処理を繰り返し行い、動画の撮影を終了する場合には、S3200においてYesに進む。
【0124】
[過去の履歴確認]
動画制作者は、
図16に示す処理メニューにおいて「過去の履歴確認」を選択すると、環境チェック履歴テーブル360に記録されている過去の環境チェックの履歴を閲覧することができる。
図20に、環境チェックの履歴を閲覧する場合のフローチャートを示す。
【0125】
図16に示す処理メニューにおいて「過去の履歴確認」が選択されると、環境チェック履歴確認要求を動画撮影支援装置200に送信する(S4000)。
【0126】
そうすると動画撮影支援装置200は、環境チェック履歴テーブル360に記録されている履歴情報と、メディアIDにより特定される動画データ600を取得して、ユーザ端末100に送信する(S4010、S4020)。
【0127】
そしてユーザ端末100はこれらの履歴情報と動画データ600を画面に表示する(S4030)。
【0128】
このような態様により、動画制作者は、過去に撮影した動画およびその動画に対する環境チェックの結果(指摘内容やAI加工に適しているかの評価など)を確認できる。
【0129】
[チュートリアル改善]
なお、本実施形態に係る動画撮影支援システム1000(動画撮影支援装置200)は、チュートリアルテーブル310に記録されているチュートリアル情報を、適時のタイミングで(例えば1か月ごとや1年ごと等の所定期間ごとに自動で、あるいはオペレータからの指示入力があったときに手動で)アップデートする機能を有している。
【0130】
図21に、動画撮影支援システム1000がチュートリアルテーブル310の内容を更新する際のフローチャートを示す。
【0131】
所定の更新のタイミングが到来すると、動画撮影支援装置200は、環境チェック指摘テーブル320を参照し、環境評価値が第1所定値以上(例えば70以上)のメディアIDと、第2所定値以下(例えば30以下)のメディアIDと、を抽出する(S5000)。
【0132】
また同様に、動画撮影支援装置200は、AI加工関連情報DB340を参照し、加工評価値が第3所定値以上(例えば75以上)のメディアIDと、第4所定値以下(例えば25以下)のメディアIDと、を抽出する(S5010)。
【0133】
そして動画撮影支援装置200は、環境評価値が第1所定値以上かつ加工評価値が第3所定値以上のメディアIDで特定される動画を、AI加工に適した動画(良い例)として抽出し、環境評価値が第2所定値以下かつ加工評価値が第4所定値以下のメディアIDで特定される動画を、AI加工に適さない動画(悪い例)として抽出する(S5020)。
【0134】
そして動画撮影支援装置200は、マルチメディアマスタ300や環境チェック指摘テーブル320、AI加工関連情報DB340に記載されている、撮影場所などの関連情報やメイク、ポージング、背景などの解析結果の情報を用いて、所定の書式に沿って説明文を作成する(S5030)。
【0135】
そして動画撮影支援装置200は、各動画のメディアIDと上記説明文を用いてウェブページの形式でモデルケース情報を構成し、チュートリアルテーブル310に保存する(S5040)。
【0136】
このとき動画撮影支援装置200は、チュートリアルテーブル310に以前から保存されていた古いモデルケース情報を削除してから新しいモデルケース情報を保存するようにするとよい。このような態様により、動画制作者に対して新しい内容のチュートリアル情報を提示し続けることができる。
【0137】
あるいは動画撮影支援装置200は、古いモデルケース情報を削除せずに、新しいモデルケース情報を追加するようにしてもよい。このような態様により、動画制作者は徐々に多くのモデルケース情報を閲覧することが可能になる。
【0138】
[アドバイス改善]
また本実施形態に係る動画撮影支援システム1000(動画撮影支援装置200)は、環境チェック指摘テーブル320及び環境チェックアドバイステーブル330に記録されている内容を、適時のタイミングで(例えば1か月ごとや1年ごと等の所定期間ごとに自動で、あるいはオペレータからの指示入力があったときに手動で)アップデートする機能を有している。
【0139】
図22に、動画撮影支援システム1000が環境チェック指摘テーブル320及び環境チェックアドバイステーブル330の内容を更新する際のフローチャートを示す。
【0140】
所定の更新のタイミングが到来すると、動画撮影支援装置200は、環境チェック指摘テーブル320を参照し、環境評価値が第5所定値以上(例えば70以上)のメディアIDと、第6所定値以下(例えば30以下)のメディアIDと、を抽出する(S6000)。
【0141】
また同様に、動画撮影支援装置200は、AI加工関連情報DB340を参照し、加工評価値が第7所定値以上(例えば75以上)のメディアIDと、第8所定値以下(例えば25以下)のメディアIDと、を抽出する(S6010)。
【0142】
そして動画撮影支援装置200は、環境評価値が第5所定値以上かつ加工評価値が第7所定値以上のメディアIDで特定される動画を、AI加工に適した動画(良い例)として抽出し、環境評価値が第6所定値以下かつ加工評価値が第8所定値以下のメディアIDで特定される動画を、AI加工に適さない動画(悪い例)として抽出する(S6020)。
【0143】
そして動画撮影支援装置200は、マルチメディアマスタ300や環境チェック指摘テーブル320、AI加工関連情報DB340に記載されている、撮影場所などの関連情報やメイク、ポージング、背景などの解析結果の情報を用いて、加工に適したシーン、適さなかったシーンを抽出し、加工に適した理由及び加工に適さななかった理由を分析することで、所定の書式に沿って説明文及びアドバイスを作成する(S6030)。
【0144】
そして動画撮影支援装置200は、各動画のメディアIDと上記説明文およびアドバイスを環境チェック指摘テーブル320及び環境チェックアドバイステーブル330に保存する(S6040)。
【0145】
このような態様により、環境チェック指摘テーブル320及び環境チェックアドバイステーブル330を最適な内容に更新することができる。これにより、動画制作者に対して適切な情報を提示することができる。
【0146】
以上、本実施形態に係る動画撮影支援システム1000、動画撮影支援システム1000の制御方法及びプログラムについて説明したが、本実施形態に係る動画撮影支援システム1000、動画撮影支援システムの制御方法及びプログラムによれば、動画内の所定の被写体に対する画像処理が適切に行われるように、事前に動画の撮影環境や撮影条件をチェックして改善点を指摘し、動画制作者の労力を軽減可能とすることが可能になる。
【0147】
なお上述した実施の形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明はその趣旨を逸脱することなく変更、改良され得るとともに、本発明にはその等価物も含まれる。
【符号の説明】
【0148】
100 ユーザ端末
110 CPU
120 メモリ
130 通信装置
140 記憶装置
150 入力装置
160 出力装置
170 記録媒体読取装置
200 動画撮影支援装置
210 CPU
220 メモリ
230 通信装置
240 記憶装置
250 入力装置
260 出力装置
270 記録媒体読取装置
300 マルチメディアマスタ
310 チュートリアルテーブル
320 環境チェック指摘テーブル
330 環境チェックアドバイステーブル
340 AI加工関連情報DB
350 撮影指示テーブル
360 環境チェック履歴テーブル
500 ネットワーク
600 動画データ
610 環境チェックAI
620 被写体加工AI
700 ユーザ端末制御プログラム
710 動画撮影支援装置制御プログラム
800 記録媒体
1000 動画撮影支援システム
1001 AIモデル記憶部
1002 動画データ取得部
1003 原因検出部
1004 原因出力部
1005 対応策記憶部
1006 チュートリアル情報記憶部
1007 チュートリアル情報出力部