特開 2022-123345 プログラム、方法、情報処理装置、システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022123345

(43)【公開日】2022-08-24

(54)【発明の名称】プログラム、方法、情報処理装置、システム

(51)【国際特許分類】

   G06T 3/00 20060101AFI20220817BHJP

   G06T 7/60 20170101ALI20220817BHJP

   G06T 11/60 20060101ALI20220817BHJP

   G09F 19/00 20060101ALI20220817BHJP

【ＦＩ】

G06T3/00

G06T7/60 150

G06T11/60 100A

G09F19/00 Z

【審査請求】有

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2021020593

(22)【出願日】2021-02-12

(11)【特許番号】

(45)【特許公報発行日】2021-09-29

(71)【出願人】

【識別番号】500521522

【氏名又は名称】株式会社オプティム

(74)【代理人】

【識別番号】110002815

【氏名又は名称】ＩＰＴｅｃｈ弁理士法人

(72)【発明者】

【氏名】菅谷 俊二

【テーマコード（参考）】

5B050

5B057

5L096

【Ｆターム（参考）】

5B050AA08

5B050AA09

5B050BA06

5B050BA12

5B050CA08

5B050DA04

5B050EA19

5B050FA02

5B050FA05

5B057AA20

5B057CA12

5B057CB13

5B057CD03

5B057CD05

5B057CD11

5B057DA16

5B057DC04

5B057DC08

5L096BA08

5L096DA01

5L096FA59

5L096FA67

5L096FA69

5L096HA03

(57)【要約】

【課題】映像内で形状や大きさが変化する動的な対象物領域に広告を挿入する。
【解決手段】プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、フレーム毎に映像を解析し、映像に被写体として含まれる動的対象物に関する情報を取得するステップと、取得した情報から把握される、動的対象物中の領域の形状、大きさ、向きに基づき、広告画像を生成するステップと、生成した広告画像を、領域に関連付けて表示するステップと、を実行させるプログラム。
【選択図】図４

【特許請求の範囲】

【請求項1】

プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
フレーム毎に映像を解析し、前記映像に被写体として含まれる動的対象物に関する情報を取得するステップと、
前記取得した情報から把握される、前記動的対象物中の領域の形状、大きさ、向きに基づき、広告画像を生成するステップと、
前記生成した広告画像を、前記領域に関連付けて表示するステップと、を実行させるプログラム。

【請求項2】

前記広告画像を生成するステップにおいて、前記動的対象物中の領域の形状、大きさ、向きと対応させて広告のオリジナル画像を変換することで前記広告画像を生成する請求項１記載のプログラム。

【請求項3】

前記広告画像を生成するステップにおいて、前記動的対象物の形状に応じて予め設定されている規則に基づいて広告のオリジナル画像を変換することで前記広告画像を生成する請求項１記載のプログラム。

【請求項4】

前記広告画像を生成するステップにおいて、前記動的対象物の３次元モデルを作成し、前記３次元モデルに張り付けた広告のオリジナル画像をレンダリングすることで前記広告画像を生成する請求項１記載のプログラム。

【請求項5】

前記広告画像を生成するステップにおいて、前記動的対象物に複数種類の領域が設定されており、領域の種類毎に表示される広告が設定されている請求項１乃至４のいずれかに記載のプログラム。

【請求項6】

視聴者の情報を参照し、視聴者に適した広告を決定するステップを前記プロセッサに実行させ、
前記広告画像を生成するステップにおいて、前記決定した広告を用いて前記広告画像を生成する請求項１乃至５のいずれかに記載のプログラム。

【請求項7】

前記広告を決定するステップにおいて、前記映像と関連付けられている情報に基づいて前記広告を決定する請求項６記載のプログラム。

【請求項8】

前記広告を決定するステップを前記プロセッサに所定のタイミングで実行させる請求項６又は７に記載のプログラム。

【請求項9】

前記広告を決定するステップを前記プロセッサに所定のタイミングで実行させ、
前記広告を決定するステップにおいて、前記映像と関連付けられている情報に基づき、広告主が異なるように前記広告を決定する請求項７記載のプログラム。

【請求項10】

プロセッサと、メモリとを備えるコンピュータに実行させるための方法であって、前記方法は、前記プロセッサが、
フレーム毎に映像を解析し、前記映像に被写体として含まれる動的対象物に関する情報を取得するステップと、
前記取得した情報から把握される、前記動的対象物中の領域の形状、大きさ、向きに基づき、広告画像を生成するステップと、
前記生成した広告画像を、前記領域に関連付けて表示するステップと、を実行する方法。

【請求項11】

制御部を備える情報処理装置であって、前記制御部が、
フレーム毎に映像を解析し、前記映像に被写体として含まれる動的対象物に関する情報を取得するステップと、
前記取得した情報から把握される、前記動的対象物中の領域の形状、大きさ、向きに基づき、広告画像を生成するステップと、
前記生成した広告画像を、前記領域に関連付けて表示するステップと、を実行する情報処理装置。

【請求項12】

フレーム毎に映像を解析し、前記映像に被写体として含まれる動的対象物に関する情報を取得する手段と、
前記取得した情報から把握される、前記動的対象物中の領域の形状、大きさ、向きに基づき、広告画像を生成する手段と、
前記生成した広告画像を、前記領域に関連付けて表示する手段と、を備えるシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、プログラム、方法、情報処理装置、システムに関する。

【背景技術】

【0002】

近年、あらゆる媒体に広告が表示されている。例えば、スポーツ映像等では競技場の壁、又は周辺の看板等の、映像中の背景になる部分に広告情報を掲載する手法が知られている。

【0003】

ところで、例えば、サッカー、野球等のスポーツでは、選手が身に着けるユニフォームに広告が物理的に付されている。ユニフォーム等に付される広告は固定されており、映像のように容易に切り替えられるものではない。そのため、ユニフォームに広告を提供しているスポンサーは、気軽に広告を変更できない。また、広告を表示させたい企業が他にいても、ユニフォームのスペースがすでに埋まっている場合には広告を表示することができない。

【0004】

特許文献１の技術には、被写体の３次元モデルに基づいて生成された自由視点映像の領域のうち、被写体の位置情報に基づく被写体の付近の背景領域に、被写体に関連する情報を合成することで、合成映像を生成する技術が記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】国際公開第２０１９／０２１３７５号

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１では、被写体の付近の背景領域に、被写体に関連する情報を合成することが記載されているが、被写体上の領域を有効に活用するものではない。

【0007】

そこで、本開示の目的は、映像内において動的に移動する領域に、広告を効果的に挿入することである。

【課題を解決するための手段】

【0008】

一実施形態によると、プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、フレーム毎に映像を解析し、映像に被写体として含まれる動的対象物に関する情報を取得するステップと、取得した情報から把握される、動的対象物中の領域の形状、大きさ、向きに基づき、広告画像を生成するステップと、生成した広告画像を、領域に関連付けて表示するステップと、を実行させるプログラムが提供される。

【発明の効果】

【0009】

本開示によれば、映像内において動的に移動する領域に、広告を効果的に挿入することができる。

【図面の簡単な説明】

【0010】

【図1】システム１の全体構成を示す図である。

【図2】サーバ２０の機能的な構成を示す図である。

【図3】サーバ２０が記憶する広告情報データベース２０２１のデータ構造を示す図である。

【図4】システム１を構成する機器等の概要を示す図である。

【図5】サーバ２０が、広告画像を生成し、生成した広告画像を映像に合成する一連の処理を示すフローチャートである。

【図6】サーバ２０で管理される映像の表示例を示す図である。

【図7】サーバ２０から配信されて端末装置１０で表示される映像の表示例を示す図である。

【発明を実施するための形態】

【0011】

以下、図面を参照しつつ、本発明の実施形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称及び機能も同じである。従って、それらについての詳細な説明は繰り返さない。

【0012】

＜概要＞
以下の実施形態では、撮影装置等を用い撮影した映像内で、形状、大きさ、傾きが変化する動的な対象物領域に、広告を効果的に挿入するためのシステム１について説明する。具体的には、例えば、システム１は、サッカー等の競技に係る映像を視聴している視聴者に対し、競技をプレイしている選手、競技に使用している道具等の動的対象物の所定領域に、領域に応じた態様で広告画像を重畳して表示する。なお、本実施形態において動的対象物とは、動きを有し、広告画像を重畳する対象物を表す。また、広告画像とは、広告についての画像を表す。

【0013】

システム１は、撮影装置から動的対象物を含む映像を取得する。システム１は、取得した映像をフレームごとに画像解析し、画像に含まれる動的対象物に関する情報を取得する。システム１は、取得した情報に基づき、表示する広告画像の態様を決定する。システム１は、動的対象物の所定の領域、例えば、人物の胸部、腹部、背中部、肩部、移動体の屋根、側面、前翼、後翼等に、決定した態様で広告画像を重畳する。システム１は、映像、及び視聴者に関する情報に基づいて広告を決定する。これにより、システム１は、映像に含まれる動的対象物に対し、視聴者が望む広告画像を表示することが可能となる。このため、従来では広告が固定して表示されていた領域に、任意の広告を表示することが可能となるため、動的対象物上の領域を有効に活用することが可能となる。

【0014】

＜１ システム全体の構成図＞
図１は、システム１の全体の構成を示す図である。

【0015】

図１に示すように、システム１は、端末装置１０と、サーバ２０と、エッジサーバ３０と、撮影装置４０とを含む。端末装置１０、サーバ２０、及びエッジサーバ３０は、ネットワーク８０を介して通信接続する。エッジサーバ３０は、撮影装置４０と接続されている。例えば、撮影装置４０は、情報機器間の近距離通信システムで用いられる通信規格に基づく送受信装置である。具体的には、撮影装置４０は、例えば、Bluetooth（登録商標）モジュール等２．４ＧＨｚ帯を使用して、Bluetooth（登録商標）モジュールを搭載した他の情報機器からのビーコン信号を受信する。エッジサーバ３０は、当該近距離通信を利用したビーコン信号に基づき、撮影装置４０から送信される情報を取得する。このように、撮影装置４０は、取得した映像を、ネットワーク８０を介さず、近距離通信によりエッジサーバ３０へ送信する。なお、エッジサーバ３０は、ネットワーク８０を介して撮影装置４０と通信接続してもよい。

【0016】

システム１において、エッジサーバ３０、撮影装置４０は、必ずしも設けられる必要はない。予め撮影された映像がサーバ２０に記憶されている場合、エッジサーバ３０、及び撮影装置４０は、システム１に含まれていなくてもよい。

【0017】

端末装置１０は、例えば、サーバ２０から配信される映像を視聴するユーザが操作する装置である。端末装置１０は、例えば、スマートフォン、タブレット等の携帯端末でもよいし、据え置き型のＰＣ（Personal Computer）、ラップトップＰＣであってもよい。

【0018】

サーバ２０は、映像の配信を管理する。サーバ２０は、例えば、視聴者に応じた広告画像を、映像における動的対象物に重畳する。サーバ２０は、動的対象物に広告画像を重畳して表示するための、広告画像の表示態様、例えば、大きさ、向き等を管理する。また、サーバ２０は、視聴者に関する各種情報、例えば、年齢、住所、好み、生活習慣等の情報を管理する。図１に示すサーバ２０は、通信ＩＦ２２、入出力ＩＦ２３、メモリ２５、ストレージ２６、及びプロセッサ２９を有する。

【0019】

通信ＩＦ２２は、サーバ２０が外部の装置と通信するため、信号を入出力するためのインタフェースである。入出力ＩＦ２３は、ユーザからの入力操作を受け付けるための入力装置、及び、ユーザに対し情報を提示するための出力装置とのインタフェースとして機能する。メモリ２５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。ストレージ２６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）である。プロセッサ２９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。

【0020】

本実施形態において、複数のサーバ２０からなる装置の集合体を１つの情報処理装置として把握することもできる。すなわち、システム１を、複数のサーバ２０の集合体として形成してもよい。例えば、サーバ２０が発揮する各機能を、それぞれ異なるサーバ２０が担当し、各サーバ２０で得たデータをさらに異なるサーバ２０に集約し解析する、等の処理をしてもよい。

【0021】

エッジサーバ３０は、撮影装置４０から送信される情報を受信し、受信した情報を、サーバ２０に送信する。また、エッジサーバ３０は、サーバ２０から取得した情報を撮影装置４０へ送信する。サーバ２０から取得する情報には、例えば、撮影装置４０の設定を更新するための情報等が含まれる。

【0022】

撮影装置４０は、受光素子により光を受光して、画像データとしてエッジサーバ３０へ出力するためのデバイスである。撮影装置４０は、例えば、以下のいずれかのデバイスが想定される。
・可視光カメラ
・赤外線カメラ
・紫外線カメラ
・超音波センサ
・ＲＧＢ－Ｄカメラ
・ＬｉＤＡＲ（Light Detection and Ranging）

【0023】

＜１．１ サーバ２０の構成＞
図２は、サーバ２０の機能的な構成を示す図である。図２に示すように、サーバ２０は、通信部２０１と、記憶部２０２と、制御部２０３としての機能を発揮する。

【0024】

通信部２０１は、サーバ２０が、エッジサーバ３０等の外部の装置と通信するための処理を行う。

【0025】

記憶部２０２は、サーバ２０が使用するデータ及びプログラムを記憶する。記憶部２０２は、広告情報データベース２０２１、視聴者情報データベース２０２２、映像データベース２０２３等を記憶する。

【0026】

広告情報データベース２０２１は、システム１により動的対象物に重畳して表示する広告に関する各種情報を記憶する。詳細は後述する。

【0027】

視聴者情報データベース２０２２は、映像の視聴者に関する各種情報を記憶する。詳細は後述する。

【0028】

映像データベース２０２３は、撮影装置４０により撮影された映像、又は、他の撮影装置により予め撮影された映像を記憶する。ある局面において、映像データベース２０２３は、ライブ配信する映像に関する情報、例えば、配信内容、配信時間等に関する情報を記憶していてもよい。

【0029】

制御部２０３は、サーバ２０のプロセッサがプログラムに従って処理を行うことにより、各種モジュールとして示す機能を発揮する。

【0030】

受信制御モジュール２０３１は、サーバ２０が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。

【0031】

送信制御モジュール２０３２は、サーバ２０が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。

【0032】

広告決定モジュール２０３３は、映像を視聴している視聴者の情報等に基づいて、表示する広告を決定する。具体的には、例えば、広告決定モジュール２０３３は、受信制御モジュール２０３１が受信した、映像を視聴する視聴者のログイン情報等に基づいて、視聴者情報データベース２０２２から視聴者についての情報を抽出する。広告決定モジュール２０３３は、抽出した情報に基づいて、視聴者が視聴している映像に表示させる広告を、広告情報データベース２０２１から決定する。決定される広告は、複数であっても単数であってもよい。広告決定モジュール２０３３は、広告情報データベース２０２１において、広告を表示する対象が設定されている場合には、設定されている対象を参照して広告を決定するようにしてもよい。

【0033】

広告決定モジュール２０３３は、抽出した情報と、映像に関連付けられている情報とに基づいて、映像に表示させる広告を決定してもよい。映像と関連付けられている情報は、例えば、以下である。
・映像と関連するスポンサー企業の情報
・映像の内容に関連する情報
・映像内で登場する商品についての情報

【0034】

広告を決定するアルゴリズムは、既存のアルゴリズムを利用しても構わない。また、広告決定モジュール２０３３は、例えば、所定のタイミング（所定の周期、所定の時刻、所定イベントの発生時）等で、広告を決定するようにしてもよい。このとき、広告決定モジュール２０３３は、切り替えの前後で、広告のスポンサーが異なるようにしてもよい。また、広告決定モジュール２０３３は、切り替えの前後で、広告の属性、商品等が異なるようにしてもよい。

【0035】

画像解析モジュール２０３４は、映像に含まれる動的対象物に基づき、画像生成モジュール２０３５で広告画像を作成するための情報を取得する。

【0036】

具体的には、例えば、画像解析モジュール２０３４は、画像生成モジュール２０３５で広告画像が生成される手法に応じ、映像に含まれる動的対象物に関する情報を取得する。動的対象物に関する情報は、例えば、以下である。
・映像に含まれる動的対象物についての領域
・映像に含まれる動的対象物中の所定の領域（胸部、背中部、肩部、フロントウィング、ボディ、リアウィング等）
・映像に含まれる動的対象物の移動方向
・映像に含まれる動的対象物の形状

【0037】

より具体的には、画像解析モジュール２０３４は、例えば、映像に含まれる動的対象物についての領域、及び動的対象物中の所定の領域を、学習済みモデルを用いて取得する。学習済みモデルは、学習用データに基づき、モデル学習プログラムに従って機械学習モデルに機械学習を行わせることにより作成される。学習用データは、例えば、動的対象物を含む複数の映像を入力とし、入力された映像に付与される、所定のタグ、識別子等を正解出力として含む。所定のタグは、例えば、動的対象物としての選手、ボール、自動車等、又は、動的対象物の所定領域である、ユニフォームの胸部、背中部、肩部、自動車のフロントウィング、ボディ側面、リアウィング等の領域を含む。画像解析モジュール２０３４は、例えば、視聴者へ配信する映像を学習済みモデルに入力し、動的対象物についての領域、及び動的対象物中の所定の領域を出力させる。

【0038】

また、画像解析モジュール２０３４は、例えば、映像に含まれる動的対象物の移動方向を、映像を構成するフレーム間の差分を取ることで取得する。このとき、差分を取る対象となるフレームは、連続していても、所定フレーム離れていてもよい。

【0039】

また、画像解析モジュール２０３４は、例えば、映像に含まれる動的対象物の形状を、フレーム中のピクセル情報に基づいて取得する。

【0040】

なお、動的対象物に関する情報を取得する方法は既存のいかなる手法を用いてもよい。例えば、画像解析モジュール２０３４は、映像に含まれる動的対象物の形状を、学習済みモデルを用いて取得してもよい。このとき、正解出力は、例えば、四角、台形等の、動的対象物の形状を含む。また、正解出力は、形状１、形状２等のように、予め設定された形状を指定する番号であってもよい。

【0041】

画像生成モジュール２０３５は、画像解析モジュール２０３４で取得された情報と、広告決定モジュール２０３３で決定された広告とに基づいて、広告画像を生成する。

【0042】

具体的には、画像生成モジュール２０３５は、例えば、画像解析モジュール２０３４から取得した、映像に含まれる動的対象物についての領域、動的対象物中の所定の領域、動的対象物の移動方向、動的対象物の形状に基づいて、動的対象物において広告画像を合成する領域の大きさ、形状、動的対象物の表面の傾き等を取得する。画像生成モジュール２０３５は、広告画像を合成する領域の大きさ、形状、動的対象物の表面の傾き等に基づき、画像の大きさ、形状、画像の奥行き方向の傾き等を決定する。画像生成モジュール２０３５は、画像の大きさ、形状、画像の奥行き方向の傾き等を加味して広告画像を生成する。画像生成モジュール２０３５は、例えば、アフィン変換等を利用し、広告についてのオリジナル画像を変換することで広告画像を生成する。

【0043】

また、画像生成モジュール２０３５は、例えば、画像解析モジュール２０３４で取得された動的対象物の形状に応じた態様の広告画像を生成するようにしてもよい。具体的には、例えば、動的対象物の形状毎に、広告についてのオリジナルの画像の変換規則が予め設定されている。画像生成モジュール２０３５は、動的対象物の形状に基づいて設定される変換式を広告についてのオリジナル画像に適用する。画像生成モジュール２０３５は、変換式を適用した画像の倍率を、動的対象物の大きさに基づいて決定することで、広告画像を生成する。

【0044】

また、画像生成モジュール２０３５は、例えば、画像解析モジュール２０３４で取得された動的対象物についての画像から３次元モデルを作成し、作成した３次元モデルを用いて広告画像を生成してもよい。具体的には、例えば、画像生成モジュール２０３５は、動的対象物についての２次元画像を複数方向から取得する。画像生成モジュール２０３５は、複数方向から取得した２次元画像に基づいて、動的対象物についての３次元モデルを作成する。画像生成モジュール２０３５は、広告決定モジュール２０３３で決定された広告のオリジナル画像を、３次元モデルの表面に張り付ける。画像生成モジュール２０３５は、３次元モデルに張り付けたオリジナル画像にレンダリング処理を実行することで、広告画像を生成する。

【0045】

また、動的対象物中の領域の種類毎に重畳する広告が異なっていてもよい。例えば、動的対象物が人である場合、胸部、背中部、肩部毎に重畳する広告が異なっていてよい。また、例えば、動的対象物が自動車である場合、フロントウィング、ボディ、リアウィング毎に重畳する広告が異なっていてよい。画像生成モジュール２０３５は、検出した領域に対応する広告のオリジナル画像を、領域の態様に応じて変換することで、領域に適した広告画像を生成する。

【0046】

合成モジュール２０３６は、画像生成モジュール２０３５で生成された広告画像を、映像に合成する。具体的には、例えば、合成モジュール２０３６は、画像生成モジュール２０３５で生成された広告画像を、映像中の対応する領域に重畳する。

【0047】

提示モジュール２０３７は、広告コンテンツが合成された映像を、視聴者に提示する。

【0048】

これにより、サーバ２０は、映像に含まれる様々な態様の動的対象物に応じて、広告コンテンツを正確に重畳して視聴者に提示することができる。

【0049】

＜２ データ構造＞
図３は、サーバ２０が記憶する広告情報データベース２０２１と視聴者情報データベース２０２２のデータ構造を示す図である。

【0050】

図３に示すように、広告情報データベース２０２１は、項目「広告ＩＤ」と、項目「広告主」と、項目「商品」と、項目「属性」と、項目「対象」と、項目「広告サイズ」等とを含む。

【0051】

項目「広告ＩＤ」は、広告それぞれを識別する情報である。

【0052】

項目「広告主」は、各広告を提供する広告主を識別する情報である。例えば、広告ＩＤ「Ａ００１」の広告主は「Ａ社」であることを示す。

【0053】

項目「商品」は、広告の詳細を示す情報である。例えば、広告ＩＤ「Ａ００１」の商品は「お茶」であることを示す。

【0054】

項目「対象」は、広告を表示する対象となる視聴者の属性を示す。例えば、広告ＩＤ「Ａ００１」の対象は「全般」であることを示す。

【0055】

項目「属性」は、広告に付与されている属性を示す。具体的には、各広告コンテンツが、どのような分類に属するか、についての情報を示す。例えば、広告ＩＤ「Ａ００１」の属性は「嗜好品」であることを示す。ある局面において、例えば、広告決定モジュール２０３３は、属性が「嗜好品」である広告の中から無作為に１つの広告を決定する。

【0056】

項目「広告サイズ」は、広告の大きさを示す情報である。ここでの、大きさは、例えば、動的対象物の所定領域で表示されるサイズを表す。同じ広告に対して、複数のサイズが記憶されていてもよい。例えば、広告ＩＤ「Ａ００１」の商品「お茶」における、広告サイズは「＊＊ｃｍ×＊＊ｃｍ」、「＋＋ｃｍ×＋＋ｃｍ」、及び「〇〇ｃｍ×〇〇ｃｍ」等であることを示す。ここで、広告サイズは、解像度ｄｐｉ（ｄｏｔｓ ｐｅｒ ｉｎｃｈ）であってもよい。ある局面において、広告決定モジュール２０３３は、画像解析モジュール２０３４により解析した、映像に含まれる動的対象物の形状、又は動的対象物内の領域等に基づいて、広告のサイズを決定してもよい。

【0057】

図３に示すように、視聴者情報データベース２０２２は、項目「視聴者ＩＤ」と、項目「登録名」と、項目「年代」と、項目「性別」と、項目「趣味」と、項目「閲覧履歴」と、項目「購入履歴」等を含む。

【0058】

項目「視聴者ＩＤ」は、映像を視聴する視聴者それぞれを識別する情報である。

【0059】

項目「登録名」は、視聴者の氏名等を識別する情報である。例えば、視聴者ＩＤ「Ｕ００１」の登録名は「Ａ」である。登録名は、視聴者の氏名であってもよいし、映像を視聴するためのサービスにおけるハンドルネームなどでもよい。

【0060】

項目「年代」は、視聴者の年代を示す情報である。

【0061】

項目「性別」は、視聴者の性別を示す情報である。

【0062】

項目「趣味」は、視聴者の趣味に関する情報である。例えば、視聴者ＩＤ「Ｕ００１」の趣味は「スポーツ」、「映画」、「ゲーム」等であることを示す。サーバ２０は、ユーザまたは視聴者からの入力操作を受け付けることで、当該情報を記憶してもよいし、閲覧履歴、購入履歴等の情報から、聴者の趣味の情報を推定してもよい。

【0063】

項目「閲覧履歴」は、視聴者がＷｅｂサイト、映像配信サービスの映像等を閲覧した履歴に関する情報を示す。具体的には、サーバ２０は、視聴者からの入力操作により、又は、システム１が視聴者に提供するサービスと提携したＷｅｂサイト、映像配信サービス等から当該情報を受信することにより、視聴履歴の情報を取得する。例えば、視聴者ＩＤ「Ｕ００１」の閲覧履歴は、「Ａ放送」、「ｈｔｔｐｓ：／／＊＊」、「Ｂ放送」等であることを示す。

【0064】

項目「購入履歴」は、視聴者のECサイトでの購入履歴に関する情報を示す。具体的には、サーバ２０は、視聴者からの入力操作により、又は、システム１が視聴者に提供するサービスと提携したＥＣサイト等から当該情報を受信することにより、購入履歴の情報を取得する。例えば、視聴者ＩＤ「Ｕ００１」の購入履歴は、「２０２０／１０／０１ ダンベル」、「２０２０／１０／３ プロテイン」、「２０２０／１０／５ ブルーレイ」等であることを示す。

【0065】

これにより、サーバ２０は、視聴者の各種情報、例えば、年代、性別、趣味、視聴者が閲覧したＷｅｂサイト及び映像配信サービス、視聴者が購入した商品の履歴等の情報に基づいて、視聴者毎に最適な広告を決定することが可能となる。これにより、サーバ２０は、ユーザの視聴体験をより高めることが可能となる。

【0066】

＜３ 小括＞
図４は、システム１の概要を示す図である。図４に示す例では、例えば、サッカー等の競技を撮影装置４０にて撮影した映像における広告の表示について説明する。

【0067】

撮影装置４０は、動的対象物を含む映像を撮影する。撮影装置４０は、撮影した動的対象物を含む映像をエッジサーバ３０に送信する。

【0068】

エッジサーバ３０は、受信した動的対象物を含む映像をサーバ２０に送信する。

【0069】

サーバ２０は、エッジサーバ３０から取得した映像をフレームごとに解析し、映像中の動的対象物に関する情報を取得する。サーバ２０は、取得した情報に基づいて、広告画像を生成する。サーバ２０は、生成した広告画像を映像に合成し、視聴者に表示する。

【0070】

これにより、サーバ２０は、動的対象物を含む映像の中から、フレームごとに含まれる動的対象物の大きさ、形状、向き等に基づいて広告画像を生成し、生成した広告画像を動的対象物に重畳する。そのため、サーバ２０は、ユーザに違和感を与えることなく、自然に広告を動的対象物に重畳させることが可能となる。

【0071】

映像を視聴する視聴者は、自身が視聴している、例えば、サッカー等の競技についての映像において、動的対象物である選手に自然な形で広告が表示されているため、映像を視聴する際に違和感を覚えることなく、映像を視聴することができ、没入感を削がれるおそれがない。自然な形とは、動的対象物である人物等が向きを変える、等の動作をしたときに、人物から広告コンテンツがはみ出してしまうことなく、常に人物の動きに合わせて広告コンテンツが表示されることを示す。

【0072】

これにより、視聴者は、動的対象物に合成される広告を、動的対象物にプリントされている広告と同様の感覚で視認することが可能となる。

【0073】

また、実際の動的対象物に、広告がプリントされている場合であっても、サーバ２０は、動的対象物に広告画像を合成することが可能である。これにより、広告主である企業は、広告が物理的にプリントされている場合であっても、ネットワークを通じた配信において、動的対象物に物理的にプリントされている広告と異なる広告を表示させることができる。

【0074】

＜４ 動作＞
以下、サーバ２０が広告画像を生成し、生成した広告画像を映像に合成する一連の処理について説明する。以下の説明では、例えば、撮影装置４０は、図４に示すようにサッカー等、複数の動的対象物が存在する競技を撮影する場合を例に説明する。

【0075】

撮影装置４０は、予め設定された撮影方向の映像を撮影する。撮影装置４０の撮影方向には、複数の動的対象物、例えば、ユニフォームを着用した選手、サッカーボール等が含まれ得る。撮影装置４０は、撮影した映像についての映像信号を、エッジサーバ３０を介してサーバ２０へ送信する。

【0076】

図５は、サーバ２０の制御部２０３が、広告画像を生成し、生成した広告画像を映像に合成する一連の処理を示すフローチャートである。

【0077】

まず、視聴者は、端末装置１０を操作し、視聴したい映像を選択する。選択される映像は、映像データベース２０２３に記憶されている映像でもよいし、リアルタイムで配信されている映像であってもよい。

【0078】

ステップＳ５０１において、端末装置１０から映像の選択を受け付けると、サーバ２０の制御部２０３は、選択された映像と、視聴者の情報とに基づいて、表示する広告を決定する。具体的には、例えば、制御部２０３は、広告決定モジュール２０３３により、視聴者のログイン情報に基づいて視聴者を特定し、特定した視聴者の情報を視聴者情報データベース２０２２から抽出する。広告決定モジュール２０３３は、例えば、視聴者により選択された映像と関連付けられている情報と、抽出した視聴者の情報とに基づき、この視聴者に対して表示するのに適した広告を決定する。

【0079】

ステップＳ５０２において、制御部２０３は、視聴者から選択された映像を取得する。具体的には、制御部２０３は、映像データベース２０２３から、視聴者により選択された映像を読み出す。または、制御部２０３は、所定の映像の配信元から、視聴者により選択された映像を取得する。

【0080】

ステップＳ５０３において、制御部２０３は、画像解析モジュール２０３４により、例えば、映像のフレームごとに、画像解析を実行する。画像解析モジュール２０３４は、画像解析により、映像に含まれる動的対象物に関する情報を取得する。

【0081】

ステップＳ５０４において、制御部２０３は、画像生成モジュール２０３５により、画像解析モジュール２０３４で取得された情報と、広告決定モジュール２０３３で決定された広告とに基づいて、広告画像を生成する。具体的には、制御部２０３は、例えば、画像解析モジュール２０３４で取得された情報に基づき、フレーム毎に広告を表示させる態様、例えば、広告の大きさ、形状、画像の奥行き方向の傾き等を決定する。制御部２０３は、広告決定モジュール２０３３で決定された広告を、決定した大きさ、形状、傾き等に基づいて変換して広告画像を生成する。

【0082】

ステップＳ５０５において、制御部２０３は、合成モジュール２０３６により、画像生成モジュール２０３５で生成した広告画像を、画像解析により認識された、動的対象物中の所定領域に重畳する。制御部２０３は、ステップＳ５０３～ステップＳ５０５の処理を、例えば、フレーム毎に実行する。

【0083】

これにより、サーバ２０は、視聴者に応じた広告画像を、動的対象物の上に、動的対象物の動作を考慮して正確に重畳することが可能となる。そのため、サーバ２０は、違和感を覚えさせることなく、自然な形で広告を視聴者に提示することが可能となる。

【0084】

なお、図５では、制御部２０３は、映像の視聴開始時に広告を決定する場合を例に説明した。しかしながら、広告の決定は、映像の視聴開始時に限定されない。制御部２０３は、例えば、所定のタイミング（所定の周期、所定の時刻、所定イベントの発生時等）で、広告を決定するようにしてもよい。このとき、制御部２０３は、切り替えの前後で、広告のスポンサーが異なるようにしてもよい。

【0085】

＜５ 画面例＞
次に、端末装置１０に表示される映像の画面例について説明する。以下の説明では、視聴者がサッカーを視聴している場面を例に説明する。

【0086】

図６は、サーバ２０で管理される映像の表示例を示す図である。図７は、サーバ２０から配信されて端末装置１０で表示される映像の表示例を示す図である。

【0087】

図６に示す画像は、映像における所定フレームの画像を表している。図６に示す画像には、動的対象物６０２Ａ、６０２Ｂ、６０２Ｃ、６０２Ｄ、６０３Ａ、６０３Ｂが含まれている。動的対象物６０２Ａ、６０２Ｂ、６０２Ｃ、６０３Ａ、６０３Ｂは選手を表し、動的対象物６０２Ｄはサッカーボールを表している。図６に示す画像において、動的対象物６０２Ａ、６０２Ｂ、６０２Ｃ、６０２Ｄ、６０３Ａ、６０３Ｂの所定領域、例えば、胸部６０４Ａ、６０４Ｂ、６０４Ｃ、背中部６０５Ａ、肩部６０５Ｂ、ボール中央部６０４Ｄには、広告画像は合成されていない。

【0088】

制御部２０３は、例えば、画像解析モジュール２０３４により、映像に含まれる動的対象物６０２Ａ、６０２Ｂ、６０２Ｃ、６０２Ｄ、６０３Ａ、６０３Ｂに関する情報を取得する。制御部２０３は、画像生成モジュール２０３５により、画像解析モジュール２０３４で取得された情報と、広告決定モジュール２０３３で決定された広告とに基づいて、広告画像を生成する。具体的には、制御部２０３は、例えば、胸部６０４Ａ、６０４Ｂ、６０４Ｃ、背中部６０５Ａ、肩部６０５Ｂ、ボール中央部６０４Ｄの大きさ、形状、奥行き方向の傾き等に基づいて広告を変換して広告画像６０６Ａ、６０６Ｂ、６０６Ｃ、６０６Ｄ、６０７Ａ、６０７Ｂを生成する。

【0089】

制御部２０３は、合成モジュール２０３６により、画像生成モジュール２０３５で生成した広告画像６０６Ａ、６０６Ｂ、６０６Ｃ、６０６Ｄ、６０７Ａ、６０７Ｂを、画像解析により認識された、動的対象物中の所定領域（胸部６０４Ａ、６０４Ｂ、６０４Ｃ、ボール中央部６０４Ｄ、背中部６０５Ａ、肩部６０５Ｂ）に重畳する。

【0090】

図７に示す画像は、図６に示す画像が所定の視聴者に表示される際の画像である。図７に示す画像では、動的対象物中の所定領域（胸部６０４Ａ、６０４Ｂ、６０４Ｃ、ボール中央部６０４Ｄ、背中部６０５Ａ、肩部６０５Ｂ）に、広告画像６０６Ａ、６０６Ｂ、６０６Ｃ、６０６Ｄ、６０７Ａ、６０７Ｂがそれぞれ重畳されている。

【0091】

これにより、サーバ２０は、ユーザに違和感を与えることなく、視聴している映像に、各視聴者の嗜好にあった広告を自然に動的対象物に重畳させることが可能となる。このため、広告を提供する広告主は、視聴者に合わせて動的対象物に表示させる広告を気軽に切り替えることが可能となる。また、複数の広告主がいる場合であっても、動的対象物に広告を表示することが可能となる。また、動的対象物に実際にプリントされる広告に加え、配信させる映像では広告を合成することが可能であるため、広告主を従来より多く募ることが可能となる。

【0092】

なお、ある局面において、制御部２０３は、チームで行われる対戦型の競技等において、チーム毎に異なる種別、例えば、異なるスポンサーの広告画像を重畳してもよい。例えば、制御部２０３は、広告画像６０６Ａ、６０６Ｂ、６０６Ｃと、広告画像６０７Ａ、６０７Ｂとで広告の広告主を異ならせるようにしてもよい。これにより、サーバ２０は、各チームのスポンサーを明示する、より効果的な領域に広告を表示する等、視聴者に対し広告効果が向上するように広告を表示することができる。

【0093】

＜６ 変形例＞
上記実施形態では、サーバ２０が画像を解析することで、動的対象物に関する情報を取得し、広告を表示する領域を決定する場合を説明した。しかしながら、これらの処理は、撮影装置４０、又はエッジサーバ３０によって行われてもよい。すなわち、例えば、撮影装置４０が動的対象物に関する情報を取得し、広告の表示領域、態様の決定を行い、サーバ２０にその情報を送信する。サーバ２０は、撮影装置４０から受信した情報に基づいて広告画像を生成し、動的対象物に重畳するように広告を合成する。また、例えば、エッジサーバ３０が動的対象物に関する情報を取得し、広告の表示領域、態様の決定を行い、サーバ２０にその情報を送信する。サーバ２０は、エッジサーバ３０から受信した情報に基づいて広告画像を生成し、動的対象物に重畳するように広告を合成する。

【0094】

上記実施形態では、複数の撮影装置４０から取得した映像に基づいて３次元モデルを作成し、その表面に広告画像をテクスチャとして表示する場合を説明した。しかしながら、動的対象物にセンサ（図示せず）が取り付けられていてもよい。センサは、動的対象物の体の一部の領域に設置され、設置された動的対象物の体の動きに関する情報を検出するモーションセンサである。例えば、センサは、動的対象物の体の傾き、動作する速度、動作する方向等の情報を検出する。センサは、例えば、ジャイロセンサ、加速度センサ等により実現される。センサは、検出した各種のセンシング情報を、エッジサーバ３０へ送信する。エッジサーバ３０は、センシング情報をサーバ２０に送信する。サーバ２０は、画像生成モジュール２０３５により、受信したセンシング情報に基づいて３次元モデルを作成してもよい。

【0095】

上記実施形態では、画像解析モジュール２０３４により取得される動的対象物に関する情報として、
・映像に含まれる動的対象物についての領域
・映像に含まれる動的対象物中の所定の領域（胸部、背中部、肩部、フロントウィング、ボディ、リアウィング等）
・映像に含まれる動的対象物の移動方向
・映像に含まれる動的対象物の形状
を例示した。しかしながら、画像解析モジュール２０３４により取得される情報は、これらに限定されない。画像解析モジュール２０３４により取得される情報は、以下でもよい。
・所定の色を含む領域（例えば、ユニフォームの色等）
・所定の文字、又はマークを含む領域（例えば、ロゴマーク等）
・特徴的な部位と所定の位置関係にある領域（例えば、顔領域からの相対座標で胸部を検出）

【0096】

これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。

【0097】

＜付記＞
以上の各実施形態で説明した事項を以下に付記する。

【0098】

（付記１）
プロセッサ２９と、メモリ２５とを備えるコンピュータ２０に実行させるためのプログラムであって、プログラムは、プロセッサ２９に、フレーム毎に映像を解析し、映像に被写体として含まれる動的対象物に関する情報を取得するステップ（Ｓ５０３）と、取得した情報から把握される、動的対象物中の領域の形状、大きさ、向きに基づき、広告画像を生成するステップ（Ｓ５０４）と、生成した広告画像を、領域に関連付けて表示するステップ（Ｓ５０５）と、を実行させるプログラム。

【0099】

（付記２）
広告画像を生成するステップ（Ｓ５０４）において、動的対象物中の領域の形状、大きさ、向きと対応させて広告のオリジナル画像を変換することで広告画像を生成する付記１記載のプログラム。（段落００４２～段落００４５）

【0100】

（付記３）
広告画像を生成するステップ（Ｓ５０４）において、動的対象物の形状に応じて予め設定されている規則に基づいて広告のオリジナル画像を変換することで広告画像を生成する付記１記載のプログラム。（段落００４２～段落００４５）

【0101】

（付記４）
広告画像を生成するステップ（Ｓ５０４）において、動的対象物の３次元モデルを作成し、３次元モデルに張り付けた広告のオリジナル画像をレンダリングすることで広告画像を生成する付記１記載のプログラム。（段落００４２～段落００４５）

【0102】

（付記５）
広告画像を生成するステップ（Ｓ５０４）において、動的対象物に複数種類の領域が設定されており、領域の種類毎に表示される広告が設定されている付記１乃至４のいずれかに記載のプログラム。（段落００４２～段落００４５）

【0103】

（付記６）
視聴者の情報を参照し、視聴者に適した広告を決定するステップ（Ｓ５０１）をプロセッサ２９に実行させ、広告画像を生成するステップ（Ｓ５０４）において、決定した広告を用いて広告画像を生成する請求項１乃至５のいずれかに記載のプログラム。（段落００３２）

【0104】

（付記７）
広告を決定するステップ（Ｓ５０１）において、映像と関連付けられている情報に基づいて広告を決定する付記６記載のプログラム。（段落００３２～段落００３４）

【0105】

（付記８）
広告を決定するステップ（Ｓ５０１）をプロセッサ２９に所定のタイミングで実行させる付記６又は７に記載のプログラム。（段落００３４）

【0106】

（付記９）
広告を決定するステップ（Ｓ５０１）をプロセッサ２９に所定のタイミングで実行させ、広告を決定するステップ（Ｓ５０１）において、映像と関連付けられている情報に基づき、広告主が異なるように広告を決定する付記８記載のプログラム。（段落００３４）

【0107】

（付記１０）
プロセッサ２９と、メモリ２５とを備えるコンピュータ２０に実行させるための方法であって、方法は、プロセッサ２９が、フレーム毎に映像を解析し、映像に被写体として含まれる動的対象物に関する情報を取得するステップ（Ｓ５０３）と、取得した情報から把握される、動的対象物中の領域の形状、大きさ、向きに基づき、広告画像を生成するステップ（Ｓ５０４）と、生成した広告画像を、領域に関連付けて表示するステップ（Ｓ５０５）と、を実行する方法。

【0108】

（付記１１）
制御部２０３を備える情報処理装置２０であって、制御部２０３が、フレーム毎に映像を解析し、前記映像に被写体として含まれる動的対象物に関する情報を取得するステップ（Ｓ５０３）と、取得した情報から把握される、動的対象物中の領域の形状、大きさ、向きに基づき、広告画像を生成するステップ（Ｓ５０４）と、生成した広告画像を、領域に関連付けて表示するステップ（Ｓ５０５）と、を実行する情報処理装置２０。

【0109】

（付記１２）
フレーム毎に映像を解析し、映像に被写体として含まれる動的対象物に関する情報を取得する手段（Ｓ５０３）と、取得した情報から把握される、動的対象物中の領域の形状、大きさ、向きに基づき、広告画像を生成する手段（Ｓ５０４）と、生成した広告画像を、領域に関連付けて表示する手段（Ｓ５０５）と、を備えるシステム。

【符号の説明】

【0110】

２０ サーバ、２２ 通信ＩＦ、２３ 入出力ＩＦ、２５ メモリ、２６ ストレージ、２９プロセッサ、３０ エッジサーバ、４０ 撮影装置、８０ ネットワーク、２０１ 通信部、２０２ 制御部、２０３ 通信部、２０２１ 広告情報データベース、２０２２ 視聴者情報データベース、２０２３ 映像データベース。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2021-07-07

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
映像に含まれる対象領域を出力するように学習された学習済みモデルに、映像を入力することで、前記入力した映像に含まれる対象領域を出力するステップと、
前記映像をフレーム毎に解析し、前記対象領域の移動方向、形状を取得するステップと、
前記出力された対象領域、当該対象領域について取得した移動方向、形状に基づき、画像の形状、大きさ、奥行き方向の傾きを決定し、決定した画像の形状、大きさ、奥行き方向の傾きに基づき、広告画像を生成するステップと、
前記生成した広告画像を、前記対象領域に関連付けて表示するステップと、を実行させるプログラム。

【請求項2】

前記広告画像を生成するステップにおいて、前記決定した画像の形状、大きさ、奥行き方向の傾きと対応させて広告のオリジナル画像を変換することで前記広告画像を生成する請求項１記載のプログラム。

【請求項3】

前記広告画像を生成するステップにおいて、前記対象領域の形状に応じて予め設定されている規則に基づいて広告のオリジナル画像を変換することで前記広告画像を生成する請求項１記載のプログラム。

【請求項4】

前記広告画像を生成するステップにおいて、前記対象領域の３次元モデルを作成し、前記３次元モデルに張り付けた広告のオリジナル画像をレンダリングすることで前記広告画像を生成する請求項１記載のプログラム。

【請求項5】

前記広告画像を生成するステップにおいて、前記対象領域に複数種類の領域が設定されており、領域の種類毎に表示される広告が設定されている請求項１乃至４のいずれかに記載のプログラム。

【請求項6】

視聴者の情報を参照し、視聴者に適した広告を決定するステップを前記プロセッサに実行させ、
前記広告画像を生成するステップにおいて、前記決定した広告を用いて前記広告画像を生成する請求項１乃至５のいずれかに記載のプログラム。

【請求項7】

前記広告を決定するステップにおいて、前記映像と関連付けられている情報に基づいて前記広告を決定する請求項６記載のプログラム。

【請求項8】

前記広告を決定するステップを前記プロセッサに所定のタイミングで実行させる請求項６又は７に記載のプログラム。

【請求項9】

前記広告を決定するステップを前記プロセッサに所定のタイミングで実行させ、
前記広告を決定するステップにおいて、前記映像と関連付けられている情報に基づき、広告主が異なるように前記広告を決定する請求項７記載のプログラム。

【請求項10】

プロセッサと、メモリとを備えるコンピュータに実行させるための方法であって、前記方法は、前記プロセッサが、
映像に含まれる対象領域を出力するように学習された学習済みモデルに、映像を入力することで、前記入力した映像に含まれる対象領域を出力するステップと、
前記映像をフレーム毎に解析し、前記対象領域の移動方向、形状を取得するステップと、
前記出力された対象領域、当該対象領域について取得した移動方向、形状に基づき、画像の形状、大きさ、奥行き方向の傾きを決定し、決定した画像の形状、大きさ、奥行き方向の傾きに基づき、広告画像を生成するステップと、
前記生成した広告画像を、前記対象領域に関連付けて表示するステップと、を実行する方法。

【請求項11】

制御部を備える情報処理装置であって、前記制御部が、
映像に含まれる対象領域を出力するように学習された学習済みモデルに、映像を入力することで、前記入力した映像に含まれる対象領域を出力するステップと、
前記映像をフレーム毎に解析し、前記対象領域の移動方向、形状を取得するステップと、
前記出力された対象領域、当該対象領域について取得した移動方向、形状に基づき、画像の形状、大きさ、奥行き方向の傾きを決定し、決定した画像の形状、大きさ、奥行き方向の傾きに基づき、広告画像を生成するステップと、
前記生成した広告画像を、前記対象領域に関連付けて表示するステップと、を実行する情報処理装置。

【請求項12】

映像に含まれる対象領域を出力するように学習された学習済みモデルに、映像を入力することで、前記入力した映像に含まれる対象領域を出力する手段と、
前記映像をフレーム毎に解析し、前記対象領域の移動方向、形状を取得する手段と、
前記出力された対象領域、当該対象領域について取得した移動方向、形状に基づき、画像の形状、大きさ、奥行き方向の傾きを決定し、決定した画像の形状、大きさ、奥行き方向の傾きに基づき、広告画像を生成する手段と、
前記生成した広告画像を、前記対象領域に関連付けて表示する手段と、を備えるシステム。