IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ASKプロジェクトの特許一覧

<>
  • 特許-競技画像配信システム 図1
  • 特許-競技画像配信システム 図2
  • 特許-競技画像配信システム 図3
  • 特許-競技画像配信システム 図4
  • 特許-競技画像配信システム 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-12-13
(45)【発行日】2024-12-23
(54)【発明の名称】競技画像配信システム
(51)【国際特許分類】
   H04N 21/234 20110101AFI20241216BHJP
   H04N 21/24 20110101ALI20241216BHJP
   A63F 13/86 20140101ALI20241216BHJP
【FI】
H04N21/234
H04N21/24
A63F13/86
【請求項の数】 2
(21)【出願番号】P 2023184744
(22)【出願日】2023-10-27
【審査請求日】2024-06-26
【早期審査対象出願】
(73)【特許権者】
【識別番号】520150430
【氏名又は名称】株式会社ASKプロジェクト
(74)【代理人】
【識別番号】100114661
【弁理士】
【氏名又は名称】内野 美洋
(72)【発明者】
【氏名】橋爪 康知
(72)【発明者】
【氏名】大塩 悠貴
(72)【発明者】
【氏名】近藤 一輝
(72)【発明者】
【氏名】志岐 敏樹
(72)【発明者】
【氏名】江口 友弘
【審査官】大西 宏
(56)【参考文献】
【文献】特開2017-188833(JP,A)
【文献】特開2022-175190(JP,A)
【文献】特表2022-519990(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00 -21/858
A63F 13/00 -13/98
(57)【特許請求の範囲】
【請求項1】
コンピューターを用いて、仮想空間上のプレイヤーが競技している画像(競技画像)を通信回線網を介して配信する競技画像配信システムであって
コンピューターを用いて実行される競技画像配信ソフトウェアが、
前記競技画像に基づいて前記競技画像で競技をしている仮想空間上のプレイヤー(メインプレイヤー)を判別し、
そのメインプレイヤーに関する情報であってそのメインプレイヤーに対応する実在の競技者に関する情報を含む画像(プレイヤー画像)を生成し、
前記競技画像に前記プレイヤー画像を合成させた画像(配信画像)を生成し、
生成した前記配信画像を前記通信回線網を介して配信する競技画像配信システムにおいて、
ネイティブアプリケーションを用いて競技画像をキャプチャーした画像(キャプチャー画像)を生成可能とし、
ウェブアプリケーションを用いて、キャプチャー画像が存在する場合だけキャプチャー画像に基づいて配信画像を生成して配信する
ことを特徴とする競技画像配信システム
【請求項2】
予め複数のプレイヤーごとに前記競技画像に表示されると予測される画像(テンプレート画像)を生成しておき、
前記競技画像から一部の領域を切取った画像(クロップ画像)を生成し、
複数の前記テンプレート画像と前記クロップ画像との間で画像の類似度を求め、
類似度が最も高い前記テンプレート画像のプレイヤーをメインプレイヤーと判別する
ことを特徴とする請求項1に記載の競技画像配信システム
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピューターを用いて、仮想空間上のプレイヤーが競技している画像を通信回線網を介して配信する競技画像配信システムに関するものである。
【背景技術】
【0002】
近年、コンピューター上で行われるスポーツやゲームなどの競技の画像をインターネットに代表される通信回線網を介して実況者が行う実況音声とともに配信し、視聴者が競技の画像や実況音声を視聴できる競技画像配信サービスが提供されている。
【0003】
この競技画像配信サービスでは、実在する競技者がコンピューター上で仮想のプレイヤーとなって各種のスポーツやゲームなどを行い、仮想のプレイヤーがコンピューター上で行う競技の画像を実況者が視聴しながら実況し、それを視聴者が視聴するようになっている(たとえば、特許文献1参照。)。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2023-96234号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記従来の競技画像配信サービスでは、視聴者や実況者がコンピューター上の仮想のプレイヤーが行う競技の画像を視聴することになる。
【0006】
そのため、配信された競技の画像から視聴者や実況者が、コンピューター上の仮想のプレイヤーの経歴や所属などのプレイヤーに付随する情報や、仮想のプレイヤーとなっている実在の競技者の容姿や年齢などのプレイヤーに対応する情報などを直ちに知ることが困難であった。
【課題を解決するための手段】
【0007】
そこで、請求項1に係る本発明では、コンピューターを用いて、仮想空間上のプレイヤーが競技している画像(競技画像)を通信回線網を介して配信する競技画像配信システムであってコンピューターを用いて実行される競技画像配信ソフトウェアが、前記競技画像に基づいて前記競技画像で競技をしている仮想空間上のプレイヤー(メインプレイヤー)を判別し、そのメインプレイヤーに関する情報であってそのメインプレイヤーに対応する実在の競技者に関する情報を含む画像(プレイヤー画像)を生成し、前記競技画像に前記プレイヤー画像を合成させた画像(配信画像)を生成し、生成した前記配信画像を前記通信回線網を介して配信する競技画像配信システムにおいて、ネイティブアプリケーションを用いて競技画像をキャプチャーした画像(キャプチャー画像)を生成可能とし、ウェブアプリケーションを用いて、キャプチャー画像が存在する場合だけキャプチャー画像に基づいて配信画像を生成して配信することにした。
【0008】
また、請求項2に係る本発明では、前記請求項1に係る本発明において、予め複数のプレイヤーごとに前記競技画像に表示されると予測される画像(テンプレート画像)を生成しておき、前記競技画像から一部の領域を切取った画像(クロップ画像)を生成し、複数の前記テンプレート画像と前記クロップ画像との間で画像の類似度を求め、類似度が最も高い前記テンプレート画像のプレイヤーをメインプレイヤーと判別することにした。
【発明の効果】
【0010】
そして、本発明では、以下に記載する効果を奏する。
【0011】
すなわち、本発明では、プレイヤーが競技している画像(競技画像)を通信回線網を介して配信する競技画像配信サービスにおいて、競技画像に基づいて競技画像で競技をしているプレイヤー(メインプレイヤー)を判別し、そのメインプレイヤーに関する情報を含む画像(プレイヤー画像)を生成し、競技画像にプレイヤー画像を合成させた画像(配信画像)を生成し、生成した配信画像を通信回線網を介して配信することにしているために、視聴者や実況者が配信画像のプレイヤー画像を見ることでプレイヤーに関する情報を直ちに取得することができる。
【0012】
特に、予め複数のプレイヤーごとに競技画像に表示されると予測される画像(テンプレート画像)を生成しておき、前記競技画像から一部の領域を切取った画像(クロップ画像)を生成し、複数のテンプレート画像とクロップ画像との間で画像の類似度を求め、類似度が最も高いテンプレート画像のプレイヤーをメインプレイヤーと判別することにした場合には、競技画像からメインプレイヤーを精度良く判別することができる。
【0013】
また、ネイティブアプリケーションを用いて競技画像をキャプチャーした画像(キャプチャー画像)を生成可能とし、ウェブアプリケーションを用いて、キャプチャー画像が存在する場合だけキャプチャー画像に基づいて配信画像を生成して配信することにした場合には、視聴者や実況者が自ら配信画像にプレイヤー画像を合成させるか否かをネイティブアプリケーションを用いて選択することができる。
【図面の簡単な説明】
【0014】
図1】競技画像配信システムを示す説明図。
図2】競技画像配信サービスを示す説明図。
図3】メインソフトウェアを示すフローチャート。
図4】クロップ画像生成サブルーチンを示すフローチャート。
図5】プレイヤー判別サブルーチンを示すフローチャート。
【発明を実施するための形態】
【0015】
以下に、本発明に係る競技画像配信サービスの具体的な構成について説明する。
【0016】
競技画像配信サービスは、図1に示す競技画像配信システム1を用いて行われる。この競技画像配信システム1では、競技画像配信サービスを提供するサービス提供者の端末2と、スポーツやゲームなどのコンテンツを提供するコンテンツ提供者の端末3と、コンテンツ内で競技を行う実在している1又は複数の競技者の端末4と、コンテンツ内で行われている競技の実況を行う実況者の端末5と、コンテンツの画像を実況音声とともに視聴する1又は複数の視聴者の端末6とが、通信回線網7を介して接続されている。なお、各端末2~6は、相互に通信可能なコンピューターとしての機能を有していればよく、大型コンピューターやパーソナルコンピューターや携帯端末機などが該当する。各端末2~6には、記憶媒体が備えられている。この記憶媒体は、各端末2~6に内蔵された記憶媒体であってもよく、アクセス可能な外部の記憶媒体であってもよい。また、通信回線網7は、有線・無線や専用・汎用を問わず相互の通信が可能な機能を有していればよく、代表例としてインターネットが挙げられるが、必ずしもクラウドな環境である必要はなくオンプレミスな環境であってもよい。
【0017】
以下の説明において、コンピューターを用いてスポーツやゲームなどのコンテンツの競技を行う現実空間に実在する人間を競技者と呼び、コンピューター上で競技を行っている仮想空間に形成されたキャラクターをプレイヤーと呼び、コンテンツ内では、特定の競技者が対応する特定のプレイヤーとなって競技を行う。
【0018】
そして、競技画像配信システム1では、コンテンツ提供者の端末3がスポーツやゲームなどのコンテンツを通信回線網7を介して競技者の端末4に提供し、競技者が端末4を操作してコンテンツ内でプレイヤーとなって競技を行い、実況者がその競技を見ながら実況を行い、プレイヤーが競技を行っている動画像と実況者が実況を行っている実況音声とを合成した画像(競技画像8)をコンテンツ提供者の端末3が視聴者の端末6に提供する。なお、競技画像8は、実況者が介在する場合には、競技の動画像と実況の音声とを合成したデータとなるが、実況者が介在しない場合には、競技の動画像のみのデータとなる。また、競技画像8は、少なくともコンピューター上で行われる競技の画像が含まれた時系列的な連続するデータであればよく、この競技の画像に効果音等の音声や実況の音声などが付加された有音声のデータであっても無音声のデータであってもよい。
【0019】
競技画像配信サービスでは、上記競技画像配信システム1において、図1及び図2に示すように、サービス提供者が競技画像配信ソフトウェア9を用いて、競技画像8に基づいて競技画像8で競技をしているプレイヤー(メインプレイヤー)を判別し、そのメインプレイヤーに関する情報を含む画像(プレイヤー画像10)を生成し、競技画像8にプレイヤー画像10を合成させた画像(配信画像11)を生成し、生成した配信画像11を通信回線網7を介してサービス提供者の端末2から実況者の端末5や視聴者の端末6に配信する。
【0020】
競技画像配信ソフトウェア9は、実況者の端末5や視聴者の端末6で起動されるネイティブアプリケーションとしてのロガーソフトウェア12と、サービス提供者の端末2で起動されるウェブアプリケーションとしてのメインソフトウェア13とで構成している。
【0021】
そして、ロガーソフトウェア12を用いて競技画像8をキャプチャーした画像(キャプチャー画像14)を生成可能とし、メインソフトウェア13を用いて、キャプチャー画像14が存在する場合だけキャプチャー画像14に基づいて配信画像11を生成して配信するようにしている。
【0022】
ロガーソフトウェア12は、実況者の端末5や視聴者の端末6で起動され、端末5,6にコンテンツ提供者の端末3から通信回線網7を介して順次配信された競技画像8を記憶媒体のキャプチャー画像ホルダーにキャプチャー画像14として順次記憶する。
【0023】
このロガーソフトウェア12では、実況者や視聴者が、競技画像8をキャプチャー画像14として保存するか否かを端末5,6を用いて選択することができる。実況者や視聴者が保存開始から保存終了の操作を行うまでの間、競技画像8がキャプチャー画像14として保存される。キャプチャー画像14がキャプチャー画像ホルダーに存在する場合だけメインソフトウェア13で配信画像11が生成されてサービス提供者の端末2から実況者や視聴者の端末5,6に配信されることになるため、実況者や視聴者によるキャプチャー画像14の保存の可否の選択が、配信画像11の配信の可否の選択と同等なものとなる。なお、実況者や視聴者がキャプチャー画像14の保存を行っていない場合には、コンテンツ提供者の端末3から実況者や視聴者の端末5,6に競技画像8が配信されることになる。
【0024】
メインソフトウェア13は、サービス提供者の端末2で起動される。この端末2には、予め複数のプレイヤーごとに生成されたそのプレイヤーが競技画像8に表示されると予測される画像(テンプレート画像15)が記憶媒体のテンプレート画像ホルダーに記憶されている。また、端末2には、予め複数のプレイヤーごとに生成されたそのプレイヤーに関するプレイヤーIDやプレイヤー名や所属チームやプロフィール画像(プレイヤーに対応する競技者の写真等)などのデータ(プレイヤー情報16)や、予め複数のチームごとに生成されたそのチームに関するチーム名やチームアイコンなどのデータ(チーム情報17)や、予め競技画像8にプレイヤー名が表示されると予測される画像に基づいて設定したRGB各色の閾値(最小値及び最大値)やドット数の閾値などのデータ(表示情報18)がプレイヤー情報ホルダーやチーム情報ホルダーや表示情報ホルダーに記憶されている。これらのテンプレート画像15やプレイヤー情報16やチーム情報17は、プレイヤーごとに設定されたプレイヤーIDによって関連付けられている。ここで、テンプレート画像15には、競技画像8の中に表示されると予め予測されるプレイヤーのキャラクターやマークやアイコンなどの画像であり、1プレイヤーに1又は複数のテンプレート画像15を用意しておく。なお、プレイヤーによっては、テンプレート画像15やプレイヤー情報16やチーム情報17が予め用意されていない場合もあり得る。
【0025】
このメインソフトウェア13では、図3に示すように、通信回線網7を介して実況者や視聴者の端末5,6にアクセスし、ロガーソフトウェア12でキャプチャー画像ホルダーにキャプチャー画像14が保存されているか否かを確認し、キャプチャー画像14が保存されている場合には、キャプチャー画像14が存在している範囲内で以下の処理を繰返しループして行う(S1)。
【0026】
メインソフトウェア13は、実況者又は視聴者が端末5,6で競技画像8をキャプチャーしたキャプチャー画像14を用いて(競技画像8に基づいて)、キャプチャー画像14(競技画像8)の中で実際の競技中のプレイヤーの情報(アイコン等)が表示されていると予測される一部の領域をキャプチャー画像14から切取って、その画像をクロップ画像19として記憶媒体のクロップ画像ホルダーに保存する(S2)。
【0027】
その際に、メインソフトウェア13は、図4に示すクロップ画像生成サブルーチンを実行する。
【0028】
このクロップ画像生成サブルーチンでは、端末5,6のキャプチャー画像ホルダーからキャプチャー画像14をサービス提供者の端末2に読込むとともに(S3)、表示情報ホルダーから表示情報18のRGB各色の閾値とドット数の閾値を取得する(S4、S5)。
【0029】
そして、キャプチャー画像14の中のプレイヤー名が表示される領域について、RGB各色の閾値の範囲内(最小値と最大値との間)にあるドットの数がドット数の閾値以上か否かを判断し(S6)、閾値以上の場合には、キャプチャー画像14から予め設定したピクセルの範囲の画像を切取った画像を生成し、その画像をクロップ画像19としてクロップ画像ホルダーの所定位置(クロップ画像のファイルパス)に記憶し(S7)、一方、閾値未満の場合には、クロップ画像19を生成せずにクロップ画像のファイルパスを空白とする(S8)。
【0030】
このクロップ画像生成サブルーチンが実行されると、実行される毎に実行で使用した端末5,6のキャプチャー画像14がキャプチャー画像ホルダーから処理済みホルダーに移動され、端末5,6のキャプチャー画像ホルダーから削除され、また、クロップ画像19のファイルパスがメインルーチン(図3)にリターンされる(S9)。
【0031】
次に、メインソフトウェア13は、図3に示すように、クロップ画像生成サブルーチンからリターンされたクロップ画像19のファイルパスに基づいて、クロップ画像19が存在するか否かを判断し(S10)、クロップ画像19が存在しない場合には、プレイヤーIDが存在しないと認識し(S11)、一方、クロップ画像19が存在する場合には、クロップ画像19からプレイヤーを判別する(S12)。
【0032】
その際に、メインソフトウェア13は、図5に示すプレイヤー判別サブルーチンを実行する。
【0033】
このプレイヤー判別サブルーチンでは、端末2のクロップ画像ホルダーから生成されたクロップ画像19を取得し(S13)、予めテンプレート画像ホルダーに保存されているテンプレート画像15が存在している範囲内で以下の処理を繰返しループして行う(S14)。
【0034】
プレイヤー判別サブルーチンは、テンプレート画像ホルダーからテンプレート画像15を取得し(S15)、そのテンプレート画像15とクロップ画像19とを用いてテンプレートマッチングによる類似度を算出する(S16)。なお、類似度の算出には、画像認識において使用される公知の各種の正規化相互相関式で相互相関係数を求めることで算出することができる。
【0035】
全てのテンプレート画像15について上記処理を行った後に、プレイヤー判別サブルーチンは、各テンプレート画像15とクロップ画像19との間の類似度が最大となるテンプレート画像15を選定し、そのテンプレート画像15に対応するプレイヤーIDを取得する(S17)。
【0036】
そして、プレイヤー判別サブルーチンは、取得したプレイヤーIDのテンプレート画像15とクロップ画像19との間の類似度が予め設定した閾値よりも大きいか否かを判断し(S18)、閾値未満の場合には、プレイヤーIDとして空白をメインルーチン(図3)にリターンし(S19)、一方、閾値以上の場合には、取得したプレイヤーIDをメインルーチン(図3)にリターンする(S20)。
【0037】
次に、メインソフトウェア13は、図3に示すように、プレイヤー判別サブルーチンからプレイヤーIDがリターンされたか否かを判断し(S21)、プレイヤーIDが存在しない場合には、プレイヤー画像10を生成せずに、競技画像8をそのまま実況者又は視聴者の端末5,6に配信し(S22)、プレイヤーIDが存在する場合には、プレイヤーIDに対応するプレイヤー画像10を生成し(S23)、競技画像8とプレイヤー画像10とを合成させた配信画像11を生成し、その配信画像11を実況者又は視聴者の端末5,6に配信する(S24)。
【0038】
ここで、プレイヤー画像10の生成においては、サービス提供者の端末2に予め記憶されているプレイヤー情報16やチーム情報17を用いて自動的に生成する。このプレイヤー画像10には、コンピューター上の仮想のプレイヤーの経歴や所属などのプレイヤーに付随する情報や、仮想のプレイヤーとなっている実在の競技者の容姿(写真)や年齢などのプレイヤーに対応する情報などが含まれており、全てのプレイヤーに共通するフォーマット(表示形態)で生成された画像でもよく、プレイヤーごとに異なるフォーマット(表示形態)で生成された画像でもよい。
【0039】
また、配信画像11の生成においては、画面上に競技画像8とプレイヤー画像10を予め設定した配置で自動的に合成して生成する。
【0040】
メインソフトウェア13では、全てのキャプチャー画像14について上記処理を行い、キャプチャー画像14が存在しなくなると終了する。
【0041】
このようにして、競技画像配信サービスでは、ロガーソフトウェア12とメインソフトウェア13とからなる競技画像配信ソフトウェア9を用いて、競技画像8で競技をしているプレイヤー(メインプレイヤー)に関する情報を含む画像(プレイヤー画像10)を生成し、競技画像8とプレイヤー画像10とを合成した配信画像11をサービス提供者の端末2から実況者の端末5や視聴者の端末6に配信する。
【0042】
なお、上記の説明では、競技画像配信ソフトウェア9について、実況者の端末5や視聴者の端末6で起動されるネイティブアプリケーションとしてのロガーソフトウェア12と、サービス提供者の端末2で起動されるウェブアプリケーションとしてのメインソフトウェア13とで構成している場合について説明したが、これに限定されるものではない。競技画像配信ソフトウェア9は、競技画像8とプレイヤー画像10とを合成した配信画像11を配信できればよく、サービス提供者の端末2やコンテンツ提供者の端末3や実況者の端末5や視聴者の端末6でロガーソフトウェア12及びメインソフトウェア13が起動されるように構成することもでき、また、専用の端末でロガーソフトウェア12及びメインソフトウェア13が起動されるように構成することもできる。さらに、ロガーソフトウェア12やメインソフトウェア13は、パッケージソフトであってもダウンロードソフトであってもよく、また、ウェブアプリケーションであってもネイティブアプリケーションであってもよい。
【0043】
従来の競技画像配信サービスでは、視聴者や実況者がコンピューター上の仮想のプレイヤーが行う競技の画像だけを視聴することになるため、配信された競技の画像から視聴者や実況者が、コンピューター上の仮想のプレイヤーの経歴や所属などのプレイヤーに付随する情報や、仮想のプレイヤーとなっている実在の競技者の容姿や年齢などのプレイヤーに対応する情報などを直ちに知ることが困難であり、視聴者や実況者に対してあくまでも仮想上の競技であるように認識されてしまいがちであったが、上記競技画像配信サービスでは、視聴者や実況者が競技画像8で競技をしているプレイヤーに対応する実在の競技者の情報を配信画像11から取得することができるために、より現実感のある競技として認識することができる。
【0044】
以上に説明したように、上記競技画像配信サービスは、競技画像8に基づいて競技画像8で競技をしているプレイヤー(メインプレイヤー)を判別し、そのメインプレイヤーに関する情報を含む画像(プレイヤー画像10)を生成し、競技画像8にプレイヤー画像10を合成させた画像(配信画像11)を生成し、生成した配信画像11を通信回線網7を介して配信する構成となっている。
【0045】
そのため、上記構成の競技画像配信サービスでは、視聴者や実況者が配信画像11のプレイヤー画像10を見ることでプレイヤーに関する情報を直ちに取得することができる。
【0046】
また、上記競技画像配信サービスは、予め複数のプレイヤーごとに競技画像8に表示されると予測される画像(テンプレート画像15)を生成しておき、前記競技画像8から一部の領域を切取った画像(クロップ画像19)を生成し、複数のテンプレート画像15とクロップ画像19との間で画像の類似度を求め、類似度が最も高いテンプレート画像15のプレイヤーをメインプレイヤーと判別する構成となっている。
【0047】
そのため、上記構成の競技画像配信サービスでは、競技画像8からメインプレイヤーを精度良く判別することができる。
【0048】
また、上記競技画像配信サービスは、ネイティブアプリケーション(ロガーソフトウェア12)を用いて競技画像8をキャプチャーした画像(キャプチャー画像14)を生成可能とし、ウェブアプリケーション(メインソフトウェア13)を用いて、キャプチャー画像14が存在する場合だけキャプチャー画像14に基づいて配信画像11を生成して配信する構成となっている。
【0049】
そのため、上記構成の競技画像配信サービスでは、視聴者や実況者が自ら配信画像11にプレイヤー画像10を合成させるか否かをネイティブアプリケーション(ロガーソフトウェア12)を用いて選択することができる。
【符号の説明】
【0050】
1 競技画像配信システム 2 サービス提供者の端末
3 コンテンツ提供者の端末 4 競技者の端末
5 実況者の端末 6 視聴者の端末
7 通信回線網 8 競技画像
9 競技画像配信ソフトウェア 10 プレイヤー画像
11 配信画像 12 ロガーソフトウェア
13 メインソフトウェア 14 キャプチャー画像
15 テンプレート画像 16 プレイヤー情報
17 チーム情報 18 表示情報
19 クロップ画像
【要約】
【課題】従来の競技画像配信サービスでは、視聴者や実況者がコンピューター上の仮想のプレイヤーが行う競技の画像だけを視聴することになるため、配信された競技の画像からコンピューター上の仮想のプレイヤーの経歴や所属などの情報や仮想のプレイヤーとなっている実在の競技者の容姿や年齢などの情報を知ることが困難であった。
【解決手段】本発明では、プレイヤーが競技している画像(競技画像(8))を通信回線網(7)を介して配信する競技画像配信サービスにおいて、競技画像(8)に基づいて競技画像(8)で競技をしているプレイヤー(メインプレイヤー)を判別し、そのメインプレイヤーに関する情報を含む画像(プレイヤー画像(10))を生成し、競技画像(8)にプレイヤー画像(10)を合成させた画像(配信画像(11))を生成し、生成した配信画像(11)を通信回線網(7)を介して配信することにした。
【選択図】図2
図1
図2
図3
図4
図5