特許 7567294 判定補助システム及び判定補助方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-07

(45)【発行日】2024-10-16

(54)【発明の名称】判定補助システム及び判定補助方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241008BHJP

   A63B 71/06 20060101ALI20241008BHJP

【ＦＩ】

H04N7/18 U

A63B71/06 R

【請求項の数】 5

(21)【出願番号】P 2020144916

(22)【出願日】2020-08-28

(65)【公開番号】P2022039748

(43)【公開日】2022-03-10

【審査請求日】2023-03-31

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】田之上 洋

(72)【発明者】

【氏名】大山 実

(72)【発明者】

【氏名】在原 康貴

(72)【発明者】

【氏名】小澤 和典

【審査官】長谷川 素直

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０１０２４８０（ＵＳ，Ａ１）

【文献】国際公開第２０１４／１３２３４９（ＷＯ，Ａ１）

【文献】特開平０９－１０１３６７（ＪＰ，Ａ）

【文献】特開昭６３－１３００８３（ＪＰ，Ａ）

【文献】特開２０１８－１３７６７１（ＪＰ，Ａ）

【文献】特開２００５－１６８９６３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０２９０９９２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ａ６３Ｂ ７１／０６

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

競技で利用する競技領域を区画する境界線の幅を含む競技領域情報を記憶する記憶部と、
前記競技領域情報に基づいて、前記境界線の幅もしくはその幅から所定距離離れた範囲を含む領域に投影像を投影させるため投影情報を生成する投影像生成部と、
前記境界線を含む撮影画像から判定対象物の画像領域を検出する対象物検出部と、
前記判定対象物の画像領域に前記投影像が検出されたか否かを判定する投影判定部と、
前記判定対象物の画像領域に前記投影像が検出された場合に検出情報を生成する検出情報生成部と、
を備える、判定補助システム。

【請求項2】

前記投影像生成部が生成した前記投影情報を、前記境界線の幅もしくはその幅から所定の距離離れた範囲を含む領域に投影する投影部を更に備える、
請求項１に記載の判定補助システム。

【請求項3】

前記投影像生成部は、前記境界線の直上において、前記境界線の幅もしくはその幅から所定の距離離れた範囲を含む領域の直上の、前記境界線から所定高さまでの範囲に立体的な投影像を投影させるための投影情報を生成する、
請求項１又は２に記載の判定補助システム。

【請求項4】

前記検出情報が生成された際に、前記撮影画像に関連付ける所定の付加情報を生成する付加情報生成部をさらに備える、
請求項１乃至３のいずれか１項に記載の判定補助システム。

【請求項5】

競技で利用する競技領域を区画する境界線の幅を含む競技領域情報を記憶するステップと、
前記競技領域情報に基づいて、前記境界線の幅もしくはその幅から所定距離離れた範囲を含む領域に投影像を投影させるため投影情報を生成するステップと、
前記境界線を含む撮影画像から判定対象物の画像領域を検出するステップと、
前記判定対象物の画像領域に前記投影像が検出されたか否かを判定するステップと、
前記判定対象物の画像領域に前記投影像が検出された場合に検出情報を生成するステップと、
を含む判定補助方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、判定補助システム及び判定補助方法に関する。

【背景技術】

【0002】

球技、陸上、格闘技等の競技において、球体又は競技者の身体がライン等の境界線より外に出たか否か等の境界線近傍における特定の動作の判定を行う際に、境界線を含む所定の領域を撮影した記録映像を審判等の判断の補助に用いられることが知られている。例えば、特許文献１には、バレーボール等の球技において球体（羽球を含む）の落下点がコートの内か外かのインアウト判定を行う際に、複数のカメラによる映像データから審判等の判断に有効な場面を抜き出して提示する判定補助システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１３７６７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のような判定補助システムを用いる場合、審判等は、再生した記録映像から球体又は身体の一部等の判定対象物と境界線との位置関係を把握することによって判定を行う。しかしながら、記録映像において判定対象物の移動速度が速い場合、判定に有効な記録映像の部分を再生し、さらに境界線に対する判定対象物の位置関係を判定するのが難しく、時間を要する可能性があった。

【0005】

本開示は、上記に鑑みてなされたものであって、競技において判定対象物と所定の境界線との位置関係の判定を容易にすることができる判定補助システム及び判定補助方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記の目的を達成するため、本開示の一態様の判定補助システムは、競技で利用する競技領域を区画する境界線に沿って投影像を投影させるため投影情報を生成する投影像生成部と、前記境界線を含む撮影画像から判定対象物の画像領域を検出する対象物検出部と、前記判定対象物の画像領域に前記投影像が検出されたか否かを判定する投影判定部と、前記判定対象物の画像領域に前記投影像が検出された場合に検出情報を生成する検出情報生成部と、を備える。

【0007】

上記の目的を達成するため、本開示の一態様の判定補助方法は、競技で利用する競技領域を区画する境界線に沿って投影像を投影させるため投影情報を生成する投影像生成ステップと、前記境界線を含む撮影画像から判定対象物の画像領域を検出する対象物検出ステップと、前記判定対象物の画像領域に前記投影像が検出されたか否かを判定する投影ステップと、前記判定対象物の画像領域に前記投影像が検出された場合に検出情報を生成する検出情報生成ステップと、を含む。

【発明の効果】

【0008】

本開示によれば、競技において判定対象物と所定の境界線との位置関係の判定に要する時間を短縮化することができるという効果を奏する。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態に係る判定補助システムを模式的に示す平面図である。

【図2】図２は、投影像の一例を示す図である。

【図3】図３は、投影像の一例を示す図である。

【図4】図４は、実施形態に係る判定補助システムの構成例を示す機能ブロック図である。

【図5】図５は、球体の撮影画像の一例を示す図である。

【図6】図６は、付加情報の一例を示す図である。

【図7】図７は、実施形態に係る判定補助装置による処理の一例を示すフローチャートである。

【図8】図８は、変形例に係る判定補助システムの構成例を示す機能ブロック図である。

【図9】図９は、変形例に係る判定補助装置による処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下に、本開示に係る判定補助システムについて実施形態を図面に基づいて詳細に説明する。なお、本開示は、以下の実施形態の記載に限定されるものではない。また、以下の実施形態における構成要素には、当業者が置換可能かつ容易なもの、実質的に同一のもの、あるいは均等の範囲のものが含まれる。さらに、以下に記載した構成要素は、本開示の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。以下の実施形態では、本開示に係る判定補助システムの実施形態を例示する上で、必要となる構成要素を説明し、その他の構成要素を省略する。なお、以下の実施形態の説明において、同一構成には同一符号を付し、異なる構成には異なる符号を付すものとする。

【0011】

判定補助システムは、競技において利用する領域の内外を隔てる境界線と、所定の判定対象物との位置関係を審判等が把握することを補助するためのシステムである。判定補助システムは、例えば、バレーボール、テニス、バドミントン等の球技の競技会場において、床部に落下する球体（羽球を含む）の落下点が、コートの内か外かのインアウト判定を行う際に用いられる。判定補助システムは、例えば、上記球技、又は柔道、レスリング、相撲等の競技者が、コートの外、場外、土俵外等に身体の一部を付けたか否かの判定を行う際に用いられてもよい。実施形態では、球技の１つとして、バレーボールを例に挙げて説明するが、本開示ではこれに限定されない。

【0012】

（実施形態）
まず、図１及び図２を用いて、本開示の実施形態に係る判定補助システム１の構成について説明する。図１は、実施形態に係る判定補助システム１を模式的に示す平面図である。図２及び図３は、投影像ＰＩの一例を示す図である。図４は、実施形態に係る判定補助システム１の構成例を示す機能ブロック図である。図５は、球体ＢＬの撮影画像の一例を示す図である。図６は、付加情報ＡＤの一例を示す図である。

【0013】

図１に示すように、実施形態の判定補助システム１は、球体ＢＬを用いてバレーボールが行われる競技会場２に設けられる。競技会場２は、床部３と、一階席４と、二階席５と、審判席６と、を含む。また、判定補助システム１は、競技領域１０と、撮影部２０と、投影部３０と、入力部５０と、表示部６０と、判定補助装置７０と、を備える。

【0014】

床部３には、ラインによって区画されるコートが設けられる。実施形態において、コート全域は、競技に利用する競技領域１０として設定される。競技領域１０は、境界線１１によって区画される。境界線１１は、実施形態において、競技領域１０の内外を隔てるように、床部３の上面に設定される。境界線１１は、サイドライン１２、１３及びエンドライン１４、１５を含む。競技領域１０は、中央に引かれたセンターライン１６によって、２つのゾーン１０ａ、１０ｂに区画される。センターライン１６の直上には、センターライン１６の両端部側に立てられた一対の支柱１７の間にネット１８が配置される。一階席４及び二階席５は、床部３の周囲に設けられる。審判席６は、一方のロングサイド側の一階席４に設けられる。

【0015】

撮影部２０は、競技中の競技領域１０及び境界線１１を含む映像を撮影する。撮影部２０は、撮影した映像データを、後述する記憶部８０の映像記録部８４へ出力する。撮影部２０は、カメラを含む。撮影部２０は、少なくとも境界線１１を撮影する撮影部２０が、投影部３０が投影する光を撮影できるものであればよい。撮影部２０は、競技会場２のそれぞれの箇所に複数台設けられる。

【0016】

撮影部２０は、実施形態では８台が設けられるが、本開示ではこれに限定されない。以下、８台の撮影部２０を区別しないで説明する場合には撮影部２０と表記して説明し、８台の撮影部２０をそれぞれ区別して説明する場合には撮影部２１～２８と異なる符号を付して説明する。

【0017】

撮影部２１は、例えば、ゾーン１０ｂ側（図１における上側）の一階席４に設けられる。撮影部２１は、例えば、ゾーン１０ｂの外側から一方（図１における左側）のサイドライン１２の全体を撮影する。撮影部２２は、例えば、ゾーン１０ａ側（図１における下側）の一階席４に設けられる。撮影部２２は、例えば、ゾーン１０ａの外側から他方（図１における右側）サイドライン１３の全体を撮影する。

【0018】

撮影部２３は、例えば、競技領域１０に対して審判席６とは反対側（図１における左側）の一階席４に設けられる。撮影部２３は、例えば、ゾーン１０ａのエンドライン１４の全体を撮影する。撮影部２４は、例えば、競技領域１０に対して審判席６とは反対側の一階席４に設けられる。撮影部２４は、例えば、ゾーン１０ｂのエンドライン１５の全体を撮影する。

【0019】

撮影部２５は、例えば、ゾーン１０ａ側の二階席５に設けられる。撮影部２５は、例えば、ゾーン１０ａの外側からサイドライン１２の全体を撮影する。撮影部２６は、例えば、ゾーン１０ｂ側の二階席５に設けられる。撮影部２６は、例えば、ゾーン１０ｂの外側からサイドライン１３の全体を撮影する。

【0020】

撮影部２７は、例えば、競技領域１０に対して審判席６側（図１における右側）の二階席５に設けられる。撮影部２７は、例えば、ゾーン１０ａの全体を撮影する。撮影部２８は、例えば、競技領域１０に対して審判席６側の二階席５に設けられる。撮影部２８は、例えば、ゾーン１０ｂの全体を撮影する。

【0021】

撮影部２０のうち、サイドライン１２、１３を撮影する撮影部２１、２２、２５、２６は、それぞれ画角及びズーム等がほぼ等しく設定されている。撮影部２０のうち、エンドライン１４、１５を撮影する撮影部２３、２４は、それぞれ画角及びズーム等がほぼ等しく設定されている。撮影部２０のうち、ゾーン１０ａの全体を撮影する撮影部２７及びゾーン１０ｂの全体を撮影する撮影部２８は、例えば、競技会場２の天井部等に設けられ、上方から撮影するように設けられてもよい。

【0022】

投影部３０は、図２及び図３に示すように、境界線１１に沿って投影像ＰＩを投影する。ここで、境界線１１に沿って投影するということは、境界線１１の幅もしくはその幅から所定の距離離れた範囲を含む領域の、直上に投影することを意味する。投影部３０は、後述の判定補助装置７０の投影像生成部９１から取得した投影情報に基づいて、境界線１１に沿って境界線１１の直上の、境界線１１の幅及び床部３の上面から所定高さまでの範囲に、立体の投影像ＰＩを投影する。また、投影部３０は、立体の投影像ＰＩを投影する際に、境界線１１の幅から所定の距離の周囲を含めた範囲に投影するようにしてもよい。投影部３０によって投影像ＰＩを投影する方法は、例えば、プロジェクションマッピングに用いられる投影方法でもよい。投影部３０は、実施形態において、プロジェクタを含む。投影部３０が投影像ＰＩを投影する光は、可視光でも非可視光でもよい。

【0023】

図１に示すように、投影部３０は、競技会場２のそれぞれの箇所に複数台設けられる。投影部３０は、競技者等の障害物によって光が遮られないようにそれぞれ配置されることが好ましい。投影部３０は、例えば、競技が屋内競技である場合、天井部等に配置され、上方から投影するように設けられてもよい。

【0024】

投影部３０は、実施形態では１２台が設けられるが、本開示ではこれに限定されない。以下、１２台の投影部３０を区別しないで説明する場合には投影部３０と表記して説明し、１２台の投影部３０をそれぞれ区別して説明する場合には投影部３１～４２と異なる符号を付して説明する。

【0025】

投影部３１は、例えば、ゾーン１０ａ側の二階席５に設けられる。投影部３２は、例えば、ゾーン１０ｂ側の二階席５に設けられる。投影部３３は、例えば、競技領域１０に対して審判席６とは反対側の二階席５に設けられる。投影部３１、投影部３２及び投影部３３は、例えば、一方のサイドライン１２に沿って投影像ＰＩを投影する（図２参照）。

【0026】

投影部３４は、例えば、ゾーン１０ａ側の二階席５に設けられる。投影部３５は、例えば、ゾーン１０ｂ側の二階席５に設けられる。投影部３６は、例えば、競技領域１０に対して審判席６とは反対側の二階席５に設けられる。投影部３４、投影部３５及び投影部３６は、例えば、他方のサイドライン１３に沿って投影像ＰＩを投影する。

【0027】

投影部３７は、例えば、競技領域１０に対して審判席６とは反対側の二階席５に設けられる。投影部３８は、例えば、競技領域１０に対して審判席６側の二階席５に設けられる。投影部３９は、例えば、ゾーン１０ａ側の二階席５に設けられる。投影部３７、投影部３８及び投影部３９は、例えば、ゾーン１０ａのエンドライン１４に沿って投影像ＰＩを投影する（図３参照）。

【0028】

投影部４０は、例えば、競技領域１０に対して審判席６とは反対側の二階席５に設けられる。投影部４１は、例えば、競技領域１０に対して審判席６側の二階席５に設けられる。投影部４２は、例えば、ゾーン１０ｂ側の二階席５に設けられる。投影部４０、投影部４１及び投影部４２は、例えば、ゾーン１０ａのエンドライン１４に沿って投影像ＰＩを投影する。

【0029】

入力部５０は、撮影部２０、投影部３０、表示部６０及び判定補助装置７０に対してオペレータが情報を入力するための所定の入力操作を受け付け可能である。入力部５０は、例えば、判定補助装置７０と有線又は無線で接続されるキーボード、ボタン、レバー、ダイヤル、スイッチ等の物理的な入力装置、又は表示部６０に設けられたタッチパネルによって実現される。入力部５０は、受け付けた入力操作に応じた指示信号を出力する。

【0030】

表示部６０は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）等の表示装置によって実現される。表示部６０は、文字及び画像を含む各種情報を表示する。表示部６０は、例えば、撮影部２０によって撮影された映像を表示可能である。表示部６０は、入力部５０としてのタッチパネルを含む場合、入力部５０によりタッチ操作を行うための入力操作用の画像等を表示可能である。入力部５０は、タッチパネルの表面のうち表示部６０に表示される入力操作用の画像に対応する領域にタッチ操作が行われた場合、タッチ操作が行われた領域の位置情報を含む所定の指示信号を出力する。

【0031】

判定補助装置７０は、境界線１１と球体ＢＬとの位置関係を撮像画像によって確認する審判等が把握することを補助するための判定補助処理を行う。判定補助装置７０は、判定補助処理として、例えば、境界線１１に沿って投影させる投影像ＰＩを生成し、投影像ＰＩを含む撮影画像に基づいて、球体ＢＬが投影像ＰＩと重なった時点を検出する。審判等は、球体ＢＬが投影像ＰＩと重なった時点の前後の撮影画像を、判定に使用することができる。図４に示すように、判定補助装置７０は、記憶部８０と、演算部９０と、を含む。

【0032】

記憶部８０は、例えば、ＲＡＭ（Random Access Memory）、ＶＲＡＭ（Video Random Access Memory）、フラッシュメモリ（Flash Memory）、ＳＳＤ（Solid State Drive）等の半導体メモリ、ＨＤＤ（Hard Disk Drive）等の磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ等の光学ディスク、又はオンラインストレージ等で構成される記憶装置によって実現される。

【0033】

記憶部８０は、判定補助システム１における種々のデータを記憶する。記憶部８０は、例えば、判定補助システム１が取得したデータ及び生成したデータを記録する。記憶部８０は、例えば、各種の制御プログラム及び各種の制御処理に用いられるデータを記憶している。記憶部８０は、演算部９０の作業領域としても用いられ、演算部９０が各種の制御プログラムに従って実行した演算結果等を一時的に記憶する。記憶部８０は、競技領域情報記憶部８１と、投影画像記憶部８２と、球体情報記憶部８３と、映像記録部８４と、付加情報記録部８５と、を含む。

【0034】

競技領域情報記憶部８１には、競技領域１０の情報を示す競技領域情報が格納されている。競技領域情報は、例えば、競技領域１０の位置、幅及び奥行の大きさと、境界線１１の位置、幅及び長さと、を含む。競技領域１０及び境界線１１の位置は、競技会場２に設定された所定の基準点に対する座標値で表されてもよい。競技領域情報記憶部８１は、入力部５０からの操作によって、競技領域情報の各種項目の値を編集可能である。競技領域情報記憶部８１は、異なる競技領域１０に対応する複数種類の競技領域情報を記憶可能であってもよい。この場合、競技領域情報記憶部８１は、入力部５０からの操作によって、各々の競技領域情報を追加、編集及び削除可能である。競技領域情報記憶部８１が記憶している競技領域情報は、演算部９０の投影像生成部９１によって参照される。

【0035】

投影画像記憶部８２は、投影部３０によって境界線１１の直上に投影するための投影像ＰＩの画像情報を示す投影画像が格納されている。投影画像記憶部８２が記憶している投影画像は、演算部９０の投影像生成部９１及び投影判定部９３によって参照される。

【0036】

球体情報記憶部８３には、映像データを構成するフレーム画像を示す撮影画像から球体ＢＬを検出するための比較用の球体ＢＬの画像情報を示す球体情報が格納されている。球体情報記憶部８３が記憶している球体情報は、演算部９０の球体検出部９２によって参照される。

【0037】

映像記録部８４は、撮影部２０が撮影した競技中の映像データを記録する。映像データは、連続したフレーム画像からなる動画像データを含む。映像記録部８４は、映像データを構成するフレーム画像を示す撮影画像を、演算部９０の球体検出部９２へ出力する。

【0038】

付加情報記録部８５は、演算部９０の付加情報生成部９５が生成した付加情報ＡＤ（図６参照）を記録する。付加情報ＡＤについては、付加情報生成部９５の項目にて説明する。付加情報記録部８５が記録した付加情報ＡＤは、演算部９０の撮影画像領域特定部９６によって参照される。

【0039】

演算部９０は、例えば、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＩＳＰ（Image Signal Processor）、ＧＰＵ(Graphics Processing Unit)又はＧＰＧＰＵ(General-Purpose computing on Graphics Processing Unit)等で構成される演算処理装置によって実現される。演算部９０は、１つの演算処理装置又は複数の演算処理装置から実装される。

【0040】

演算部９０は、記憶部８０に記憶されている各種の制御プログラムに含まれる命令を実行する。演算部９０は、バスによって接続された、投影像生成部９１と、球体検出部９２と、投影判定部９３と、検出情報生成部９４と、付加情報生成部９５と、撮影画像領域特定部９６と、を含む。

【0041】

投影像生成部９１は、競技領域情報記憶部８１に記憶されている競技領域情報を取得する。投影像生成部９１は、投影画像記憶部８２に記憶されている投影画像を取得する。投影像生成部９１は、競技領域情報及び投影画像に基づいて、境界線１１に沿って投影像ＩＰを投影させるための情報を示す投影情報を生成する。より詳しくは、投影像生成部９１は、境界線１１の直上において、境界線１１の幅及び境界線１１の上面から所定高さまでの範囲に立体的な投影像ＩＰを投影させるための投影情報を生成する。投影像生成部９１は、投影情報を、投影部３０へ出力する。投影部３０は、投影情報に基づいて、境界線１１に沿って投影像ＩＰを投影させる。ここで、投影情報は、投影画像を投影する位置や方向に関する情報を含めてもよい。また、投映画像の色や模様に関する情報を含めてもよい。さらに、投影画像の投影に適した投影光原の種類、例えば、ハロゲン光源、ＬＥＤ光源、レーザ光源といった種類を表す情報を含めてもよい。

【0042】

球体検出部９２は、映像記録部８４から、境界線１１を含む撮影画像を周期的に取得する。球体検出部９２は、球体情報記憶部８３に記憶されている球体情報を取得する。球体検出部９２は、球体情報に基づいて、撮影画像から球体ＢＬの画像領域を検出する。球体検出部９２は、例えば、球体ＢＬの形状情報に基づいて、撮影画像から球体ＢＬを抽出することによって、球体ＢＬの画像領域を検出する。球体検出部９２は、撮影画像と、球体ＢＬの画像領域の検出情報とを、投影判定部９３へ出力する。

【0043】

投影判定部９３は、撮影画像及び球体ＢＬの画像領域の検出情報を取得する。投影判定部９３は、投影画像記憶部８２に記憶されている投影画像を取得する。投影判定部９３は、投影画像に基づいて、球体ＢＬの画像領域に投影像ＰＩの反射光が検出されたか否かを判定する。

【0044】

図５に示す撮像画像の一例は、撮影部２１からサイドライン１２を撮像した画像である。図５は、球体ＢＬが、競技領域１０の内側から外側に向かって落下する様子を示している。図５に示す一例において、球体ＢＬが点線に示す位置にある場合、球体ＢＬの画像領域は、境界線１１の直上に投影された投影像ＰＩに重ならない。この場合、投影判定部９３は、球体ＢＬの画像領域に投影像ＰＩの反射光が検出されなかったと判定する。球体ＢＬが実線に示す位置にある場合、球体ＢＬの画像領域には、投影像ＰＩの反射光が投影される。この場合、投影判定部９３は、球体ＢＬの画像領域に投影像ＰＩの反射光が検出されたと判定する。投影判定部９３は、判定結果を、検出情報生成部９４へ出力する。

【0045】

検出情報生成部９４は、投影判定部９３によって球体ＢＬの画像領域に投影像ＰＩの反射光が検出されたと判定された場合、検出情報を生成する。検出情報生成部９４は、生成した検出情報を、付加情報生成部９５へ出力する。

【0046】

付加情報生成部９５は、検出情報に基づいて、撮影画像に関連付ける所定の付加情報ＡＤを生成する。付加情報ＡＤは、撮影部２１～２８を識別するための情報と、検出した時刻の情報と、を含む。図６に示す一例において、付加情報ＡＤは、撮影部２１～２８を識別するための情報を示すファイル名と、記録開始から検出した時刻までの時間を示すタイムコードと、各々の付加情報ＡＤを記録した日時を示す記録日時と、を含む。付加情報生成部９５は、生成した付加情報ＡＤを、記憶部８０の付加情報記録部８５へ出力する。

【0047】

撮影画像領域特定部９６は、複数の付加情報ＡＤが関連付けられた撮影画像から、付加情報ＡＤに基づいて球体ＢＬの画像領域に投影像ＰＩの反射光が検出された撮影画像領域を特定する。撮影画像領域特定部９６は、例えば、オペレータによる入力部５０からの操作に応じて、所望の付加情報ＡＤが関連付けられた撮影画像領域を、表示部６０を介して提示させる。

【0048】

次に、図７を用いて、本開示の実施形態に係る判定補助システム１の判定補助装置７０における処理の流れについて説明する。図７は、実施形態に係る判定補助装置７０による処理の一例を示すフローチャートである。図７に示す処理は、判定補助装置７０が予め定められた制御プログラム及びデータに基づいて実行する。なお、図７に示す処理を実行する前に、オペレータによって入力部５０を介して、競技領域情報、投影画像及び球体情報が記憶部８０に格納されているものとする。また、投影像生成部９１によって投影像ＰＩを境界線１１に沿って投影するための投影情報が既に生成されているものとする。判定補助装置７０は、投影部３０が投影像ＩＰを投影し、かつ撮影部２０が競技領域１０の撮影をしている状態で、例えば、オペレータによる判定補助の開始操作を受け付けることによって、図７に示すステップＳＴ１１１に移行して処理を開始する。

【0049】

判定補助装置７０は、撮影画像を取得する（ステップＳＴ１１１）。具体的には、球体検出部９２は、映像記録部８４から、境界線１１を含む撮影画像を取得する。判定補助装置７０は、ステップＳＴ１１２へ移行する。

【0050】

判定補助装置７０は、撮影画像から球体ＢＬの画像領域を検出する（ステップＳＴ１１２）。具体的には、まず、球体検出部９２が、球体情報記憶部８３に記憶されている球体情報を取得する。次に、球体検出部９２は、球体情報に基づいて、撮影画像から球体ＢＬの画像領域を検出する。球体検出部９２は、撮影画像と、球体ＢＬの画像領域の検出情報とを、投影判定部９３へ出力する。判定補助装置７０は、ステップＳＴ１１３へ移行する。

【0051】

判定補助装置７０は、球体ＢＬの画像領域に投影像ＰＩの反射光を検出したか否かを判定する（ステップＳＴ１１３）。具体的には、まず、投影判定部９３が、投影画像記憶部８２に記憶されている投影画像を取得する。次に、投影判定部９３は、投影画像に基づいて、球体ＢＬの画像領域に投影像ＰＩの反射光が検出されたか否かを判定する。投影判定部９３は、判定結果を、検出情報生成部９４へ出力する。

【0052】

球体ＢＬの画像領域に投影像ＰＩの反射光が検出された場合（ステップＳＴ１１３；Ｙｅｓ）、判定補助装置７０は、ステップＳＴ１１４へ移行する。球体ＢＬの画像領域に投影像ＰＩの反射光が検出されなかった場合（ステップＳＴ１１３；Ｎｏ）、判定補助装置７０は、ステップＳＴ１１１に戻り、ステップＳＴ１１１からステップＳＴ１１３までの処理を周期的に実行する。

【0053】

球体ＢＬの画像領域に投影像ＰＩの反射光が検出された場合（ステップＳＴ１１３；Ｙｅｓ）、判定補助装置７０は、検出情報を生成する（ステップＳＴ１１４）。具体的には、検出情報生成部９４は、投影判定部９３によって球体ＢＬの画像領域に投影像ＰＩの反射光が検出されたと判定された場合、検出情報を生成する。検出情報生成部９４は、生成した検出情報を、付加情報生成部９５へ出力する。判定補助装置７０は、ステップＳＴ１１５へ移行する。

【0054】

判定補助装置７０は、付加情報ＡＤを生成する（ステップＳＴ１１５）。具体的には、付加情報生成部９５は、検出情報に基づいて、撮影画像に関連付ける所定の付加情報ＡＤを生成する。付加情報ＡＤは、撮影部２１～２８を識別するための情報と、検出した時刻の情報と、を含む。付加情報生成部９５は、生成した付加情報ＡＤを、記憶部８０の付加情報記録部８５へ出力する。判定補助装置７０は、ステップＳＴ１２０へ移行する。

【0055】

判定補助装置７０は、判定補助システム１を終了するか否かを判定する（ステップＳＴ１２０）。具体的には、判定補助装置７０は、例えば、オペレータによる判定補助の終了操作を受け付けか否かを判定する。判定補助システム１を終了する場合（ステップＳＴ１２０；Ｙｅｓ）、判定補助装置７０は、図７に示すフローチャートの処理を終了する。判定補助システム１を終了しない場合（ステップＳＴ１２０；Ｎｏ）、判定補助装置７０は、ステップＳＴ１１１に戻り、ステップＳＴ１１１からステップＳＴ１２０までの処理を周期的に実行する。

【0056】

（変形例）
次に、図８を用いて、変形例に係る判定補助システム１Ａの構成について説明する。図８は、変形例に係る判定補助システム１Ａの構成例を示す機能ブロック図である。なお、変形例の判定補助システム１Ａにおいて、実施形態の判定補助システム１と同一の構成については同一の参照符号を付して適宜説明を省略し、異なる構成について説明する。

【0057】

変形例の判定補助システム１Ａは、実施形態の判定補助システム１と比較して、判定補助装置７０の代わりに、判定補助装置７０Ａを備える点で異なる。判定補助装置７０Ａは、実施形態の判定補助装置７０と比較して、記憶部８０及び演算部９０の代わりに、記憶部８０Ａ及び演算部９０Ａを備える点で異なる。記憶部８０Ａは、実施形態の記憶部８０と比較して、さらに、近傍領域情報記憶部８６Ａを備える点で異なる。演算部９０Ａは、実施形態の演算部９０と比較して、さらに、球体位置判定部９７Ａと、投影制御部９８Ａと、を備える点で異なる。

【0058】

近傍領域情報記憶部８６Ａは、境界線１１から所定の距離までの範囲を示す近傍領域の情報を示す近傍領域情報が格納されている。近傍領域情報は、各々撮影部２０による撮像画像の視野内において、境界線１１を含む所定の近傍領域の範囲を示す位置情報を含む。近傍領域の範囲は、撮像画像の視野内に設定された所定の基準点に対する座標値で表されてもよい。近傍領域情報記憶部８６Ａは、入力部５０からの操作によって、近傍領域情報の各種項目の値を編集可能である。近傍領域情報記憶部８６Ａは、異なる競技領域１０及び境界線１１に対応する複数種類の近傍領域情報を記憶可能であってもよい。この場合、近傍領域情報記憶部８６Ａは、入力部５０からの操作によって、各々の近傍領域情報を追加、編集及び削除可能である。近傍領域情報記憶部８６Ａが記憶している近傍領域情報は、演算部９０Ａの球体位置判定部９７Ａによって参照される。

【0059】

球体位置判定部９７Ａは、撮影画像及び球体ＢＬの画像領域の検出情報を取得する。球体位置判定部９７Ａは、近傍領域情報記憶部８６Ａに記憶されている近傍領域情報を取得する。球体位置判定部９７Ａは、近傍領域情報に基づいて、球体ＢＬの画像領域が近傍領域内か否かを判定する。球体位置判定部９７Ａは、判定結果を、投影制御部９８Ａへ出力する。

【0060】

投影制御部９８Ａは、球体位置判定部９７Ａによって球体ＢＬの画像領域が近傍領域内であると判定された場合、投影部３０に投影像ＰＩの投影を開始させる。また、投影制御部９８Ａは、検出情報生成部９４から、検出情報を取得する。投影制御部９８Ａは、検出情報に基づいて、投影部３０に投影像ＰＩの投影を停止させる。

【0061】

次に、図９を用いて、変形例に係る判定補助システム１Ａの判定補助装置７０Ａにおける処理の流れについて説明する。図９は、変形例に係る判定補助装置７０Ａによる処理の一例を示すフローチャートである。図９に示す処理は、判定補助装置７０Ａが予め定められた制御プログラム及びデータに基づいて実行する。なお、図９に示す処理を実行する前に、オペレータによって入力部５０を介して、競技領域情報、投影画像及び球体情報が記憶部８０に格納されているものとする。また、投影像生成部９１によって投影像ＰＩを境界線１１に沿って投影するための投影情報が既に生成されているものとする。判定補助装置７０Ａは、例えば、撮影部２０が競技領域１０の撮影をしている状態で、例えば、オペレータによる判定補助の開始操作を受け付けることによって、図９に示すステップＳＴ２０１に移行して処理を開始する。

【0062】

判定補助装置７０Ａは、撮影画像を取得する（ステップＳＴ２０１）。具体的には、球体検出部９２は、映像記録部８４から、境界線１１を含む撮影画像を取得する。判定補助装置７０Ａは、ステップＳＴ２０２へ移行する。

【0063】

判定補助装置７０Ａは、撮影画像から球体ＢＬの画像領域を検出する（ステップＳＴ２０２）。具体的には、まず、球体検出部９２が、球体情報記憶部８３に記憶されている球体情報を取得する。次に、球体検出部９２は、球体情報に基づいて、撮影画像から球体ＢＬの画像領域を検出する。球体検出部９２は、撮影画像と、球体ＢＬの画像領域の検出情報とを、球体位置判定部９７Ａへ出力する。判定補助装置７０Ａは、ステップＳＴ２０３へ移行する。

【0064】

判定補助装置７０Ａは、球体ＢＬの画像領域が近傍領域内か否かを判定する（ステップＳＴ２０３）。具体的には、まず、球体位置判定部９７Ａが、近傍領域情報記憶部８６Ａに記憶されている近傍領域情報を取得する。球体位置判定部９７Ａは、近傍領域情報に基づいて、球体ＢＬの画像領域が近傍領域内か否かを判定する。球体位置判定部９７Ａは、判定結果を、投影制御部９８Ａへ出力する。

【0065】

球体ＢＬの画像領域が近傍領域内である場合（ステップＳＴ２０３；Ｙｅｓ）、判定補助装置７０Ａは、ステップＳＴ２１０へ移行する。球体ＢＬの画像領域が近傍領域内でない場合（ステップＳＴ２０３；Ｎｏ）、判定補助装置７０Ａは、ステップＳＴ２０１に戻り、ステップＳＴ２０１からステップＳＴ２０３までの処理を周期的に実行する。

【0066】

球体ＢＬの画像領域が近傍領域内である場合（ステップＳＴ２０３；Ｙｅｓ）、球体位置判定部９７Ａは、投影像ＰＩの投影を開始させる（ステップＳＴ２１０）。具体的には、球体位置判定部９７Ａによって球体ＢＬの画像領域が近傍領域内であると判定された場合、投影制御部９８Ａが、投影部３０に投影像ＰＩの投影を開始させる。判定補助装置７０Ａは、ステップＳＴ２１１へ移行する。

【0067】

ステップＳＴ２１１、ステップＳＴ２１２、ステップＳＴ２１３、ステップＳＴ２１４及びＳＴ２１５の処理は、実施形態のステップＳＴ１１１、ステップＳＴ１１２、ステップＳＴ１１３、ステップＳＴ１１４及びＳＴ１１５の処理と同様であるため、説明を省略する。但し、ステップＳＴ２１５において、検出情報生成部９４は、生成した検出情報を、付加情報生成部９５のみならず、投影制御部９８Ａへも出力する。判定補助装置７０Ａは、ステップＳＴ２１６へ移行する。

【0068】

判定補助装置７０Ａは、投影像ＰＩの投影を停止させる（ステップＳＴ２１６）。具体的には、投影制御部９８Ａが、検出情報に基づいて、投影部３０に投影像ＰＩの投影を停止させる。判定補助装置７０Ａは、ステップＳＴ２２０へ移行する。

【0069】

ステップＳＴ２２０の処理は、実施形態のステップＳＴ１２０の処理と同様であるため、説明を省略する。判定補助システム１を終了する場合（ステップＳＴ２２０；Ｙｅｓ）、判定補助装置７０Ａは、図９に示すフローチャートの処理を終了する。判定補助システム１を終了しない場合（ステップＳＴ２２０；Ｎｏ）、判定補助装置７０Ａは、ステップＳＴ２０１に戻り、ステップＳＴ２０１からステップＳＴ２２０までの処理を周期的に実行する。

【0070】

以上説明したように、判定補助システム１、１Ａは、境界線１１に沿って投影させる投影像ＰＩを生成し、投影像ＰＩを含む撮影画像に基づいて、球体ＢＬが投影像ＰＩと重なった時点を検出する。審判等は、球体ＢＬが投影像ＰＩと重なった時点の前後の撮影画像によって、境界線１１と球体ＢＬとの位置関係について判定を行う。したがって、境界線１１と球体ＢＬとの位置関係の判定に要する時間を短縮化することができる。また、球体ＢＬと投影像ＰＩとの関係を撮影画像によって確認できるので、境界線１１と球体ＢＬとの位置関係を容易に把握することができる。

【0071】

図示した判定補助システム１、１Ａの構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、判定補助システムの具体的形態は、図示のものに限られず、判定補助システムの処理負担や使用状況等に応じて、その全部又は一部を任意の単位で機能的又は物理的に分散又は統合してもよい。

【0072】

判定補助システムの構成は、例えば、ソフトウェアとして、メモリにロードされたプログラム等によって実現される。上記実施形態では、これらのハードウェア又はソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、又は、それらの組み合わせによって種々の形で実現できる。

【0073】

上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本開示の要旨を逸脱しない範囲において構成の種々の省略、置換又は変更が可能である。

【0074】

例えば、投影部３０によって境界線１１に沿って投影像ＰＩを投影させるための光は、レーザ光であってもよい。すなわち、投影部３０は、レーザ照射機であってもよい。なお、投影像ＰＩは、境界線１１の直上において、実際に可視の像として結像される必要はなく、投影像ＰＩが投影される範囲を球体ＢＬが通過した際に、球体ＢＬの画像領域に投影像ＰＩの反射光が確認できるものであればよい。

【0075】

実施形態では、判定対象物を球体ＢＬとし、境界線をサイドライン１２、１３及びエンドライン１４、１５として、球体ＢＬが落下する地点がコートの内外かのインアウト判定について説明したが、本発明ではこれに限定されない。例えば、競技がバレーボールである場合、判定対象物を競技者の足とし、境界線をコート内のセンターライン又はアタックラインとしてもよいし、判定対象物を競技者の手とし、境界線をネットとしてもよい。また、球技に限定されず、判定補助システムは、陸上のライン判定、格闘技の場内外判定等に用いられてもよい。

【符号の説明】

【0076】

１、１Ａ 判定補助システム
１０ 競技領域
１１ 境界線
２０ 撮影部
３０ 投影部
５０ 入力部
６０ 表示部
７０、７０Ａ 判定補助装置
８０、８０Ａ 記憶部
８１ 競技領域情報記憶部
８２ 投影画像記憶部
８３ 球体情報記憶部
８４ 映像記録部
８５ 付加情報記録部
８６Ａ 近傍領域情報記憶部
９０、９０Ａ 演算部
９１ 投影像生成部
９２ 球体検出部（対象物検出部）
９３ 投影判定部
９４ 検出情報生成部
９５ 付加情報生成部
９６ 撮影画像領域特定部
９７Ａ 球体位置判定部（対象物位置判定部）
９８Ａ 投影制御部
ＢＬ 球体（判定対象物）
ＰＩ 投影像
ＡＤ 付加情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】