特許 7319751 コンピュータ、プログラム、情報処理方法およびモデル生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-07-25

(45)【発行日】2023-08-02

(54)【発明の名称】コンピュータ、プログラム、情報処理方法およびモデル生成方法

(51)【国際特許分類】

   G01B 11/00 20060101AFI20230726BHJP

【ＦＩ】

G01B11/00 D

G01B11/00 H

【請求項の数】 14

(21)【出願番号】P 2023064860

(22)【出願日】2023-04-12

【審査請求日】2023-04-12

【早期審査対象出願】

(73)【特許権者】

【識別番号】523138563

【氏名又は名称】株式会社Ｋｎｏｗｈｅｒｅ

(74)【代理人】

【識別番号】100131842

【弁理士】

【氏名又は名称】加島 広基

(74)【代理人】

【識別番号】100215267

【弁理士】

【氏名又は名称】古屋 秀人

(74)【代理人】

【識別番号】100215555

【弁理士】

【氏名又は名称】今井 貴裕

(72)【発明者】

【氏名】今井 達也

(72)【発明者】

【氏名】伊藤 久史

【審査官】仲野 一秀

(56)【参考文献】

【文献】特開２０２１－７１３８７（ＪＰ，Ａ）

【文献】国際公開第２０２２／１３７４５０（ＷＯ，Ａ１）

【文献】特開２０２１－６８３５６（ＪＰ，Ａ）

【文献】特開２０１２－１６９８４４（ＪＰ，Ａ）

【文献】国際公開第２０２１／０６４９１２（ＷＯ，Ａ１）

【文献】特開２０００－１０２０００（ＪＰ，Ａ）

【文献】特開２０１８－２０５０７４（ＪＰ，Ａ）

【文献】特開２００７－１０１３０４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０６Ｔ １／００－１９／２０

Ｇ０１Ｃ ３／００－３／３２

(57)【特許請求の範囲】

【請求項1】

カメラを含む端末から送信された、前記カメラにより撮像された予め設定されている大きさの球形状の対象物の静止画像と、前記対象物を撮像した前記カメラの画角または焦点距離の情報とを受け付ける受付部と、
前記受付部が受け付けた前記対象物の静止画像から当該対象物を囲う長方形の四隅の座標を演算し、演算された前記対象物を囲う長方形の四隅の座標と、前記カメラの画角または焦点距離とから、前記カメラのレンズの焦点から前記対象物を囲う長方形の四隅の座標に向かう方向ベクトルを演算する演算部と、
球形状の前記対象物の大きさに基づいて、前記演算部により演算された方向ベクトルから前記対象物の中心の３次元座標を推定する推定部と、
前記推定部により推定された前記対象物の中心の３次元座標を出力する出力部と、
を備えた、コンピュータ。

【請求項2】

前記推定部は、球形状の前記対象物の大きさに基づいた第１推定モデルであって、前記対象物を撮像した前記カメラのレンズの焦点から前記対象物に向かう方向ベクトルと、前記対象物の中心の３次元座標とを含む教師データを用いて機械学習により得られた第１推定モデルを用いて、前記演算部により演算された方向ベクトルから前記対象物の中心の３次元座標を推定する、請求項１記載のコンピュータ。

【請求項3】

球形状の前記対象物を撮像した前記カメラのレンズの焦点から前記対象物に向かう方向ベクトルと、前記対象物の中心の３次元座標とを含む教師データを用い、前記カメラのレンズの焦点から前記対象物に向かう方向ベクトルから前記対象物の中心の３次元座標を推定する第１推定モデルを機械学習により生成するモデル生成部を更に備えた、請求項２記載のコンピュータ。

【請求項4】

カメラを含む端末から送信された、前記カメラにより撮像された予め設定されている大きさの球形状の対象物の静止画像と、前記対象物を撮像した前記カメラの画角または焦点距離の情報とを受け付ける受付部と、
前記受付部が受け付けた前記対象物の静止画像から当該対象物を囲う長方形の四隅の座標を演算する演算部と、
前記演算部により演算された長方形の四隅の座標と、前記カメラの画角または焦点距離とに基づいて、前記カメラのレンズの焦点から前記対象物を囲う長方形の四隅に向かう方向ベクトルを演算することなく、前記対象物の中心の３次元座標を推定する推定部と、
前記推定部により推定された前記対象物の中心の３次元座標を出力する出力部と、
を備え、
前記推定部は、球形状の前記対象物の大きさに基づいた第２推定モデルであって、球形状の前記対象物の静止画像から取得される当該対象物を囲う長方形の四隅の座標と、前記対象物を撮像した前記カメラの画角または焦点距離と、前記対象物の中心の３次元座標とを含む教師データを用いて機械学習により得られた第２推定モデルを用いて、前記演算部により演算された長方形の四隅の座標と、前記カメラの画角または焦点距離とから前記対象物の中心の３次元座標を推定する、コンピュータ。

【請求項5】

球形状の前記対象物の静止画像から取得される当該対象物を囲う長方形の四隅の座標と、前記対象物を撮像した前記カメラの画角または焦点距離と、前記対象物の中心の３次元座標とを含む教師データを用い、前記対象物を囲う長方形の四隅の座標と、前記対象物を撮像した前記カメラの画角または焦点距離とから前記対象物の中心の３次元座標を推定する前記第２推定モデルを機械学習により生成するモデル生成部を更に備えた、請求項４記載のコンピュータ。

【請求項6】

前記端末において、前記カメラにより前記対象物を撮像する前に前記カメラの画角または焦点距離を調整可能となっており、前記カメラにより前記対象物が撮像されると撮像された前記対象物の静止画像と調整された前記カメラの画角または焦点距離の情報とが前記端末から前記コンピュータに送信される、請求項１乃至５のいずれか一項に記載のコンピュータ。

【請求項7】

前記端末に撮像用アプリケーションをインストール可能となっており、前記端末において前記撮像用アプリケーションが起動されると、前記カメラにより前記対象物が撮像されたときに前記撮像用アプリケーションによって撮像された前記対象物の静止画像と前記対象物が撮像されたときの前記カメラの画角または焦点距離の情報とが前記端末から前記コンピュータに送信される、請求項１乃至５のいずれか一項に記載のコンピュータ。

【請求項8】

前記端末のモニタに表示されるブラウザにおいて前記カメラにより前記対象物を撮像する前に前記カメラの画角または焦点距離の情報が入力可能となっており、前記カメラにより前記対象物が撮像されると撮像された前記対象物の静止画像と前記ブラウザで入力された前記カメラの画角または焦点距離の情報とが前記端末から前記コンピュータに送信される、請求項１乃至５のいずれか一項に記載のコンピュータ。

【請求項9】

コンピュータを、受付手段と、演算手段と、推定手段と、出力手段として機能させるプログラムであって、
前記受付手段は、カメラを含む端末から送信された、前記カメラにより撮像された予め設定されている大きさの球形状の対象物の静止画像と、前記対象物を撮像した前記カメラの画角または焦点距離の情報とを受け付け、
前記演算手段は、前記受付手段が受け付けた前記対象物の静止画像から当該前記対象物を囲う長方形の四隅の座標を演算し、演算された前記対象物を囲う長方形の四隅の座標と、前記カメラの画角または焦点距離とから、前記カメラのレンズの焦点から前記対象物を囲う長方形の四隅の座標に向かう方向ベクトルを演算し、
前記推定手段は、球形状の前記対象物の大きさに基づいて、前記演算手段により演算された方向ベクトルから前記対象物の中心の３次元座標を推定し、
前記出力手段は、前記推定手段により推定された前記対象物の中心の３次元座標を出力する、プログラム。

【請求項10】

コンピュータを、受付手段と、演算手段と、推定手段と、出力手段として機能させるプログラムであって、
前記受付手段は、カメラを含む端末から送信された、前記カメラにより撮像された予め設定されている大きさの球形状の対象物の静止画像と、前記対象物を撮像した前記カメラの画角または焦点距離の情報とを受け付け、
前記演算手段は、前記受付手段が受け付けた前記対象物の静止画像から当該対象物を囲う長方形の四隅の座標を演算し、
前記推定手段は、前記演算手段により演算された長方形の四隅の座標と、前記カメラの画角または焦点距離とに基づいて、前記カメラのレンズの焦点から前記対象物を囲う長方形の四隅に向かう方向ベクトルを演算することなく、前記対象物の中心の３次元座標を推定し、
前記出力手段は、前記推定手段により推定された前記対象物の中心の３次元座標を出力し、
前記推定手段は、球形状の前記対象物の大きさに基づいた第２推定モデルであって、球形状の前記対象物の静止画像から取得される当該対象物を囲う長方形の四隅の座標と、前記対象物を撮像した前記カメラの画角または焦点距離と、前記対象物の中心の３次元座標とを含む教師データを用いて機械学習により得られた第２推定モデルを用いて、前記演算手段により演算された長方形の四隅の座標と、前記カメラの画角または焦点距離とから前記対象物の中心の３次元座標を推定する、プログラム。

【請求項11】

制御部を有するコンピュータにより行われる情報処理方法であって、
前記制御部が、カメラを含む端末から送信された、前記カメラにより撮像された予め設定されている大きさの球形状の対象物の静止画像と、前記対象物を撮像した前記カメラの画角または焦点距離の情報とを受け付ける工程と、
前記制御部が、受け付けた前記対象物の静止画像から当該対象物を囲う長方形の四隅の座標を演算し、演算された前記対象物を囲う長方形の四隅の座標と、前記カメラの画角または焦点距離とから、前記カメラのレンズの焦点から前記対象物を囲う長方形の四隅の座標に向かう方向ベクトルを演算する工程と、
前記制御部が、球形状の前記対象物の大きさに基づいて、演算された方向ベクトルから前記対象物の中心の３次元座標を推定する工程と、
前記制御部が、推定された前記対象物の中心の３次元座標を出力する工程と、
を備えた、情報処理方法。

【請求項12】

制御部を有するコンピュータにより行われる情報処理方法であって、
前記制御部が、カメラを含む端末から送信された、前記カメラにより撮像された予め設定されている大きさの球形状の対象物の静止画像と、前記対象物を撮像した前記カメラの画角または焦点距離の情報とを受け付ける工程と、
前記制御部が、受け付けた前記対象物の静止画像から当該対象物を囲う長方形の四隅の座標を演算する工程と、
前記制御部が、演算された長方形の四隅の座標と、前記カメラの画角または焦点距離とに基づいて、前記カメラのレンズの焦点から前記対象物を囲う長方形の四隅に向かう方向ベクトルを演算することなく、前記対象物の中心の３次元座標を推定する工程と、
前記制御部が、推定された前記対象物の中心の３次元座標を出力する工程と、
を備え、
前記制御部は、球形状の前記対象物の大きさに基づいた第２推定モデルであって、球形状の前記対象物の静止画像から取得される当該対象物を囲う長方形の四隅の座標と、前記対象物を撮像した前記カメラの画角または焦点距離と、前記対象物の中心の３次元座標とを含む教師データを用いて機械学習により得られた第２推定モデルを用いて、演算された長方形の四隅の座標と、前記カメラの画角または焦点距離とから前記対象物の中心の３次元座標を推定する、情報処理方法。

【請求項13】

予め設定されている大きさの球形状の対象物を撮像したカメラのレンズの焦点から前記対象物を囲う長方形の四隅の座標に向かう方向ベクトルと、前記対象物の中心の３次元座標とを含む教師データを用い、球形状の前記対象物の大きさに基づいた第１推定モデルであって、前記カメラのレンズの焦点から前記対象物を囲う長方形の四隅に向かう方向ベクトルから前記対象物の中心の３次元座標を推定する第１推定モデルを機械学習により生成する、モデル生成方法。

【請求項14】

予め設定されている大きさの球形状の対象物の静止画像から取得される当該対象物を囲う長方形の四隅の座標と、前記対象物を撮像したカメラの画角または焦点距離と、前記対象物の中心の３次元座標とを含む教師データを用い、球形状の前記対象物の大きさに基づいた第２推定モデルであって、前記対象物を囲う長方形の四隅の座標と、前記対象物を撮像した前記カメラの画角または焦点距離とから前記対象物の中心の３次元座標を推定する第２推定モデルを機械学習により生成する、モデル生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータ、プログラム、情報処理方法およびモデル生成方法に関する。

【背景技術】

【0002】

野球、サッカー、ゴルフ、バスケットボール等のボールを用いた球技について、ボールの軌道を追跡する技術として様々なものが知られている。例えば、特許文献１乃至５には、短時間で高速に連続撮影を可能にする高速度カメラを用い、３次元空間を移動する対象球体の位置や速度を推定する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６２３６６００号

【文献】特許第６７６３５５９号

【文献】特表２０１６－５４０１８５号公報

【文献】特開２０１９－２１９３７３号公報

【文献】特表２００５－５２９３３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ボールの軌道を追跡する従来のシステムでは、ボールを撮像するための専用のカメラを用い、このカメラの位置を固定した上で、カメラのズーム倍率やピントの位置を固定してボールを撮像していた。しかしながら、このような従来のシステムでは、専用の位置固定のカメラが必要であり導入コストが高くなってしまうという問題があった。また、撮影の途中でカメラのズーム倍率やピントの位置を変えることができる場合は利便性をより高めることができる。

【0005】

本発明は、このような点を考慮してなされたものであり、専用の位置固定のカメラを用いることなく球形状の対象物の３次元座標を精度良く推定することができるコンピュータ、プログラム、情報処理方法およびモデル生成方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明のコンピュータは、
カメラを含む端末から送信された、前記カメラにより撮像された球形状の対象物の静止画像と、対象物を撮像した前記カメラの画角または焦点距離の情報とを受け付ける受付部と、
前記受付部が受け付けた対象物の静止画像から当該対象物を囲う長方形の四隅の座標を演算し、演算された対象物を囲う長方形の四隅の座標と、前記カメラの画角または焦点距離とから、前記カメラのレンズの焦点から対象物に向かう方向ベクトルを演算する演算部と、
前記演算部により演算された方向ベクトルに基づいて、対象物の３次元座標を推定する推定部と、
前記推定部により推定された対象物の３次元座標を出力する出力部と、
を備えたことを特徴とする。

【0007】

本発明のコンピュータにおいては、
前記推定部は、対象物を撮像した前記カメラのレンズの焦点から対象物に向かう方向ベクトルと、対象物の３次元座標とを含む教師データを用いて機械学習により得られた第１推定モデルを用いて、前記演算部により演算された方向ベクトルに基づいて対象物の３次元座標を推定してもよい。

【0008】

本発明のコンピュータは、
球形状の対象物を撮像した前記カメラのレンズの焦点から対象物に向かう方向ベクトルと、対象物の３次元座標とを含む教師データを用い、前記カメラのレンズの焦点から対象物に向かう方向ベクトルから対象物の３次元座標を推定する第１推定モデルを機械学習により生成するモデル生成部を更に備えてもよい。

【0009】

本発明のコンピュータは、
カメラを含む端末から送信された、前記カメラにより撮像された球形状の対象物の静止画像と、対象物を撮像した前記カメラの画角または焦点距離の情報とを受け付ける受付部と、
前記受付部が受け付けた対象物の静止画像から当該対象物を囲う長方形の四隅の座標を演算する演算部と、
前記演算部により演算された長方形の四隅の座標と、前記カメラの画角または焦点距離とに基づいて、対象物の３次元座標を推定する推定部と、
前記推定部により推定された対象物の３次元座標を出力する出力部と、
を備えたことを特徴とする。

【0010】

本発明のコンピュータにおいては、
前記推定部は、球形状の対象物の静止画像から取得される当該対象物を囲う長方形の四隅の座標と、対象物を撮像した前記カメラの画角または焦点距離と、対象物の３次元座標とを含む教師データを用いて機械学習により得られた第２推定モデルを用いて、前記演算部により演算された長方形の四隅の座標と、前記カメラの画角または焦点距離とに基づいて、対象物の３次元座標を推定してもよい。

【0011】

本発明のコンピュータは、
球形状の対象物の静止画像から取得される当該対象物を囲う長方形の四隅の座標と、対象物を撮像した前記カメラの画角または焦点距離と、対象物の３次元座標とを含む教師データを用い、対象物を囲う長方形の四隅の座標と、対象物を撮像した前記カメラの画角または焦点距離とから対象物の３次元座標を推定する前記第２推定モデルを機械学習により生成するモデル生成部を更に備えてもよい。

【0012】

本発明のコンピュータにおいては、
前記端末において、前記カメラにより対象物を撮像する前に前記カメラの画角または焦点距離を調整可能となっており、前記カメラにより対象物が撮像されると撮像された対象物の静止画像と調整された前記カメラの画角または焦点距離の情報とが前記端末から前記コンピュータに送信されてもよい。

【0013】

また、前記端末に撮像用アプリケーションをインストール可能となっており、前記端末において前記撮像用アプリケーションが起動されると、前記カメラにより対象物が撮像されたときに前記撮像用アプリケーションによって撮像された対象物の静止画像と対象物が撮像されたときの前記カメラの画角または焦点距離の情報とが前記端末から前記コンピュータに送信されてもよい。

【0014】

また、前記端末のモニタに表示されるブラウザにおいて前記カメラにより対象物を撮像する前に前記カメラの画角または焦点距離の情報が入力可能となっており、前記カメラにより対象物が撮像されると撮像された対象物の静止画像と前記ブラウザで入力された前記カメラの画角または焦点距離の情報とが前記端末から前記コンピュータに送信されてもよい。

【0015】

本発明のプログラムは、
コンピュータを、受付手段と、演算手段と、推定手段と、出力手段として機能させるプログラムであって、
前記受付手段は、カメラを含む端末から送信された、前記カメラにより撮像された球形状の対象物の静止画像と、対象物を撮像した前記カメラの画角または焦点距離の情報とを受け付け、
前記演算手段は、前記受付手段が受け付けた対象物の静止画像から当該対象物を囲う長方形の四隅の座標を演算し、演算された対象物を囲う長方形の四隅の座標と、前記カメラの画角または焦点距離とから、前記カメラのレンズの焦点から対象物に向かう方向ベクトルを演算し、
前記推定手段は、前記演算手段により演算された方向ベクトルに基づいて、対象物の３次元座標を推定し、
前記出力手段は、前記推定手段により推定された対象物の３次元座標を出力することを特徴とする。

【0016】

本発明のプログラムは、
コンピュータを、受付手段と、演算手段と、推定手段と、出力手段として機能させるプログラムであって、
前記受付手段は、カメラを含む端末から送信された、前記カメラにより撮像された球形状の対象物の静止画像と、対象物を撮像した前記カメラの画角または焦点距離の情報とを受け付け、
前記演算手段は、前記受付手段が受け付けた対象物の静止画像から当該対象物を囲う長方形の四隅の座標を演算し、
前記推定手段は、前記演算手段により演算された長方形の四隅の座標と、前記カメラの画角または焦点距離とに基づいて、対象物の３次元座標を推定し、
前記出力手段は、前記推定手段により推定された対象物の３次元座標を出力することを特徴とする。

【0017】

本発明の情報処理方法は、
制御部を有するコンピュータにより行われる情報処理方法であって、
前記制御部が、カメラを含む端末から送信された、前記カメラにより撮像された球形状の対象物の静止画像と、対象物を撮像した前記カメラの画角または焦点距離の情報とを受け付ける工程と、
前記制御部が、受け付けた対象物の静止画像から当該対象物を囲う長方形の四隅の座標を演算し、演算された対象物を囲う長方形の四隅の座標と、前記カメラの画角または焦点距離とから、前記カメラのレンズの焦点から対象物に向かう方向ベクトルを演算する工程と、
前記制御部が、演算された方向ベクトルに基づいて、対象物の３次元座標を推定する工程と、
前記制御部が、推定された対象物の３次元座標を出力する工程と、
を備えたことを特徴とする。

【0018】

本発明の情報処理方法は、
制御部を有するコンピュータにより行われる情報処理方法であって、
前記制御部が、カメラを含む端末から送信された、前記カメラにより撮像された球形状の対象物の静止画像と、対象物を撮像した前記カメラの画角または焦点距離の情報とを受け付ける工程と、
前記制御部が、受け付けた対象物の静止画像から当該対象物を囲う長方形の四隅の座標を演算し、
前記制御部が、演算された長方形の四隅の座標と、前記カメラの画角または焦点距離とに基づいて、対象物の３次元座標を推定する工程と、
前記制御部が、推定された対象物の３次元座標を出力する工程と、
を備えたことを特徴とする。

【0019】

本発明のモデル生成方法は、
球形状の対象物を撮像したカメラのレンズの焦点から対象物に向かう方向ベクトルと、対象物の３次元座標とを含む教師データを用い、前記カメラのレンズの焦点から対象物に向かう方向ベクトルから対象物の３次元座標を推定する第１推定モデルを機械学習により生成することを特徴とする。

【0020】

本発明のモデル生成方法は、
球形状の対象物の静止画像から取得される当該対象物を囲う長方形の四隅の座標と、対象物を撮像したカメラの画角または焦点距離と、対象物の３次元座標とを含む教師データを用い、対象物を囲う長方形の四隅の座標と、対象物を撮像した前記カメラの画角または焦点距離とから対象物の３次元座標を推定する第２推定モデルを機械学習により生成することを特徴とする。

【0021】

本発明の推定モデルは、
球形状の対象物を撮像したカメラのレンズの焦点から対象物に向かう方向ベクトルと、対象物の３次元座標とを含む教師データを用いて機械学習により得られた、前記カメラのレンズの焦点から対象物に向かう方向ベクトルを入力、対象物の３次元座標を出力としたときのパラメータを含むことを特徴とする。

【0022】

本発明の推定モデルは、
球形状の対象物の静止画像から取得される当該対象物を囲う長方形の四隅の座標と、対象物を撮像したカメラの画角または焦点距離と、対象物の３次元座標とを含む教師データを用いて機械学習により得られた、対象物を囲う長方形の四隅の座標と、対象物を撮像した前記カメラの画角または焦点距離とを入力、対象物の３次元座標を出力としたときのパラメータを含むことを特徴とする。

【発明の効果】

【0023】

本発明のコンピュータ、プログラム、情報処理方法およびモデル生成方法によれば、専用の位置固定のカメラを用いることなく球形状の対象物の３次元座標を精度良く推定することができる。

【図面の簡単な説明】

【0024】

【図1】本発明の実施の形態によるコンピュータの構成を概略的に示す概略構成図である。

【図2】図１に示すコンピュータにおいて制御部がプログラムを実行することにより行われる情報処理の流れを示す図である。

【図3】図１に示すコンピュータによる情報処理の流れを概略的に示すフローチャートである。

【図4】ボールを含む静止画像において当該ボールを囲うバウンディングボックスを形成する方法を説明するための説明図である。

【図5】ボールを囲うバウンディングボックスの四隅の座標から、カメラのレンズの焦点からボールに向かう方向ベクトルを演算する方法を説明するための説明図である。

【図6】カメラのズーム倍率を調整する前後での携帯通信端末のモニタに表示される画像を示す図である。

【発明を実施するための形態】

【0025】

以下、図面を参照して本発明の実施の形態について説明する。図１乃至図６は、本実施の形態に係るコンピュータ１０および情報処理方法等を示す図である。本実施の形態に係るコンピュータ１０は、専用の位置固定のカメラを用いることなく予め設定されている大きさの球形状の対象物（具体的には、ボール２００）の３次元座標を推定するものである。

【0026】

まず、本実施の形態のコンピュータ１０の構成について図１を用いて説明する。図１は、本実施の形態によるコンピュータ１０の構成を概略的に示す概略構成図である。図１に示すように、本実施の形態のコンピュータ１０はコンピュータ等から構成されており、制御部２０と、記憶部４０と、通信部４２と、表示部４４と、操作部４６とを備えている。

【0027】

制御部２０は、ＣＰＵ（中央演算処理装置）やＧＰＵ（画像処理装置）等で構成され、コンピュータ１０の動作を制御する。具体的には、制御部２０は、後述する記憶部４０に記憶されているプログラムを実行することにより、教師データ受付手段２２と、モデル生成手段２４と、受付手段２６と、演算手段２８と、推定手段３０と、出力手段３２として機能する。

【0028】

教師データ受付手段２２は、ボール２００（対象物）を撮像した携帯通信端末５０のカメラ５２のレンズの焦点から対象物に向かう方向ベクトルと、対象物の３次元座標とを含む教師データ１００を受け付ける。なお、別の態様として、教師データ受付手段２２は、静止画像におけるボール２００を囲うバウンディングボックスとしての長方形２１０（図４参照、正方形を含む）の四隅の座標と、ボール２００を撮像した携帯通信端末５０のカメラ５２の画角と、ボール２００の３次元座標とを含む教師データ１００を受け付けてもよい。

【0029】

モデル生成手段２４は、ボール２００を撮像した携帯通信端末５０のカメラ５２のレンズの焦点から対象物に向かう方向ベクトルと、対象物の３次元座標とを含む教師データ１００を用い、カメラ５２のレンズの焦点から対象物に向かう方向ベクトルから対象物の３次元座標を推定する推定モデル１１０（第１推定モデル）を機械学習により生成する。なお、モデル生成手段２４は、ボール２００の静止画像から取得される当該ボール２００を囲う長方形２１０の四隅の座標と、ボール２００を撮像したカメラ５２の画角または焦点距離と、ボール２００の３次元座標とを含む教師データ１００を用い、ボール２００を囲う長方形２１０の四隅の座標と、ボール２００を撮像したカメラ５２の画角または焦点距離とからボール２００の３次元座標を推定する推定モデル１１０（第２推定モデル）を機械学習により生成してもよい。このような機械学習としては、深層学習等の既知の様々なものを用いることができる。

【0030】

受付手段２６は、携帯通信端末５０から送信された、ボール２００の静止画像１２０およびボール２００を撮像したカメラ５２の画角または焦点距離の情報を受け付ける。受付手段２６が受け付けるカメラ５２の画角または焦点距離は、カメラ５２のズーム倍率や解像度設定によって異なるようになっている。

【0031】

演算手段２８は、ボール２００の静止画像１２０から当該ボール２００を囲う長方形２１０の四隅の座標を演算する。また、演算手段２８は、ボール２００を囲う長方形２１０の四隅の座標と、カメラ５２の画角または焦点距離とから、カメラ５２のレンズの焦点から対象物に向かう方向ベクトルを演算する。

【0032】

推定手段３０は、演算手段２８により演算された長方形２１０の四隅の座標と、カメラ５２の画角または焦点距離とに基づいて、または、演算手段２８により演算された方向ベクトルに基づいて、ボール２００の３次元座標を推定する。この際に、推定手段３０は、ボール２００を撮像したカメラ５２のレンズの焦点から対象物に向かう方向ベクトルと、ボール２００の３次元座標とを含む教師データ１００を用いて機械学習により得られた推定モデル１１０（第１推定モデル）を用いて、演算手段２８により演算された方向ベクトルに基づいてボール２００の３次元座標を推定してもよい。あるいは、推定手段３０は、ボール２００の静止画像から取得される当該ボール２００を囲う長方形２１０の四隅の座標と、ボール２００を撮像したカメラ５２の画角または焦点距離と、ボール２００の３次元座標とを含む教師データ１００を用いて機械学習により得られた推定モデル１１０（第２推定モデル）を用いて、演算手段２８により演算された長方形２１０の四隅の座標と、カメラ５２の画角または焦点距離とに基づいてボール２００の３次元座標を推定してもよい。

【0033】

出力手段３２は、推定手段３０により推定されたボール２００の３次元座標を出力する。出力手段３２により出力されたボール２００の３次元座標はコンピュータ１０から携帯通信端末５０に送信され、この携帯通信端末５０のモニタ５３に表示される。

【0034】

これらの各手段２２、２４、２６、２８、３０、３２の機能の詳細については後述する。

【0035】

記憶部４０は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などで構成されている。また、記憶部４０はコンピュータ１０に内蔵されるものに限定されることはなく、コンピュータ１０に着脱自在に装着可能な記憶媒体（例えば、ＵＳＢメモリ）等であってもよい。本実施の形態では、記憶部４０は、制御部２０により実行されるプログラム、推定モデル１１０等をそれぞれ記憶するようになっている。

【0036】

通信部４２は、無線または有線により外部装置との信号の送受信を行うための通信インターフェースを含む。通信部４２により制御部２０は後述する携帯通信端末５０と信号の送受信を行うことができるようになる。

【0037】

表示部４４は例えばモニタ等であり、制御部２０から表示指令信号を受け取ることにより様々な画面を表示するようになっている。操作部４６は例えばキーボード等であり、制御部２０に対して様々な指令を与えることができるようになっている。なお、本実施の形態では、これらの表示部４４および操作部４６が一体化したタッチパネル等の表示操作部が用いられてもよい。

【0038】

次に、ボール２００の撮像を行う携帯通信端末５０の構成について図１を用いて説明する。図１に示すように、携帯通信端末５０は、カメラ５２と、モニタ５３と、通信部５４とを備えている。カメラ５２はボール２００の動画を撮像するようになっている。このようなカメラ５２により撮像されたボール２００の動画からボール２００の各フレームの静止画像１２０が取得される。モニタ５３には、カメラ５２により撮像されるボール２００の動画や静止画像１２０が表示されるようになっている。ここで、図６に示すように、カメラ５２のピントを調整することにより、モニタ５３に表示される画面も変化する。通信部５４は、無線または有線により外部装置との信号の送受信を行うための通信インターフェースを含む。カメラ５２により撮像されたボール２００の各フレームの静止画像１２０は通信部５４によりコンピュータ１０に送信されるようになっている。このような携帯通信端末５０として、例えばスマートフォン、ＰＣタブレット等を用いることができる。また、携帯通信端末５０として、外部装置との通信が可能なビデオカメラ等が用いられてもよい。

【0039】

本実施の形態では、携帯通信端末５０に撮像用アプリケーションをインストール可能となっている。携帯通信端末５０においてインストールされた撮像用アプリケーションが起動されると、この撮像用アプリケーションによってカメラ５２によりボール２００が撮像可能となる。また、カメラ５２によりボール２００が撮像されたときに撮像用アプリケーションによって撮像されたボール２００の静止画像とボール２００が撮像されたときのカメラ５２の画角または焦点距離の情報とが携帯通信端末５０からコンピュータ１０に送信される。

【0040】

また、携帯通信端末５０のモニタ５３に表示されるブラウザにおいてカメラ５２によりボール２００を撮像する際にカメラ５２の画角または焦点距離の情報が入力可能となっていてもよい。カメラ５２によりボール２００が撮像されると撮像されたボール２００の静止画像とブラウザで入力されたカメラ５２の画角または焦点距離の情報とが携帯通信端末５０からコンピュータ１０に送信される。

【0041】

図２に示すように、本実施の形態では、記憶部４０に記憶されているプログラムを制御部２０が実行して教師データ受付手段２２として機能することにより教師データ受付部２２ａが構成される。また、記憶部４０に記憶されているプログラムを制御部２０が実行してモデル生成手段２４として機能することによりモデル生成部２４ａが構成される。また、記憶部４０に記憶されているプログラムを制御部２０が実行して受付手段２６として機能することにより受付部２６ａが構成される。また、記憶部４０に記憶されているプログラムを制御部２０が実行して演算手段２８として機能することにより演算部２８ａが構成される。また、記憶部４０に記憶されているプログラムを制御部２０が実行して推定手段３０として機能することにより推定部３０ａが構成される。また、記憶部４０に記憶されているプログラムを制御部２０が実行して出力手段３２として機能することにより出力部３２ａが構成される。

【0042】

次に、演算手段２８（演算部２８ａ）が、ボール２００の静止画像１２０から当該ボール２００を囲うバウンディングボックスとしての長方形２１０の四隅の座標を演算する方法について図４を用いて説明する。図４（ａ）は、ボール２００を含む静止画像１２０である。記憶部４０に記憶されているプログラムを制御部２０が実行することにより、演算手段２８は、図４（ｂ）に示すような静止画像１２０におけるボール２００を囲う長方形２１０を生成する。このような長方形２１０の上辺および底辺のｙ座標は、それぞれ、ボール２００の色の全ピクセルのうち最もｙ座標が小さいピクセルのｙ座標（ｙ１）および最もｙ座標が大きいピクセルのｙ座標（ｙ２）となる。また、長方形２１０の左辺および右辺のｘ座標は、ボール２００の色の全ピクセルのうち最もｘ座標が小さいピクセルのｘ座標（ｘ１）および最もｘ座標が大きいピクセルのｘ座標（ｘ２）となる。そして、長方形２１０の四隅の座標は、（ｘ１、ｙ１）（ｘ１、ｙ２）（ｘ２、ｙ２）（ｘ２、ｙ１）で表されるようになる。

【0043】

また、本実施の形態では、演算手段２８は、画像に写る物体を検出するＡＩを用いて、ボール２００の静止画像１２０から当該ボール２００を囲う長方形２１０の四隅の座標を演算してもよい。具体的には、ボール２００の静止画像１２０およびこのボール２００を囲う長方形２１０の四隅の座標を含む教師データを用い、ボール２００の静止画像１２０を入力、ボール２００を囲う長方形２１０の四隅の座標を出力とする推定モデルを機械学習により生成する。このような機械学習としては、深層学習等の既知の様々なものを用いることができる。そして、演算手段２８は、生成された推定モデルを用いて、ボール２００の静止画像１２０から当該ボール２００を囲う長方形２１０の四隅の座標を演算する。

【0044】

次に、演算手段２８（演算部２８ａ）が、ボール２００を囲う長方形２１０の四隅の座標と、カメラ５２の画角（図５において参照符号１３０で表示）とから、カメラ５２のレンズの焦点からボール２００に向かう方向ベクトル（具体的には、例えば対象物を囲った四隅の座標へ向かう方向ベクトル）を演算する方法について図５を用いて説明する。図５は、図４に示す静止画像１２０を真上から見た図である。図４に示す静止画像１２０を上方から見たときの線分を図５では参照符号１２０´で示す。また、図５では、説明のため、ボール２００の３次元座標を、カメラ５２のレンズの焦点を原点として、右方向をｘ座標の正、紙面の奥行き方向をｙ座標の正、上方向をｚ座標の正、とする。また、方向ベクトルをｚ＝１ｍとなるようスケーリングする。すなわち、方向ベクトルの３次元座標上のｚ座標を１（単位：ｍ）とする。図４に示す長方形２１０の左辺全てのｘ座標がｘ１、右辺全てのｘ座標がｘ２となるため、図４に示す長方形２１０は、図５において座標ｘ１と座標ｘ２の間に存在する。図４に示す長方形２１０を上方から見たときの線分を図５では参照符号２１０´で示す。

【0045】

方向ベクトルをｚ＝１ｍとなるようスケーリングした場合、すなわち、方向ベクトルの３次元座標上のｚ座標を１（単位：ｍ）とした場合、画像の横幅（ピクセル数）をｗとすると、長方形２１０の右辺に向かう方向ベクトルの３次元座標上のｘ座標は、（（ｘ２／ｗ－０．５）×２×ｔａｎ（水平画角／２））（単位：ｍ）となる。同様に、長方形２１０の左辺に向かう方向ベクトルの３次元座標上のｘ座標は、（（ｘ１／ｗ－０．５）×２×ｔａｎ（水平画角／２））（単位：ｍ）となる。なぜならば、カメラ５２のレンズの焦点から１ｍの距離においた静止画像１２０の左右端のｘ座標は（±ｔａｎ（画角／２））（単位：ｍ）となるからである。なお、水平画角とは、カメラ５２の水平方向のおける画角のことをいう。また、同様にして、カメラ５２の視野を真横から見ることにより、長方形２１０の上辺に向かう方向ベクトルの３次元座標上のｙ座標および長方形２１０の下辺に向かう方向ベクトルの３次元座標上のｙ座標も算出することができる。具体的には、方向ベクトルの３次元座標上のｚ座標を１（単位：ｍ）とした場合、画像の高さ（ピクセル数）をｈとすると、長方形２１０の上辺に向かう方向ベクトルの３次元座標上のｙ座標は、（（ｙ１／ｈ－０．５）×２×ｔａｎ（垂直画角／２））（単位：ｍ）となる。同様に、長方形２１０の下辺に向かう方向ベクトルの３次元座標上のｘ座標は、（（ｙ２／ｈ－０．５）×２×ｔａｎ（垂直画角／２））（単位：ｍ）となる。なお、垂直画角とは、カメラ５２の垂直方向のおける画角のことをいう。

【0046】

長方形２１０の四隅への方向ベクトルは、ｘ方向、ｙ方向、ｚ方向の３成分×４つ（四隅の座標）＝１２個であるが、ｚ＝１（単位：ｍ）にスケールされており、左上・左下ベクトルのｘ成分、右上・右下ベクトルのｘ成分、左上・右上ベクトルのｙ成分および左下・右下ベクトルのｙ成分は共通している。このため、教師データ１００としてのカメラ５２のレンズの焦点からボール２００に向かう方向ベクトルの要素としては、以下の４つのデータで十分となる。
（ａ） （ｘ１／ｗ－０．５）×２×ｔａｎ（水平画角／２）
（ｂ） （ｘ２／ｗ－０．５）×２×ｔａｎ（水平画角／２）
（ｃ） （ｙ１／ｈ－０．５）×２×ｔａｎ（垂直画角／２）
（ｄ） （ｙ２／ｈ－０．５）×２×ｔａｎ（垂直画角／２）

【0047】

また、既知の方法により、カメラ５２の画角ではなくカメラ５２の焦点距離と、ボール２００を囲う長方形２１０の四隅の座標とから、カメラ５２のレンズの焦点からボール２００に向かう方向ベクトルを演算してもよい。ここで、カメラ５２の焦点距離とは、レンズの中心点からイメージセンサ（フイルム面）までの距離のことをいう。

【0048】

次に、このようなコンピュータ１０による動作について説明する。

【0049】

まずは、推定モデル１１０の生成方法について説明する。コンピュータ１０の制御部２０に対して、ボール２００を撮像した携帯通信端末５０のカメラ５２のレンズの焦点から対象物に向かう方向ベクトルと、ボール２００の３次元座標とを含む教師データ１００を入力する。このような教師データ１００は操作部４６により入力してもよいし、外部装置から通信部４２を介して教師データ１００が制御部２０に送信されるようになっていてもよい。コンピュータ１０の制御部２０に教師データ１００が入力されると、教師データ受付手段２２は教師データ１００を受け付ける。そして、モデル生成手段２４は、教師データ１００を用いて機械学習を行うことにより、ボール２００を撮像した携帯通信端末５０のカメラ５２のレンズの焦点から対象物に向かう方向ベクトルと、ボール２００を撮像したカメラ５２の画角または焦点距離とからボール２００の３次元座標を推定する推定モデル１１０（第１推定モデル）を生成する。

【0050】

なお、推定モデル１１０の生成方法はこのような態様に限定されない。他の態様について以下に述べる。コンピュータ１０の制御部２０に対して、ボール２００の静止画像から取得される当該ボール２００を囲う長方形２１０の四隅の座標と、ボール２００を撮像したカメラ５２の画角または焦点距離と、ボール２００の３次元座標とを含む教師データ１００を入力する。このような教師データ１００は操作部４６により入力してもよいし、外部装置から通信部４２を介して教師データ１００が制御部２０に送信されるようになっていてもよい。コンピュータ１０の制御部２０に教師データ１００が入力されると、教師データ受付手段２２は教師データ１００を受け付ける。そして、モデル生成手段２４は、教師データ１００を用いて機械学習を行うことにより、ボール２００の静止画像から取得される当該ボール２００を囲う長方形２１０の四隅の座標と、ボール２００を撮像したカメラ５２の画角または焦点距離とからボール２００の３次元座標を推定する推定モデル１１０（第２推定モデル）を生成する。

【0051】

次に、携帯通信端末５０のカメラ５２によりボール２００を撮像したときの動作について説明する。上述したように、本実施の形態では、携帯通信端末５０のカメラ５２によりボール２００を撮像する際に、カメラ５２のズーム倍率やピントの位置を調整することにより、撮像されたボール２００の動画や静止画像１２０を鮮明なものとすることができる。カメラ５２のズーム倍率が調整されると、カメラ５２の画角や焦点距離も変化する。また、図６に示すように、カメラ５２のズーム倍率を調整することにより、モニタ５３に表示される画面も変化する。

【0052】

カメラ５２によりボール２００の動画が撮像されると、撮像されたボール２００の動画からボール２００の各フレームの静止画像１２０が取得される。ボール２００の各フレームの静止画像１２０は携帯通信端末５０からコンピュータ１０に送信され、受付手段２６により受け付けられる。また、携帯通信端末５０からカメラ５２の画角または焦点距離に関する情報がコンピュータ１０に送信され、受付手段２６により受け付けられる（図３のステップＳ１）。なお、カメラ５２の画角や焦点距離は、携帯通信端末５０からコンピュータ１０に送信される代わりに、操作部４６によって作業者によりコンピュータ１０に直接入力されるようになっていてもよい。

【0053】

次に、演算手段２８は、ボール２００の静止画像１２０から当該ボール２００を囲う長方形２１０の四隅の座標を演算する（図３のステップＳ２）。このようにして、図４に示すような４つの座標（ｘ１、ｙ１）（ｘ１、ｙ２）（ｘ２、ｙ１）（ｘ２、ｙ２）の情報が取得される。また、演算手段２８は、ボール２００を囲う長方形２１０の四隅の座標と、カメラ５２の画角または焦点距離とから、カメラ５２のレンズの焦点からボール２００に向かう方向ベクトルを演算する（図３のステップＳ３）。

【0054】

次に、推定手段３０は、演算手段２８により演算された長方形２１０の四隅の座標と、カメラ５２の画角または焦点距離とに基づいて、または、演算手段２８により演算された方向ベクトルに基づいて、ボール２００の３次元座標を推定する（図３のステップＳ４）。そして、出力手段３２は、推定されたボール２００の３次元座標を出力する（図３のステップＳ５）。具体的には、ボール２００の各フレームの静止画像１２０から得られるボール２００の３次元座標をつなぎ合わせることにより、ボール２００の３次元における軌跡の情報が出力される。出力手段３２により出力された情報は表示部４４に表示されたり、通信部４２によって外部装置に送信されることによりこの外部装置のモニタ（例えば、携帯通信端末５０のモニタ５３）に表示されたりする。

【0055】

以上のような構成からなる本実施の形態のコンピュータ１０、プログラムおよび情報処理方法によれば、コンピュータ１０は、カメラ５２を含む端末（携帯通信端末５０）から送信された、カメラ５２により撮像されたボール２００（球形状の対象物）の静止画像と、ボール２００を撮像したカメラ５２の画角または焦点距離の情報とを受け付ける受付部２６ａと、受付部２６ａが受け付けたボール２００の静止画像から当該ボール２００を囲う長方形２１０の四隅の座標を演算し、演算されたボール２００を囲う長方形２１０の四隅の座標と、カメラ５２の画角または焦点距離とから、カメラ５２のレンズの焦点からボール２００に向かう方向ベクトルを演算する演算部２８ａと、演算部２８ａにより演算された長方形２１０の四隅の座標と、カメラ５２の画角または焦点距離とに基づいて、または、演算部２８ａにより演算された方向ベクトルに基づいて、ボール２００の３次元座標を推定する推定部３０ａと、推定部３０ａにより推定されたボール２００の３次元座標を出力する出力部３２ａとを備えている。このようなコンピュータ１０、プログラムおよび情報処理方法によれば、カメラ５２のピントを変えた場合でも、調整されたカメラ５２のピントに応じたカメラ５２の画角または焦点距離の情報が携帯通信端末５０からコンピュータ１０に送信され、コンピュータ１０ではこのカメラ５２の画角または焦点距離に基づいて、またはカメラ５２のレンズの焦点からボール２００に向かう方向ベクトルに基づいてボール２００の３次元座標が推定される。このことにより、専用の位置固定のカメラを用いることなくボール２００の３次元座標を精度良く推定することができる。より詳細には、従来のシステムでは、ボールを撮像するための専用のカメラを用い、このカメラの位置を固定した上で、ズーム倍率やピントの位置を固定してボール２００を撮像していた。しかしながら、このような従来のシステムでは、専用の位置固定のカメラが必要であり導入コストが高くなってしまうという問題があった。また、撮影の途中でカメラのズーム倍率やピントの位置を変えることができる場合は利便性をより高めることができる。これに対し、本実施の形態では、スマートフォン等の携帯通信端末５０に備え付けられているカメラ５２を使用することができ、また、カメラ５２のズーム倍率やピントの位置、解像度等を調整することができるため、このような従来のシステムの課題を解決することができる。

【0056】

また、推定部３０ａは、ボール２００を撮像したカメラ５２のレンズの焦点からボール２００に向かう方向ベクトルと、ボール２００の３次元座標とを含む教師データ１００を用いて機械学習により得られた推定モデル１１０（第１推定モデル）を用いて、演算部２８ａにより演算された方向ベクトルに基づいてボール２００の３次元座標を推定する。この場合、モデル生成部２４ａは、ボール２００を撮像したカメラ５２のレンズの焦点からボール２００に向かう方向ベクトルと、ボール２００の３次元座標とを含む教師データ１００を用い、カメラ５２のレンズの焦点からボール２００に向かう方向ベクトルからボール２００の３次元座標を推定する推定モデル１１０（第１推定モデル）を機械学習により生成する。この場合は、機械学習により得られた推定モデル１１０（第１推定モデル）を用いることにより、ボール２００の３次元座標をより精度良く推定することができる。

【0057】

また、推定部３０ａは、ボール２００の静止画像１２０から取得されるボール２００を囲う長方形２１０の四隅の座標と、ボール２００を撮像したカメラ５２の画角または焦点距離と、ボール２００の３次元座標とを含む教師データ１００を用いて機械学習により得られた推定モデル１１０（第２推定モデル）を用いて、演算部２８ａにより演算された長方形２１０の四隅の座標と、カメラ５２の画角または焦点距離とに基づいて、ボール２００の３次元座標を推定してもよい。この場合、モデル生成部２４ａは、ボール２００の静止画像１２０から取得される当該ボール２００を囲う長方形２１０の四隅の座標と、ボール２００を撮像したカメラ５２の画角または焦点距離と、ボール２００の３次元座標とを含む教師データ１００を用い、ボール２００を囲う長方形２１０の四隅の座標と、ボール２００を撮像したカメラ５２の画角または焦点距離とからボール２００の３次元座標を推定する推定モデル１１０（第２推定モデル）を機械学習により生成する。この場合は、機械学習により得られた推定モデル１１０（第２推定モデル）を用いることにより、ボール２００の３次元座標をより精度良く推定することができる。

【0058】

また、本実施の形態のコンピュータ１０、プログラムおよび情報処理方法においては、上述したように、携帯通信端末５０において、カメラ５２によりボール２００を撮像する前にカメラ５２の画角または焦点距離を調整可能となっており、カメラ５２によりボール２００が撮像されると撮像されたボール２００の静止画像と調整されたカメラ５２の画角または焦点距離の情報とが携帯通信端末５０からコンピュータ１０に送信されるようになっている。

【0059】

また、本実施の形態のコンピュータ１０、プログラムおよび情報処理方法においては、上述したように、携帯通信端末５０に撮像用アプリケーションをインストール可能となっており、携帯通信端末５０において撮像用アプリケーションが起動されると、カメラ５２によりボール２００が撮像されたときに撮像用アプリケーションによって撮像されたボール２００の静止画像とボール２００が撮像されたときのカメラ５２の画角または焦点距離の情報とが携帯通信端末５０からコンピュータ１０に送信されるようになっている。

【0060】

また、携帯通信端末５０のモニタ５３に表示されるブラウザにおいてカメラ５２によりボール２００を撮像する前にカメラ５２の画角または焦点距離の情報が入力可能となっており、カメラ５２によりボール２００が撮像されると撮像されたボール２００の静止画像とブラウザで入力されたカメラ５２の画角または焦点距離の情報とが携帯通信端末５０からコンピュータ１０に送信されるようになっていてもよい。

【0061】

また、本実施の形態のモデル生成方法によれば、ボール２００（球形状の対象物）を撮像したカメラ５２のレンズの焦点からボール２００に向かう方向ベクトルと、ボール２００の３次元座標とを含む教師データ１００を用い、カメラ５２のレンズの焦点からボール２００に向かう方向ベクトルからボール２００の３次元座標を推定する推定モデル１１０（第１推定モデル）を機械学習により生成する。このようなモデル生成方法により生成される推定モデル１１０を用いることにより、ボール２００の静止画像１２０から当該ボール２００の３次元座標を精度良く推定することができるようになる。

【0062】

また、本実施の形態の他のモデル生成方法によれば、ボール２００（球形状の対象物）の静止画像１２０から取得される当該ボール２００を囲う長方形２１０（バウンディングボックス）の四隅の座標と、ボール２００を撮像したカメラ５２の画角または焦点距離と、ボール２００の３次元座標とを含む教師データ１００を用い、カメラ５２のレンズの焦点からボール２００に向かう方向ベクトルからボール２００の３次元座標を推定する推定モデル１１０（第２推定モデル）を機械学習により生成する。このようなモデル生成方法により生成される推定モデル１１０を用いることにより、ボール２００の静止画像１２０から当該ボール２００の３次元座標を精度良く推定することができるようになる。

【0063】

また、本実施の形態の推定モデル１１０（第１推定モデル）は、ボール２００を撮像したカメラ５２のレンズの焦点からボール２００に向かう方向ベクトルと、ボール２００の３次元座標とを含む教師データ１００を用いて機械学習により得られた、カメラ５２のレンズの焦点からボール２００に向かう方向ベクトルを入力、ボール２００の３次元座標を出力としたときのパラメータを含んでいる。このような推定モデル１１０を用いることにより、ボール２００の静止画像１２０から当該ボール２００の３次元座標を精度良く推定することができるようになる。

【0064】

また、本実施の形態の他の推定モデル１１０（第１推定モデル）は、ボール２００の静止画像１２０から取得される当該ボール２００を囲う長方形２１０の四隅の座標と、ボール２００を撮像したカメラ５２の画角または焦点距離と、ボール２００の３次元座標とを含む教師データ１００を用いて機械学習により得られた、ボール２００を囲う長方形２１０の四隅の座標と、ボール２００を撮像したカメラ５２の画角または焦点距離とを入力、ボール２００の３次元座標を出力としたときのパラメータを含んでいる。このような推定モデル１１０を用いることにより、ボール２００の静止画像１２０から当該ボール２００の３次元座標を精度良く推定することができるようになる。

【0065】

なお、本発明によるコンピュータ、プログラム、情報処理方法、モデル生成方法および推定モデル等は、上述したような態様に限定されることはなく、様々な変更を加えることができる。

【0066】

例えば、ボール２００の静止画像１２０から当該ボール２００を囲うバウンディングボックスとしての長方形２１０の四隅の座標を演算する方法は、上述した方法に限定されることはない。ボール２００の静止画像１２０から当該ボール２００を囲うバウンディングボックスとしての長方形２１０の四隅の座標を演算する方法として、上述した方法以外の様々な方法が用いられてもよい。

【0067】

また、モデル生成手段２４と、受付手段２６、演算手段２８、推定手段３０、出力手段３２等とが別々のコンピュータに設けられていてもよい。

【0068】

また、演算手段２８は、受付手段２６が受け付けたボール２００の静止画像から当該ボール２００を囲う長方形２１０の四隅の座標を演算するが、カメラ５２のレンズの焦点からボール２００に向かう方向ベクトルを演算しないようになっていてもよい。また、カメラ５２のレンズの焦点からボール２００に向かう方向ベクトルの演算方法として、上述した方法以外の既知の方法が用いられてもよい。

【0069】

また、推定モデル１１０を用いてボール２００の３次元座標を推定する方法は、上述した方法に限定されることはない。推定モデル１１０を用いてボール２００の３次元座標を推定する方法として、上述した方法以外の様々な方法が用いられてもよい。

【0070】

また、本発明に係るプログラムがコンピュータ１０の記憶部４０に記憶され、記憶部４０に記憶されているプログラムが制御部２０により実行される代わりに、本発明に係るプログラムがスマートフォン等の携帯通信端末５０の記憶部に記憶され、記憶部に記憶されているプログラムが携帯通信端末５０の制御部（ＣＰＵ等）により実行されるようになっていてもよい。

【符号の説明】

【0071】

１０ コンピュータ
２０ 制御部
２２ 教師データ受付手段
２４ モデル生成手段
２６ 受付手段
２８ 演算手段
３０ 推定手段
３２ 出力手段
２２ａ 教師データ受付部
２４ａ モデル生成部
２６ａ 受付部
２８ａ 演算部
３０ａ 推定部
３２ａ 出力部
４０ 記憶部
４２ 通信部
４４ 表示部
４６ 操作部
５０ 携帯通信端末
５２ カメラ
５３ モニタ
５４ 通信部
１００ 教師データ
１１０ 推定モデル
１２０、１２０´ 静止画像
１３０ 画角
２００ ボール
２１０ 長方形

【要約】

【課題】専用の位置固定のカメラを用いることなく球形状の対象物の３次元座標を精度良く推定することができるコンピュータ、プログラム、情報処理方法、モデル生成方法および推定モデルを提供する。
【解決手段】受付部２６ａは、カメラ５２を含む端末（例えば、携帯通信端末５０）から送信された、カメラ５２により撮像された球形状の対象物の静止画像と、対象物を撮像したカメラ５２の画角または焦点距離の情報とを受け付ける。演算部２８ａは、受付部２６ａが受け付けた対象物の静止画像から当該対象物を囲う長方形２１０の四隅の座標を演算し、演算された対象物を囲う長方形２１０の四隅の座標と、カメラ５２の画角または焦点距離とから、カメラ５２のレンズの焦点から対象物に向かう方向ベクトルを演算する。推定部３０ａは、演算部２８ａにより演算された方向ベクトルに基づいて、対象物の３次元座標を推定する。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】