IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニーグループ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022077327
(43)【公開日】2022-05-23
(54)【発明の名称】制御装置及び制御方法
(51)【国際特許分類】
   H04N 5/232 20060101AFI20220516BHJP
   B64C 39/02 20060101ALI20220516BHJP
   B64D 47/08 20060101ALI20220516BHJP
【FI】
H04N5/232 030
H04N5/232 450
H04N5/232 290
H04N5/232 410
H04N5/232 300
B64C39/02
B64D47/08
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2020188135
(22)【出願日】2020-11-11
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】鶴見 辰吾
【テーマコード(参考)】
5C122
【Fターム(参考)】
5C122EA42
5C122FA01
5C122FH11
5C122FH14
5C122GA23
5C122GC13
5C122GD11
5C122GF03
5C122HA35
5C122HB01
5C122HB09
(57)【要約】
【課題】スポーツの種別に対応した適切な情報を記録すること。
【解決手段】制御装置は、第1の認識部と、第2の認識部と、第3の認識部と、計画部とを有する。第1の認識部は、センサにより取得される情報に基づいて、移動体の撮像対象の状態を認識する。第2の認識部は、センサにより取得される情報に基づいて、移動体の周辺の環境を認識する。第3の認識部は、第1の認識部による撮像対象の状態の認識結果と、第2の認識部による周辺の環境の認識結果と、撮像対象の撮像が行われる撮像環境に関する撮像環境情報とに基づいて、撮像対象が置かれている状況を認識する。計画部は、第3の認識部による撮像対象が置かれている状況の認識結果を示す状況認識結果と、移動体の動作を決定するためにスポーツの種別ごとに予め規定される設定情報とに基づいて、撮像対象の映像記録を実行するための移動体の行動計画を決定する。
【選択図】図7
【特許請求の範囲】
【請求項1】
センサにより取得される情報に基づいて、移動体の撮像対象の状態を認識する第1の認識部と、
前記センサにより取得される情報に基づいて、前記移動体の周辺の環境を認識する第2の認識部と、
前記第1の認識部による前記撮像対象の状態の認識結果と、前記第2の認識部による前記周辺の環境の認識結果と、前記撮像対象の撮像が行われる撮像環境に関する撮像環境情報とに基づいて、前記撮像対象の撮像に臨む現在の状況を認識する第3の認識部と、
前記第3の認識部による前記撮像対象の撮像に臨む現在の状況の認識結果を示す状況認識結果と、前記移動体の動作を決定するためにスポーツの種別ごとに予め規定される設定情報とに基づいて、前記撮像対象の映像記録を実行するための前記移動体の行動計画を決定する計画部と
を有する制御装置。
【請求項2】
前記第3の認識部は、
前記撮像対象の撮像に臨む現在の状況として、前記スポーツの種別に関連したプレイヤーに固有の情報、前記スポーツの種別に関連したプレイヤーの動作内容の情報、前記移動体の周辺環境の情報、及び前記撮像環境情報のうちの少なくともいずれかに基づいて、
請求項1に記載の制御装置。
【請求項3】
前記第3の認識部は、
前記移動体の電力残量に関する情報に基づいて、前記撮像対象の撮像に臨む現在の状況を認識する
請求項2に記載の制御装置。
【請求項4】
前記設定情報は、
前記スポーツの種別を特定する情報と、前記移動体の行動内容を指定する情報と、前記移動体の行動内容の情報とを対応付けて構成される
請求項1に記載の制御装置。
【請求項5】
前記計画部は、
前記プレイヤーが前記スポーツを進行する上で有益な情報の提示を前記行動計画の一部として決定する
請求項2に記載の制御装置。
【請求項6】
前記計画部は、
前記プレイヤーが前記スポーツを進行する上で有益な動作の実行を前記行動計画の一部として決定する
請求項2に記載の制御装置。
【請求項7】
前記第3の認識部は、
他の制御装置から取得した前記状況認識結果に基づいて、前記撮像対象の撮像に臨む現在の状況を認識する
請求項1に記載の制御装置。
【請求項8】
前記計画部は、
移動せずに撮像対象の撮像を行うことを前記行動計画の一部として決定する
請求項1に記載の制御装置。
【請求項9】
前記映像記録により録画された画像情報を、予め定められるタイミングで前記撮像対象であるユーザの所持する端末装置に送信する送信部
をさらに有する請求項1に記載の制御装置。
【請求項10】
プロセッサが、
センサにより取得される情報に基づいて、移動体の撮像対象の状態を認識し、
前記センサにより取得される情報に基づいて、前記移動体の周辺の環境を認識し、
前記撮像対象の状態の認識結果と、前記周辺の環境の認識結果と、前記撮像対象の撮像が行われる撮像環境に関する撮像環境情報とに基づいて、前記撮像対象の撮像に臨む現在の状況を認識し、
前記撮像対象の撮像に臨む現在の状況の認識結果を示す状況認識結果と、前記移動体の動作を決定するためにスポーツの種別ごとに予め規定される設定情報とに基づいて、前記撮像対象の映像記録を実行するための前記移動体の行動計画を決定する
制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、制御装置及び制御方法に関する。
【背景技術】
【0002】
近年、障害物を避けながら物体を追尾して、自動的に撮影し続ける機能が搭載された無人航行機が商品化されている。
【0003】
また、前述の無人航行機を利用して、スキーやスノーボードの滑走シーンや、オフロード用の自転車を利用したトレッキングのシーンなどの自動撮影なども行われている。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】“MAVIC 2 大きなビジョンを、大空へ”、[2020年9月1日検索]、インターネット<URL:https://www,dji.com/jp/mavic2>
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、前述の無人航行機を利用してスポーツのシーンを撮影する場合、スポーツの種別に対応した適切な情報を記録できるとは限らないという問題がある。
【0006】
そこで、本開示では、スポーツの種別に対応した適切な情報を記録できる制御装置及び制御方法を提案する。
【課題を解決するための手段】
【0007】
上記の課題を解決するために、本開示に係る一形態の制御装置は、第1の認識部と、第2の認識部と、第3の認識部と、計画部とを有する。第1の認識部は、センサにより取得される情報に基づいて、移動体の撮像対象の状態を認識する。第2の認識部は、センサにより取得される情報に基づいて、移動体の周辺の環境を認識する。第3の認識部は、第1の認識部による撮像対象の状態の認識結果と、第2の認識部による周辺の環境の認識結果と、撮像対象の撮像が行われる撮像環境に関する撮像環境情報とに基づいて、撮像対象の撮像に臨む現在の状況を認識する。計画部は、第3の認識部による撮像対象の撮像に臨む現在の状況の認識結果を示す状況認識結果と、移動体の動作を決定するためにスポーツの種別ごとに予め規定される設定情報とに基づいて、撮像対象の映像記録を実行するための移動体の行動計画を決定する。
【図面の簡単な説明】
【0008】
図1】本開示の実施形態に係る情報処理の概要を説明するための模式図である。
図2】本開示の実施形態に係る設定情報の概要を示す図である。
図3】本開示の実施形態に係る状況認識結果の概要を示す図である。
図4】本開示の実施形態に係る状況認識結果の具体例を示す図である。
図5】本開示の実施形態に係る情報処理の概要を説明するための模式図である。
図6】本開示の実施形態に係る設定情報の概要を示す図である。
図7】本開示の実施形態に係る状況認識結果の具体例を示す図である。
図8】本開示の実施形態に係るシステム構成例を示す模式図である。
図9】本開示の実施形態に係る移動体の構成例を示すブロック図である。
図10】本開示の実施形態に係る行動ポリシの概要を示す図である。
図11】本開示の実施形態に係る状況認識結果として取得される情報の具体例を示す図である。
図12】本開示の実施形態に係る状況認識結果として取得される情報の具体例を示す図である。
図13】本開示の実施形態に係る撮像モードの概要を示す模式図である。
図14】本開示の実施形態に係る撮像モードの概要を示す模式図である。
図15】本開示の実施形態に係る撮像モードの概要を示す模式図である。
図16】本開示の実施形態に係る撮像モードの概要を示す模式図である。
図17】本開示の実施形態に係る情報提供の概要を示す模式図である。
図18】本開示の実施形態に係る情報提供の概要を示す模式図である。
図19】本開示の実施形態に係る情報提供の概要を示す模式図である。
図20】本開示の実施形態に係る情報提供の概要を示す模式図である。
図21】本開示の実施形態に係る移動体間の連携処理の概要を示す図である。
図22】本開示の実施形態に係る移動体間の連携処理の概要を示す図である。
図23】本開示の実施形態に係る移動体とウェアラブル装置との連携処理の概要を示す図である。
図24】本開示の実施形態に係る構造物からの撮像の概要を示す模式図である。
図25】本開示の実施形態に係る移動体の着陸装置例を示す図である。
図26】本開示の実施形態に係る移動体の着陸装置が構造物に取り付く様子を示す図である。
図27】本開示の実施形態に係る端末装置の構成例を示すブロック図である。
図28】本開示の実施形態に係る制御装置の全体的な処理手順例を示すフローチャートである。
図29】本開示の実施形態に係る制御装置の行動制御処理の処理手順例を示すフローチャートである。
図30】本開示の実施形態に係る制御装置の行動制御処理の具体的な処理手順例(1)を示すフローチャートである。
図31】本開示の実施形態に係る制御装置の行動制御処理の具体的な処理手順例(2)を示すフローチャートである。
図32】変形例に係る装置構成例を示すブロック図である。
図33】変形例に係るシステム構成例を示す模式図である。
図34】変形例に係る装置構成例を示すブロック図である。
図35】変形例に係るシステム構成例を示す模式図である。
図36】変形例に係る装置構成例を示すブロック図である。
図37】変形例に係るプレイヤー情報の一例を示す図である。
図38】変形例に係る撮像環境情報の一例を示す図である。
図39】本開示の実施形態に係る制御装置を実現可能なコンピュータのハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【0009】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の数字又は符号を付することにより重複する説明を省略する場合がある。また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の数字又は符号の後に異なる数字又は符号を付して区別する場合もある。
【0010】
また、以下に示す項目順序に従って本開示を説明する。
1.本開示の実施形態に係る情報処理の概要
2.システム構成例
3.装置構成例
4.処理手順例
5.変形例
6.その他
7.ハードウェア構成例
8.むすび
【0011】
<<1.本開示の実施形態に係る情報処理の概要>>
(1-1.ゴルフの映像記録)
本開示の実施形態に係る情報処理の概要について説明する。図1は、本開示の実施形態に係る情報処理の概要を説明するための模式図である。以下、ゴルフをプレイするユーザの映像記録を実行する例について説明する。
【0012】
図1に示す移動体10は、遠隔操作又は自動操縦により飛行が可能な無人航行機である。移動体10は、ドローンやマルチコプターと称される場合がある。移動体10は、自律移動しながら、各種スポーツの映像記録などを実行する。
【0013】
図1に示す端末装置20は、プレイヤーUが所持する通信装置であり、典型的にはスマートフォンやタブレット、又はスマートウォッチなどのウェアラブル端末である。
【0014】
また、図1に示すように、移動体10は、センサ部110と制御装置120とを備える。センサ部110は、例えば、自律移動するための情報や、撮像対象の状態を認識するための情報、移動体10の周辺の環境を認識するための情報を取得する各種センサを有する。制御装置120は、移動体10の各部を制御し、移動体10による撮像対象の映像記録や、移動体10から撮像対象に対するアドバイスの提供を実現する。
【0015】
制御装置120は、センサ部110が有する各種センサにより取得される情報に基づいて、移動体10の撮像対象の状態を認識する。
【0016】
また、制御装置120は、センサ部110が有する各種センサにより取得される情報に基づいて、移動体10の周辺の環境を認識する。具体的には、制御装置120は、移動体10の位置や、姿勢や、距離情報などに基づいて、移動体10の周辺の環境を示す環境地図を作成する。環境地図には、移動体10の周辺にある撮像対象の位置や、障害物の位置などが含まれる。
【0017】
続いて、制御装置120は、移動体10の撮像対象の状態の認識結果と、移動体10の周辺の環境の認識結果と、移動体10の撮像対象の撮像が行われる撮像環境に関する撮像環境情報とに基づいて、撮像対象の撮像に臨む現在の状況を認識する。
【0018】
そして、制御装置120は、撮像対象の撮像に臨む現在の状況の認識結果を示す状況認識結果と、移動体10の動作を決定するためにスポーツの種別ごとに予め規定される設定情報とに基づいて、移動体10の行動計画を決定する。
【0019】
図1に示す場合において、前述の撮像対象は、例えば、ゴルフをプレイ中であるプレイヤーUや、プレイヤーUにより利用されるゴルフボールBL及びゴルフクラブCBなどに該当する。また、図1に示す場合において、撮像対象の状態は、プレイヤーUの状態を含む。制御装置120は、プレイヤーUの位置や、向きや、姿勢や、動作などを認識する。制御装置120は、ショット前であるか又はショット後であるか、ティーショットであるか、バンカーショットであるか、パッティングであるか、OB(Out of Bounds)及びウォーターハザードなどのペナルティであるか、打ち上げのショットであるか、打ち下ろしのショットであるか、空振りであるか、素振り中か、スタンス(アドレス)の幅や選択したクラブなど、プレイヤーUの動作や状態(状況)を具体的に認識できる。
【0020】
また、撮像対象の状態は、ゴルフボールBLやゴルフクラブCBなどの状態を含む。制御装置120は、ゴルフボールBLやゴルフクラブCBの位置や、速度や、動作などを認識する。制御装置120は、ゴルフボールBLがバンカーに位置するか、ラフに位置するか、グリーン上に位置するか、又はペナルティエリアに位置するか、或いはゴルフボールBLのライの状況などを具体的に認識できる。また、制御装置120は、プレイヤーUとゴルフボールBLとの相対的な位置関係についても具体的に認識できる。
【0021】
図2は、本開示の実施形態に係る設定情報の概要を示す図である。図2は、設定情報の構成の一例を示すものであり、図2に示す例に特に限定される必要はなく、必要に応じて適宜変更されてよい。設定情報は、移動体10のユーザにより任意に設定される。
【0022】
図2に示すように、設定情報は、「スポーツ種別」の項目と、「行動ポリシ」の項目と、「行動内容」の項目とを対応付けて構成される。
【0023】
「スポーツ種別」の項目には、例えば、ゴルフなどのスポーツの種別を特定する情報が設定される。
【0024】
「行動ポリシ」の項目には、移動体10の行動内容(アクション)を指定する情報が設定される。移動体10の行動ポリシとして、例えば、全自動モードと、映像記録モードと、アドバイスモードとが実装される。図2に示す例では、説明の便宜上、行動ポリシを指定する情報として、行動ポリシの名称を示しているが、制御装置120が行動ポリシを特定できる情報であればよい。
【0025】
全自動モードは、移動体10に撮像対象であるプレイヤーなどの映像記録と、プレイヤーに対するアドバイスなどの提供を実行させる動作モードである。映像記録モードは、移動体10に撮像対象であるプレイヤーなどの映像記録を実行させる動作モードである。アドバイスモードは、移動体10にプレイヤーに対するアドバイスの提供を実行させる動作モードである。
【0026】
「行動内容」の項目には、「スポーツ種別」の項目及び「行動ポリシ」の項目に設定される情報に応じた移動体10の行動内容の情報が設定される。「行動内容」の項目は、「映像記録」の項目と、「アドバイス」の項目とに分かれている。「映像記録」の項目には、例えば、ショットの瞬間を撮像するために使用する撮像モードが設定される。また、「アドバイス」の項目には、所定のタイミングごとにプレイヤーに提供する情報の内容が設定される。
【0027】
制御装置120は、スポーツの種別や行動ポリシに基づいて、前述の設定情報から移動体10に実行させる行動内容を選択する。そして、制御装置120は、選択した行動内容に基づいて移動体10を動作させるため、撮像対象の撮像に臨む現在の状況の認識結果を示す認識結果に関する状況認識結果を反映した行動計画を決定する。図3は、本開示の実施形態に係る状況認識結果の概要を示す図である。
【0028】
図3に示すように、制御装置120が状況認識結果として取得する情報は、プレイヤー情報や、プレイヤー動作情報や、周辺環境情報や、撮像環境情報や、移動体情報などを含んで構成される。
【0029】
プレイヤー情報は、ゴルフのプレイヤーに固有の情報である。例えば、右打ちか、又は左打ちかを示す情報や、クラブごとの平均飛距離の情報などが例示される。
【0030】
プレイヤー動作情報は、ゴルフのプレイヤーの動作内容を示す情報である。例えば、撮像対象のプレイヤーが使用しているティーイングラウンドの情報や、選択クラブの情報、アドレス(スタンス)の幅の情報が例示される。
【0031】
周辺環境情報は、移動体10が認識している周辺の環境の情報であり、例えば、ゴルフコース上の風向きの情報や、通路の位置の情報や、カートの位置の情報などが例示される。
【0032】
撮像環境情報は、移動体10の撮像環境に関する情報であり、ドックレックなどのコース形態の情報や、打ち下ろし及び打ち上げなどのコースの凹凸の情報や、ピンPの位置の情報や、バンカーやクリークなどの障害物の位置の情報、ティーエリアの位置の情報などが例示される。
【0033】
移動体情報は、移動体10に関する情報であり、例えば、移動体10の動力源である電力の残量の情報や、移動体10において実行されるアプリケーションプログラムのバージョン情報などが例示される。
【0034】
制御装置120は、前述の状況認識結果と、前述の設定情報とに基づいて、移動体10の行動計画を決定する。以下、制御装置120による行動計画の決定について順に説明する。
【0035】
まず、制御装置120は、移動体10と端末装置20とを予め通信可能な状態に接続する。制御装置120は、移動体10と端末装置20との接続時に、プレイヤーUに固有のユーザIDを払い出す。ユーザIDは、記録した画像情報に紐付けられる。
【0036】
制御装置120は、接続された端末装置20から、スポーツ種別の情報や、プレイヤー情報や、行動ポリシの情報を取得する。制御装置120は、設定情報を参照して、端末装置20から取得したスポーツ種別及び行動ポリシの情報に対応する行動内容を選択する。そして、制御装置120は、プレイヤーUの撮像に臨む現在の状況の認識結果を示す状況認識結果に基づいて行動計画を決定する。図4は、本開示の実施形態に係る状況認識結果の具体例を示す図である。図4は、ゴルフに対応する状況認識結果の一例を示している。
【0037】
図4に示す例では、制御装置120は、プレイヤーUの状況認識結果として、プレイヤー情報と、プレイヤー動作情報と、周辺環境情報と、撮像環境情報と、移動体情報とを取得する。制御装置120は、図4に示す状況認識結果から、右打ちで、1番ウッドの平均飛距離が250ヤードで、レギュラーティーを使用するプレイヤーUが、左ドックレッグの9番ホールのティーショット前の素振り中であるといった具体的な状況を把握する。また、制御装置120は、移動体10の周辺に障害物がないことや、移動体10の電力残量が70%であることについても認識する。
【0038】
制御装置120は、設定情報から選択した行動内容に基づいて移動体10を動作させるため、前述のプレイヤーUの状況認識結果を反映した行動計画を決定する。例えば、制御装置120は、プレイヤーUにより指定される行動ポリシに基づくアクションとして「映像記録」を選択し、プレイヤーUの状況認識結果(ティーショット前)により、撮像モードとして「第1撮像モード」を選択する。
【0039】
続いて、制御装置120は、選択した第1撮像モードによりティーショットの瞬間を撮像するためのカメラアングルを決定する。制御装置120は、第1撮像モードに予め定められた構図で、ティーショットの瞬間を撮像することができる撮像位置(例えば、撮像位置A)を探索し、カメラの角度を決定する。また、制御装置120は、プレイヤーUの打球の予測落下地点を算出し、カメラアングルの決定する際に加味してもよい。
【0040】
カメラアングルの決定後、制御装置120は、ティーショットの瞬間を移動体10に撮像させるための行動計画を決定する。例えば、制御装置120は、環境地図におけるプレイヤーUとゴルフボールBLとの位置関係や、環境地図における移動体の位置及姿勢などに基づいて、カートKから撮像位置Aに移動体10を移動させるための移動計画を決定する。そして、制御装置120は、移動計画に基づく移動経路を従ってカートKから撮像位置Aまで移動して、ティーショットの瞬間を撮像するという移動体10の行動計画を決定する。
【0041】
また、制御装置120は、カメラアングルを決定する際、撮像環境情報からプレイヤーUがティーショットを行うコースが打ち下しであることを特定した場合、打ち下ろしのティーショットであることを反映したカメラアングルを決定できる。例えば、制御装置120は、第1撮像モードに予め定められた構図で、ティーショットの瞬間を撮像することができる撮像位置(例えば、撮像位置A)及びカメラの角度を決定する。
【0042】
また、制御装置120は、カメラアングルを決定する際、移動体情報から移動体10の電力残量が予め定められる閾値以下であることを特定した場合、移動体10の電力残量が閾値以下であることを反映したカメラアングルを決定できる。例えば、制御装置120は、カートKから移動せずに、ティーショットの瞬間を撮像する。このとき、第1撮像モードに予め定められた構図での撮像が難しい場合、カート上からプレイヤーUのティーショットの瞬間を撮像することができる別の構図を自動的に設定して、カメラの角度を決定する。
【0043】
(1-2.クライミングの映像記録)
以下、本開示の情報処理の概要として、制御装置120が移動体10の各部を制御しつつ、クライミングを行うユーザの映像記録などを実行する例について説明する。図5は、本開示の実施形態に係る情報処理の概要を説明するための模式図である。
【0044】
図5に示す場合において、撮像対象は、例えば、クライミングを行っているプレイヤーUと、プレイヤーUにより利用される壁WL及び壁WLに設けられた複数のホールドHとを含む。図5に示す場合において、撮像対象の状態は、例えば、プレイヤーUの状態と、プレイヤーUにより利用される壁WLやホールドHの状態とを含む。
【0045】
また、図5に示す場合において、制御装置120は、プレイヤーUの状態として、プレイヤーUの位置や、向きや、姿勢や、動作等を認識する。制御装置120は、壁WLやホールドHの状態として、壁WLの位置や角度、ホールドHの位置や大きさ、ゴールの位置などを認識する。そして、制御装置120は、プレイヤーUの状態の認識結果、及び壁WLやホールドHの状態の認識結果から、プレイヤーUと、壁WL及びホールドHとの位置関係などを具体的に認識する。
【0046】
また、図5に示す場合において、撮像環境に関する撮像環境情報は、クライミングが行われる施設(会場)の情報に該当する。図5に示す場合において、撮像対象の撮像に臨む現在の状況は、クライミング中のプレイヤーUの状況を含む。プレイヤーUの状況とは、クライミング中のプレイヤーUの位置や姿勢、プレイヤーUの手や足の位置などを含む。また、撮像対象の撮像に臨む現在の状況は、ゴールの位置、プレイヤーUとホールドHとの位置関係や、プレイヤーUとゴールとの位置関係などを含む。
【0047】
図5に示す場合において、制御装置120は、接続された端末装置20から、スポーツ種別の情報や、プレイヤー情報や、行動ポリシの情報を取得する。制御装置120は、設定情報を参照して、端末装置20から取得したスポーツ種別及び行動ポリシの情報に対応する行動内容を選択する。図6は、本開示の実施形態に係る設定情報の概要を示す図である。図6は、クライミングに対応する設定情報の概要を示している。
【0048】
図6に示すクライミングに対応する設定情報には、各行動ポリシに対応する行動内容が設定されている。「全自動モード」に対応する「映像記録」の項目には「追尾モード」が設定されている。「追尾モード」は、プレイヤーの様子を追尾しながら撮像する撮像モードである。また、「映像記録モード」に対応する「映像記録」の項目には「定点モード」が設定されている。「定点モード」は、プレイヤーの様子を定点から撮像する撮像モードである。また、「全自動モード」及び「アドバイスモード」に対応する「アドバイス」の項目には、「ホールド位置」が設定されている。「ホールド位置」は、クライミング中のプレイヤーに対して、次に進むべきホール位置を提示することを示す。
【0049】
そして、制御装置120は、プレイヤーUの撮像に臨む現在の状況の認識結果を示す状況認識結果に基づいて行動計画を決定する。図7は、本開示の実施形態に係る状況認識結果の具体例を示す図である。図7は、クライミングに対応する状況認識結果の一例を示している。
【0050】
図7に示すように、制御装置120は、プレイヤーUの状況認識結果として、プレイヤー情報と、プレイヤー動作情報と、撮像環境情報とを取得する。制御装置120は、図7に示す状況認識結果から、身長が170センチメートルで、体重が45キログラムで、右手の握力が60キログラム、左手の握力が40キログラムであるプレイヤーUの右手の位置が「ホールド(H17)」にあり、左手の位置が「ホールド(H15)」にあり、右足の位置が「ホールド(H7)」にあり、左足の位置が「ホール(H4)」にあるといった具体的な状況を把握する。また、制御装置120は、移動体10の周辺に障害物がないことや、天井の高さが15メートルであることや、移動体10の電力残量が残り70%であることについても認識する。
【0051】
そして、制御装置120は、設定情報から選択した行動内容に基づいて移動体10を動作させるため、前述のプレイヤーUの状況認識結果を反映した行動計画を決定する。例えば、制御装置120は、プレイヤーUにより指定される行動ポリシに基づくアクションとして「映像記録」を選択し、撮像モードとして追尾モードを選択する。
【0052】
例えば、制御装置120は、プレイヤーUにより指定される行動ポリシが「全自動モード」である場合、映像記録に用いる撮像モードとして「追尾モード」を選択する。そして、制御装置120は、追尾モードによりクライミング中のプレイヤーの様子を撮像するためのカメラアングルを決定する。例えば、制御装置120は、クライミング中のプレイヤーUを追尾しながら、追尾モードに予め定められた構図で、クライミング中のプレイヤーの様子を撮像することができる撮像位置を適宜探索して、探索した撮像位置におけるカメラの角度をその都度決定する。
【0053】
カメラアングルの決定後、制御装置120は、クライミングの様子を撮像し、アドバイスを提供する動作を移動体10に実行させるための行動計画を決定する。例えば、制御装置120は、プレイヤーUとホールドHとの位置関係や、プレイヤーUとゴールとの位置関係や、環境地図などに基づいて、プレイヤーUを撮像するための最適な移動経路を決定する。そして、制御装置120は、決定した移動経路を使ってプレイヤーUを追尾しながら、追尾モードに予め定められた構図(例えば、プレイヤーUの背面側)でクライミングの様子を撮像するという移動体10の行動計画を決定する。また、制御装置120は、クライミングの様子を撮像する映像記録と並行して、次に進むべきホールドH(例えば、ホールドH11,H22)の位置をプレイヤーUに対して提示する動作を、移動体10に実行させるための行動計画の一部として決定する。例えば、次に進むべきホールドHの助言は、ホールドHに対するプロジェクションマッピングや、プレイヤーUが携帯する端末装置20への音声通知などの方法により実現できる。
【0054】
また、制御装置120は、プレイヤーUにより指定される行動ポリシが「映像記録モード」である場合、映像記録に用いる撮像モードとして「定点モード」を選択する。そして、制御装置120は、定点モードによりクライミング中のプレイヤーの様子を撮像するためのカメラアングルを決定する。例えば、制御装置120は、定点モードに予め定められた構図で、クライミング中のプレイヤーUの様子を撮像することができる撮像位置(例えば、撮像位置A)を探索して、カメラの角度を決定する。そして、制御装置120は、クライミングの様子を定点から撮像するための行動計画を決定する。
【0055】
このように、制御装置120は、撮像対象の撮像に臨む現在の状況の認識結果を示す状況認識結果と、スポーツの種別ごとに予め規定された移動体10の行動ポリシとに基づいて、移動体10に実行させる行動内容を選択し、移動体10の行動計画を決定できる。これにより、ユーザの要求に応じた適切な情報を記録できる。また、制御装置120は、プレイヤーがスポーツを進行する上で有益な情報の提示を行動計画の一部として決定する。これにより、移動体10を利用して映像記録などを行うユーザのユーザビリティを向上できる。
【0056】
<<2.システム構成例>>
以下、本開示の実施形態に係る情報処理システムの構成例を説明する。図8は、本開示の実施形態に係るシステム構成例を示す模式図である。図8に示すように、本開示の実施形態に係る情報処理システム1Aは、移動体10と端末装置20とを含む。情報処理システム1Aの構成は、図6に示す例には特に限定される必要はなく、図8に示すよりも多くの移動体10及び端末装置20を含んでいてもよい。
【0057】
移動体10及び端末装置20は、ネットワークNに接続する。移動体10は、ネットワークNを介して、端末装置20と通信する。端末装置20は、ネットワークNを介して、移動体10と通信する。
【0058】
移動体10は、端末装置20から、前述のユーザIDや、スポーツ種別の情報や、動作モードの情報や、プレイヤー情報などを取得する。移動体10は、端末装置20に対して情報を送信する。移動体10が端末装置20に送信する情報は、プレイヤーがスポーツを進行する上で有益となる情報を含む。有益な情報としては、ゴルフをプレイ中である場合、ゴルフボールとピンとの位置関係を俯瞰した俯瞰画像や、ゴルフボールの状況を示す画像などが例示される。
【0059】
端末装置20は、ユーザIDや、スポーツ種別の情報や、プレイヤー情報や、動作モードの情報などを移動体10に送信する。
【0060】
<<3.装置構成例>>
(3-1.移動体の構成)
以下、移動体10の構成例について説明する。図9は、本開示の実施形態に係る移動体の構成例を示すブロック図である。図9に示すように、移動体10は、センサ部110と、制御装置120とを有する。
【0061】
センサ部110は、距離センサ111と、イメージセンサ112と、IMU(Inertial Measurement Unit)113と、GPS(Global Positioning System)センサ114とを有する。
【0062】
距離センサ111は、移動体10の周囲にある物体との距離を計測し、距離情報を取得する。距離センサ111は、ToF(Time Of Flight)センサや、LiDAR(Laser Imaging Detection and Ranging)等により実現できる。距離センサ111は、取得した距離情報を制御装置120に送る。
【0063】
イメージセンサ112は、移動体10の周囲にある物体を撮像し、画像情報(静止画や動画の画像データ)を取得する。イメージセンサ112が取得する画像情報は、スポーツの様子を撮像した画像情報を含む。CCD(Charge Coupled Device)型や、CMOS(Complementary Metal-Oxide-Semiconductor)型のイメージセンサなどにより実現できる。イメージセンサ112は、取得した撮像データを制御装置120に送る。
【0064】
IMU113は、移動体10の動作状態を示す軸の角度や加速度などを検出し、IMU情報を取得する。IMU113は、加速度センサ、ジャイロセンサ、磁気センサ等の各種センサにより実現できる。IMU113は、取得したIMU情報を制御装置120に送る。
【0065】
GPSセンサ114は、移動体10の位置(緯度及び経度)を計測し、GPS情報を取得する。GPSセンサ114は、取得したGPS情報を制御装置120に送る。
【0066】
制御装置120は、移動体10の各部を制御するコントローラである。制御装置120は、プロセッサやメモリを備えた制御回路により実現できる。制御装置120が有する各機能部は、例えば、プロセッサによって内部メモリから読み込まれたプログラムに記述された命令が、内部メモリを作業領域として実行されることにより実現される。プロセッサが内部メモリから読み込むプログラムには、OS(Operating System)やアプリケーションプログラムが含まれる。また、制御装置120が有する各機能部は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)等の集積回路により実現されてもよい。
【0067】
また、前述の内部メモリとして機能する主記憶装置や補助記憶装置は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
【0068】
図7に示すように、制御装置120は、本開示の実施形態に係る情報処理を実現するための各機能部として、環境情報記憶部1201と、行動ポリシ記憶部1202と、設定情報記憶部1203とを有する。
【0069】
また、制御装置120は、前述の各機能部として、距離情報取得部1204と、画像情報取得部1205と、IMU情報取得部1206と、GPS情報取得部1207とを有する。また、制御装置120は、前述の各機能部として、物体検出部1208と、物体状態認識部1209と、人体検出部1210と、人体状態認識部1211と、自己位置算出部1212と、3D環境認識部1213とを有する。物体状態認識部1209及び人体状態認識部1211は、センサにより取得される情報に基づいて、移動体10の撮像対象の状態を認識する第1の認識部として機能する。3D環境認識部1213は、センサにより取得される情報に基づいて、移動体10の周辺の環境を認識する第2の認識部として機能する。
【0070】
また、制御装置120は、前述の各機能部として、データ受信部1214と、状況認識部1215と、行動計画部1216と、行動制御部1217と、データ送信部1218とを有する。状況認識部1215は、第1の認識部による撮像対象の状態の認識結果と、第2の認識部による周辺の環境の認識結果と、撮像対象の撮像が行われる撮像環境に関する撮像環境情報とに基づいて、撮像対象の撮像に臨む現在の状況を認識する第3の認識部として機能する。行動計画部1216は、撮像対象の撮像に臨む現在の状況の認識結果を示す状況認識結果と、移動体10の動作を決定するためにスポーツの種別ごとに予め規定される設定情報とに基づいて、撮像対象の映像記録を実行するための移動体10の行動計画を決定する計画部として機能する。
【0071】
環境情報記憶部1201は、撮像対象の撮像が行われる撮像環境に関する撮像撮像環境情報を記憶する。例えば、ゴルフ場で移動体10による撮像が行われる場合、環境情報記憶部1201は、撮像環境情報として、ピンの位置、ティーエリアの位置、コース形態などの情報を記憶する。
【0072】
行動ポリシ記憶部1202は、移動体10のアクションを決定する動作モードに関する情報を記憶する。図10は、本開示の実施形態に係る行動ポリシの概要を示す図である。図10に示すように、行動ポリシとして、全自動モード、映像記録モード、及びアドバイスモードの3つの動作モードが実装される。全自動モードは、スポーツを行うプレイヤーの様子を撮像して映像を記録する映像記録と、プレイヤーに対してスポーツを進める上で有益な情報を提示するアドバイスとを自動で実行する動作モードである。映像記録モードは、プレイヤーの映像記録に専念する動作モードである。アドバイスモードは、プレイヤーに対するアドバイス(プレイヤーがスポーツを進行する上で有益な情報の提示)に専念する動作モードである。
【0073】
設定情報記憶部1203は、移動体10の動作を決定するためにスポーツの種別ごとに予め規定される設定情報を記憶する。前述の図2又は図6に示すように、設定情報記憶部1203に記憶される設定情報は、「スポーツ種別」の項目と、「行動ポリシ」の項目と、「行動内容」の項目とを対応付けて構成される。
【0074】
「スポーツ種別」の項目には、スポーツの種別を特定する情報が設定される。なお、前述の例では、説明の便宜上、スポーツの種別を特定する情報として、スポーツの名称(ゴルフやクライミング)を示したが、制御装置120がスポーツの種別を特定できる情報であればよく、IDなどの任意の情報であってよい。
【0075】
「行動ポリシ」の項目には、移動体10の行動内容を指定する情報が設定される。移動体10の行動ポリシとして、例えば、全自動モードと、映像記録モードと、アドバイスモードとが実装される。なお、前述の例では、説明の便宜上、移動体10の行動内容を指定する情報として、行動ポリシの名称を示しているが、制御装置120が行動ポリシを特定できる情報であればよい。
【0076】
「行動内容」の項目には、「スポーツ種別」の項目及び「行動ポリシ」の項目に設定される情報に応じた移動体10の行動内容の情報が設定される。「行動内容」の項目は、「映像記録」の項目と、「アドバイス」の項目とに分かれている。移動体10が実行するアクションである「映像記録」の項目には、例えば、映像記録を行う際に用いる撮像モードが設定される。また、「アドバイス」の項目には、所定のタイミングごとにプレイヤーに提供する情報の内容が設定される。
【0077】
図9に戻り、距離情報取得部1204は、距離センサ111から距離情報を取得する。距離情報取得部1204は、取得した距離情報を、物体検出部1208と、人体検出部1210と、自己位置算出部1212と、3D環境認識部1213とに送る。
【0078】
画像情報取得部1205は、イメージセンサ112から画像情報を取得する。画像情報取得部1205は、取得した画像情報を、物体検出部1208と、人体検出部1210と、自己位置算出部1212とに送る。また、画像情報取得部1205は、撮像対象の映像記録により録画された画像情報を行動制御部1217に送る。
【0079】
IMU情報取得部1206は、IMU113からIMU情報を取得する。IMU情報取得部1206は、取得したIMU情報を、自己位置算出部1212に送る。
【0080】
GPS情報取得部1207は、GPSセンサ114からGPS情報を取得する。GPS情報取得部1207は、取得したGPS情報を、自己位置算出部1212に送る。
【0081】
物体検出部1208は、距離情報取得部1204から取得する距離情報と、画像情報取得部1205から取得する画像情報とに基づいて、移動体10の周辺にある物体を検出する。物体検出部1208は、検出した物体の物体情報を物体状態認識部1209に送る。
【0082】
物体状態認識部1209は、物体検出部1208から取得した物体情報に基づいて、物体の位置や、速度や、動作などを認識する。物体状態認識部1209は、認識結果を状況認識部1215に送る。
【0083】
人体検出部1210は、距離情報取得部1204から取得する距離情報と、画像情報取得部1205から取得する画像情報とに基づいて、移動体10の周辺にある人体を検出する。人体検出部1210は、検出した人体の人体情報を人体状態認識部1211に送る。
【0084】
人体状態認識部1211は、人体検出部1210から取得した人体情報に基づいて、人の位置や、向きや、姿勢や、性別や、動作などを認識する。人体状態認識部1211は、認識結果を状況認識部1215に送る。
【0085】
自己位置算出部1212は、距離情報取得部1204から取得する距離情報と、画像情報取得部1205から取得する画像情報と、IMU情報取得部1206から取得するIMU情報と、GPS情報取得部1207から取得するGPS情報とに基づいて、移動体10の位置や、姿勢や、速度や、角速度などを算出する。自己位置算出部1212は、算出した移動体10の位置や、姿勢や、速度や、角速度などの自機情報を3D環境認識部1213に送る。
【0086】
3D環境認識部1213は、距離情報取得部1204から取得する距離情報と、自己位置算出部1212から取得する自機情報とを用いて、移動体10の周辺の環境に対応する3次元の環境地図を作成する。3D環境認識部1213は、環境構造をグリットや点群、ボクセルなどの任意の形態で表現したものを作成できる。3D環境認識部1213は、作成した環境地図を、状況認識部1215に送る。
【0087】
データ受信部1214は、端末装置20や他の移動体などから送信された情報を受信する。データ受信部1214が受信する情報には、端末装置20の位置を示すGPS情報や、前述のプレイヤー情報や、他の移動体が作成した環境地図や、他の移動体が検出した他のプレイヤーの位置情報などが含まれる。データ受信部1214は、受信した情報を状況認識部1215と、行動計画部1216とに送る。
【0088】
状況認識部1215は、物体状態認識部1209による物体認識結果と、人体状態認識部1211による人体認識結果と、3D環境認識部1213により作成された環境地図と、環境情報記憶部1201に記憶されている撮像環境情報と、データ受信部1214により受信された情報とに基づいて、撮像対象の撮像に臨む現在の状況を認識する。
【0089】
状況認識部1215は、例えば、端末装置20から受信するGPS情報と、物体認識結果と、人体認識結果と、環境地図とに基づいて、環境地図における物体及び人体の位置、姿勢、動作などを把握する。また、状況認識部1215は、環境地図と撮像環境情報とのマッチングにより、移動体10の詳細な位置及び姿勢などを把握する。これにより、状況認識部1215は、例えば、撮像対象がゴルフのプレイヤーである場合、撮像対象であるプレイヤーが斜面にあるゴルフボールをグリーンに向かって打とうとしているショット前であり、グリーン上は毎秒5メートルのアゲインストの風が吹いているなどといった状況を認識する。状況認識部1215は、状況認識結果を行動計画部1216に送る。
【0090】
行動計画部1216は、状況認識部1215による状況認識結果と、設定情報記憶部1203に記憶されている設定情報とに基づいて、移動体10の行動計画を決定する。
【0091】
具体的には、行動計画部1216は、設定情報記憶部1203に記憶されている設定情報から、データ受信部1214により取得されたスポーツ種別及び行動ポリシに対応する行動内容を選択する。行動計画部1216は、選択した行動内容に基づいて移動体10を動作させるため、撮像対象の撮像に臨む現在の状況の認識結果を示す状況認識結果を反映した行動計画を決定する。図11及び図12は、本開示の実施形態に係る状況認識結果として取得される情報の具体例を示す図である。図11は、ゴルフに対応する情報の具体例を示している。図12は、クライミングに対応する情報の具体例を示している。
【0092】
図11に示すように、スポーツ種別がゴルフである場合、ゴルフの映像記録を適切に行うための情報が状況認識結果として取得される。なお、ゴルフに関する状況認識結果として取得される情報は、図11に示す例には限定される必要はなく、図11に示す以外の情報が取得されてもよい。また、図12に示すように、スポーツ種別がクライミングである場合、クライミングの映像記録を適切に行うための情報が状況認識結果として取得される。クライミングを行っているプレイヤーの状況に移動に追従して、プレイヤーの状況に応じた映像を適切に記録するための情報が設定される。なお、クライミングに関する状況認識結果として取得される情報は、図11に示す例には限定される必要はなく、図11に示す以外の情報が取得されてもよい。
【0093】
続いて、行動計画部1216は、設定情報に基づいて選択した移動体10の行動内容に従って、撮像対象の映像記録を行うためのカメラアングルを決定する。カメラアングルの決定後、行動計画部1216は、移動体10に撮像対象の映像記録を行わせるための行動計画を決定する。行動計画部1216が決定する行動計画には、移動体10を撮像位置まで移動させるための移動計画が含まれる。例えば、行動計画部1216は、環境地図における撮像対象の位置や姿勢、及び、環境地図における移動体10の位置や姿勢などに基づいて、移動体10を撮像位置まで移動させるための移動計画を決定する。行動計画部1216は、例えば、環境地図に対して、任意の探索アルゴリズムを適用することにより、撮像位置までの最適経路を計画できる。そして、行動計画部1216は、移動計画に基づく移動経路を従って撮像位置まで移動し、撮像対象の映像記録を実行するという移動体10の行動計画を決定する。
【0094】
行動制御部1217は、行動計画部1216による行動計画や端末装置20から受信するGPS情報に基づいて、移動体10の行動を制御する。例えば、行動制御部1217は、環境地図における移動体10の状態(位置や姿勢など)と、行動計画において計画された移動体10の状態(移動経路や行動内容)とを比較し、移動体10の状態を行動計画において計画された状態に近づけるように、移動体10の行動を制御する。行動制御部1217は、行動計画に従って、イメージセンサ112及び画像情報取得部1205を制御し、撮像対象の映像記録を実行する。行動制御部1217は、撮像対象の映像記録によって録画された画像情報を、データ送信部1218に送る。例えば、行動制御部1217は、撮像した画像や、撮像対象の位置情報などをデータ送信部1218に送る。
【0095】
データ送信部1218は、行動制御部1217から取得した画像情報を端末装置20に送信する。データ送信部1218は、例えば、端末装置20のユーザが設定する任意のタイミングで、画像情報を端末装置20に送信できる。データ送信部1218は、映像記録により録画された画像情報を、予め定められるタイミングで撮像対象であるユーザの所持する端末装置20に送信する送信部として機能する。
【0096】
(3-1-1.撮像モード例)
以下、移動体10の行動ポリシの1つである映像記録モードに実装される撮像モードの一例について説明する。図13図16は、本開示の実施形態に係る撮像モードの概要を示す模式図である。以下では、撮像シーンがゴルフである場合の撮像モードについて説明する。
【0097】
映像記録モードには、第1撮像モードと、第2撮像モードと、第3撮像モードの3つの撮像モードが実装される。
【0098】
第1撮像モードは、プレイヤーの側面から撮像した画像を記録する撮像モードである。第1撮像モードは、プレイヤーUの側面のうち、プレイヤーUからピンPの位置とは反対側のバックスイング方向の側面から撮像を行う。図13は、右打ちのプレイヤーの撮像の様子を示している。図13に示すように、第2撮像モードで撮像を行う移動体10は、カートKから最適な撮像位置に移動し、ゴルフのプレイヤーUの側面からプレイヤーUのショットの様子を撮像する。また、移動体10は、プレイヤーのショット後、次のショット地点まで移動し、同様に撮像を行う。第1撮像モードは、例えば、バックスイングの軌道の確認などを希望するプレイヤーUによる選択が想定される。
【0099】
第2撮像モードは、第1撮像モードとは反対側のプレイヤーの側方から撮像した画像を記録する撮像モードである。すなわち、第2撮像モードは、プレイヤーUの側面のうち、プレイヤーUからピンPの位置に向かったフォロースイング方向の側面から撮像を行う。例えば、図14は、右打ちのプレイヤーUの撮像の様子を示している。図14に示すように、第2撮像モードで撮像を行う移動体10は、カートKから最適な撮像位置に移動し、ゴルフのプレイヤーUの正面からプレイヤーUのショットの様子を撮像する。また、移動体10は、プレイヤーのショット後、次のショット地点まで移動し、同様に撮像を行う。第1撮像モードは、例えば、フォロースイングの軌道の確認などを希望するプレイヤーUによる選択が想定される。
【0100】
第3撮像モードは、プレイヤーの正面から撮像した画像を記録する撮像モードである。例えば、図15は、右打ちのプレイヤーUの撮像の様子を示している。図16は、左打ちのプレイヤーの撮像の様子を示している。図15又は図16に示すように、第3撮像モードで撮像を行う移動体10は、カートKから最適な撮像位置に移動し、ゴルフのプレイヤーUの正面からプレイヤーUのショットの様子を撮像する。また、移動体10は、プレイヤーのショット後、次のショット地点まで移動し、同様に撮像を行う。第1撮像モードは、例えば、インパクトの瞬間の確認などを希望するプレイヤーUによる選択が想定される。なお、移動体10は、プレイヤーUのショット間の移動中、カートKに戻り、充電を行ってもよい。
【0101】
(3-1-2.映像提供例)
移動体10は、記録した映像を予め定められるタイミングでユーザに提供できる。図17図20は、本開示の実施形態に係る情報提供の概要を示す模式図である。以下では、ゴルフをプレイ中のユーザに対して、記録した映像などの各種情報を提供する例について説明する。なお、以下に説明する移動体10の動作は、移動体10に搭載された制御装置120により実現される。
【0102】
ゴルフのプレイにおいて、ショットの結果をいち早く確認することを望むプレイヤーが少なからず存在する。そこで、図17に示すように、移動体10は、ショットの瞬間を撮像した後、ショットの結果等をプレイヤーUに知らせるための複数のシーンの映像を記録し、プレイヤーUに提供できる。移動体10は、ショットの瞬間の映像を記録した後、ゴルフボールBLの位置や状況の映像EZ2や、ゴルフボールBLとピンPと位置関係を俯瞰した映像EZ3や、ゴルフボールBLの位置からピンPの方向を見た映像EZ4などを記録する。移動体10は、プレイヤーUのショットが終了し、ゴルフボールBLの位置が確定次第、記録した各映像情報を端末装置20に送信することにより、プレイヤーUに提供する。
【0103】
また、ゴルフには、グリーン上にある複数のゴルフボールが位置する場合、ピンから最も遠いプレイヤーからパッティングを行うというルールなどが存在する。そこで、図18に示すように、移動体10は、グリーンGN上に位置するボールBLの様子を撮像し、記録した映像EZ5を端末装置20に送信することにより、プレイヤーUに提供する。なお、移動体10は、グリーンGN上に位置するゴルフボールとピンPとの距離を計測し、プレイヤーUに提供する映像に含めてもよい。
【0104】
また、ゴルフのプレイにおいて、グリーン上のピンの位置が見えないなど見通しの悪い中でショットを行う状況が発生し得る。そこで、図19に示すように、移動体10は、プレイヤーUの位置と、ピンPの位置と、自機の位置との位置関係を俯瞰して撮像し、記録した俯瞰映像EZ6を端末装置20に送信することにより、プレイヤーUに提供する。
【0105】
また、移動体10は、プレイヤーがスポーツを進行する上で有益な動作の実行を行動計画も一部として決定してもよい。例えば、移動体10は、プレイヤーUの位置とピンPの位置とを結ぶ直線上で空中浮揚し、自機の位置を用いてプレイヤーUのショット方向を提示する。また、ゴルフのプレイにおいて、グリーン上のパッティングラインを見極めることが難しい場合がある。そこで、図20に示すように、移動体10は、プロジェクションマッピング等より、グリーンGN上に、パッティングラインPLを示す映像を映し、プレイヤーUに提供する。
【0106】
(3-1-3.他の移動体との連携)
上記実施形態において、移動体10は、他の移動体(制御装置)と連携して処理を行ってもよい。図21及び図22は、本開示の実施形態に係る移動体間の連携処理の概要を示す図である。なお、以下に説明する移動体10の動作は、移動体10に搭載された制御装置120により実現される。
【0107】
図21に示す例において、移動体10及び移動体10は、環境地図を共有するとともに、互いの位置や、互いの撮像対象の状況などを共有しているものとする。また、移動体10aはプレイヤーUaの映像記録の役割を担い、移動体10bはプレイヤーUbの映像記録の役割を担っているものとする。
【0108】
このとき、移動体10bは、撮像対象であるプレイヤーUbが打ったボールBL-bの予測落下地点が、プレイヤーUaのボールBL-aの落下地点から所定の範囲内にあると判断した場合、ボールBL-bの予測落下地点の情報を移動体10aに送信する。
【0109】
移動体10aは、移動体10bからボールBL-bの予測落下地点の情報を受信すると、この予測落下地点の情報に基づいて、ボールBL-bを行方を探索する。そして、移動体10aは、ボールBL-bを発見すると、ボールBL-bの位置を移動体10bに送信する。
【0110】
また、図22に示す例において、移動体10a、移動体10b、移動体10c、及び移動体10dは、環境地図を共有するとともに、互いの位置や、互いの撮像対象の状況などを共有しているものとする。そして、移動体10aは、撮像対象であるプレイヤーUaのティーショットの瞬間を撮像し、移動体10b~移動体10dは打球の様子を撮像するというように役割を分担しているものとする。
【0111】
このとき、移動体10aは、プレイヤーUaが打ったボールBL-aの予測軌道や予測落下地点などの情報を移動体10b~移動体10dに送信する。移動体10b~移動体10dは、移動体10aから予測軌道や予測落下地点などの情報を受信すると、これらの情報に基づいて、移動体10b~移動体10dの各々が自律的に行動し、打球の様子を撮像する。例えば、移動体10b~移動体10dのうち、予測軌道に最も近い移動体が飛行中の打球の様子を撮像し、予測落下地点に最も近い移動体がボールBL-aの行方を探索することが考えられる。
【0112】
(3-1-4.ウェアラブル装置との連携)
上記実施形態において、移動体10は、ユーザが装着するアイグラスなどのウェアラブル装置と連携してもよい。図23は、本開示の実施形態に係る移動体とウェアラブル装置との連携処理の概要を示す図である。なお、以下に説明する移動体10の動作は、移動体10に搭載された制御装置120により実現される。
【0113】
図23に示すように、移動体10は、撮像対象であるプレイヤーUが装着しているウェアラブル装置WDと連携する。そして、移動体10は、プレイヤーUを撮像し、記録した映像EZ7をウェアラブル装置WDに送信する。
【0114】
(3-1-5.構造物からの撮像)
上記実施形態において、移動体10は、木の枝などの構造物に取り付いて、撮像対象の映像記録などを実行してもよい。図24は、本開示の実施形態に係る構造物からの撮像の概要を示す模式図である。なお、以下に説明する移動体10の動作は、移動体10に搭載された制御装置120により実現される。
【0115】
図24に示すように、移動体10は、撮像対象であるプレイヤーUを撮像するためのカメラアングルを保持したまま取り付くことが可能な構造物が、自機の周辺に存在するか探索を行う。そして、移動体10は、取り付くことが可能な構造物OBを発見した場合、構造物OBに取り付いて、プレイヤーUのショットの様子を撮像する。図25は、本開示の実施形態に係る移動体の着陸装置例を示す図である。
【0116】
図25の左図は、移動体10が備える着陸装置LGの側面を示し、図25の右図は、移動体10が備える着陸装置LGの正面を示している。図25に示すように、移動体10は、本体部BDに連結された着陸装置LGを備えている。図25に示す着陸装置LGは、鉤型の形状を有している。移動体10は、通常の移動状態である場合、着陸装置LGを下に向けて飛行する。一方、移動体10は、構造物OBに取り付く場合、通常の移動状態である場合とは異なり、本体部BDと着陸装置LGの位置を上下逆さまの状態に入れ替えて飛行する。図26は、本開示の実施形態に係る移動体の着陸装置が構造物に取り付く様子を示す図である。
【0117】
図26に示すように、移動体10は、背面飛行を行うことにより、通常の移動状態のときには下を向いている着陸装置LGを上に向ける。これにより、移動体10は、鉤型の着陸装置LGを構造物OBに引っ掛けて取り付くことができる。移動体10は、構造物OBに取り付くことにより、空中浮揚を行う必要がなく、電力を節約できる。
【0118】
(3-2.端末装置の構成)
以下、本開示の実施形態に係る端末装置の構成について説明する。図27は、本開示の実施形態に係る端末装置の構成例を示すブロック図である。
【0119】
端末装置20は、スポーツを行うユーザが携帯する情報処理装置であり、典型的にはスマートフォン等の電子機器である。情報処理装置100は、携帯電話、タブレット、ウェアラブル装置、PDA(Personal Digital Assistant)、パーソナルコンピュータ等であってもよい。
【0120】
図27に示すように、端末装置20は、本開示の実施形態に係る情報処理を実現するための各機能部として、GPSセンサ21と、GPS情報取得部22と、UI(User Interface)操作部23と、データ送信部24と、データ受信部25と、データ表示部26とを有する。
【0121】
端末装置20が有する各機能部は、プロセッサやメモリを備えた制御回路により実現される。端末装置20が有する各機能部は、例えば、プロセッサによって内部メモリから読み込まれたプログラムに記述された命令が、内部メモリを作業領域として実行されることにより実現される。プロセッサが内部メモリから読み込むプログラムには、OS(Operating System)やアプリケーションプログラムが含まれる。また、端末装置20が有する各機能部は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)等の集積回路により実現されてもよい。
【0122】
また、前述の内部メモリとして機能する主記憶装置や補助記憶装置は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
【0123】
GPSセンサ21は、端末装置20の位置(緯度及び経度)を計測し、GPS情報を取得する。GPSセンサ21は、取得したGPS情報をGPS情報取得部22に送る。
【0124】
GPS情報取得部22は、GPSセンサ21からGPS情報を取得する。GPS情報取得部22は、取得したGPS情報をデータ送信部24に送る。
【0125】
UI操作部23は、データ表示部26に表示するユーザインターフェイスを介して、ユーザの操作入力を受け付け、ユーザインターフェイスに入力される各種情報を取得する。UI操作部23は、例えば、各種のボタン、キーボード、タッチパネル、マウス、スイッチ、マイクなどにより実現できる。UI操作部23が取得する情報には、移動体10との接続時に設定されるユーザIDや、プレイヤー情報や、行動ポリシの情報などが含まれる。UI操作部23は、入力された各種情報をデータ送信部24に送る。
【0126】
データ送信部24は、移動体10に対して各種情報を送信する。データ送信部24は、GPS取得部から取得するGPS情報や、プレイヤー情報や、行動ポリシの情報などを移動体10に送信する。
【0127】
データ受信部25は、移動体10から各種情報を受信する。データ受信部25が受信する情報には、移動体10により撮像された画像情報が含まれる。データ受信部25は、移動体10から受信した各種情報をデータ表示部26に送る。
【0128】
前述のデータ送信部24及びデータ受信部25は、NIC(Network Interface Card)や各種通信用モデム等によって実現できる。
【0129】
データ表示部26は、各種情報を表示する。データ表示部26は、CRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)、OLED(Organic Light Emitting Diode)などの表示デバイスを用いて実現できる。データ表示部26は、端末装置20のユーザからの操作入力を受け付けるためのユーザインターフェイスを表示する。また、データ表示部26は、移動体10から受信した画像情報を表示する。
【0130】
<<4.処理手順例>>
(4-1.全体的な処理の流れ)
以下、図28図31を用いて、本開示の実施形態に係る制御装置120の処理手順例について説明する。まず、図28を用いて、本開示の実施形態に係る制御装置120による全体的な処理の流れを説明する。図28は、本開示の実施形態に係る制御装置の全体的な処理手順例を示すフローチャートである。図28に示す処理手順例は、制御装置120により実行される。
【0131】
図28に示すように、制御装置120は、端末装置20のユーザにより指定される移動体10の行動ポリシが全自動モードであるか否かを判定する(ステップS101)。
【0132】
制御装置120は、行動ポリシが全自動モードであると判定した場合(ステップS101,Yes)、端末装置20から受信するスポーツ種別に対応する設定情報を参照し、移動体10の行動内容を「映像記録+アドバイス」に決定する(ステップS102)。
【0133】
そして、制御装置120は、全自動モードに応じた移動体10の行動制御処理(後述する図28図31参照)を実行して(ステップS103)、図28に示す処理手順を終了する。
【0134】
前述のステップS101において、制御装置120は、行動ポリシが全自動モードではないと判定した場合(ステップS101,No)、行動ポリシが映像記録モードであるか否かを判定する(ステップS104)。
【0135】
制御装置120は、行動ポリシが映像記録モードであると判定した場合(ステップS104,Yes)、移動体10の行動内容動作を「映像記録」に決定する(ステップS105)。
【0136】
そして、制御装置120は、前述のステップS103の処理手順に移り、映像記録モードに応じた移動体10の行動制御処理を実行して、図28に示す処理を終了する。
【0137】
前述のステップS104において、制御装置120は、行動ポリシが映像記録モードではないと判定した場合(ステップS104,No)、行動ポリシがアドバイスモードであると判定し、移動体10の行動内容を「アドバイス」に決定する(ステップS106)。
【0138】
そして、行動計画部1216は、前述のステップS103の処理手順に移り、アドバイスモードに応じた移動体10の行動制御処理を実行して、図28に示す処理を終了する。
【0139】
(4-2.行動制御処理)
次に、図29を用いて、本開示の実施形態に係る制御装置120による行動制御処理の流れを説明する。図29は、本開示の実施形態に係る制御装置の行動制御処理の処理手順例を示すフローチャートである。図29に示す処理手順例は、移動体10の動作中、制御装置120により繰り返し実行される。
【0140】
図29に示すように、制御装置120は、撮像対象の状況を把握する(ステップS201)。すなわち、制御装置120は、撮像対象が置かれる状況の認識結果を示す状況認識結果を取得する。
【0141】
制御装置120は、図28の処理手順で決定された行動ポリシに対応する行動内容と、撮像対象の状況とに基づいて、移動体10の行動計画を決定する(ステップS202)。
【0142】
続いて、制御装置120は、行動計画に従ったアクションを実行するために移動する必要があるか否かを判定する(ステップS203)。
【0143】
制御装置120は、アクションを実行するために移動する必要があると判定した場合(ステップS203,Yes)、アクションを実行するために最適な場所を探索して最適な場所へ移動し(ステップS204)、行動計画に従ったアクションを実行する(ステップS205)。一方、制御装置120は、アクションを実行するために移動する必要がないと判定した場合(ステップS203,No)、前述のステップS205の処理手順に移行し、行動計画に従ったアクションを実行する。
【0144】
行動計画に従ったアクションの実行後、制御装置120は、充電のために移動する必要があるか否かを判定する(ステップS206)。
【0145】
制御装置120は、充電のために移動する必要があると判定した場合(ステップS206,Yes)、充電場所へ移動して充電する(ステップS207)。一方、制御装置120は、充電のために移動する必要がないと判定した場合(ステップS206,No)、以下に説明するステップS208の処理手順に移る。
【0146】
制御装置120は、移動体10の動作を終了するか否かを判定する(ステップS208)。制御装置120は、移動体10の動作を終了しないと判定した場合(ステップS208,No)、上記ステップS201の処理手順に戻り、図29に示す処理手順を継続する。一方、制御装置120は、移動体10の動作を終了すると判定した場合(ステップS208,Yes)、図29に示す処理手順を終了する。
【0147】
(4-3.行動制御処理の具体的な処理手順例)
(4-3-1.ゴルフに対応する具体的な処理手順例)
次に、図30を用いて、ゴルフに対応する行動制御処理の具体的な処理手順例について説明する。図30は、本開示の実施形態に係る制御装置の行動制御処理の具体的な処理手順例(1)を示すフローチャートである。図30は、ユーザにより指定された行動ポリシが「映像記録モード」である場合の処理手順例を示している。
【0148】
図30に示すように、制御装置120は、撮像対象であるプレイヤー等の状況等を把握する(ステップS301)。すなわち、制御装置120は、プレイヤー等の状況の認識結果(プレイヤーとホールドとの位置関係など)を示す状況認識結果を取得する。例えば、制御装置120は、右打ちで、1番ウッドの平均飛距離が250ヤードで、レギュラーティーを使用するプレイヤーUが、左ドックレッグの9番ホールのティーショット前の素振り中であるといった具体的な状況を取得する。
【0149】
制御装置120は、プレイヤー等の状況から、プレイヤーがショット前である場合、最適な撮像位置を探索し、プレイヤーのショット後である場合、ゴルフボールの打ち出し角度から打球の落下地点を予測出する(ステップS302)。
【0150】
そして、制御装置120は、プレイヤーから指定された行動ポリシに基づく行動内容と、プレイヤー等の状況とに基づいて、移動体10の行動計画を決定する(ステップS303)。すなわち、制御装置120は、行動ポリシに対応する行動内容に基づいて移動体10を動作させるため、撮像対象であるプレイヤー等の撮像に臨む現在の状況の認識結果を示す状況認識結果を反映した行動計画を決定する。
【0151】
制御装置120は、行動計画に従って映像記録を実行するために移動する必要があるか否かを判定する(ステップS304)。
【0152】
制御装置120は、映像記録を実行するために移動する必要があると判定した場合(ステップS304,Yes)、プレイヤーがアドレスに入る前に最適な場所へ移動し、プレイヤーの様子を撮像するためのカメラアングルを決定する(ステップS305)。例えば、最適な場所は、プレイヤー等の状況(例えば、ティーショット前)により選択した撮像モードに予め定められた構図で、ティーショットの瞬間を撮像することができる撮像位置に該当する。
【0153】
一方、制御装置120は、映像記録を実行するために移動する必要がないと判定した場合(ステップS304,No)、現在位置で待機してカメラアングルを決定し(ステップS306)、次のステップS307の処理手順に移る。
【0154】
制御装置120は、決定したカメラアングルでショットの瞬間を録画する(ステップS307)。なお、制御装置120は、行動ポリシが全自動モード又はアドバイスモードである場合、ゴルフボールの位置や状況の映像や、ゴルフボールとピンと位置関係を俯瞰した映像や、ゴルフボールの位置からピンの方向を見た映像Eなどを端末装置20に送信して、プレイヤーに提示できる。また、制御装置120は、プレイヤーのショットの結果がOBなどのペナルティであると判断した場合、その旨を端末装置20に送信して、プレイヤーに通知できる。また、プレイヤーがアイグラスなどのウェアラブル装置を装着している場合、制御装置120は、プレイヤーの現在の状況を知らせるための映像などをウェアラブル装置に送信できる。
【0155】
続いて、制御装置120は、ショットを行ったプレイヤーの打数をカウントする(ステップS308)。制御装置120は、カウントした打数を、ショットを行ったプレイヤーUが所持する端末装置20に送信する(ステップS309)。
【0156】
続いて、制御装置120は、充電のために移動する必要があるか否かを判定する(ステップS310)。
【0157】
制御装置120は、充電のために移動する必要があると判定した場合(ステップS310,Yes)、カート(充電場所)へ移動して充電する(ステップS311)。一方、制御装置120は、充電のために移動する必要がないと判定した場合(ステップS310,No)、次のステップS312の処理手順に移る。
【0158】
制御装置120は、移動体10の動作を終了するか否かを判定する(ステップS312)。制御装置120は、移動体10の動作を終了しないと判定した場合(ステップS312,No)、上記ステップS301の処理手順に戻り、図30に示す処理手順を継続する。一方、制御装置120は、移動体10の動作を終了すると判定した場合(ステップS312,Yes)、図30に示す処理手順を終了する。
【0159】
(4-3-2.クライミングに対応する具体的な処理手順例)
次に、図31を用いて、クライミングに対応する行動制御処理の具体的な処理手順例について説明する。図31は、本開示の実施形態に係る制御装置の行動制御処理の具体的な処理手順例(2)を示すフローチャートである。図31は、ユーザにより指定される行動ポリシが「映像記録モード」である場合の処理手順例を示している。
【0160】
図31に示すように、制御装置120は、撮像対象であるプレイヤー等の状況を把握する(ステップS401)。例えば、制御装置120は、身長が170センチメートルで、体重が45キログラムで、右手の握力が60キログラム、左手の握力が40キログラムで、右手の位置が「ホールド(H17)」にあり、左手の位置が「ホールド(H15)」にあり、右足の位置が「ホールド(H7)」にあり、左足の位置が「ホール(H4)」にあるといった具体的な状況を取得する。
【0161】
制御装置120は、プレイヤーから指定された行動ポリシに基づく行動内容と、プレイヤー等の状況とに基づいて、移動体10の行動計画を決定する(ステップS402)。すなわち、制御装置120は、行動ポリシに対応する行動内容に基づいて移動体10を動作させるため、撮像対象であるプレイヤー等の撮像に臨む現在の状況の認識結果を示す状況認識結果を反映した行動計画を決定する。
【0162】
制御装置120は、行動計画に従って映像記録を実行するために移動する必要があるか否かを判定する(ステップS403)。
【0163】
制御装置120は、映像記録を実行するために移動する必要があると判定した場合(ステップS403,Yes)、プレイヤーを追尾しながら、最適な撮像位置を探索し、カメラアングルを決定する(ステップS404)。
【0164】
一方、制御装置120は、映像記録を実行するために移動する必要がないと判定した場合(ステップS403,No)、現在位置で待機してカメラアングルを決定する(ステップS405)。
【0165】
そして、制御装置120は、決定したカメラアングルでクライミングの様子を録画する(ステップS406)。なお、制御装置120は、行動ポリシが全自動モード又はアドバイスモードである場合、プレイヤー情報(身長や四肢の長さ、握力など)やプレイヤー動作情報(使用中のホールドの位置など)、周辺環境情報(壁の凹凸形状など)などに基づいて、次に進むべきホールドの位置を、プロジェクションマッピングなどを用いてプレイヤーに提示できる。また、プレイヤーがアイグラスなどのウェアラブル装置を装着している場合、制御装置120は、プレイヤーの現在の状況を知らせるための俯瞰映像などをウェアラブル装置に送信できる。
【0166】
続いて、制御装置120は、充電のために移動する必要があるか否かを判定する(ステップS407)。
【0167】
制御装置120は、充電のために移動する必要があると判定した場合(ステップS407,Yes)、カート(充電場所)へ移動して充電する(ステップS408)。一方、制御装置120は、充電のために移動する必要がないと判定した場合(ステップS407,No)、次のステップS409の処理手順に移る。
【0168】
制御装置120は、移動体10の動作を終了するか否かを判定する(ステップS409)。制御装置120は、移動体10の動作を終了しないと判定した場合(ステップS409,No)、上記ステップS401の処理手順に戻り、図31に示す処理手順を継続する。一方、制御装置120は、移動体10の動作を終了すると判定した場合(ステップS409,Yes)、図31に示す処理手順を終了する。
【0169】
<<5.変形例>>
(5-1.端末装置による行動計画の決定)
上記実施形態では、移動体10が備える制御装置120が、移動体10の行動計画を決定するための情報処理を実行する例を説明したが、端末装置20において移動体10の行動計画を決定するための情報処理を実行してもよい。図32は、変形例に係る装置構成例を示すブロック図である。
【0170】
図32に示すように、端末装置20は、環境情報記憶部201と、行動ポリシ記憶部202と、設定情報記憶部203とを有する。環境情報記憶部201は、図9に示す環境情報記憶部1201に対応する。行動ポリシ記憶部202は、図9に示す行動ポリシ記憶部1202に対応する。設定情報記憶部203は、図9に示す設定情報記憶部1203に対応する。
【0171】
また、図32に示すように、端末装置20は、物体検出部204と、物体状態認識部205と、人体検出部206と、人体状態認識部207と、自己位置算出部208と、3D環境認識部209とを有する。物体検出部204は、図9に示す物体検出部1208に対応する。物体状態認識部205は、図9に示す物体状態認識部1209に対応する。人体検出部206は、図9に示す人体検出部1210に対応する。人体状態認識部207は、図9に示す人体状態認識部1211に対応する。自己位置算出部208は、図9に示す自己位置算出部1212に対応する。3D環境認識部209は、図9に示す3D環境認識部1213に対応する。
【0172】
また、図32に示すように、端末装置20は、状況認識部210と、行動計画部211とを有する。状況認識部210は、図9に示す状況認識部1215に対応する。行動計画部211は、図9に示す行動計画部1216に対応する。
【0173】
一方、図32に示すように、移動体10が備える制御装置120は、図9に示す各部のうち、距離情報取得部1204と、画像情報取得部1205と、IMU情報取得部1206と、GPS情報取得部1207と、データ受信部1214と、行動制御部1217と、データ送信部1218とを有する。
【0174】
制御装置120のデータ送信部1218は、端末装置20に対して、距離情報取得部1204が取得した距離情報と、画像情報取得部1205が取得した画像情報と、IMU情報取得部1206が取得したIMU情報と、GPS情報取得部1207が取得したGPS情報とを送信する。
【0175】
端末装置20は、制御装置120から取得する情報に基づいて、図9に示す制御装置120と同様の情報処理を実行する。
【0176】
データ受信部25は、移動体10から距離情報と、画像情報と、IMU情報と、GPS情報とを受信する。物体状態認識部205は、物体状態認識部1209に対応する処理を行い、処理結果を状況認識部210に送る。人体状態認識部207は、人体状態認識部1211に対応する処理を行い、処理結果を状況認識部210に送る。自己位置算出部208は、自己位置算出部1212に対応する処理を行い、処理結果を状況認識部210に送る。3D環境認識部209は、3D環境認識部1213に対応する処理を行い、処理結果を状況認識部210に送る。
【0177】
状況認識部210は、状況認識部1215に対応する処理を行う。すなわち、状況認識部210は、物体状態認識部205による物体認識結果と、人体状態認識部207による人体認識結果と、3D環境認識部209により作成された環境地図と、環境情報記憶部201に記憶されている撮像環境情報と、データ受信部25により受信された情報とに基づいて、撮像対象(プレイヤーや用具など)の撮像に臨む現在の状況を認識する。状況認識部210は、処理結果を行動計画部211に送る。
【0178】
行動計画部211は、行動計画部1216に対応する処理を行う。すなわち、行動計画部211は、状況認識部210による状況認識結果と、設定情報記憶部203に記憶されている設定情報とに基づいて、移動体10の行動計画を決定する。行動計画部211は、決定した行動計画をデータ送信部24に送る。
【0179】
データ送信部24は、GPS情報取得部22により取得されたGPS情報とともに、行動計画部211により決定された行動計画を移動体10に送信する。
【0180】
制御装置120のデータ受信部1214は、端末装置20から受信したGPS情報および行動計画を行動制御部1217に送る。
【0181】
行動制御部1217は、端末装置20から受信したGPS情報および行動計画に基づいて、移動体10の行動を制御する。
【0182】
(5-2.システム変形例)
(5-2-1.サーバによる行動計画の決定)
本開示の実施形態に係る制御装置120による情報処理をサーバにより実行してもよい。図33は、変形例に係るシステム構成例を示す模式図である。
【0183】
図33に示すように、変形例に係る情報処理システム1Bは、移動体10と、端末装置20と、サーバ30とを含む。情報処理システム1Bの構成は、図33に示す例には特に限定される必要はなく、図33に示すよりも多くの移動体10や、端末装置20や、サーバ装置300を含んでいてもよい。
【0184】
移動体10、端末装置20及びサーバ30は、それぞれネットワークNに接続する。移動体10は、ネットワークNを介して、端末装置20やサーバ30と通信する。端末装置20は、ネットワークNを介して、移動体10やサーバ30と通信する。サーバ30は、ネットワークNを介して、移動体10や端末装置20と通信する。
【0185】
図34は、変形例に係る装置構成例を示すブロック図である。図34に示す端末装置20は、図27に示す端末装置20と同様の機能構成を有する。例えば、端末装置20のデータ送信部24は、GPS取得部から取得するGPS情報や、プレイヤー情報や、行動ポリシの情報などを移動体10に送信する。
【0186】
また、図34に示す移動体10が備える制御装置120は、図32に示す制御装置120と同様の機能構成を有する。制御装置120のデータ送信部1218は、サーバ30に対して、距離情報取得部1204が取得した距離情報と、画像情報取得部1205が取得した画像情報と、IMU情報取得部1206が取得したIMU情報と、GPS情報取得部1207が取得したGPS情報とを送信する。また、データ送信部1218は、端末装置20から受信したGPS情報や、プレイヤー情報や、行動ポリシの情報などをサーバ30に送信する。
【0187】
また、図34に示すように、サーバ30は、データ受信部31と、データ送信部32とを有する。データ受信部31は、例えば、図32に示す端末装置20のデータ受信部25と同様の機能を有する。データ受信部31は、移動体10から、距離情報と、画像情報と、IMU情報と、GPS情報とを受信する。また、データ受信部31は、移動体10から、端末装置20のGPS情報と、端末装置20のユーザのプレイヤー情報と、端末装置20のユーザが指定した行動ポリシの情報とを受信する。
【0188】
データ送信部32は、図32に示す端末装置20のデータ送信部24と同様の機能を有する。データ送信部32は、後述する行動計画部311により決定された行動計画を移動体10に送信する。
【0189】
また、図34に示すように、サーバ30は、環境情報記憶部301と、行動ポリシ記憶部302と、設定情報記憶部303とを有する。環境情報記憶部301は、図9に示す環境情報記憶部1201に対応する。行動ポリシ記憶部302は、図9に示す行動ポリシ記憶部1202に対応する。設定情報記憶部303は、図9に示す設定情報記憶部1203に対応する。
【0190】
また、図34に示すように、サーバ30は、物体検出部304と、物体状態認識部305と、人体検出部306と、人体状態認識部307と、自己位置算出部308と、3D環境認識部309とを有する。物体検出部304は、図9に示す物体検出部1208に対応する。物体状態認識部305は、図9に示す物体状態認識部1209に対応する。人体検出部306は、図9に示す人体検出部1210に対応する。人体状態認識部307は、図9に示す人体状態認識部1211に対応する。自己位置算出部308は、図9に示す自己位置算出部1212に対応する。3D環境認識部309は、図9に示す3D環境認識部1213に対応する。
【0191】
また、図34に示すように、サーバ30は、状況認識部310と、行動計画部311とを有する。状況認識部310は、図9に示す状況認識部1215に対応する。行動計画部311は、図9に示す行動計画部1216に対応する。
【0192】
状況認識部310は、状況認識部1215に対応する処理を行う。すなわち、状況認識部310は、物体状態認識部305による物体認識結果と、人体状態認識部307による人体認識結果と、3D環境認識部309により作成された環境地図と、環境情報記憶部301に記憶されている撮像環境情報と、データ受信部31により受信された情報とに基づいて、撮像対象(プレイヤーや用具など)の撮像に臨む現在の状況を認識する。状況認識部310は、処理結果を行動計画部311に送る。
【0193】
行動計画部311は、行動計画部1216に対応する処理を行う。すなわち、行動計画部311は、状況認識部310による状況認識結果と、設定情報記憶部303に記憶されている設定情報とに基づいて、移動体10の行動計画を決定する。行動計画部311は、決定した行動計画をデータ送信部32に送る。
【0194】
(5-2-2.外部観測機器の導入)
前述の情報処理システム1Bに対して、物体の位置を計測する外部観測機器40を導入してもよい。図35は、変形例に係るシステム構成例を示す模式図である。
【0195】
図35に示すように、変形例に係る情報処理システム1Cは、移動体10と、端末装置20と、サーバ30と、外部観測機器40とを含む。情報処理システム1Cに外部観測機器40を導入することにより、サーバ30の処理の一部を外部観測機器40に分散できる。情報処理システム1Cの構成は、図35に示す例には特に限定される必要はなく、図35に示すよりも多くの移動体10や、端末装置20や、サーバ30や、外部観測機器40を含んでいてもよい。
【0196】
移動体10、端末装置20、サーバ30及び外部観測機器40は、それぞれネットワークNに接続する。移動体10は、ネットワークNを介して、端末装置20やサーバ30と通信する。端末装置20は、ネットワークNを介して、移動体10やサーバ30と通信する。サーバ30は、ネットワークNを介して、移動体10や端末装置20、外部観測機器40と通信する。外部観測機器40は、ネットワークNを介して、サーバ30と通信する。
【0197】
図36は、変形例に係る装置構成例を示すブロック図である。図36に示す端末装置20は、図34に示す端末装置20と同様の機能構成を有する。また、図36に示す移動体10が備える制御装置120は、図34に示す制御装置120と同様の機能構成を有する。また、図36に示すサーバ30は、図34に示すサーバ30と同様の機能構成を有する。
【0198】
また、図36に示す外部観測機器40は、GPSセンサ41と、GPS情報取得部42と、測距センサ43と、距離情報取得部44と、物体位置算出部45と、データ送信部46とを有する。
【0199】
GPSセンサ41はGPS情報を取得する。GPS情報取得部42は、GPSセンサ41からGPS情報を取得する。GPS情報取得部42は、GPS情報を物体位置算出部45に送る。
【0200】
測距センサ43は、物体までの距離を計測する。測距センサ43は、物体までの距離情報を距離情報取得部44に送る。距離情報取得部44は、測距センサ43から物体までの距離情報を取得する。距離情報取得部44は、物体までの距離情報を物体位置算出部45に送る。
【0201】
物体位置算出部45は、GPS情報取得部42から取得するGPS情報と、距離情報取得部44から取得する距離情報とに基づいて、物体位置を算出する。物体位置算出部45は、算出した物体の位置情報をデータ送信部46に送る。データ送信部46は、物体の位置情報をサーバ30に送信する。例えば、外部観測機器40は、ゴルフ場に設置され、ゴルフボールを観測対象とする場合、プレイヤーにより打ち出されたゴルフボールの位置を算出し、サーバ30に送信できる。
【0202】
(5-3.チームスポーツについて)
上記実施形態において、制御装置120は、チームスポーツの試合模様の映像記録を移動体10に実行させることもできる。図37は、変形例に係るプレイヤー情報の一例を示す図である。図38は、変形例に係る撮像環境情報の一例を示す図である。以下、チームスポーツがバレーボールである例について説明する。
【0203】
制御装置120は、バレーボールの試合模様の映像記録を移動体10に実行させる場合、バレーボールの試合を行う各チームについて、チームの所属選手に関する各種情報をプレイヤー情報として取得する。図37は、例えば、バレーボールの試合を行うチームαに所属する選手の情報例を示している。図37に示すように、プレイヤー情報としては、WS(ウィングスパイカー)やOP(オポジット)などのポジションや、身長や、最高到達点などの情報が考えられる。
【0204】
また、図38に示すように、制御装置120は、バレーボールの試合が行われる試合会場の情報を撮像環境情報として取得する。撮像環境情報としては、バレーボールの試合が行われる会場の天井の高さや、観客席の照度などの情報が考えられる。
【0205】
また、制御装置120は、上記実施形態と同様に、バレーボールの試合中である選手の状況認識結果と、バレーボールについて予め規定する設定情報とに基づいて、バレーボールの試合模様の映像記録を移動体10に実行させるための行動計画を決定する。例えば、制御装置120は、サーブを行う選手がジャンプサーブを行おうとしているという状況を認識すると、該当の選手の身長や利き腕、最高到達点などのプレイヤー情報や、会場の天井の高さなどの行動制約条件に基づいて、カメラアングルを決定する。制御装置120は、該当の選手がジャンプサーブを行う前に、移動体10を適切な撮像位置に移動させるとともに、ジャンプサーブの瞬間を撮像するための行動計画を決定する。制御装置120は、決定した行動計画に従って行動するように移動体10の動作を制御する。このように、制御装置120は、映像記録の対象がチームスポーツである場合についても、スポーツの種別に対応した適切な情報を記録できる。
【0206】
(5-4.スポーツ以外の映像記録について)
上記実施形態では、制御装置120がスポーツの種別に対応した適切な情報を記録する例を説明したが、スポーツ以外の撮像対象について映像記録を行う場合にも適用できる。例えば、移動体10の行動計画を決定するための設定情報を調整することにより、スポーツ以外の撮像対象についてユーザの意図や要求を反映した情報を記録できる。
【0207】
<<6.その他>>
本開示の実施形態及び変形例に係る制御装置120、端末装置20、及びサーバ30は、専用のコンピュータシステムで実現してもよいし、汎用のコンピュータシステムで実現してもよい。
【0208】
また、本開示の実施形態及び変形例に係る制御装置120、端末装置20、及びサーバ30により実行される情報処理方法を実現するための各種プログラムを、光ディスク、半導体メモリ、磁気テープ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体等に格納して配布してもよい。このとき、本開示の実施形態及び変形例に係る制御装置120、端末装置20、及びサーバ30は、各種プログラムをコンピュータにインストールして実行することにより、本開示の実施形態及び変形例に係る情報処理方法を実現できる。
【0209】
また、本開示の実施形態及び変形例に係る制御装置120、端末装置20、及びサーバ30により実行される報処理方法を実現するための各種プログラムを、インターネット等のネットワーク上のサーバが備えるディスク装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。また、本開示の実施形態及び変形例に係る制御装置120、端末装置20、及びサーバ30により実行される情報処理方法を実現するための各種プログラムにより提供される機能を、OSとアプリケーションプログラムとの協働により実現してもよい。この場合には、OS以外の部分を媒体に格納して配布してもよいし、OS以外の部分をアプリケーションサーバに格納しておき、コンピュータにダウンロード等できるようにしてもよい。
【0210】
また、本開示の実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0211】
また、本開示の実施形態に係る及び変形例に係る制御装置120、端末装置20、及びサーバ30の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
【0212】
また、本開示の実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、本開示の実施形態に係るフローチャートに示された各ステップは、適宜順序を変更することが可能である。
【0213】
<<7.ハードウェア構成例>>
図39を用いて、本開示の実施形態に係る制御装置120を実現可能なコンピュータのハードウェア構成例について説明する。図39は、本開示の実施形態に係る制御装置を実現可能なコンピュータのハードウェア構成例を示すブロック図である。なお、図39は、コンピュータの一例を示すものであり、図39に示す構成には限定される必要はない。
【0214】
図39に示すように、本開示の実施形態に係る制御装置120は、例えば、プロセッサ1001と、メモリ1002と、通信モジュール1003とを有するコンピュータ1000により実現できる。
【0215】
プロセッサ1001は、典型的には、CPU(Central Processing Unit)や、DSP(Digital Signal Processor)や、SoC(System-on-a-Chip)や、システムLSI(Large Scale Integration)などである。
【0216】
メモリ1002は、典型的には、RAM(Random Access Memory)や、ROM(Read Only Memory)や、フラッシュメモリ等の不揮発性または揮発性の半導体メモリ、又は磁気ディスクなどである。制御装置120が有する環境情報記憶部1201、行動ポリシ記憶部1202、及び設定情報記憶部1203は、メモリ1002により実現される。
【0217】
通信モジュール1003は、典型的には、有線又は無線LAN(Local Area Network)や、LTE(Long Term Evolution)や、Bluetooth(登録商標)や、WUSB(Wireless USB)用の通信カードや、光通信用のルータや、各種通信用モデムなどである。上記実施形態に係る制御装置120が有するデータ受信部1214、及びデータ送信部1218の機能は、通信モジュール1003により実現される。
【0218】
プロセッサ1001は、例えば、演算処理装置又は制御装置として機能し、メモリ1002に記録された各種プログラムに基づいて、各構成要素の動作全般又はその一部を制御する。制御装置120が有する各機能部(距離情報取得部1204、画像情報取得部1205、IMU情報取得部1206、GPS情報取得部1207、物体検出部1208、物体状態認識部1209、人体検出部1210、人体状態認識部1211、自己位置算出部1212、3D環境認識部1213、データ受信部1214、状況認識部1215、行動計画部1216、行動制御部1217、及びデータ送信部1218)は、プロセッサ1001が、各機能部として動作するための命令が記述された制御プログラムをメモリ1002から読み込んで実行することにより実現される。
【0219】
すなわち、プロセッサ1001及びメモリ1002は、ソフトウェア(メモリ1002に記憶される制御プログラム)との協働により、制御装置120が有する各機能部による情報処理を実現する。
【0220】
<<8.むすび>>
本開示の実施形態に係る制御装置は、第1の認識部と、第2の認識部と、第3の認識部と、計画部とを有する。第1の認識部は、センサにより取得される情報に基づいて、移動体の撮像対象の状態を認識する。第2の認識部は、センサにより取得される情報に基づいて、移動体の周辺の環境を認識する。第3の認識部は、第1の認識部による撮像対象の状態の認識結果と、第2の認識部による周辺の環境の認識結果と、撮像対象の撮像が行われる撮像環境に関する撮像環境情報とに基づいて、撮像対象の撮像に臨む現在の状況を認識する。計画部は、第3の認識部による撮像対象の撮像に臨む現在の状況の認識結果を示す状況認識結果と、移動体の動作を決定するためにスポーツの種別ごとに予め規定される設定情報とに基づいて、撮像対象の映像記録を実行するための移動体の行動計画を決定する。このようなことから、制御装置120は、スポーツの種別に応じた適切な情報を記録できる。
【0221】
また、前述の設定情報は、スポーツの種別に関連したプレイヤーに固有の情報(プレイヤー情報)と、スポーツの種別に関連したプレイヤーの動作内容の情報(プレイヤー動作情報)と、移動体の周辺環境の情報と、撮像環境情報とを含む移動体の行動制約条件と、当該行動制約条件に対応する行動内容とを予め規定する。これにより、プレイヤーの個性や、移動体の周辺の環境や、撮像環境などに応じて予め規定される行動内容を反映した映像記録を行うための適切な行動計画を立案できる。
【0222】
また、前述の設定情報は、動体において蓄積される電力の残量を前記行動制約条件に含む。前述の計画部は、移動体において蓄積される電力の残量に基づいて、行動計画を決定する。これにより、移動体による映像記録をできるだけ長く継続できる。
【0223】
また、前述の撮像対象は、スポーツのプレイヤーと、当該プレイヤーにより利用される用具とを含む。前述の撮像環境情報は、スポーツが行われる場所の情報を含む。前述の第3の認識部は、プレイヤーの状態と、用具の状態と、スポーツが行われる場所の情報とに基づいて、撮像対象の撮像に臨む現在の状況を認識する。これにより、プレイヤーと用具との位置関係や、スポーツが行われる場所に応じ映像記録を実現するための行動計画を立案できる。
【0224】
また、前述の計画部は、プレイヤーが前記スポーツを進行する上で有益な情報の提示を前記行動計画の一部として決定する。これにより、移動体を利用して映像記録を行うユーザのユーザビリティを向上できる。
【0225】
また、前述の計画部は、プレイヤーがスポーツを進行する上で有益な動作の実行を行動計画の一部として決定する。これにより、移動体を利用して映像記録を行うユーザのユーザビリティをさらに向上できる。
【0226】
また、前述の第3の認識部は、他の制御装置から取得した撮像対象の状態の認識結果に基づいて、撮像対象の撮像に臨む現在の状況を認識する。これにより、制御装置は、映像記録を実行するための情報処理の処理負荷を分散できる。
【0227】
また、前述の計画部は、飛行せずに撮像対象の撮像を行うことを行動計画の一部として決定する。これにより、移動体の電力消費をできるだけ低減できる。
【0228】
また、前述の制御装置は、映像記録により録画された画像情報を、予め定められるタイミングで撮像対象であるユーザの所持する端末装置に送信する送信部をさらに有する。これにより、任意のタイミングで、録画した画像情報をユーザに提供できる。
【0229】
以上、本開示の実施形態及び変形例について説明したが、本開示の技術的範囲は、上述の実施形態及び変形例に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
【0230】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示の技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者にとって明らかな他の効果を奏しうる。
【0231】
なお、本開示の技術は、本開示の技術的範囲に属するものとして、以下のような構成もとることができる。
(1)
センサにより取得される情報に基づいて、移動体の撮像対象の状態を認識する第1の認識部と、
前記センサにより取得される情報に基づいて、前記移動体の周辺の環境を認識する第2の認識部と、
前記第1の認識部による前記撮像対象の状態の認識結果と、前記第2の認識部による前記周辺の環境の認識結果と、前記撮像対象の撮像が行われる撮像環境に関する撮像環境情報とに基づいて、前記撮像対象の撮像に臨む現在の状況を認識する第3の認識部と、
前記第3の認識部による前記撮像対象の撮像に臨む現在の状況の認識結果を示す状況認識結果と、前記移動体の動作を決定するためにスポーツの種別ごとに予め規定される設定情報とに基づいて、前記撮像対象の映像記録を実行するための前記移動体の行動計画を決定する計画部と
を有する制御装置。
(2)
前記第3の認識部は、
前記スポーツの種別に関連したプレイヤーに固有の情報、前記スポーツの種別に関連したプレイヤーの動作内容の情報、前記移動体の周辺環境の情報、及び前記撮像環境情報のうちの少なくともいずれかに基づいて、前記撮像対象の撮像に臨む現在の状況を認識する
前記(1)に記載の制御装置。
(3)
前記第3の認識部は、
前記移動体の電力残量に関する情報に基づいて、前記撮像対象の撮像に臨む現在の状況を認識する
前記(2)に記載の制御装置。
(4)
前記設定情報は、
前記スポーツの種別を特定する情報と、前記移動体の行動内容を指定する情報と、前記移動体の行動内容の情報とを対応付けて構成される
前記(2)又は(3)に記載の制御装置。
(5)
前記計画部は、
前記プレイヤーが前記スポーツを進行する上で有益な情報の提示を前記行動計画の一部として決定する
前記(2)~(4)のいずれか1つに記載の制御装置。
(6)
前記計画部は、
前記プレイヤーが前記スポーツを進行する上で有益な動作の実行を前記行動計画の一部として決定する
前記(2)~(5)のいずれか1つに記載の制御装置。
(7)
前記第3の認識部は、
他の制御装置から取得した前記状態認識結果に基づいて、前記撮像対象の撮像に臨む現在の状況を認識する
前記(1)に記載の制御装置。
(8)
前記計画部は、
飛行せずに撮像対象の撮像を行うことを前記行動計画の一部として決定する
前記(1)~(7)のいずれか1つに記載の制御装置。
(9)
前記映像記録により録画された画像情報を、予め定められるタイミングで前記撮像対象であるユーザの所持する端末装置に送信する送信部
をさらに有する
前記(1)~(8)のいずれか1つに記載の制御装置。
(10)
プロセッサが、
センサにより取得される情報に基づいて、移動体の撮像対象の状態を認識し、
前記センサにより取得される情報に基づいて、前記移動体の周辺の環境を認識し、
前記撮像対象の状態の認識結果と、前記周辺の環境の認識結果と、前記撮像対象の撮像が行われる撮像環境に関する環境情報とに基づいて、前記撮像対象の撮像に臨む現在の状況を認識し、
前記撮像対象の撮像に臨む現在の状況の認識結果を示す状況認識結果と、前記移動体の動作を決定するためにスポーツの種別ごとに予め規定される設定情報とに基づいて、前記撮像対象の映像記録を実行するための前記移動体の行動計画を決定する
制御方法。
【符号の説明】
【0232】
1A,1B,1C 情報処理システム
10 移動体
20 端末装置
21、41、114 GPSセンサ
22、42、1207 GPS情報取得部
23 UI操作部
24、32、46、1218 データ送信部
25、31、1214 データ受信部
26 データ表示部
30 サーバ
40 外部観測機器
43 測距センサ
44、1204 距離情報取得部
45 物体位置算出部
111 距離センサ
112 イメージセンサ
113 IMU
201、301、1201 環境情報記憶部
202、302、1202 行動ポリシ記憶部
203、303、1203 設定情報記憶部
204、304、1208 物体検出部
205、305、1209 物体状態認識部
206、306、1210 人体検出部
207、307、1211 人体状態認識部
208、308、1212 自己位置算出部
209、309、1213 3D環境認識部
210、310、1215 状況認識部
211、311、1216 行動計画部
1205 画像情報取得部
1206 IMU情報取得部
1217 行動制御部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33
図34
図35
図36
図37
図38
図39