ホーム > 特許ランキング > 国立大学法人 東京大学
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-27
(45)【発行日】2024-04-04
(54)【発明の名称】情報処理システム、情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
G06T 7/70 20170101AFI20240328BHJP
G01P 3/36 20060101ALI20240328BHJP
A63B 69/00 20060101ALN20240328BHJP
【ＦＩ】
G06T7/70 B
G01P3/36 C
A63B69/00 A
【請求項の数】
12
(21)【出願番号】P 2020097872
(22)【出願日】2020-06-04
(65)【公開番号】P2021190024
(43)【公開日】2021-12-13
【審査請求日】2023-03-31
【国等の委託研究の成果に係る記載事項】（出願人による申告）国立研究開発法人科学技術振興機構、戦略的創造研究推進事業（ＡＣＣＥＬ，研究課題名「高速画像処理を用いた知能システムの応用展開」平成２８年度）、産業技術力強化法第１７条の適用を受ける特許出願
(73)【特許権者】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人ＩＰＸ
(72)【発明者】
【氏名】末石 智大
(72)【発明者】
【氏名】三河 祐梨
(72)【発明者】
【氏名】宮地 力
(72)【発明者】
【氏名】石川 正俊
【審査官】千葉 久博
(56)【参考文献】
【文献】特開２０１６－３８８２０（ＪＰ，Ａ）
【文献】特開２０１３－１９２１８９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１５／０３２０５１３（ＵＳ，Ａ１）
【文献】三河祐梨, 外3名，“ＶａｒｉｏＬｉｇｈｔ：高速プロジェクタ及び光軸制御による非対称な移動物体への投影型拡張現実感システム”，第２３回日本バーチャルリアリティ学会大会論文集，2018年11月09日
【文献】畑佐豪記, 外8名，“プロジェクションマッピングと機械学習を用いた結晶成長プロセスにおける熱流動の可視化システムの構築”，第２３回日本バーチャルリアリティ学会大会論文集，2018年11月09日
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／７０
Ｇ０１Ｐ ３／３６
Ａ６３Ｂ ６９／００
(57)【特許請求の範囲】
【請求項1】
情報処理システムであって、撮像部と、求解部と、出力部と、を有し、
前記撮像部は、運動物体を撮像可能に構成され、
前記求解部は、前記撮像部によって撮像された運動物体の撮像画像を解析し、前記運動物体の回転情報を求解可能に構成され、
前記出力部は、前記回転情報を前記運動物体に投影可能に構成される、
情報処理システム。
【請求項2】
請求項１に記載の情報処理システムにおいて、前記回転情報は、明滅変化で表される、
情報処理システム。
【請求項3】
請求項１に記載の情報処理システムにおいて、前記回転情報は、テクスチャの変化で表される、
情報処理システム。
【請求項4】
請求項１から請求項３までの何れか１項に記載の情報処理システムにおいて、前記運動物体は、スポーツに用いられる用具である、
情報処理システム。
【請求項5】
請求項１から請求項３までの何れか１項に記載の情報処理システムにおいて、前記運動物体は、スポーツ選手の身体である、
情報処理システム。
【請求項6】
請求項１から請求項３までの何れか１項に記載の情報処理システムにおいて、前記運動物体は、機器に含まれる回転体である、
情報処理システム。
【請求項7】
請求項１から請求項６までの何れか１項に記載の情報処理システムにおいて、前記運動物体は、円周状マーカーを有し、
前記円周状マーカーは、前記運動物体に対する切断面が円錐曲線になるように描かれたマーカーで、
前記求解部は、前記円周状マーカーの撮像画像上での形状変化に基づいて前記運動物体の回転情報を求解可能に構成される、
情報処理システム。
【請求項8】
情報処理装置であって、求解部と、出力部と、を有し、
前記求解部は、撮像部によって撮像された運動物体の撮像画像を解析し、前記運動物体の回転情報を求解可能に構成され、
前記出力部は、前記回転情報を前記運動物体に投影可能に構成される、
情報処理装置。
【請求項9】
情報処理方法であって、撮像工程と、求解工程と、出力工程と、を含み、
前記撮像工程では、運動物体を撮像し、
前記求解工程では、前記撮像工程によって撮像された運動物体の撮像画像を解析し、前記運動物体の回転情報を求解し、
前記出力工程では、前記回転情報を前記運動物体に投影出力する、
情報処理方法。
【請求項10】
プログラムであって、コンピュータを、
求解部と、出力部と、して機能させ、
前記求解部は、撮像部によって撮像された運動物体の撮像画像を解析し、前記運動物体の回転情報を求解可能に構成され、
前記出力部は、前記回転情報を前記運動物体に投影可能に構成される、
プログラム。
【請求項11】
情報処理装置であって、求解部を有し、
前記求解部は、撮像された円周状マーカーを有する運動物体の撮像画像を解析し、前記円周状マーカーの撮像画像上での形状変化に基づいて前記運動物体の回転情報を求解可能に構成され、
前記円周状マーカーは、前記運動物体に対する切断面が円錐曲線になるように描かれたマーカーである、
情報処理装置。
【請求項12】
プログラムであって、コンピュータを、
求解部として機能させ、
前記求解部は、撮像された円周状マーカーを有する運動物体の撮像画像を解析し、前記円周状マーカーの撮像画像上での形状変化に基づいて前記運動物体の回転情報を求解可能に構成され、
前記円周状マーカーは、前記運動物体に対する切断面が円錐曲線になるように描かれたマーカーである、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
特許文献１には、物体の回転運動を計測するための技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１３－９２５１９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、例えば卓球の球の回転運動を観客が観戦しながら直感的に把握するのは難しい。
【課題を解決するための手段】
【0005】
本発明の一態様によれば、情報処理システムであって、撮像部と、求解部と、出力部と、を有し、前記撮像部は、運動物体を撮像可能に構成され、前記求解部は、前記撮像部によって撮像された運動物体の撮像画像を解析し、前記運動物体の回転情報を求解可能に構成され、前記出力部は、前記回転情報を、前記運動物体を観察する複数のユーザが定性的に把握可能な態様で出力可能に構成される、情報処理システムが提供される。
【図面の簡単な説明】
【0006】
【発明を実施するための形態】
【0007】
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
【0008】
ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。
【0009】
また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。
【0010】
また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。
【0011】
＜実施形態１＞
１．システム構成
図１は、情報処理システム１０００のシステム構成の一例を示す図である。情報処理システム１０００は、システム構成として、情報処理装置１００と、撮像装置１１０と、投影装置１２０と、赤外線ライト１３０と、ホットミラー１４０と、瞳転送光学系１５０と、ＶＩＳカットフィルター１６０と、ガルバノミラー１７０と、を含む。撮像装置１１０は、撮像部の一例である。投影装置１２０は、出力部の一例である。
１．システム構成
図１は、情報処理システム１０００のシステム構成の一例を示す図である。情報処理システム１０００は、システム構成として、情報処理装置１００と、撮像装置１１０と、投影装置１２０と、赤外線ライト１３０と、ホットミラー１４０と、瞳転送光学系１５０と、ＶＩＳカットフィルター１６０と、ガルバノミラー１７０と、を含む。撮像装置１１０は、撮像部の一例である。投影装置１２０は、出力部の一例である。
【0012】
情報処理装置１００は、情報処理システム１０００のシステム全体の情報処理を制御する。また、情報処理装置１００は、撮像装置１１０が撮像した撮像対象、本実施形態の例ではマーカー１９０が付された運動物体１８０、の撮像画像を解析し、運動物体１８０の回転情報を求める。この回転情報には、回転の速度（大きさ及び向きを含むベクトル）、加速度が含まれる。情報処理装置１００による処理の詳細は、後述する図４及び図６等を用いて説明する。ここで、運動物体１８０にはマーカー１９０として円周状マーカーが付されている。運動物体１８０は、球でもよいし、円柱形でもよい。図２は、円周状マーカーが付された一例を示す図である。図２では、一例として、円柱形の運動物体１８０に円周状マーカー５０１が付されている。円周状マーカーは、運動物体に対する切断面が円錐曲線になるように描かれたマーカーである。ここで、円周状マーカーは、ピンホールカメラモデル（すなわち透視投影変換）において三次元の円及び楕円（円錐曲線）が二次元画像上でも楕円として見える。このことにより、後述するように、情報処理装置１００は、楕円の長軸及び短軸の比率と、傾きと、楕円の中心を連続的に求め、これらの値の時系列的な変化に基づき運動物体１８０の回転情報を求めることができる。円及び楕円は、円錐曲線の例である。
【0013】
画像処理部３０１は、撮像画像から円周状マーカーを抽出、認識する。また、求解部３０３は、円周状マーカーの撮像画像上での形状変化に基づいて運動物体１８０の回転情報を求解可能に構成される。
【0014】
このような構成によれば、運動物体の撮像画像を解析し、運動物体の回転情報を求め、回転情報を、運動物体を観察する複数のユーザが定性的に把握可能な態様で出力することができる。本明細書でいう運動物体の回転情報とは、運動物体の回転に関する直接的な物理量、すなわち、回転数、回転速度、回転軸、回転角速度等のみならず、運動物体の形状変化、変位、振動等も含むものである。
【0015】
撮像装置１１０は、運動物体１８０を撮像可能に構成される。撮像装置１１０は、いわゆる高速ビジョンと称する撮像レート（フレームレート）が高いものが採用される。フレームレートは、例えば、１００ｆｐｓ以上であり、好ましくは、２５０ｆｐｓ以上であり、さらに好ましくは５００ｆｐｓ又は１０００ｆｐｓである。より具体的には例えば、１００，１５０，２００，２５０，３００，３５０，４００，４５０，５００，５５０，６００，６５０，７００，７５０，８００，８５０，９００，９５０，１０００，１０５０，１１００，１１５０，１２００，１２５０，１３００，１３５０，１４００，１４５０，１５００，１５５０，１６００，１６５０，１７００，１７５０，１８００，１８５０，１９００，１９５０，２０００ｆｐｓであり、ここで例示した数値の何れか２つの間の範囲内であってもよい。このように高いフレームレートをもって撮像された撮像画像を用いて、ガルバノミラー１７０の角度を同じく高いレートで制御することにより、撮像装置１１０の視線を高速に動作する運動物体１８０にトラッキングさせることができる。
【0016】
ＶＩＳカットフィルター１６０は、４００～８００ｎｍの範囲の可視領域の光をカットするフィルターである。瞳転送光学系１５０は、撮像装置１１０の光軸上であって、撮像装置１１０とガルバノミラー１７０との間に位置するように配置される。また、瞳転送光学系１５０は、投影装置１２０とガルバノミラー１７０との間に位置するようにも配置される。瞳転送光学系１５０は、複数のレンズからなる光学系である。瞳転送光学系１５０は、撮像装置１１０又は投影装置１２０の瞳を、後述する一対のガルバノミラー１７０の略中央位置に転送するように構成される。これにより、後述のガルバノミラー１７０を小型化することができる。
【0017】
赤外線ライト１３０は、赤外線を発するライトである。ホットミラー１４０は、可視光を透過し、赤外光を反射させるミラーである。撮像装置のフレームレートが高いので、１フレームあたりの露光時間が短い。そのため、赤外線ライト１３０によって運動物体１８０に照明をあてるとよい。マーカー１９０には赤外線を反射する再帰性反射材が使われるとよりよい。赤外線であれば、人間には知覚されないので、余計な光があたっているように見えないことが利点である。特に赤外線ライト１３０も撮像装置１１０と同軸に形成されているので、動く対象に合わせて照明があたる。これにより的確に対象を認識できる。
【0018】
ガルバノミラー１７０は、撮像装置１１０の視線の方向を制御可能に、撮像装置１１０の光軸上に配置される。ガルバノミラー１７０は、薄い板上に形成された鏡面が回転駆動可能に構成される。ガルバノミラー１７０は、パン用とチルト用との一対から構成され、一対のガルバノミラー１７０の角度を制御すると、撮像装置１１０の視線の方向が撮像される画像のパン方向及びチルド方向に制御される。ガルバノミラー１７０の角度制御に係るイナーシャは、撮像装置１１０自体の向きを制御する場合に係るイナーシャよりも小さくなる。つまり、撮像装置１１０を不図示の電動雲台に載せてその視線の方向を直接制御するのではなく、ガルバノミラーの角度を制御して視線の方向を制御することによって、撮像装置１１０の視線の方向をより高速に（高い制御レートで）制御することができる。また、ガルバノミラー１７０は、投影装置１２０の投影の方向を制御可能に、配置される。
【0019】
投影装置１２０は、情報処理装置１００によって求められた運動物体１８０の回転情報を、運動物体を観察する複数のユーザが定性的に把握可能な態様で出力可能に構成される。より具体的に説明すると、投影装置１２０は、回転情報を運動物体１８０に投影可能に構成される。投影装置１２０の一例としては、リフレッシュレートが高く且つレイテンシの小さい、いわゆる高速プロジェクタがある。投影装置１２０は、撮像装置１１０と同軸に形成されている。これにより運動物体１８０に情報を投影することができる。
【0020】
２．情報処理装置１００のハードウェア構成
図３は、情報処理装置１００のハードウェア構成の一例を示す図である。情報処理装置１００は、ハードウェア構成として、制御部２０１と、記憶部２０２と、通信部２０３と、を含む。制御部２０１は、情報処理装置１００の全体を制御する。記憶部２０２は、プログラム及び制御部２０１がプログラムに基づき処理を実行する際に用いるデータ等を記憶する。制御部２０１が、記憶部２０２に記憶されたプログラムに基づき処理を実行することによって後述する図４に示す情報処理装置１００の機能構成及び後述する図６に示すアクティビティ図の情報処理が実現される。通信部２０３は、情報処理装置１００と他の装置、例えば撮像装置１１０及び投影装置１２０、との通信を司る。
図３は、情報処理装置１００のハードウェア構成の一例を示す図である。情報処理装置１００は、ハードウェア構成として、制御部２０１と、記憶部２０２と、通信部２０３と、を含む。制御部２０１は、情報処理装置１００の全体を制御する。記憶部２０２は、プログラム及び制御部２０１がプログラムに基づき処理を実行する際に用いるデータ等を記憶する。制御部２０１が、記憶部２０２に記憶されたプログラムに基づき処理を実行することによって後述する図４に示す情報処理装置１００の機能構成及び後述する図６に示すアクティビティ図の情報処理が実現される。通信部２０３は、情報処理装置１００と他の装置、例えば撮像装置１１０及び投影装置１２０、との通信を司る。
【0021】
３．情報処理装置１００の機能構成
図４は、情報処理装置１００の機能構成の一例を示す図である。情報処理装置１００は、機能構成として、画像処理部３０１と、撮像制御部３０２と、求解部３０３と、出力制御部３０４と、を含む。
図４は、情報処理装置１００の機能構成の一例を示す図である。情報処理装置１００は、機能構成として、画像処理部３０１と、撮像制御部３０２と、求解部３０３と、出力制御部３０４と、を含む。
【0022】
（画像処理部３０１）
画像処理部３０１は、撮像装置１１０から受信した撮像画像に対して所定の画像処理を実行する。かかる画像処理によって、運動物体１８０におけるマーカー１９０が付されている部分と、運動物体１８０におけるマーカー１９０が付されていない部分とが２値的に区別され、その結果、情報処理装置１００がマーカー１９０を抽出、認識することになる。例えば、画像処理部３０１は、撮像画像の所定領域ＲＯＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）に対して画像処理を行うようにしてもよい。特に、マーカー１９０のトラッキングを高い制御レートにて行うため、マーカー１９０は、撮像画像の決まった位置（例えば画像中心）の近傍にあることとなり、この決まった位置の近傍領域を所定領域ＲＯＩとすることで、画像処理をするピクセル数を削減することができる。これにより、情報処理装置１００における画像処理演算の負荷を小さくすることができ、高い制御レートでのトラッキングを実施することができる。また、ドット等のマーカーに比べて円周状マーカーの場合、マーカー領域の画素数を増やしつつもパラメータ数の少ない曲線表現として画像上で捉えることができるため、撮像画像が低解像度であったとしても頑健で、かつ、高速な認識を行うことができる。
画像処理部３０１は、撮像装置１１０から受信した撮像画像に対して所定の画像処理を実行する。かかる画像処理によって、運動物体１８０におけるマーカー１９０が付されている部分と、運動物体１８０におけるマーカー１９０が付されていない部分とが２値的に区別され、その結果、情報処理装置１００がマーカー１９０を抽出、認識することになる。例えば、画像処理部３０１は、撮像画像の所定領域ＲＯＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）に対して画像処理を行うようにしてもよい。特に、マーカー１９０のトラッキングを高い制御レートにて行うため、マーカー１９０は、撮像画像の決まった位置（例えば画像中心）の近傍にあることとなり、この決まった位置の近傍領域を所定領域ＲＯＩとすることで、画像処理をするピクセル数を削減することができる。これにより、情報処理装置１００における画像処理演算の負荷を小さくすることができ、高い制御レートでのトラッキングを実施することができる。また、ドット等のマーカーに比べて円周状マーカーの場合、マーカー領域の画素数を増やしつつもパラメータ数の少ない曲線表現として画像上で捉えることができるため、撮像画像が低解像度であったとしても頑健で、かつ、高速な認識を行うことができる。
【0023】
（撮像制御部３０２）
撮像制御部３０２は、画像処理部３０１による画像処理によって撮像画像より抽出されたマーカー１９０が撮像装置１１０の画角の所定の位置にくるように、ガルバノミラー１７０の角度を制御する制御信号の値を決定する。つまり、撮像制御部３０２は、運動物体１８０の少なくとも一部が撮像装置１１０の画角における所定の範囲に継続的に入るように、ガルバノミラー１７０の向きを決定する。
撮像制御部３０２は、画像処理部３０１による画像処理によって撮像画像より抽出されたマーカー１９０が撮像装置１１０の画角の所定の位置にくるように、ガルバノミラー１７０の角度を制御する制御信号の値を決定する。つまり、撮像制御部３０２は、運動物体１８０の少なくとも一部が撮像装置１１０の画角における所定の範囲に継続的に入るように、ガルバノミラー１７０の向きを決定する。
【0024】
より具体的には、撮像制御部３０２は、撮像画像の中心にマーカー１９０の重心が来るように制御信号の値を決定する。撮像制御部３０２は、例えばＰＤ制御、ＰＩ制御、又はＰＩＤ制御等に基づいて制御信号の値を決定する。そして、制御信号が通信部２０３からガルバノミラー１７０に対して送信され、ガルバノミラー１７０が所望の角度に制御されることとなる。制御に係る各係数は、必要に応じて好ましい値が設定される。また制御信号の値はアナログ制御及びデジタル制御問わず電圧で規定される。
【0025】
（求解部３０３）
求解部３０３は、撮像装置１１０によって撮像された運動物体１８０の撮像画像を解析し、運動物体１８０の回転情報を求解可能に構成される。より具体的に説明すると、求解部３０３は、マーカー１９０が付された運動物体１８０の撮像画像を解析し、マーカー１９０の撮像画像上での形状変化に基づき運動物体１８０の回転情報を求める。図５は、マーカーの形状変化に基づき回転情報を求める説明のための図である。求解部３０３は、図５に示されるように、楕円の長軸及び短軸の比率と、傾きと、楕円の中心を連続的に求め、これらの値の時系列的な変化に基づき運動物体１８０の回転情報を求める。
求解部３０３は、撮像装置１１０によって撮像された運動物体１８０の撮像画像を解析し、運動物体１８０の回転情報を求解可能に構成される。より具体的に説明すると、求解部３０３は、マーカー１９０が付された運動物体１８０の撮像画像を解析し、マーカー１９０の撮像画像上での形状変化に基づき運動物体１８０の回転情報を求める。図５は、マーカーの形状変化に基づき回転情報を求める説明のための図である。求解部３０３は、図５に示されるように、楕円の長軸及び短軸の比率と、傾きと、楕円の中心を連続的に求め、これらの値の時系列的な変化に基づき運動物体１８０の回転情報を求める。
【0026】
（出力制御部３０４）
出力制御部３０４は、求解部３０３によって求められた回転情報を、回転情報を、運動物体を観察する複数のユーザが定性的に把握可能な態様で投影装置１２０が出力するよう制御可能に構成される。
出力制御部３０４は、求解部３０３によって求められた回転情報を、回転情報を、運動物体を観察する複数のユーザが定性的に把握可能な態様で投影装置１２０が出力するよう制御可能に構成される。
【0027】
４．情報処理装置１００における情報処理
図６は、情報処理装置１００における情報処理の一例を示すアクティビティ図である。
Ａ４０１において、撮像制御部３０２は、画像処理部３０１による画像処理によって撮像画像より抽出されたマーカー１９０が撮像装置１１０の画角の所定の位置にくるように、ガルバノミラー１７０の角度を制御する制御信号の値を決定する。そして、撮像制御部３０２は、制御信号をガルバノミラー１７０に送信し、運動物体１８０のマーカー１９０が撮像装置１１０の画角の所定の位置にくるよう制御すると共に、撮像装置１１０で運動物体１８０を撮像するよう制御する。
図６は、情報処理装置１００における情報処理の一例を示すアクティビティ図である。
Ａ４０１において、撮像制御部３０２は、画像処理部３０１による画像処理によって撮像画像より抽出されたマーカー１９０が撮像装置１１０の画角の所定の位置にくるように、ガルバノミラー１７０の角度を制御する制御信号の値を決定する。そして、撮像制御部３０２は、制御信号をガルバノミラー１７０に送信し、運動物体１８０のマーカー１９０が撮像装置１１０の画角の所定の位置にくるよう制御すると共に、撮像装置１１０で運動物体１８０を撮像するよう制御する。
【0028】
Ａ４０２において、求解部３０３は、マーカー１９０が付された運動物体１８０の撮像画像を解析し、マーカー１９０の撮像画像上での形状変化に基づき運動物体１８０の回転情報を求める。求解部３０３は、マーカー１９０の撮像画像上での形状変化に基づいて計算により運動物体１８０の回転情報を求めてもよいし、マーカー１９０の撮像画像上での形状変化と、マーカー１９０の撮像画像上での形状変化及び回転情報が関連付けられたテーブルと、に基づいて運動物体１８０の回転情報を求めてもよい。
【0029】
Ａ４０３において、出力制御部３０４は、回転情報を、運動物体を観察する複数のユーザが定性的に把握可能な態様で投影装置１２０が出力するよう制御する。
図７は、回転情報を運動物体に投影した例を示す図（その１）である。図７の例では、運動物体１８０は、フィギアスケートにおけるフィギアスケーターの身体である。投影装置１２０は、ｚ軸回転における１回転を足先から頭までの輝線移動（６０１、６０２、６０３）で表現し、回転情報をフィギアスケーターの身体に投影している。図７の例における輝線移動は、明滅変化とテクスチャの変化とを含む。図７等に示すように投影装置１２０は、運動物体１８０が動作中に、回転情報を、運動物体１８０を観察する複数のユーザが定性的に把握可能な態様で出力可能に構成される。
図７は、回転情報を運動物体に投影した例を示す図（その１）である。図７の例では、運動物体１８０は、フィギアスケートにおけるフィギアスケーターの身体である。投影装置１２０は、ｚ軸回転における１回転を足先から頭までの輝線移動（６０１、６０２、６０３）で表現し、回転情報をフィギアスケーターの身体に投影している。図７の例における輝線移動は、明滅変化とテクスチャの変化とを含む。図７等に示すように投影装置１２０は、運動物体１８０が動作中に、回転情報を、運動物体１８０を観察する複数のユーザが定性的に把握可能な態様で出力可能に構成される。
【0030】
図８は、回転情報を運動物体に投影した例を示す図（その２）である。図８の例では、運動物体１８０は、野球のバットである。投影装置１２０は、Ｙ軸回転におけるスイング回転を手元から先端までの輝線移動（７０１、７０２、７０３、７０４）で表現し、回転情報を野球のバットに投影している。図８の例においても、輝線移動は、明滅変化とテクスチャの変化とを含む。例えば、野球選手及びトレーナーは、バットに投影された回転情報を確認しながら、流し打ち及び引張打法等のトレーニングを行うことができる。
【0031】
図９は、回転情報を運動物体に投影した例を示す図（その３）である。図９の例では、運動物体１８０は、サッカーボールである。投影装置１２０は、ｘ，ｙ，ｚ軸回転における回転速度の大きさと向きを矢印（８０１、８０２、８０３）で表現し、回転情報をサッカーボールに投影している。
【0032】
図１０は、回転情報を運動物体に投影した例を示す図（その４）である。図１０の例では、運動物体１８０は、サッカーボールである。投影装置１２０は、ｘ，ｙ，ｚ軸回転におけるサッカーボールの実際の回転を、それよりも小さい速度で、テクスチャ（９０１、９０２、９０３）で表現し、回転情報をサッカーボールに投影している。実際の回転の速さに対する投影するテクスチャの回転の速さの割合は、０．９以下であり、具体的には例えば、０．９，０．８５，０．８，０．７５，０．７，０．６５，０．６，０．５５，０．５，０．４５，０．４，０．３５，０．３，０．２５，０．２，０．１５，０．１であり、ここで例示した数値の何れか２つの間の範囲内であってもよい。例えば、投影装置１２０は、ｘ，ｙ，ｚ軸回転におけるサッカーボールの実際の回転を１０分の１（割合が０．１）の速度で、テクスチャ（９０１、９０２、９０３）で表現し、回転情報をサッカーボールに投影している。実際の回転よりも小さい速度で表現することで、人間が回転を知覚することができる。なお、上述した具体例は例示であり、テクスチャの回転の速さの割合は、０．０９，０．０８，０．０７，０．０６，０．０５，０．０４，０．０３，０．０２，０．０１であり、ここで例示した数値の何れか２つの間の範囲内であってもよい。
【0033】
図１１は、回転情報を運動物体に投影した例を示す図（その５）である。図１０の例では、運動物体１８０は、サッカーボールである。投影装置１２０は、ｘ，ｙ，ｚ軸回転における回転の方向及び回転速度を線の太さで表現し、回転運動をサッカーボールに投影している。図１１に示すような回転情報の投影によれば、３軸回転を同時に表現することができる。なお、図１１の例において、投影装置１２０は、表示軸は回転させないように投影している。
【0034】
本実施形態によれば、運動物体の撮像画像を解析し、運動物体の回転情報を求め、回転情報を、運動物体を観察する複数のユーザが定性的に把握可能な態様で出力することができる。
上述したように、運動物体は、スポーツに用いられる用具であってもよし、スポーツ選手の身体であってもよい。また、運動物体の他の例として、工場等で用いられる機器のロボットアームの回転体であってもよい。機器のロボットアームの回転体は、機器に含まれる回転体の一例である。運動物体がスポーツに用いられる用具である場合、本実施形態の処理によって、スポーツ観戦している観客等は、用具の回転情報を定性的に把握することができる。スポーツに用いられる用具の例としては、サッカーボール、バレーボール、バスケットボール、テニスボール、卓球ボール、ゴルフボール、野球のバット、テニスのラケット等がある。また、運動物体がスポーツ選手の身体である場合、本実施形態の処理によって、スポーツ観戦している観客等は、スポーツ選手、例えばフィギアスケーター、の回転情報を定性的に把握することができる。また、運動物体がロボットアームの一部の場合、本実施形態の処理によって、例えば工場等における管理者は、ロボットアームが設計通り動いているか、ロボットアームの一部の回転情報を定性的に把握することができる。ロボットアームの回転体とは、例えば、ロボットアームの屈曲部分、ロボットアームの円柱部分等である。また、ロボットアームは、ドローンに付されていてもよい。このような構成の場合、ドローンにエンコーダを設けなくても、撮像装置１１０でドローンのロボットアームの回転を撮影し、情報処理装置１００で回転情報を求めることができる。
上述したように、運動物体は、スポーツに用いられる用具であってもよし、スポーツ選手の身体であってもよい。また、運動物体の他の例として、工場等で用いられる機器のロボットアームの回転体であってもよい。機器のロボットアームの回転体は、機器に含まれる回転体の一例である。運動物体がスポーツに用いられる用具である場合、本実施形態の処理によって、スポーツ観戦している観客等は、用具の回転情報を定性的に把握することができる。スポーツに用いられる用具の例としては、サッカーボール、バレーボール、バスケットボール、テニスボール、卓球ボール、ゴルフボール、野球のバット、テニスのラケット等がある。また、運動物体がスポーツ選手の身体である場合、本実施形態の処理によって、スポーツ観戦している観客等は、スポーツ選手、例えばフィギアスケーター、の回転情報を定性的に把握することができる。また、運動物体がロボットアームの一部の場合、本実施形態の処理によって、例えば工場等における管理者は、ロボットアームが設計通り動いているか、ロボットアームの一部の回転情報を定性的に把握することができる。ロボットアームの回転体とは、例えば、ロボットアームの屈曲部分、ロボットアームの円柱部分等である。また、ロボットアームは、ドローンに付されていてもよい。このような構成の場合、ドローンにエンコーダを設けなくても、撮像装置１１０でドローンのロボットアームの回転を撮影し、情報処理装置１００で回転情報を求めることができる。
【0035】
＜変形例１＞
変形例１を説明する。上述した実施形態では、情報処理システム１０００には、１台の投影装置１２０が含まれるものとして説明を行った。しかし、情報処理システム１０００には複数の投影装置１２０が含まれるようにしてもよい。情報処理システム１０００に複数の投影装置１２０が含まれる場合、情報処理装置１００は、複数の投影装置１２０の投影を制御し、複数の投影装置１２０を同時に使用し、運動物体に回転情報を投影するようにしてもよい。
情報処理システム１０００に投影装置１２０が複数含まれる方が、情報処理システム１０００に投影装置１２０が１台含まれるより、運動物体の広範囲に回転情報を投影することができる。
変形例１を説明する。上述した実施形態では、情報処理システム１０００には、１台の投影装置１２０が含まれるものとして説明を行った。しかし、情報処理システム１０００には複数の投影装置１２０が含まれるようにしてもよい。情報処理システム１０００に複数の投影装置１２０が含まれる場合、情報処理装置１００は、複数の投影装置１２０の投影を制御し、複数の投影装置１２０を同時に使用し、運動物体に回転情報を投影するようにしてもよい。
情報処理システム１０００に投影装置１２０が複数含まれる方が、情報処理システム１０００に投影装置１２０が１台含まれるより、運動物体の広範囲に回転情報を投影することができる。
【0036】
＜変形例２＞
変形例２を説明する。図１２は、変形例２の情報処理システム１０００のシステム構成の一例を示す図である。情報処理システム１０００は、システム構成として、図１に示した情報処理システム１０００のシステム構成に加えて、ユーザが保持する携帯端末装置１２０１が更に含まれる。携帯端末装置１２０１は、ユーザが携帯する端末装置であればどのようなものであってもよく、例えば、スマートフォン、スマートグラス等である。図１２では、携帯端末装置１２０１の一例としてスマートフォンを例示している。変形例２の運動物体１８０に投影される回転情報には、運動物体１８０の回転の速度、加速度等が含まれる。ユーザが携帯端末装置１２０１を操作して、運動物体１８０を撮像すると、携帯端末装置１２０１は、運動物体１８０に投影される回転情報より運動物体の回転の速度、加速度等を読み出し、携帯端末装置１２０１の表示部等に表示する。
変形例２によれば、ユーザは、携帯端末装置１２０１を用いて、運動物体の回転情報を定量的に把握することができる。
なお、他の例として、中継カメラで運動物体を撮像し、運動物体１８０を撮像し、運動物体１８０に投影される回転情報より運動物体の回転の速度、加速度等を読み出し、ユーザの端末装置の表示部等に表示するようにしてもよい。
変形例２を説明する。図１２は、変形例２の情報処理システム１０００のシステム構成の一例を示す図である。情報処理システム１０００は、システム構成として、図１に示した情報処理システム１０００のシステム構成に加えて、ユーザが保持する携帯端末装置１２０１が更に含まれる。携帯端末装置１２０１は、ユーザが携帯する端末装置であればどのようなものであってもよく、例えば、スマートフォン、スマートグラス等である。図１２では、携帯端末装置１２０１の一例としてスマートフォンを例示している。変形例２の運動物体１８０に投影される回転情報には、運動物体１８０の回転の速度、加速度等が含まれる。ユーザが携帯端末装置１２０１を操作して、運動物体１８０を撮像すると、携帯端末装置１２０１は、運動物体１８０に投影される回転情報より運動物体の回転の速度、加速度等を読み出し、携帯端末装置１２０１の表示部等に表示する。
変形例２によれば、ユーザは、携帯端末装置１２０１を用いて、運動物体の回転情報を定量的に把握することができる。
なお、他の例として、中継カメラで運動物体を撮像し、運動物体１８０を撮像し、運動物体１８０に投影される回転情報より運動物体の回転の速度、加速度等を読み出し、ユーザの端末装置の表示部等に表示するようにしてもよい。
【0037】
＜変形例３＞
変形例３を説明する。上述した実施形態等では、ガルバノミラー１７０を情報処理システム１０００のシステム構成の要素として含む例を示した。しかし、情報処理システム１０００は、必ずしもガルバノミラー１７０を含まなくてもよい。変形例３の構成の場合、撮像装置１１０の画角における所定の範囲と、投影装置１２０の投影領域の所定の範囲と、が略一致するよう情報処理装置１００によってキャリブレーションが行われるとよい。
変形例３を説明する。上述した実施形態等では、ガルバノミラー１７０を情報処理システム１０００のシステム構成の要素として含む例を示した。しかし、情報処理システム１０００は、必ずしもガルバノミラー１７０を含まなくてもよい。変形例３の構成の場合、撮像装置１１０の画角における所定の範囲と、投影装置１２０の投影領域の所定の範囲と、が略一致するよう情報処理装置１００によってキャリブレーションが行われるとよい。
【0038】
＜付記＞
次に記載の各態様で提供されてもよい。
前記情報処理システムにおいて、前記出力部は、前記回転情報を前記運動物体に投影可能に構成される、情報処理システム。
前記情報処理システムにおいて、前記回転情報は、明滅変化で表される、情報処理システム。
前記情報処理システムにおいて、前記回転情報は、テクスチャの変化で表される、情報処理システム。
前記情報処理システムにおいて、前記運動物体は、スポーツに用いられる用具である、情報処理システム。
前記情報処理システムにおいて、前記運動物体は、スポーツ選手の身体である、情報処理システム。
前記情報処理システムにおいて、前記運動物体は、機器に含まれる回転体である、情報処理システム。
前記情報処理システムにおいて、前記運動物体は、円周状マーカーを有し、前記円周状マーカーは、前記運動物体に対する切断面が円錐曲線になるように描かれたマーカーで、前記求解部は、前記円周状マーカーの撮像画像上での形状変化に基づいて前記運動物体の回転情報を求解可能に構成される、情報処理システム。
前記情報処理システムにおいて、前記出力部は、前記運動物体が動作中に、前記回転情報を、前記運動物体を観察する複数のユーザが定性的に把握可能な態様で出力可能に構成される、情報処理システム。
情報処理装置であって、求解部と、出力制御部と、を有し、前記求解部は、撮像部によって撮像された運動物体の撮像画像を解析し、前記運動物体の回転情報を求解可能に構成され、前記出力制御部は、前記回転情報を、前記運動物体を観察する複数のユーザが定性的に把握可能な態様で出力部が出力するよう制御可能に構成される、情報処理装置。
情報処理方法であって、撮像工程と、求解工程と、出力工程と、を含み、前記撮像工程では、運動物体を撮像し、前記求解工程では、前記撮像工程によって撮像された運動物体の撮像画像を解析し、前記運動物体の回転情報を求解し、前記出力工程では、前記回転情報を、前記運動物体を観察する複数のユーザが定性的に把握可能な態様で出力する、情報処理方法
プログラムであって、コンピュータを、求解部と、出力制御部と、して機能させ、前記求解部は、撮像部によって撮像された運動物体の撮像画像を解析し、前記運動物体の回転情報を求解可能に構成され、前記出力制御部は、前記回転情報を、前記運動物体を観察する複数のユーザが定性的に把握可能な態様で出力部が出力するよう制御可能に構成される、プログラム。
情報処理装置であって、求解部を有し、前記求解部は、撮像された円周状マーカーを有する運動物体の撮像画像を解析し、前記円周状マーカーの撮像画像上での形状変化に基づいて前記運動物体の回転情報を求解可能に構成され、前記円周状マーカーは、前記運動物体に対する切断面が円錐曲線になるように描かれたマーカーである、情報処理装置。
プログラムであって、コンピュータを、求解部として機能させ、前記求解部は、撮像された円周状マーカーを有する運動物体の撮像画像を解析し、前記円周状マーカーの撮像画像上での形状変化に基づいて前記運動物体の回転情報を求解可能に構成され、前記円周状マーカーは、前記運動物体に対する切断面が円錐曲線になるように描かれたマーカーである、プログラム。
もちろん、この限りではない。
次に記載の各態様で提供されてもよい。
前記情報処理システムにおいて、前記出力部は、前記回転情報を前記運動物体に投影可能に構成される、情報処理システム。
前記情報処理システムにおいて、前記回転情報は、明滅変化で表される、情報処理システム。
前記情報処理システムにおいて、前記回転情報は、テクスチャの変化で表される、情報処理システム。
前記情報処理システムにおいて、前記運動物体は、スポーツに用いられる用具である、情報処理システム。
前記情報処理システムにおいて、前記運動物体は、スポーツ選手の身体である、情報処理システム。
前記情報処理システムにおいて、前記運動物体は、機器に含まれる回転体である、情報処理システム。
前記情報処理システムにおいて、前記運動物体は、円周状マーカーを有し、前記円周状マーカーは、前記運動物体に対する切断面が円錐曲線になるように描かれたマーカーで、前記求解部は、前記円周状マーカーの撮像画像上での形状変化に基づいて前記運動物体の回転情報を求解可能に構成される、情報処理システム。
前記情報処理システムにおいて、前記出力部は、前記運動物体が動作中に、前記回転情報を、前記運動物体を観察する複数のユーザが定性的に把握可能な態様で出力可能に構成される、情報処理システム。
情報処理装置であって、求解部と、出力制御部と、を有し、前記求解部は、撮像部によって撮像された運動物体の撮像画像を解析し、前記運動物体の回転情報を求解可能に構成され、前記出力制御部は、前記回転情報を、前記運動物体を観察する複数のユーザが定性的に把握可能な態様で出力部が出力するよう制御可能に構成される、情報処理装置。
情報処理方法であって、撮像工程と、求解工程と、出力工程と、を含み、前記撮像工程では、運動物体を撮像し、前記求解工程では、前記撮像工程によって撮像された運動物体の撮像画像を解析し、前記運動物体の回転情報を求解し、前記出力工程では、前記回転情報を、前記運動物体を観察する複数のユーザが定性的に把握可能な態様で出力する、情報処理方法
プログラムであって、コンピュータを、求解部と、出力制御部と、して機能させ、前記求解部は、撮像部によって撮像された運動物体の撮像画像を解析し、前記運動物体の回転情報を求解可能に構成され、前記出力制御部は、前記回転情報を、前記運動物体を観察する複数のユーザが定性的に把握可能な態様で出力部が出力するよう制御可能に構成される、プログラム。
情報処理装置であって、求解部を有し、前記求解部は、撮像された円周状マーカーを有する運動物体の撮像画像を解析し、前記円周状マーカーの撮像画像上での形状変化に基づいて前記運動物体の回転情報を求解可能に構成され、前記円周状マーカーは、前記運動物体に対する切断面が円錐曲線になるように描かれたマーカーである、情報処理装置。
プログラムであって、コンピュータを、求解部として機能させ、前記求解部は、撮像された円周状マーカーを有する運動物体の撮像画像を解析し、前記円周状マーカーの撮像画像上での形状変化に基づいて前記運動物体の回転情報を求解可能に構成され、前記円周状マーカーは、前記運動物体に対する切断面が円錐曲線になるように描かれたマーカーである、プログラム。
もちろん、この限りではない。
【0039】
例えば、上述のプログラムを記憶する、コンピュータ読み取り可能な非一時的な記憶媒体として提供してもよい。
また、上述した実施形態と変形例とを任意に組み合わせて実施してもよい。
また、上述した実施形態等では、情報処理装置１００は、単体の装置として説明した。しかし、情報処理装置１００の機能を例えば複数のサーバから構成されるいわゆるクラウドシステムに実装するようにしてもよい。また、情報処理装置１００のハードウェア構成として、１つの制御部を有する構成を示したが、複数の制御部が、１又は複数の記憶部に記憶されたプログラムに基づき処理を実行するようにしてもよい。また、情報処理装置１００の機能構成の一部、又は全てをハードウェア構成として情報処理装置１００に実装するようにしてもよい。
また、上述した実施形態と変形例とを任意に組み合わせて実施してもよい。
また、上述した実施形態等では、情報処理装置１００は、単体の装置として説明した。しかし、情報処理装置１００の機能を例えば複数のサーバから構成されるいわゆるクラウドシステムに実装するようにしてもよい。また、情報処理装置１００のハードウェア構成として、１つの制御部を有する構成を示したが、複数の制御部が、１又は複数の記憶部に記憶されたプログラムに基づき処理を実行するようにしてもよい。また、情報処理装置１００の機能構成の一部、又は全てをハードウェア構成として情報処理装置１００に実装するようにしてもよい。
【0040】
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態及びその変形は、発明の範囲及び要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0041】
１００ ：情報処理装置
１１０ ：撮像装置
１２０ ：投影装置
１３０ ：赤外線ライト
１４０ ：ホットミラー
１５０ ：瞳転送光学系
１６０ ：ＶＩＳカットフィルター
１７０ ：ガルバノミラー
１８０ ：運動物体
２０１ ：制御部
２０２ ：記憶部
２０３ ：通信部
３０１ ：画像処理部
３０２ ：撮像制御部
３０３ ：求解部
３０４ ：出力制御部
５０１ ：円周状マーカー
１０００ ：情報処理システム
１２０１ ：携帯端末装置
１１０ ：撮像装置
１２０ ：投影装置
１３０ ：赤外線ライト
１４０ ：ホットミラー
１５０ ：瞳転送光学系
１６０ ：ＶＩＳカットフィルター
１７０ ：ガルバノミラー
１８０ ：運動物体
２０１ ：制御部
２０２ ：記憶部
２０３ ：通信部
３０１ ：画像処理部
３０２ ：撮像制御部
３０３ ：求解部
３０４ ：出力制御部
５０１ ：円周状マーカー
１０００ ：情報処理システム
１２０１ ：携帯端末装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
