特許 7462869 情報処理方法、情報処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-29

(45)【発行日】2024-04-10

(54)【発明の名称】情報処理方法、情報処理装置及びプログラム

(51)【国際特許分類】

   H04N 23/611 20230101AFI20240401BHJP

   G06T 7/00 20170101ALI20240401BHJP

   H04N 23/60 20230101ALI20240401BHJP

   H04N 23/63 20230101ALI20240401BHJP

【ＦＩ】

H04N23/611

G06T7/00 660Z

H04N23/60 100

H04N23/63 300

【請求項の数】 10

(21)【出願番号】P 2022116437

(22)【出願日】2022-07-21

(65)【公開番号】P2024013956

(43)【公開日】2024-02-01

【審査請求日】2022-08-04

【審判番号】

【審判請求日】2022-10-24

【早期審査対象出願】

(73)【特許権者】

【識別番号】517255566

【氏名又は名称】株式会社エクサウィザーズ

(72)【発明者】

【氏名】柿沼 誠

(72)【発明者】

【氏名】サックスマン コーティ

(72)【発明者】

【氏名】斎藤 親

【合議体】

【審判長】畑中 高行

【審判官】木方 庸輔

【審判官】高橋 宣博

(56)【参考文献】

【文献】国際公開第２０１３／１３６６０７（ＷＯ，Ａ１）

【文献】特開２０１４－６４２５４（ＪＰ，Ａ）

【文献】特開２０１６－１２３０３２（ＪＰ，Ａ）

【文献】特開２０２０－１５４７３０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

H04N 5/222 - 5/257,

H04N 23/00 - 23/959,

G06T 5/00 - 5/94

(57)【特許請求の範囲】

【請求項1】

ディスプレイと、前記ディスプレイ側を撮影するカメラと、を備えた情報処理装置が実行する情報処理方法であって、
前記カメラが撮影した動画を取得する処理と、
前記動画に含まれる被撮影者の骨格を推定する処理と、
前記ディスプレイの所定の寸法に対する、推定された前記骨格の少なくとも一部の所定の寸法の割合に基づいて設定される開始条件を満たしたか判定する処理と、
前記開始条件が満たされた場合、録画を開始する処理と、
を含む情報処理方法。

【請求項2】

前記開始条件は、前記ディスプレイの高さに対する、前記被撮影者の少なくとも一部の骨格の高さの割合に基づいて設定される
請求項１に記載の情報処理方法。

【請求項3】

前記開始条件は、前記ディスプレイの幅に対する、前記被撮影者の少なくとも一部の骨格の幅の割合に基づいて設定される
請求項１に記載の情報処理方法。

【請求項4】

前記録画を開始する処理は、前記ディスプレイに録画の開始までの時間を表示する処理を含む
請求項１に記載の情報処理方法。

【請求項5】

録画の開始後、前記ディスプレイの所定の寸法に対する、前記骨格の少なくとも一部の所定の寸法の割合に基づいて設定される終了条件を満たしたか判定する処理と、
前記終了条件が満たされた場合、録画を終了する処理と、
を更に含む請求項１に記載の情報処理方法。

【請求項6】

前記終了条件は、前記ディスプレイの高さに対する、前記被撮影者の少なくとも一部の骨格の高さの割合に基づいて設定される
請求項５に記載の情報処理方法。

【請求項7】

前記終了条件は、前記ディスプレイの幅に対する、前記被撮影者の少なくとも一部の骨格の幅の割合に基づいて設定される
請求項５に記載の情報処理方法。

【請求項8】

前記終了条件は、前記ディスプレイの高さに対する、前記被撮影者の上半身の骨格の高さの割合に基づいて設定される
請求項５に記載の情報処理方法。

【請求項9】

ディスプレイと、前記ディスプレイ側を撮影するカメラと、を備えた情報処理装置に、
前記カメラが撮影した動画を取得する処理と、
前記動画に含まれる被撮影者の骨格を推定する処理と、
前記ディスプレイの所定の寸法に対する、推定された前記骨格の少なくとも一部の所定の寸法の割合に基づいて設定される開始条件を満たしたか判定する処理と、
前記開始条件が満たされた場合、録画を開始する処理と、
を含む情報処理方法を実行させるためのプログラム。

【請求項10】

ディスプレイと、
前記ディスプレイ側を撮影するカメラと、
前記カメラが撮影した動画を取得する取得部と、
前記動画に含まれる被撮影者の骨格を推定する推定部と、
前記ディスプレイの所定の寸法に対する、推定された前記骨格の少なくとも一部の所定の寸法の割合に基づいて設定される開始条件を満たしたか判定する判定部と、
前記開始条件が満たされた場合、録画を開始する撮影部と、
を含む情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、情報処理装置及びプログラムに関する。

【背景技術】

【0002】

近年、運動中の動画を撮影してＡＩで解析するサービスが広がりつつある。このようなバービスを実現する技術として、引用文献１には、被検者の動画像を取得する画像取得部と、前記動画像から被検者の体勢を画像認識する所定の体勢認識方法により被検者の複数の身体特徴点を推定する特徴推定部と、所定の基準部位の実世界における長さである基準長さを記憶する基準記憶部と、前記推定された複数の身体特徴点から定まる前記基準部位に相当する画像上の距離と前記基準長さとの比に基づき、前記被検者の動作の評価に用いる値として、前記複数の身体特徴点の間の画像上の距離から被検者の動作状態を示す値を求める動作解析部と、前記動作状態を示す値を出力する出力部と、を備えることを特徴とする動作状態評価システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６７０３１９９号

【発明の概要】

【発明が解決しようとする課題】

【0004】

このようなサービスで利用される動画は、運動中の被撮影者の全身が写っていることが必要な場合が多い。そして、カメラで全身を写すためには、被撮影者がカメラからある程度離れる必要がある。

【0005】

一方、ＡＩで解析する動画は、余計なシーンが写っていないのが好ましい。このため、適切なタイミングで録画を開始及び終了することが重要である。

【0006】

カメラから離れた位置から適切なタイミングで録画を開始及び終了することは困難であるため、被撮影者が適切な動画を自分で録画するのは難しかった。

【0007】

本発明は、上記の課題を鑑みてなされたものであり、カメラから離れた被撮影者を適切なタイミングで録画することを目的とする。

【課題を解決するための手段】

【0008】

一実施形態に係る情報処理方法は、ディスプレイと、前記ディスプレイ側を撮影するカメラと、を備えた情報処理装置が実行する情報処理方法であって、前記カメラが撮影した動画を取得する処理と、前記動画に含まれる被撮影者の骨格を推定する処理と、推定された前記骨格が開始条件を満たしたか判定する処理と、前記開始条件が満たされた場合、録画を開始する処理と、を含む。

【発明の効果】

【0009】

一実施形態によれば、カメラから離れた被撮影者を適切なタイミングで録画することができる。

【図面の簡単な説明】

【0010】

【図1】情報処理装置のハードウェア構成の一例を示す図である。

【図2】情報処理装置の機能構成の一例を示す図である。

【図3】情報処理装置が実行する処理の一例を示すフローチャートである。

【図4】待機画面Ｓｃ１の一例を示す図である。

【図5】待機画面Ｓｃ１の一例を示す図である。

【図6】カウントダウン画面Ｓｃ２の一例を示す図である。

【図7】録画画面Ｓｃ３の一例を示す図である。

【図8】録画画面Ｓｃ３の一例を示す図である。

【図9】録画画面Ｓｃ３の一例を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

【0012】

＜撮影装置１の概要＞
まず、本実施形態に係る撮影装置１の概要について説明する。本実施形態に係る撮影装置１は、ディスプレイ及びカメラを備えた情報処理装置である。撮影装置１は、例えば、ＰＣ（Personal Computer）、スマートフォン、タブレット端末又はデジタルカメラであるが、これに限られない。撮影装置１は、ユーザの運動中の動画を、適切なタイミングで自動的に撮影する。ここでいう運動は、例えば、歩行、走行、水泳、ダンス、トレーニング、ピラティス、ヨガ又は任意のスポーツのフォームであるが、これに限られない。

【0013】

この撮影装置１を利用することで、ユーザは、自分が運動中の動画であって、ＡＩによる解析に適した動画を、自分で撮影（自撮り）することができる。本明細書において、ユーザは、動画の被撮影者に相当する。

【0014】

より詳細には、ユーザは、ディスプレイを自分に向けた状態で撮影装置１を設置し、ディスプレイ側を撮影するカメラを起動し、自分の運動がカメラに写る位置まで移動する。そうすると、撮影装置１は、カメラに写ったユーザ（被撮影者）の骨格情報に基づいて、録画を開始し、終了する。また、撮影装置１は、録画の開始タイミングや終了タイミングがわかるように、ディスプレイに所定の画面を表示する。ユーザは、ディスプレイに表示された画面にしたがって、運動を開始し、終了する。これにより、運動中以外の余計なシーンが写っていない、ユーザの運動中の動画が撮影される。

【0015】

こうして撮影された動画は、ＡＩにより被撮影者の運動を解析する任意の動画解析サービスにおける、解析対象の動画として利用できる。例えば、歩行解析サービスを利用して歩行中の動画を解析することで、動画から自分の歩行能力を評価することができる。

【0016】

＜情報処理装置のハードウェア構成＞
次に、情報処理装置１００のハードウェア構成について説明する。図１は、情報処理装置１００のハードウェア構成の一例を示す図である。図１に示すように、情報処理装置１００は、バスＢを介して相互に接続された、プロセッサ１０１と、メモリ１０２と、ストレージ１０３と、通信Ｉ／Ｆ１０４と、入出力Ｉ／Ｆ１０５と、ドライブ装置１０６と、を備える。

【0017】

プロセッサ１０１は、ストレージ１０３に記憶されたＯＳ（Operating System）を含む各種のプログラムをメモリ１０２に展開して実行することにより、情報処理装置１００の各構成を制御し、情報処理装置１００の機能を実現する。プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、又はこれらの組み合わせである。

【0018】

メモリ１０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、又はこれらの組み合わせである。ＲＯＭは、例えば、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、又はこれらの組み合わせである。ＲＡＭは、例えば、ＤＲＡＭ（Dynamic RAM）、ＳＲＡＭ（Static RAM）、又はこれらの組み合わせである。

【0019】

ストレージ１０３は、ＯＳを含む各種のプログラム及びデータを記憶する。ストレージ１０３は、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＳＣＭ（Storage Class Memories）、又はこれらの組み合わせである。

【0020】

通信Ｉ／Ｆ１０４は、情報処理装置１００を、ネットワークを介して外部装置に接続し、通信を制御するためのインタフェースである。ネットワークは、例えば、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。通信Ｉ／Ｆ１０４は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）、又は光通信に準拠したアダプタであるが、これに限られない。

【0021】

入出力Ｉ／Ｆ１０５は、情報処理装置１００に入力装置１０７及び出力装置１０８を接続するためのインタフェースである。入力装置１０７は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、カメラ、各種センサ、操作ボタン、又はこれらの組み合わせである。出力装置１０８は、例えば、ディスプレイ、プロジェクタ、プリンタ、スピーカ、バイブレータ、又はこれらの組み合わせである。撮影装置１は、ディスプレイと、ディスプレイ側を撮影するカメラと、を少なくとも備える。

【0022】

ドライブ装置１０６は、ディスクメディア１０９のデータを読み書きする。ドライブ装置１０６は、例えば、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ、又はこれらの組み合わせである。ディスクメディア１０９は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＦＤ（Floppy Disk）、ＭＯ（Magneto-Optical disk）、ＢＤ（Blu-ray（登録商標） Disc）、又はこれらの組み合わせである。

【0023】

なお、本実施形態において、プログラムは、情報処理装置１００の製造段階でメモリ１０２又はストレージ１０３に書き込まれてもよいし、ネットワークを介して情報処理装置１００に提供されてもよいし、ディスクメディア１０９などの非一時的でコンピュータ読み取り可能な記録媒体を介して情報処理装置１００に提供されてもよい。

【0024】

＜撮影装置１の機能構成＞
次に、撮影装置１の機能構成について説明する。図２は、撮影装置１の機能構成の一例を示す図である。図２に示すように、撮影装置１は、通信部１１と、記憶部１２と、制御部１３と、を備える。

【0025】

通信部１１は、通信Ｉ／Ｆ１０４により実現される。通信部１１は、ネットワークを介して、外部装置との間で情報の送受信を行う。通信部１１は、例えば、動画ファイル１２４を動画解析サービスに送信したり、動画解析サービスから解析結果を受信したりする。

【0026】

記憶部１２は、メモリ１０２及びストレージ１０３により実現される。記憶部１２は、撮影動画１２１と、骨格情報１２２と、条件情報１２３と、動画ファイル１２４と、を記憶する。

【0027】

撮影動画１２１は、カメラが撮影した動画である。撮影動画１２１は、記憶部１２に一時的に保存される。

【0028】

骨格情報１２２は、撮影動画１２１に写った被撮影者の骨格に関する情報である。骨格情報１２２は、予め設計された１又は複数の骨格の種類及び座標を示す情報を含む。骨格情報は、撮影動画１２１のフレームごとに記憶される。なお、骨格は、任意に設計可能である。

【0029】

条件情報１２３は、録画（動画ファイル１２４の生成）の開始条件及び終了条件に関する情報である。開始条件及び終了条件は、骨格情報１２２に基づいて設定される。開始条件及び終了条件について、詳しくは後述する。

【0030】

動画ファイル１２４は、撮影装置１により生成された、被撮影者（ユーザ）の運動中の動画のファイルである。撮影動画１２１のうち、録画開始から録画終了までの部分が、１つの動画ファイル１２４として保存される。

【0031】

制御部１３は、プロセッサ１０１がメモリ１０２からプログラムを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部１３は、撮影装置１の動作全体を制御する。制御部１３は、取得部１３１と、推定部１３２と、判定部１３３と、表示制御部１３４と、撮影制御部１３５と、動画生成部１３６と、を備える。

【0032】

取得部１２１は、撮影を開始したカメラから動画を取得する。取得部１２１は、取得した動画を撮影動画１２１として記憶部１２に保存する。

【0033】

推定部１３２は、骨格推定（姿勢推定）モデルを利用して、撮影動画１２１の各フレーム（画像）に含まれる被撮影者の骨格を推定する。骨格推定モデルとして、ＯｐｅｎＰｏｓｅなどの既存の任意のモデルを利用できる。推定部１３２は、画像から被撮影者を検出し、検出した被撮影者の骨格を推定してもよいし、画像からダイレクトに骨格を推定してもよい。推定部１３２は、推定した骨格に関する情報を骨格情報１２２として記憶部１２に保存する。

【0034】

判定部１３３は、骨格情報１２２及び条件情報１２３に基づいて、録画の開始条件及び終了条件が満たされたか判定する。開始条件及び終了条件について、詳しくは後述する。

【0035】

表示制御部１３４は、ディスプレイに表示される画面を制御する。

【0036】

撮影制御部１３５は、カメラによる撮影を制御する。

【0037】

動画生成部１３６は、撮影動画１２１から動画ファイル１２４を生成する。

【0038】

なお、撮影装置１の機能構成は、上記の例に限られない。例えば、撮影装置１は、上記の機能構成の一部を備え、残りの機能構成を、ネットワークを介して接続された外部装置が備えてもよい。また、撮影装置１は、上記以外の機能構成を備えてもよい。また、撮影装置１の各機能構成は、上記の通り、ソフトウェアにより実現されてもよいし、ＩＣチップ、ＳｏＣ（System on Chip）、ＬＳＩ（Large Scale Integration）、マイクロコンピュータ等のハードウェアによって実現されてもよい。

【0039】

＜撮影装置１が実行する処理＞
次に、本実施形態に係る撮影装置１が実行する処理について説明する。図３は、撮影装置１が実行する処理の一例を示すフローチャートである。以下では、撮影装置１がスマートフォンであり、撮影装置１により、カメラに向かって所定距離だけ歩行する被撮影者の動画を撮影する場合を例に説明する。

【0040】

（ステップＳ１０１）
まず、ユーザは、撮影装置１を三脚などに設置し、撮影装置１を操作して、撮影装置１のディスプレイ側を撮影するカメラを起動する。撮影制御部１３５は、ユーザの操作に応じて、ディスプレイ側のカメラによる撮影を開始する（ステップＳ１０１）。なお、この時点では、録画はされない。

【0041】

（ステップＳ１０２）
カメラによる撮影が開始されると、表示制御部１３４は、ディスプレイに待機画面Ｓｃ１を表示する（ステップＳ１０２）。待機画面Ｓｃ１は、録画の開始条件が満たされるのを待機する間に表示される画面である。待機画面Ｓｃ１は、撮影が開始されてから録画が開始されるまで表示される画面である。

【0042】

図４は、待機画面Ｓｃ１の一例を示す図である。図４の待機画面Ｓｃ１は、終了ボタンＢ１と、撮影動画表示領域Ａ１と、待機表示領域Ａ２と、を有する。

【0043】

終了ボタンＢ１は、カメラによる撮影を終了させ、待機画面Ｓｃ１の表示を終了させるためのボタンである。ユーザが終了ボタンＢ１を選択すると、カメラによる撮影を終了し、例えば、アプリのホーム画面などがディスプレイに表示される。図４の例では、終了ボタンＢ１は、待機表示領域Ａ２の左上に配置されているが、終了ボタンＢ１の位置は任意である。

【0044】

撮影動画表示領域Ａ１は、撮影動画１２１をリアルタイムで表示する領域である。図４の例では、ディスプレイの外周部を除く部分が撮影動画表示領域Ａ１となっており、撮影動画表示領域Ａ１には、突き当たりにドアが設置された廊下が表示されている。

【0045】

待機表示領域Ａ２は、待機画面Ｓｃ１が表示されていること、すなわち、まだ録画が開始されていないことを、撮影装置１から離れたユーザにわかりやすく表示するための領域である。図４の例では、撮影動画表示領域Ａ１の外周を囲む部分が単色の待機表示領域Ａ２となっている。待機表示領域Ａ２は、例えば、明るい緑であるが、これに限られない。また、待機表示領域Ａ２は、単色でなくてもよいし、点滅表示などがされてもよい。歩行動画を撮影するためにディスプレイ側の離れた位置に移動したユーザは、ディスプレイに表示された待機表示領域Ａ２を見ることで、まだ録画が開始されていないことを容易に把握することができる。

【0046】

（ステップＳ１０３）
一方で、カメラによる撮影が開始されると、取得部１３１は、カメラから動画をリアルタイムで取得し、取得した動画を撮影動画１２１として記憶部１２に保存する（ステップＳ１０３）。表示制御部１３４は、こうして随時保存される撮影動画１２１を撮影動画表示領域Ａ１に表示する。取得部１３１は、カメラによる撮影が終了するまで動画の取得を継続する。

【0047】

（ステップＳ１０４）
次に、推定部１３２は、骨格推定モデルを利用して、最新の撮影動画１２１から、ユーザ（被撮影者）の骨格を推定する（ステップＳ１０４）。推定部１３２は、推定の結果として得られた骨格に関する情報を、推定の対象となったフレームと対応づけて、骨格情報１２２として記憶部１２に保存する。推定部１３２は、録画が終了するまで骨格の推定を継続する。

【0048】

図５は、待機画面Ｓｃ１の一例を示す図である。図５の例では、歩行動画を撮影するために、ユーザが廊下の突き当たりに移動しており、突き当たりにいるユーザが映った撮影動画１２１が撮影動画表示領域Ａ１に表示されている。また、撮影動画１２１から推定されたユーザ（被撮影者）の骨格が、撮影動画１２１に重畳して表示されている。

【0049】

（ステップＳ１０５）
続いて、判定部１３３は、骨格情報１２２に基づいて、録画の開始条件が満たされたか判定する（ステップＳ１０５）。判定部１３３は、録画の開始条件が満たされるまで判定を継続する（ステップＳ１０５：ＮＯ）。録画の開始条件が満たされた場合（ステップＳ１０５：ＹＥＳ）、処理はステップＳ１０６に進む。

【0050】

ここで、開始条件について、詳しく説明する。上述の通り、開始条件は、ユーザ（被撮影者）の骨格に基づいて設定される。より詳細には、開始条件は、ユーザ（被撮影者）の骨格の大きさに基づいて設定される。ユーザ（被撮影者）の骨格の大きさは、撮影装置１に対するユーザ（被撮影者）の距離に相当する。

【0051】

開始条件は、例えば、ディスプレイの高さＨに対するユーザ（被撮影者）の全身の骨格の高さｈ１（大きさ）の割合が閾値以下である期間が、所定時間（所定フレーム）継続することである。閾値及び所定時間は任意に設定可能である。ここで、開始条件が、ディスプレイの高さＨに対するユーザ（被撮影者）の全身の骨格の高さｈ１の割合が５０％以下である期間が１秒継続することであった場合について考える。

【0052】

この場合、判定部１３３は、まず、骨格情報１２２に基づいて、各フレームに対するユーザの全身の骨格の高さｈ１を計算する。全身の骨格の高さｈ１は、例えば、全身の骨格の座標のうち、一番上の座標と一番下の座標との差である（図５参照）。

【0053】

次に、判定部１３３は、予め設定されたディスプレイの高さＨに対する、高さｈ１の割合（ｈ１／Ｈ）を計算し、その割合が５０％以下であるか判定する。判定部１３３は、割合が５０％以下である期間が１秒（撮影動画が３０ｆｐｓである場合、３０フレーム）継続した場合、開始条件が満たされたと判定する。

【0054】

これにより、図５の例にように、撮影装置１からユーザ（被撮影者）が所定の距離だけ離れた場合に録画を開始することができる。言い換えると、ユーザが撮影装置１から所定の距離だけ離れるまでの移動期間を録画しないようにすることができる。

【0055】

なお、開始条件は上記の例に限られない。例えば、高さｈ１は、ユーザ（被撮影者）の全身ではなく、一部（例えば、上半身）の高さであってもよい。また、高さＨは、ディスプレイの高さではなく、撮影動画表示領域Ａ１又は待機表示領域Ａ２の高さであってもよい。また、高さｈ１の割合と閾値を比較する代わりに、高さｈ１と閾値を比較してもよい。

【0056】

また、開始条件は、ディスプレイの幅Ｗに対するユーザ（被撮影者）の全身の骨格の幅ｗ（大きさ）の割合が閾値以下である期間が、所定時間（所定フレーム）継続することであってもよい。幅ｗは、ユーザ（被撮影者）の全身ではなく、一部（例えば、上半身）の幅であってもよい。また、幅Ｗは、ディスプレイの幅ではなく、撮影動画表示領域Ａ１又は待機表示領域Ａ２の幅であってもよい。また、幅ｗの割合と閾値を比較する代わりに、幅ｗと閾値を比較してもよい。

【0057】

また、開始条件は、ディスプレイ上におけるユーザ（被撮影者）の位置に基づいて設定されてもよい。例えば、開始条件として、人検出により検出されたユーザ（被撮影者）の座標の範囲を設定することが考えられる。これにより、ディスプレイに対してユーザ（被撮影者）が所定の位置にいる場合に録画を開始することができる。

【0058】

なお、開始条件は、上記の例に限られない。開始条件は、高さｈ１、幅ｗ及びユーザの位置のうち２つ以上の組み合わせに基づいて設定されてもよいし、その他の条件を組み合わせて設定されてもよい。

【0059】

（ステップＳ１０６）
開始条件が満たされた場合、表示制御部１３４は、ディスプレイにカウントダウン画面Ｓｃ２を表示する（ステップＳ１０６）。カウントダウン画面Ｓｃ２は、録画を開始するまでの時間を表示する画面である。

【0060】

図６は、カウントダウン画面Ｓｃ２の一例を示す画面である。図６の例では、カウントダウン画面Ｓｃ２に大きく「５」が表示されている。これは、録画を開始するまであと５秒であることを意味している。このカウントダウン画面Ｓｃ２では、表示される数字が１ずつ小さくなっていき、「０」のタイミングで録画が開始される。このように、開始条件が満たされた後、カウントダウン画面Ｓｃ２を表示することにより、ユーザ（被撮影者）は、録画が開始される正確なタイミングを容易に把握することができる。なお、カウントダウンされる時間は５秒に限られず、任意に設定可能である。また、判定部１３３は、カウントダウンが開始されてから終了するまでの間、開始条件が満たされたか判定し続けてもよい。この場合、カウントダウンの途中で開始条件が満たされなくなると、処理はステップＳ１０５に戻る。これにより、開始条件が確実に満たされた状態で録画を開始することができる。

【0061】

（ステップＳ１０７）
カウントダウンが「０」になると、動画生成部１３６は、録画を開始する（ステップＳ１０７）。具体的には、撮影動画１２１を取得し、動画ファイル１２４の生成を開始する。

【0062】

（ステップＳ１０８）
一方で、表示制御部１３４は、ディスプレイに録画画面Ｓｃ３を表示する。録画画面Ｓｃ３は、録画中に表示される画面である。

【0063】

図７～図９は、録画画面Ｓｃ３の一例を示す図である。図７～図９の録画画面Ｓｃ３は、終了ボタンＢ１と、停止ボタンＢ２と、撮影動画表示領域Ａ１と、進捗バーｂと、を有する。

【0064】

終了ボタンＢ１は、カメラによる撮影を終了させ、録画画面Ｓｃ３の表示を終了させるためのボタンである。ユーザが終了ボタンＢ１を選択すると、カメラによる撮影を終了し、例えば、アプリのホーム画面などがディスプレイに表示される。図７～図９の例では、終了ボタンＢ１は、待機表示領域Ａ１の左上に配置されているが、終了ボタンＢ１の位置は任意である。

【0065】

停止ボタンＢ２は、録画を停止及び再開させるためのボタンである。ユーザが停止ボタンＢ２を選択すると、録画が停止し、停止ボタンＢ２を再度選択すると、録画が再開する。図７～図９の例では、停止ボタンＢ２は、待機表示領域Ａ１の下部中央に配置されているが、停止ボタンＢ２の位置は任意である。

【0066】

撮影動画表示領域Ａ１は、撮影動画１２１をリアルタイムで表示する領域である。図７～図９の例では、ディスプレイの上部を除く部分が撮影動画表示領域Ａ１となっており、撮影動画表示領域Ａ１には、突き当たりにドアが設置された廊下が表示されている。また、廊下の突き当たりには、ユーザ（被撮影者）が立っている。

【0067】

進捗バーｂは、録画の進捗率を表示するためのバーである。図７～図９の例では、進捗バーｂは、撮影動画表示領域Ａ１の上部に表示されているが、進捗バーｂの位置は任意である。また、図７～図９の例では、進捗バーｂは、進捗率が高まるほど縮む（０％に近づく）ように、すなわち、バーが残りの進捗率を表すように表示されているが、進捗率が高まるほど伸びる（１００％に近づく）ように、すなわち、バーが進捗率自体を表すように表示されてもよい。また、録画の進捗は、バー以外の形式でディスプレイに表示されてもよい。

【0068】

（ステップＳ１０９）
また、表示制御部１３４は、録画の進捗率を算出する（ステップＳ１０９）。進捗率は、録画の開始条件を満たしたときが進捗率０％、録画の終了条件を満たしたときが進捗率１００％となるように、ユーザ（被撮影者）の骨格に基づいて算出される。

【0069】

（ステップＳ１１０）
次に、判定部１３３は、骨格情報１２２に基づいて、録画の終了条件が満たされたか判定する（ステップＳ１１０）。判定部１３３は、録画の終了条件が満たされるまで判定を継続する（ステップＳ１１０：ＮＯ）。録画の終了条件が満たされた場合（ステップＳ１１０：ＹＥＳ）、処理はステップＳ１１１に進む。

【0070】

ここで、終了条件について、詳しく説明する。上述の通り、終了条件は、ユーザ（被撮影者）の骨格に基づいて設定される。より詳細には、終了条件は、ユーザ（被撮影者）の骨格の大きさに基づいて設定される。ユーザ（被撮影者）の骨格の大きさは、撮影装置１に対するユーザ（被撮影者）の距離に相当する。

【0071】

終了条件は、例えば、ディスプレイの高さＨに対するユーザ（被撮影者）の上半身の骨格の高さｈ２（大きさ）の割合が閾値以上である期間が、所定時間（所定フレーム）継続することである。閾値及び所定時間は任意に設定可能である。ここで、終了条件が、ディスプレイの高さＨに対するユーザ（被撮影者）の上半身の骨格の高さｈ２の割合が５０％以下である期間が０．１秒継続することであった場合について考える。

【0072】

この場合、判定部１３３は、まず、骨格情報１２２に基づいて、各フレームに対するユーザの上半身の骨格の高さｈ２を計算する。上半身の骨格の高さｈ２は、例えば、上半身の骨格として設定された骨格の座標のうち、一番上の座標と一番下の座標との差である（図８参照）。

【0073】

次に、判定部１３３は、予め設定されたディスプレイの高さＨに対する、高さｈ２の割合（ｈ２／Ｈ）を計算し、その割合が５０％以上であるか判定する。判定部１３３は、割合が５０％以上である期間が０．１秒（撮影動画が３０ｆｐｓである場合、３フレーム）継続した場合、終了条件が満たされたと判定する。

【0074】

これにより、図９の例にように、撮影装置１からユーザ（被撮影者）が所定の距離だけ離れた場合（撮影装置１までユーザ（被撮影者）が所定の距離だけ近づいた場合）に録画を終了することができる。言い換えると、ユーザが撮影装置１から所定の距離まで近づいた後を録画しないようにすることができる。また、上半身の骨格に基づいて終了条件を判定することにより、図９の例のように、撮影装置１に接近してユーザ（被撮影者）の下半身が映らない場合も録画を終了させることができる。

【0075】

なお、終了条件は上記の例に限られない。例えば、高さｈ２は、ユーザ（被撮影者）の上半身ではなく、上半身以外の体の一部、又は全身の高さであってもよい。また、高さＨは、ディスプレイの高さではなく、撮影動画表示領域Ａ１の高さであってもよい。また、高さｈ２の割合と閾値を比較する代わりに、高さｈ２と閾値を比較してもよい。

【0076】

また、終了条件は、ディスプレイの幅Ｗに対するユーザ（被撮影者）の全身の骨格の幅ｗ（大きさ）の割合が閾値以上である期間が、所定時間（所定フレーム）継続することであってもよい。幅ｗは、ユーザ（被撮影者）の全身ではなく、一部（例えば、上半身）の幅であってもよい。また、幅Ｗは、ディスプレイの幅ではなく、撮影動画表示領域Ａ１の幅であってもよい。また、幅ｗの割合と閾値を比較する代わりに、幅ｗと閾値を比較してもよい。

【0077】

また、終了条件は、ディスプレイ上におけるユーザ（被撮影者）の位置に基づいて設定されてもよい。例えば、終了条件として、人検出により検出されたユーザ（被撮影者）の座標の範囲を設定することが考えられる。これにより、ディスプレイに対してユーザ（被撮影者）が所定の位置にいる場合に録画を終了することができる。

【0078】

なお、終了条件は、上記の例に限られない。終了条件は、高さｈ２、幅ｗ及びユーザの位置のうち２つ以上の組み合わせに基づいて設定されてもよいし、その他の条件を組み合わせて設定されてもよい。また、ユーザが撮影装置１から離れる運動をする場合には、上述の開始条件と終了条件は逆であってもよい。

【0079】

（ステップＳ１１１）
終了条件が満たされると、動画生成部１３６は、録画を終了する（ステップＳ１１１）。具体的には、撮影動画１２１の取得を終了し、録画を開始してから終了するまでに取得した撮影動画１２１を含む動画ファイル１２４を生成し、記憶部１２に保存する。

【0080】

＜まとめ＞
以上説明した通り、本実施形態によれば、撮影装置１は、撮影動画１２１に含まれるユーザ（被撮影者）の骨格に基づいて録画の開始条件を満たしたか判定し、開始条件が満たされた場合に録画を開始する。これにより、ユーザ（被撮影者）が撮影装置１から、運動を開始するのに適した所定の距離にきたタイミングで録画を開始することができる。結果として、ユーザ（被撮影者）が撮影装置１のカメラを起動してから所定の距離に移動するまでの余計なシーンを含まない、ＡＩでの運動の解析に適した動画ファイル１２４を生成できる。

【0081】

また、本実施形態によれば、撮影装置１は、撮影動画１２１に含まれるユーザ（被撮影者）の骨格に基づいて録画の終了条件を満たしたか判定し、終了条件が満たされた場合に録画を終了する。これにより、ユーザ（被撮影者）が撮影装置１から、運動を終了するのに適した所定の距離にきたタイミングで録画を終了することができる。結果として、ユーザ（被撮影者）が運動を終了した後の余計なシーンを含まない、ＡＩでの運動の解析に適した動画ファイル１２４を生成できる。

【0082】

＜付記＞
本実施形態は、以下の開示を含む。

【0083】

（付記１）
ディスプレイと、前記ディスプレイ側を撮影するカメラと、を備えた情報処理装置が実行する情報処理方法であって、
前記カメラが撮影した動画を取得する処理と、
前記動画に含まれる被撮影者の骨格を推定する処理と、
推定された前記骨格が開始条件を満たしたか判定する処理と、
前記開始条件が満たされた場合、録画を開始する処理と、
を含む情報処理方法。

【0084】

（付記２）
前記開始条件は、前記被撮影者の少なくとも一部の骨格の大きさに基づいて設定される
付記１に記載の情報処理方法。

【0085】

（付記３）
前記開始条件は、前記被撮影者の少なくとも一部の骨格の高さに基づいて設定される
付記１に記載の情報処理方法。

【0086】

（付記４）
前記開始条件は、前記ディスプレイの高さに対する、前記被撮影者の少なくとも一部の骨格の高さの割合に基づいて設定される
付記１に記載の情報処理方法。

【0087】

（付記５）
前記録画を開始する処理は、前記ディスプレイに録画の開始までの時間を表示する処理を含む
付記１に記載の情報処理方法。

【0088】

（付記６）
録画の開始後、前記骨格が終了条件を満たしたか判定する処理と、
前記終了条件が満たされた場合、録画を終了する処理と、
を更に含む付記１に記載の情報処理方法。

【0089】

（付記７）
前記終了条件は、前記被撮影者の少なくとも一部の骨格の大きさに基づいて設定される
付記６に記載の情報処理方法。

【0090】

（付記８）
前記終了条件は、前記被撮影者の少なくとも一部の骨格の高さに基づいて設定される
付記６に記載の情報処理方法。

【0091】

（付記９）
前記終了条件は、前記ディスプレイの高さに対する、前記被撮影者の少なくとも一部の骨格の高さの割合に基づいて設定される
付記６に記載の情報処理方法。

【0092】

（付記１０）
前記終了条件は、前記ディスプレイの高さに対する、前記被撮影者の上半身の骨格の高さの割合に基づいて設定される
付記６に記載の情報処理方法。

【0093】

（付記１１）
録画の開始後、前記ディスプレイに録画の進捗率を表示する処理を更に含む
付記１に記載の情報処理方法。

【0094】

（付記１２）
前記進捗率は、前記ディスプレイにバーで表示される
付記１１に記載の情報処理方法。

【0095】

（付記１３）
ディスプレイと、前記ディスプレイ側を撮影するカメラと、を備えた情報処理装置に、
前記カメラが撮影した動画を取得する処理と、
前記動画に含まれる被撮影者の骨格を推定する処理と、
推定された前記骨格が開始条件を満たしたか判定する処理と、
前記開始条件が満たされた場合、録画を開始する処理と、
を含む情報処理方法を実行させるためのプログラム。

【0096】

（付記１４）
ディスプレイと、
前記ディスプレイ側を撮影するカメラと、
前記カメラが撮影した動画を取得する取得部と、
前記動画に含まれる被撮影者の骨格を推定する推定部と、
推定された前記骨格が開始条件を満たしたか判定する判定部と、
前記開始条件が満たされた場合、録画を開始する撮影部と、
を含む情報処理装置。

【0097】

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0098】

１：撮影装置
１１：通信部
１２：記憶部
１３：制御部
１２１：撮影動画
１２２：骨格情報
１２３：条件情報
１２４：動画ファイル
１３１：取得部
１３２：推定部
１３３：判定部
１３４：表示制御部
１３５：撮影制御部
１３６：動画生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】