IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社リコーの特許一覧

<図1>
  • 特許-表示入力装置及びプログラム 図1
  • 特許-表示入力装置及びプログラム 図2
  • 特許-表示入力装置及びプログラム 図3
  • 特許-表示入力装置及びプログラム 図4
  • 特許-表示入力装置及びプログラム 図5
  • 特許-表示入力装置及びプログラム 図6
  • 特許-表示入力装置及びプログラム 図7
  • 特許-表示入力装置及びプログラム 図8
  • 特許-表示入力装置及びプログラム 図9
  • 特許-表示入力装置及びプログラム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-24
(45)【発行日】2024-07-02
(54)【発明の名称】表示入力装置及びプログラム
(51)【国際特許分類】
   G06F 3/04883 20220101AFI20240625BHJP
   H04N 21/4402 20110101ALI20240625BHJP
   H04N 21/442 20110101ALI20240625BHJP
   G09G 5/36 20060101ALI20240625BHJP
   G09G 5/00 20060101ALI20240625BHJP
   G09G 5/377 20060101ALI20240625BHJP
【FI】
G06F3/04883
H04N21/4402
H04N21/442
G09G5/36 400
G09G5/00 510H
G09G5/00 510M
G09G5/00 550B
G09G5/377 100
【請求項の数】 6
(21)【出願番号】P 2020182417
(22)【出願日】2020-10-30
(65)【公開番号】P2022072780
(43)【公開日】2022-05-17
【審査請求日】2023-08-24
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】前田 未友
【審査官】井上 香緒梨
(56)【参考文献】
【文献】特開2000-113208(JP,A)
【文献】特開2018-201189(JP,A)
【文献】特開2009-080545(JP,A)
【文献】米国特許出願公開第2006/0053459(US,A1)
【文献】特開2017-175419(JP,A)
【文献】特表2015-533003(JP,A)
【文献】国際公開第2015/178739(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F3/01
G06F3/048-3/04895
H04N7/14-7/56
H04N21/00-21/858
G09G5/00-5/42
(57)【特許請求の範囲】
【請求項1】
動画を表示する表示機能、及び入力操作を受け付ける操作受付機能を有する操作表示手段と、
前記操作受付機能によりストロークの手書き入力が開始されてから終了するまでの前記動画のキャプチャ画像と、前記動画の上に手書き入力されたストローク画像と、を所定の周期で同期させて録画する映像制御手段と、
前記ストロークの手書き入力が開始されてから終了するまでの間に、所定の周期で同期して録画した一連の前記キャプチャ画像及び前記ストローク画像を、記憶部にキャプチャページとして保存するページ制御手段と、
同期する前記ストローク画像を重畳させた一連の前記キャプチャ画像を、前記表示機能により表示部に表示させるユーザインタフェース制御手段と、
を備える表示入力装置。
【請求項2】
前記映像制御手段は、前記動画をバッファリングするバッファリング機能を有し、前記操作受付機能によりストロークの手書き入力が開始される所定時間前から終了するまでの前記動画のキャプチャ画像を録画すること、
を特徴とする請求項1記載の表示入力装置。
【請求項3】
前記映像制御手段は、前記動画のフレーム間の動きベクトルを解析する動きベクトル解析機能を有し、前記動きベクトルの解析結果に応じて、前記所定の周期を変更すること
を特徴とする請求項1又は2記載の表示入力装置。
【請求項4】
前記ページ制御手段は、所定の周期で同期して録画した一連の前記キャプチャ画像及び前記ストローク画像を前記記憶部にストローク画像付き動画として保存し、
前記ユーザインタフェース制御手段は、前記ストローク画像付き動画を前記記憶部から読み出して前記表示機能により前記表示部に表示させること
を特徴とする請求項1乃至3の何れか一項に記載の表示入力装置。
【請求項5】
前記ユーザインタフェース制御手段は、表示するキャプチャ画像の選択をユーザから受け付ける表示エリアから、一連の前記キャプチャ画像及び前記ストローク画像を前記表示機能により前記表示部に表示させる要求を受け付けること
を特徴とする請求項1乃至4の何れか一項に記載の表示入力装置。
【請求項6】
表示入力装置を、
動画を表示する表示機能、及び入力操作を受け付ける操作受付機能を有する操作表示手段、
前記操作受付機能によりストロークの手書き入力が開始されてから終了するまでの前記動画のキャプチャ画像と、前記動画の上に手書き入力されたストローク画像と、を所定の周期で同期させて録画する映像制御手段、
前記ストロークの手書き入力が開始されてから終了するまでの間に、所定の周期で同期して録画した一連の前記キャプチャ画像及び前記ストローク画像を、記憶部にキャプチャページとして保存するページ制御手段、
同期する前記ストローク画像を重畳させた一連の前記キャプチャ画像を、前記表示機能により表示部に表示させるユーザインタフェース制御手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示入力装置及びプログラムに関する。
【背景技術】
【0002】
液晶やプラズマ等のフラットパネルやプロジェクタを用いたディスプレイに、タッチパネルを搭載した、所謂「電子情報ボード」製品は従来から知られている。電子情報ボードには複数の機能が搭載されている。電子情報ボードはユーザがタッチペンや指等でタッチパネルに書き込んだストローク画像を画面上に表示する所謂「ホワイトボード」機能が搭載されている。また、電子情報ボードはパソコンやテレビカメラ等の映像出力機器を接続することによって、接続した映像出力機器の出力を映し出し、映し出された映像の上にストローク画像を書き込み重畳させる機能が搭載されている(例えば特許文献1参照)。
【発明の概要】
【発明が解決しようとする課題】
【0003】
例えばスポーツチーム等は試合中の映像を電子情報ボードなどの表示入力装置に表示しながら、試合について分析する場合がある。分析の仕方の一例としては、試合中の分析したいシーンの静止画をキャプチャし、キャプチャ画像にストロークを手書き入力しながら分析を行っていた。
【0004】
しかしながら、従来の表示入力装置は例えば試合中の動画の流れに沿った分析を行おうとした場合、静止画をキャプチャする操作と、キャプチャ画像にストローク画像を手書き入力する操作と、キャプチャ画像の表示を切り替える操作と、が必要であり、操作が煩雑であるという問題があった。なお、特許文献1は、このような問題について記載されているものではない。
【0005】
本発明の実施の形態は、動画から一連のキャプチャ画像をキャプチャし、キャプチャ画像にストローク画像を手書き入力するユーザの操作性を向上する表示入力装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記した課題を達成するために本願請求項1は、動画を表示する表示機能、及び入力操作を受け付ける操作受付機能を有する操作表示手段と、前記操作受付機能によりストロークの手書き入力が開始されてから終了するまでの前記動画のキャプチャ画像と、前記動画の上に手書き入力されたストローク画像と、を所定の周期で同期させて録画する映像制御手段と、前記ストロークの手書き入力が開始されてから終了するまでの間に、所定の周期で同期して録画した一連の前記キャプチャ画像及び前記ストローク画像を、記憶部にキャプチャページとして保存するページ制御手段と、同期する前記ストローク画像を重畳させた一連の前記キャプチャ画像を、前記表示機能により表示部に表示させるユーザインタフェース制御手段と、を備える表示入力装置を提供する。
【発明の効果】
【0007】
本発明の実施形態によれば、動画から一連のキャプチャ画像をキャプチャし、キャプチャ画像にストローク画像を手書き入力するユーザの操作性を向上できる。
【図面の簡単な説明】
【0008】
図1】本実施形態に係る情報処理システムの一例の全体構成図である。
図2】本実施形態に係る表示入力装置の一例の全体構成図である。
図3】本実施形態に係る制御部の一例のハードウェア構成図である。
図4】本実施形態に係る表示入力装置の一例の機能ブロック図である。
図5】スクリーンページにストロークを書き込んだ一例を示す図である。
図6】軌跡入力モード中にストロークを書き込んだ一例を示す図である。
図7】軌跡入力モードのページキャプチャ処理の一例を示すフローチャートである。
図8】軌跡入力モードのページキャプチャ処理の一例を示すフローチャートである。
図9】軌跡入力モードのページキャプチャ処理により保存したキャプチャページを表示する処理の一例を示すフローチャートである。
図10】保存したキャプチャページを表示する処理について説明する概要図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について図面を参照しながら説明する。
【0010】
[第1の実施形態]
<システム構成>
図1は本実施形態に係る情報処理システムの一例の全体構成図である。図1の情報処理システムは、表示入力装置1、PC2、ビデオカメラ3、及びDVDプレイヤ4を有する構成である。
【0011】
表示入力装置1は、動画を表示する表示機能、及び入力操作を受け付ける操作受付機能を有する電子機器である。表示入力装置1は、例えば電子黒板、電子情報ボードなどの電子機器である。表示入力装置1は、携帯端末、又はPC(Personal Computer)等により実現することもできる。
【0012】
表示入力装置1は、PC2、ビデオカメラ3、又はDVDプレイヤ4などの映像出力機器から動画が入力される。なお、図1では表示入力装置1が、例えばVGA(Video Graphics Array)、DVI(Digital Visual Interface)、又はHDMI(登録商標、High-Definition Multimedia Interface)などの規格化されたインタフェース(I/F)を介して、映像出力機器と接続されている例を示している。また、図1では表示入力装置1がネットワーク8を介してPC2などの映像出力機器に接続されている例を示している。
【0013】
ネットワーク8は、LAN(Local Area Network)又はインターネットなどの広範囲での通信を行うWAN(Wide Area Network)等であり、有線又は無線でのデータ通信を可能とする。
【0014】
表示入力装置1は、PC2、ビデオカメラ3、又はDVDプレイヤ4などの映像出力機器から入力された動画を表示する。また、表示入力装置1はユーザからのストロークの手書き入力を受け付ける。ストロークは、ユーザに手書き入力された軌跡、文字、又は図形等である。ストロークは、ユーザによって選択されたスタンプ等の所定の画像を含んでいてもよい。
【0015】
表示入力装置1は、入力された動画を表示中にユーザからの手書き入力を受け付けることにより、少なくとも手書き入力が開始されてから終了するまでの動画から所定の周期でキャプチャを行う。また、表示入力装置1はキャプチャするときに手書き入力されていたストローク画像を、キャプチャ画像と同期して記憶(録画)しておく。
【0016】
表示入力装置1は、同期するストローク画像を重畳させた一連のキャプチャ画像を動画再生により表示するか、又は切り替えボタン等によりユーザが順次切り替え再生できるように表示する。なお、表示入力装置1による動画をキャプチャする処理、手書き入力されていたストローク画像を記憶する処理、一連のキャプチャ画像及びストローク画像を表示する処理の詳細は後述する。
【0017】
<ハードウェア構成>
図2を用いて、本実施形態に係る表示入力装置1の全体構成を説明する。図2は本実施形態に係る表示入力装置の一例の全体構成図である。図2に示す表示入力装置1は表示部10、タッチパネル11、及び制御部12を有する構成である。表示部10はディスプレイであり、例えばLCD(liquid crystal display)である。
【0018】
タッチパネル11は、赤外線発光のLED(light emitting diode)とフォトトランジスタとを対向配置して、フォトトランジスタが光を検知できない部分、すなわち光が遮断された部分をタッチされた位置として位置情報を検出する。
【0019】
なお、タッチパネル11は、光学式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2つの抵抗膜の電圧変化により接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することにより生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。タッチパネル11は、ペン先のタッチの有無を検知するのに電子ペンが必要である方式でも必要のない方式であってよい。ペン先のタッチの有無を検知するのに専用のタッチペンが必要のない方式では、タッチ操作をするのに指先やペン型の棒を使用できる。以下では、専用のタッチペン、指先、又はペン型の棒などを、タッチペン等と呼ぶ。
【0020】
制御部12は例えば図3に示すようなハードウェア構成である。図3は本実施形態に係る制御部の一例のハードウェア構成図である。制御部12は、CPU20、メインメモリ21、クロック22、バスコントローラ23、ROM(Read Only Memory)24、PCI(Peripheral Component Interconnect)ブリッジ25、キャッシュメモリ26、ハードディスク27、HD(Hard Disk)コントローラ28、表示コントローラ29、LANコントローラ30、LAN I/F31、タッチパネルI/F32、RTC(Real Time Clock)33、CPUバス34、PCIバス35、Xバス36(内部バス)から構成されている。
【0021】
CPU20は、ROM24に記憶された制御処理プログラム、ハードディスク27からメインメモリ21に読み出されたOS(Operating System)や各種のアプリケーションプログラムを実行、処理する。メインメモリ21は、DRAM(Dynamic Random Access Memory)より構成されており、CPU20のワークエリア等で使用される。クロック22は、水晶発振子と分周回路から構成されており、CPU20やバスコントローラ23の動作タイミングを制御するためのクロックを生成している。バスコントローラ23は、CPUバス34とXバス36でのデータ転送を制御する。
【0022】
ROM24は、電源オン時のシステム立ち上げや各種デバイスの制御を行うためのプログラムが予め書き込まれている。PCIブリッジ25は、キャッシュメモリ26を使用して、PCIバス35とCPU20との間のデータ転送を行う。キャッシュメモリ26はDRAMより構成されており、PCIブリッジ25により使用される。
【0023】
ハードディスク27は、システムソフトウェア、各種のアプリケーションプログラム、ユーザが保存するデータ等を記憶する。HDコントローラ28は、ハードディスク27とのインタフェースとして例えばIDE(Integrated Device Electronics)インタフェースを持ち、ハードディスク27と高速データ転送を行う。
【0024】
表示コントローラ29は、文字データやグラフィックデータ等をD/A(Digital/Analog)変換するとともに、これらのデータを表示部10に表示するための制御を行う。LANコントローラ30は、例えばIEEE(Institute of Electrical and Electronics Engineers)802.3規格に準拠した通信プロトコルを実行して、LAN I/F31を介してLANに接続された他の機器との通信を制御する。
【0025】
タッチパネルI/F32は、タッチパネル11用のポートを持ち、タッチパネルドライバ(制御プログラム)によって制御される。RTC33は日付時計であり、バッテリによりバックアップされている。
【0026】
なお、本実施形態では特に明記しない限り、CPU20がメインメモリ21をワークエリアとして使用して、プログラムに従った処理を実行する。
【0027】
<機能構成>
次に、図4を用いて、表示入力装置1が有する機能について説明する。図4は、本実施形態に係る表示入力装置の一例の機能ブロック図である。図4の表示入力装置1は、操作表示部50、記憶部56、ユーザインタフェース制御部58、映像制御部60、ページ制御部62、遠隔共有制御部64、周辺機器I/F部66、及びネットワークI/F部68を備える。
【0028】
操作表示部50は、操作表示画面による表示機能と入力機能とを備えている。操作表示部50は図3に示されているCPU20からの命令、タッチパネルI/F32、及び図2に示されているタッチパネル11等により実現される。
【0029】
操作表示部50は例えば図5に示すように表示を行う。図5はスクリーンページにストロークを書き込んだ一例を示す図である。図5において、操作表示部50は、メイン表示エリア210、ボタンエリア310、及びページリストエリア320を備えた操作表示画面を表示している。メイン表示エリア210、ボタンエリア310、及びページリストエリア320は、それぞれがレイヤ(階層)を構成している。つまり、複数のレイヤを重畳させて操作表示部50は操作表示画面を表示する。ボタンエリア310及びページリストエリア320は、操作表示画面の右端及び下端に配置され、メイン表示エリア210より常に上のレイヤとして表示されている。但し、ボタンエリア310及びページリストエリア320の配置位置、表示/非表示の設定、及びレイヤの上下関係は、それぞれ変更できるようにしてもよい。
【0030】
図5のボタンエリア310は、共有ボタン211、ルーペボタン212、ペンボタン213、選択/削除ボタン214、キャプチャボタン215、メール保存ボタン216、新規ページボタン217、保存ボタン218、終了ボタン219、及び軌跡入力モードボタン220を備える。ページリストエリア320には、映像切り替えボタン321、及び複数の表示領域からなるサムネイル表示エリア322を備える。
【0031】
ルーペボタン212は、メイン表示エリア210に表示された画像の拡大/縮小を行うためのボタンである。選択/削除ボタン214は、書き込まれたストロークを選択又は削除するためのボタンである。メール保存ボタン216は、キャプチャ画像をメールにより配信するためのボタンである。新規ページボタン217は、白紙のキャプチャページを作成するためのボタンである。保存ボタン218は、作成した全てのキャプチャページを保存するためのボタンである。
【0032】
軌跡入力モードボタン220は、軌跡入力モードを開始するためのボタンである。軌跡入力モードとは、メイン表示エリア210に表示された動画上に、ユーザがストロークの手書き入力を行うモードである。軌跡入力モード中、ユーザは後述するように、メイン表示エリア210に表示された動画上にストロークの手書き入力を行うことで、所定の周期で動画を表示入力装置1にキャプチャさせることができる。また、ユーザは動画をキャプチャするときに手書き入力されていたストローク画像を、キャプチャ画像と同期して表示入力装置1に記憶(録画)させることができる。
【0033】
なお、軌跡入力モードはメイン表示エリア210へのタッチペン等のタッチが検知されたあと、タッチの検知が終了することで終了する。軌跡入力モード中に、同期して記憶した一連のキャプチャ画像及びストローク画像のサムネイルは、1つのキャプチャページとしてサムネイル表示エリア322に表示される。ユーザは、軌跡入力モード中に同期して記憶した一連のキャプチャ画像及びストローク画像のサムネイルを選択することで、同期するストローク画像が重畳された一連のキャプチャ画像を表示できる。なお、図5のボタンエリア310の他の各ボタンの機能は必要に応じて後述する。
【0034】
図4に戻り、記憶部56はキャプチャ画像及びストローク画像を記憶する。また、記憶部56は一連のキャプチャ画像及びストローク画像を対応付けると共に、キャプチャ画像及びストローク画像を同期させるための情報を記憶する。なお、記憶部56は各種の設定情報などを記憶するようにしてもよい。記憶部24は、図3に示したCPU20からの命令、ハードディスク27、及びHDコントローラ28等により実現される。
【0035】
ユーザインタフェース制御部58は、操作表示部50に表示する操作表示画面の表示制御を行う。また、ユーザインタフェース制御部58は、操作表示画面に表示されるボタンの操作を制御する。ユーザインタフェース制御部58は、タッチペン等によるボタンの押下を検知して、押下されたボタンの機能に対応した制御を行う。
【0036】
また、ユーザインタフェース制御部58はペンボタン213によって設定されたペンにより入力されるストロークの入力制御を行う。ユーザインタフェース制御部58は、操作表示画面へのタッチペン等のタッチ(接触)を検知し、タッチペン等が接触されてから離されるまでの軌跡をストロークとして記録する。
【0037】
ユーザインタフェース制御部58は、映像制御部60によってメイン表示エリア210に再生中の動画に、ユーザがストロークを手書き入力すると、手書き入力したストローク画像を動画に重畳させて表示する。また、ユーザインタフェース制御部58は、映像制御部60によってメイン表示エリア210に表示されるキャプチャ画像に、そのキャプチャ画像に同期して記憶されているストローク画像を重畳して表示する。
【0038】
ユーザインタフェース制御部58は、メイン表示エリア210の表示を後述するキャプチャページとスクリーンページとで切り替えることができる。ユーザインタフェース制御部58は、図5で説明した映像切り替えボタン321により、メイン表示エリア210の表示をキャプチャページからスクリーンページに切り替える。
【0039】
本実施形態において、スクリーンページとは、画像出力機器から入力された動画を表示するページをいう。キャプチャページとは、スクリーンページを表示中にキャプチャしたキャプチャ画像のページをいう。例えば図5の操作表示画面は、下端にキャプチャページのサムネイルを表示するサムネイル表示エリア322がある。
【0040】
ユーザはサムネイル表示エリア322にある1つのサムネイルをタッチペン等でタッチすることにより、タッチされたサムネイルに対応するキャプチャページをメイン表示エリア210に表示させることができる。キャプチャページの表示中に映像切り替えボタン321が押下されると、ユーザインタフェース制御部58は、メイン表示エリア210の表示をスクリーンページに切り替える。
【0041】
映像制御部60は画像出力機器から入力された動画の表示を制御する。例えば映像制御部60は画像出力機器から入力された動画の解像度やアスペクト比を調整して、メイン表示エリア210に表示する。映像制御部60が表示する動画は記憶部56に記憶されたものであってもよい。また、図示しない動画配信サーバから配信されるストリーミング画像を記憶部24にキャッシュした動画であってもよい。
【0042】
また、映像制御部60は画像出力機器から入力される動画の有無の変化を検知するようにしてもよい。映像制御部60で検知する動画の有無の変化とは、動画の入力がされていない状態から動画が入力されている状態への変化である。映像制御部60は動画の有無の変化があった場合、その動画の有無の変化をユーザインタフェース制御部58に送信するようにしてもよい。
【0043】
また、映像制御部60はバッファリング機能を有し、再生中の動画を随時バッファリングし、記憶部56に記憶するようにしてもよい。なお、映像制御部60はバッファリングにより記憶部56に記憶した動画を定期的に消去するようにしてもよい。
【0044】
例えば映像制御部60は、現在再生中の動画の5秒前までを保存期間とし、5秒を超える部分を古い部分から消去するようにしてもよい。この5秒という値は予め設定値で変更できるようにしてもよい。軌跡入力モード中にユーザインタフェース制御部58がタッチペン等のタッチを検知した場合、映像制御部60はタッチを検知する5秒前からタッチを検知しなくなるまで(ユーザからのストロークの手書き入力が終了するまで)を軌跡入力モード中の一連の動画として保存する。また、映像制御部60は動画のフレーム間の動きベクトルを算出するベクトル解析機能を有していてもよい。
【0045】
ページ制御部62によって、軌跡入力モード中のストロークのレイヤは映像制御部60がバッファリングした軌跡入力モード中の動画レイヤと共に保存され、後に動画の流れに沿ってオブジェクトが移動する軌跡を表現(表示)するために使用される。
【0046】
また、映像制御部60は、入力された映像のキャプチャを行うことができる。映像制御部60は、キャプチャボタン215が押されたときに、メイン表示エリア210に表示している映像をキャプチャして、キャプチャ画像(スナップショット)とサムネイル画像を生成する。映像制御部60は生成したキャプチャ画像とサムネイルをページ制御部62に提供する。
【0047】
また、映像制御部60は、入力された動画のキャプチャを行うことができる。映像制御部60は、軌跡入力モードボタン220が押されたときに、メイン表示エリア210に表示している動画を所定の周期でキャプチャし、更にキャプチャするときに手書き入力されていたストローク画像を保存する。また、映像制御部60は同期するストローク画像が重畳された一連のキャプチャ画像と、その一連のキャプチャ画像を表すサムネイル画像とを生成する。映像制御部60は生成した一連のキャプチャ画像とサムネイル画像とをページ制御部62に提供する。
【0048】
ページ制御部62はスクリーンページとキャプチャページのページ制御を行う。ページ制御部62は同期する一連のキャプチャ画像及びストローク画像をレイヤとして対応付けてキャプチャページとして記憶部56に記録する。キャプチャ画像のレイヤとストローク画像のレイヤとは、例えばそれぞれに識別子を付与して記憶することにより対応付けをすることができる。例えば一のキャプチャ画像のレイヤと複数のストローク画像のレイヤとに同一の識別子を付与して記憶させることにより、ページ制御部62は識別子をキーとして一連のキャプチャ画像及びストローク画像のレイヤを読み出すことができる。
【0049】
また、ページ制御部62は、記憶部56に記憶された複数のキャプチャページをユーザインタフェース制御部58からの指示によって順次読み出して、メイン表示エリア210に表示させる。ページ制御部62は、操作表示画面の下部に表示されるサムネイルの画像のスクロールボタン(矢印ボタン)が押されたとき、記憶部56に記憶された次のページのサムネイルを読み出して、ユーザインタフェース制御部58に表示させる。
【0050】
遠隔共有制御部64は他の画像処理装置と表示画像の共有を制御する。周辺機器I/F部66は、映像出力機器などの周辺機器とのI/Fを制御する。ネットワークI/F部68は、ネットワーク8とのI/Fを制御する。
【0051】
<処理>
以下、本実施形態に係る表示入力装置1が実行する処理について、スポーツの試合中の動画を表示し、選手の動き、フォーメーション、又は戦術などの分析を行う場合を例に説明する。分析の仕方の一例としては、動画に写る選手の動き(軌跡)を表すストロークをタッチペンなどで手書き入力する。
【0052】
本実施形態に係る表示入力装置1では、軌跡入力モード中、メイン表示エリア210に表示された動画上にストロークの手書き入力を行うことで、例えば図6に示すように所定の周期で動画をキャプチャできる。
【0053】
図6は軌跡入力モード中にストロークを書き込んだ一例を示す図である。図6は動画をキャプチャした際の1フレームごとのキャプチャ画像に対して、ユーザがタッチペンなどでタッチを開始した箇所にスタンプを貼り付け、タッチ位置の移動をストローク画像として表現した例である。図6では例えば1秒ごとに動画からキャプチャしたキャプチャ画像をフレームとして表している。
【0054】
1フレーム目は、選手の動き(軌跡)を表すストロークを表示させたいタイミングで軌跡の始点となる箇所にタッチペンなどをタッチして、選手を囲む四角形などのスタンプを貼り付けた例である。表示入力装置1はメイン表示エリア210に対するタッチペンなどのタッチを検知することで、動画のキャプチャを開始する。表示入力装置1はタッチを検知したタイミングでキャプチャを開始する。また、表示入力装置1はバッファリングした動画を利用することで、タッチを検知したタイミングよりも前にキャプチャを開始するようにしてもよい。なお、スタンプを貼り付ける処理は無くてもよい。また、貼り付けるスタンプの形状は選択できてもよい。
【0055】
以降、ユーザは動画の再生に沿ってタッチペンなどをメイン表示エリア210にタッチさせたままタッチ位置を移動することで、2フレーム目及び3フレーム目に表すようにメイン表示エリア210に選手の動きを表すストロークを描くことができる。
【0056】
表示入力装置1はメイン表示エリア210に対するタッチペンなどのタッチを検知している間、所定の周期でメイン表示エリア210の表示をキャプチャし続ける。所定の周期は設定で変更するようにしてもよいし、後述のように動画のフレーム間の動きベクトルを解析した結果から自動で変更するようにしてもよい。
【0057】
表示入力装置1はメイン表示エリア210に対するタッチペンなどのタッチを検知しなくなると、所定の周期でキャプチャし続けた一連のキャプチャ画像を切り替え表示、又は動画再生できる形式で記憶部56などに記憶させる。
【0058】
例えば表示入力装置1は所定の周期でキャプチャし続けた一連の動画のキャプチャ画像とストローク画像とを、それぞれ別のレイヤとして同一の識別子を付与して記憶部56などに記憶させる。表示入力装置1は、識別子をキーとしてそれぞれのレイヤを別のレイヤとして呼び出すことができ、後からストローク画像を編集することも可能である。
【0059】
図7は軌跡入力モードのページキャプチャ処理の一例を示すフローチャートである。図7のフローチャートの処理の開始条件は、例えば軌跡入力モードボタン220が押下されたタイミングとなる。
【0060】
ステップS11において、ユーザインタフェース制御部58は記憶部56のメモリの競合を回避するため、全てのボタン操作をロックする。ステップS12において、ページ制御部62は記憶部56に新規ページを作成する。新規ページを作成することで、ページ制御部62は記憶部56のメモリに所定の領域を確保できる。なお、記憶部56のメモリに確保した所定の領域は、軌跡入力モード中の軌跡入力時間の制限(録画時間の最大値)を決めるものである。
【0061】
ステップS13において、映像制御部60はメイン表示エリア210に表示されている映像表示レイヤの動画のバッファリングを開始する。映像表示レイヤの動画のバッファリングは、キャプチャ画像を表示する際、軌跡入力の前(例えば数秒前など)から表示可能とするためである。
【0062】
また、ユーザインタフェース制御部58はストロークレイヤの表示のバッファリングを開始する。このタイミングではストロークの手書き入力が開始されていない。このタイミングでストロークレイヤの表示のバッファリングを開始する理由は、映像表示レイヤの動画のバッファリングとタイミングを合わせることで、動画のキャプチャ画像に重畳させて表示させるタイミングを合わせる(同期をとる)ためである。
【0063】
ステップS14において、映像制御部60は実際にユーザがタッチペンなどでメイン表示エリア210へのストロークの手書き入力を開始したタイミングで、映像表示レイヤのバッファリングしている動画の録画を開始する。また、ユーザインタフェース制御部58はストローク(軌跡)を含んだストロークレイヤのバッファリングした動画の録画を開始する。
【0064】
ステップS15において、映像制御部60はユーザによるメイン表示エリア210へのストロークの手書き入力が終了した(タッチペンなどの接触を検知できなくなった)タイミングで録画を終了する。ユーザインタフェース制御部58はユーザによるメイン表示エリア210へのストロークの手書き入力が終了したタイミングで録画を終了する。ページ制御部62は映像表示レイヤの録画した動画、及びストロークレイヤの録画した動画を新規ページに登録する。
【0065】
ステップS16において、ユーザインタフェース制御部58はメイン表示エリア210に表示されている表示ページをキャプチャページに更新する。なお、表示ページは例えばスクリーンページ又はキャプチャページを表す。ステップS17において、ユーザインタフェース制御部58は軌跡入力モードが終了したため、ステップS11でロックしたボタン操作のロックを解除する。
【0066】
なお、ステップS14において、映像制御部60は動画を所定の周期でキャプチャすることで記憶部56の確保する記憶領域を節約できる。映像制御部60は事前に設定された所定の周期で動画及びストロークを静止画としてキャプチャすることで、記憶領域を節約できるので、軌跡入力モードの時間制限を伸ばすことができる。この場合、ステップS15ではページ制御部62が、キャプチャした静止画を一連の動画として繋ぎ合わせ、新規ページに登録することになる。
【0067】
図7のフローチャートは、メイン表示エリア210に対するタッチペンなどのタッチを検知している間、所定の周期でメイン表示エリア210の表示をキャプチャし続ける例である。キャプチャする間隔は、例えば図8に示すようにキャプチャする動画の動きの大小に応じて自動で変更するようにしてもよい。図8は軌跡入力モードのページキャプチャ処理の一例を示すフローチャートである。
【0068】
ステップS201~S203の処理は、図7のステップS11~S13の処理と同様である。ステップS204において、映像制御部60は映像表示レイヤのバッファリングしている動画のフレーム間の動きベクトルを算出(解析)する。動画のフレーム間の動きベクトルを算出する方法は、既存の技術を利用できる。例えば動きベクトルを算出する方法は「https://qiita.com/icoxfog417/items/357e6e495b7a40da14d8」に公開されているように既存の技術である。また、動きベクトルの検出結果の一例が「https://www.morphoinc.com/technology/mvec」に記載されている。動きベクトルを算出する方法はフレームの画素全体の動きから算出する方法や、特徴点に絞って算出する方法など、様々な方法があるが、どの方法を用いてもよい。
【0069】
ステップS205において、映像制御部60はステップS204の解析結果から、動画のフレーム間の動きベクトルの大きさに応じてストローク画像と共に動画をキャプチャする間隔(周期)の設定値を記憶する。ステップS206以降の処理は、図7のステップS14以降の処理と同様である。
【0070】
なお、ステップS204~S205に示した動画のフレーム間の動きベクトルを解析してキャプチャする間隔の設定値を変更する処理は、タッチペンなどのタッチを検知する前までに処理されることが望ましい。タッチペンなどのタッチを検知する前までにステップS204~S205の処理を終えることで、動画のキャプチャ中にキャプチャする間隔が変わらないようにすることができる。
【0071】
タッチペンなどのタッチを検知する前までの動画のフレーム間の動きペクトルの大小が以降の動画のフレーム間の動きベクトルの大小に作用しない動画の場合は、タッチペンなどのタッチを検知した後もステップS204~S205の処理を行ってもよい。
【0072】
図9は軌跡入力モードのページキャプチャ処理により保存したキャプチャページを表示する処理の一例を示すフローチャートである。図9のフローチャートの処理の開始条件は軌跡入力モード中に同期して記憶した一連のキャプチャ画像及びストローク画像のサムネイルが図5のサムネイル表示エリア322に表示されており、そのサムネイルをユーザが押下したタイミングとなる。
【0073】
ステップS301において、ユーザインタフェース制御部58は、図7のステップS15などで新規ページとして登録された最初のキャプチャページをメイン表示エリア210に表示する。ステップS302において、ユーザインタフェース制御部58は例えば図7のステップS14で所定の周期でキャプチャした一連のキャプチャページをメイン表示エリア210に順番に表示させる。
【0074】
図9のフローチャートの処理について図10を用いて更に説明する。図10は、保存したキャプチャページを表示する処理について説明する概要図である。図10(a)は表示入力装置1が表示する表示画面の全構成レイヤを示している。図10の表示画面は、操作ボタンレイヤ、ストロークレイヤ、映像表示レイヤ、及び背景レイヤを構成レイヤとして有している。
【0075】
図10(b)はステップS301で最初に表示されるキャプチャページのストロークレイヤ及び映像表示レイヤの一例のイメージ図である。図10(c)及び図10(d)は図10(b)の後に順番に表示されるキャプチャページのストロークレイヤ及び映像表示レイヤの一例のイメージ図である。
【0076】
例えば図9のステップS302では、ユーザインタフェース制御部58が所定の周期で図10(b)~図10(d)のキャプチャページを切り替え表示することで、同期するストローク画像を重畳させた一連のキャプチャ画像を表示できる。例えば動画の静止画一つ一つをキャプチャページとして保存した場合は、キャプチャページを連続して表示することで動画を表示できる。また、図7のステップS15などで新規ページとして登録する際に静止画を動画に変換した形で1つのキャプチャページとして保存した場合は、再生することで動画を表示できる。
【0077】
以上、本実施形態によれば、例えば試合中の動画の流れに沿った分析を行おうとした場合に、動画上にストロークを手書き入力する操作を行うことにより、一連のキャプチャ画像を動画からキャプチャし、キャプチャ画像に手書き入力したストローク画像を重畳させて保存できる。
【0078】
したがって、動画の流れに沿って動画中のオブジェクトが移動する軌跡をストローク画像などで表現する場合に、動画からキャプチャ画像をキャプチャし、キャプチャ画像にストローク画像を手書き入力するユーザの操作性を向上できる。
【0079】
また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
【符号の説明】
【0080】
1 表示入力装置
2 PC
3 ビデオカメラ
4 DVDプレイヤ
8 ネットワーク
10 表示部
11 タッチパネル
12 制御部
50 操作表示部
56 記憶部
58 ユーザインタフェース制御部
60 映像制御部
62 ページ制御部
64 遠隔共有制御部
66 周辺機器I/F部
68 ネットワークI/F部
210 メイン表示エリア
220 軌跡入力モードボタン
310 ボタンエリア
320 ページリストエリア
322 サムネイル表示エリア
【先行技術文献】
【特許文献】
【0081】
【文献】特開2018-26185号公報
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10