特許第6767075号(P6767075)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三菱電機エンジニアリング株式会社の特許一覧

<>
  • 特許6767075-画面操作装置及び画面操作方法 図000002
  • 特許6767075-画面操作装置及び画面操作方法 図000003
  • 特許6767075-画面操作装置及び画面操作方法 図000004
  • 特許6767075-画面操作装置及び画面操作方法 図000005
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6767075
(24)【登録日】2020年9月23日
(45)【発行日】2020年10月14日
(54)【発明の名称】画面操作装置及び画面操作方法
(51)【国際特許分類】
   G06F 3/01 20060101AFI20201005BHJP
   G06F 3/0488 20130101ALI20201005BHJP
【FI】
   G06F3/01 570
   G06F3/0488
【請求項の数】5
【全頁数】9
(21)【出願番号】特願2016-180370(P2016-180370)
(22)【出願日】2016年9月15日
(65)【公開番号】特開2018-45489(P2018-45489A)
(43)【公開日】2018年3月22日
【審査請求日】2019年6月6日
(73)【特許権者】
【識別番号】591036457
【氏名又は名称】三菱電機エンジニアリング株式会社
(74)【代理人】
【識別番号】100101133
【弁理士】
【氏名又は名称】濱田 初音
(74)【代理人】
【識別番号】100199749
【弁理士】
【氏名又は名称】中島 成
(74)【代理人】
【識別番号】100188880
【弁理士】
【氏名又は名称】坂元 辰哉
(74)【代理人】
【識別番号】100197767
【弁理士】
【氏名又は名称】辻岡 将昭
(74)【代理人】
【識別番号】100201743
【弁理士】
【氏名又は名称】井上 和真
(72)【発明者】
【氏名】増井 将則
【審査官】 野村 和史
(56)【参考文献】
【文献】 特開2007−236813(JP,A)
【文献】 特開2018−5946(JP,A)
【文献】 特表2015−517135(JP,A)
【文献】 特開2011−200334(JP,A)
【文献】 特開2007−86977(JP,A)
【文献】 大野 功二 KOUJI OONO,3Dゲームをおもしろくする技術 初版,SBクリエイティブ株式会社 小川 淳,第1版,p.28-29
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
G06F 3/048
A63F 13/00
JSTPlus(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
表示モデルを有する画面を操作する操作者による特徴点の動きを取得する特徴点取得部と、
前記特徴点取得部により取得された特徴点の動きを判定する動作判定部と、
前記動作判定部により特徴点の動きが第1動作であると判定された場合に、時間計数を開始する時間計数部と、
前記動作判定部により特徴点の動きが第1動作であるとの判定が継続している間、前記画面上の表示モデルを規定操作後の状態を示唆するように動作させ、前記時間計数部により計数された時間が規定時間を経過した後、前記画面上の表示モデルに対して前記規定操作を行う操作部と
を備えた画面操作装置。
【請求項2】
前記規定時間を設定する時間設定部を備えた
ことを特徴とする請求項1記載の画面操作装置。
【請求項3】
前記動作判定部により特徴点の動きが第1動作であると判定された場合に、当該判定から前記規定時間までの経過時間を示す画像を前記画面上に描画する経過時間描画部を備えた
ことを特徴とする請求項1又は2記載の画面操作装置。
【請求項4】
前記操作部は、前記時間計数部により計数された時間が前記規定時間を経過する前に、前記動作判定部により特徴点の動きが第1動作ではないと判定された場合に、前記画面上の表示モデルを操作前の状態に戻す
ことを特徴とする請求項1から請求項3のうちのいずれか1項記載の画面操作装置。
【請求項5】
特徴点取得部は、表示モデルを有する画面を操作する操作者による特徴点の動きを取得し、
動作判定部は、前記特徴点取得部により取得された特徴点の動きを判定し、
時間計数部は、前記動作判定部により特徴点の動きが第1動作であると判定された場合に、時間計数を開始し、
操作部は、前記動作判定部により特徴点の動きが第1動作であるとの判定が継続している間、前記画面上の表示モデルを規定操作後の状態を示唆するように動作させ、前記時間計数部により計数された時間が規定時間を経過した後、前記画面上の表示モデルに対して前記規定操作を行う
ことを特徴とする画面操作方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、特徴点の動きに基づいて、画面上の表示モデルを操作する画面操作装置及び画面操作方法に関する。
【背景技術】
【0002】
従来から、モーションセンサやタッチパネル等の検出装置により検出された操作者による手や顔等の動きに基づいて、表示装置に表示された画面上の表示モデルを操作する画面操作方法が知られている(例えば特許文献1参照)。この特許文献1に開示された画面操作方法では、操作者が手を移動させ、その手の動きを検出することで表示モデルを回転させている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2014−225292号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、上記のように表示モデルを回転する場合には、操作者は表示モデルが次にどのように動くのかを容易に予測できる。しかしながら、例えば表示モデルを分解する場合には、操作者にとって次の動きは予測しづらく、表示モデルがどのように動くのかは理解しづらい。
【0005】
この発明は、上記のような課題を解決するためになされたもので、表示モデルの次の動きを事前に把握できる画面操作装置及び画面操作方法を提供することを目的としている。
【課題を解決するための手段】
【0006】
この発明に係る画面操作装置は、表示モデルを有する画面を操作する操作者による特徴点の動きを取得する特徴点取得部と、特徴点取得部により取得された特徴点の動きを判定する動作判定部と、動作判定部により特徴点の動きが第1動作であると判定された場合に、時間計数を開始する時間計数部と、動作判定部により特徴点の動きが第1動作であるとの判定が継続している間、画面上の表示モデルを規定操作後の状態を示唆するように動作させ、時間計数部により計数された時間が規定時間を経過した後、画面上の表示モデルに対して規定操作を行う操作部とを備えたことを特徴とする。
【発明の効果】
【0007】
この発明によれば、上記のように構成したので、表示モデルの次の動きを事前に把握できる。
【図面の簡単な説明】
【0008】
図1】この発明の実施の形態1に係る画面操作装置を含む画面操作システムの構成例を示す図である。
図2】この発明の実施の形態1に係る画面操作装置による表示モデルの操作例を示すフローチャートである。
図3図3A図3Dは、この発明の実施の形態1に係る画面操作装置による表示モデルの操作例を説明する図である。
図4図4A図4Bは、この発明の実施の形態1に係る画面操作装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【0009】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態1.
図1はこの発明の実施の形態1に係る画面操作装置3を含む画面操作システムの構成例を示す図である。
画面操作システムは、図1に示すように、表示装置1、検出装置2及び画面操作装置3を備えている。なお図1では、表示装置1、検出装置2及び画面操作装置3がそれぞれ別体に構成された場合を示しているが、これに限らず、表示装置1、検出装置2及び画面操作装置3は他の装置と一体化されていてもよい。また、表示装置1と画面操作装置3との間及び検出装置2と画面操作装置3との間は、それぞれ有線又は無線で接続され、通信可能に構成されている。
【0010】
表示装置1は、表示モデルを有する画面を表示する。
検出装置2は、上記画面を操作する操作者による特徴点の動きを検出する。なお、特徴点としては、例えば、操作者の手、腕等の身体部位が挙げられる。この検出装置2としては、例えばモーションセンサやタッチパネル等が挙げられる。この検出装置2により検出された特徴点の動きを示すデータは、画面操作装置3に出力される。なお、検出装置2による特徴点の動きの具体的な検出方法については、既存の技術と同様であり、その説明は省略する。
【0011】
画面操作装置3は、表示装置1に表示された画面を操作する。以下では、画面操作装置3が有する機能のうち、表示モデルの操作に関する機能についてのみ説明を行う。この画面操作装置3は、表示モデルの操作に関する機能として、図1に示すように、記憶部301、特徴点取得部302、動作判定部303、時間計数部304、時間設定部305、操作部306、経過時間描画部307及び動作描画部308を備えている。
【0012】
記憶部301は、表示装置1に表示させるモデル(各種表示モデル、動作モデル、経過時間描画部307が描画に用いる画像)を示すデータを記憶する。なお、モデルは、3次元モデルでもよいし、2次元モデルでもよい。また、表示モデルとしては、例えば機器等の対象物の外観を示す外観モデル、対象物を構成する部品を示す部品モデル、対象物を分解した状態を示す分解モデル等が挙げられる。また、動作モデルは、表示モデルを操作するための特徴点の動きを示唆するモデルである。この記憶部301としては、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)等の、不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)等が該当する。なお図1では、記憶部301を画面操作装置3に内蔵した場合を示しているが、これに限らず、画面操作装置3の外部に設けてもよい。
【0013】
特徴点取得部302は、操作者による特徴点の動きを取得する。図1の例では、特徴点取得部302は、検出装置2から出力されたデータを受信することで、上記特徴点の動きを取得する。
【0014】
動作判定部303は、特徴点取得部302により取得された特徴点の動きを判定する。
時間計数部304は、動作判定部303により特徴点の動きが第1動作であると判定された場合に、時間計数を開始する。なお、第1動作は、予め規定された特徴点の動きである。また、時間計数部304は、計数している時間が規定時間を経過した場合には、時間計数を終了する。
時間設定部305は、時間計数部304における上記規定時間を設定する。
【0015】
操作部306は、動作判定部303により特徴点の動きが第1動作であるとの判定が継続している間、記憶部301からデータを読出して、画面上の表示モデルを規定操作後の状態を示唆するように動作させる。
また、操作部306は、時間計数部304により計数された時間が上記規定時間を経過した後、記憶部301からデータを読出して、画面上の表示モデルに対して上記規定操作を行う。なお、画面操作装置3に動作描画部308を設けた場合には、動作描画部308による描画後、動作判定部303により特徴点の動きが第2動作であると判定された場合に、記憶部301からデータを読出して、画面上の表示モデルに対して上記規定操作を行う。
【0016】
なお、操作部306は、時間計数部304により計数された時間が上記規定時間を経過する前に、動作判定部303により特徴点の動きが第1動作でないと判定された場合には、画面上の表示モデルを操作前の状態に戻す。
また、表示モデルの次の動きが容易に予測できる操作に対しては、操作部306は、従来通り、表示モデルに対し、当該操作後の状態を示唆する動作を実施させることなく、当該操作を行うように構成してもよい。
【0017】
経過時間描画部307は、動作判定部303により特徴点の動きが第1動作であると判定された場合に、記憶部301からデータを読出して、当該判定から上記規定時間までの経過時間を示す画像を画面上に描画する。
【0018】
動作描画部308は、時間計数部304により計数された時間が上記規定時間を経過した後、記憶部301からデータを読出して、第2動作を示唆する動作モデルを画面上に描画する。また、第2動作は、表示モデルに対して上記規定操作を行うための特徴点の動きであり、予め規定される。
なお、経過時間描画部307及び動作描画部308は、必須の構成ではなく、画面操作装置3から取り除いてもよい。
【0019】
次に、上記のように構成された画面操作装置3による表示モデルの操作例について、図2,3を参照しながら説明する。なお、図3Aに示すように表示装置1には機器(外観モデル)502aを有するプレゼン用画面501が表示され、検出装置2は操作者による手の動きを常時検出しているものとする。また、画面上の機器502aに対する操作は、表示モデルの次の動きが容易に予測できない分解操作(規定操作)と、表示モデルの次の動きが容易に予測できる回転操作(第2規定操作)であるとする。また、分解操作を実施する場合には、操作者は、まず、手を開いた状態から握る動作(第1動作)を行い、その後、手を握った状態から開く動作(第2動作)を行うものとする。また、回転操作を行う場合には、操作者は、手を握ったまま移動する動作を行うものとする。また、画面操作装置3は、経過時間描画部307及び動作描画部308を備えているものとする。
【0020】
画面操作装置3による表示モデルの操作例では、図2に示すように、まず、特徴点取得部302は、検出装置2から出力されたデータを受信することで、操作者による手の動きを取得する(ステップST201)。なお、特徴点取得部302による処理は、継続して常時実施される。
【0021】
次いで、動作判定部303は、特徴点取得部302により取得された手の動きが、手を開いた状態から握る動作であるかを判定する(ステップST202)。なお、動作判定部303は、画面501が切替わった後、一定期間が経過するまでは、動作判定を行わないように構成してもよい。すなわち、プレゼン用画面501を用いる場合には、画面501が切替わった後に、操作者が当該画面501に対する説明をジェスチャーを交えて行う場合がある。そこで、画面501が切り替わってから一定期間を経過するまでは動作判定を行わないことで、操作者の意図しない操作を抑制できる。
【0022】
このステップST202において、動作判定部303が手を開いた状態から握る動作であると判定した場合には、時間計数部304は、時間計数を開始する(ステップST203)。
【0023】
また、操作部306は、記憶部301からデータを読出して、画面501上の機器502aを分解操作を示唆するように動作させる(ステップST204)。図3Bの画面501では、分解操作を示唆している状態の機器502bを示している。この際、操作部306は、記憶部301に記憶された部品モデルを用いて分解操作を示唆する。なお、分解操作を示唆する動作としては、例えば、図3Aに示す状態から徐々に部品が分解されていく様子を低速で途中まで示す動作でもよいし、当該部品を分解方向(図では左右)に小刻みに振動させるような動作でもよい。このように機器502aを分解操作を示唆するように動作させることで、操作者は、次に分解操作が行われることを予測できる。
【0024】
更に、図3Bに示すように、経過時間描画部307は、記憶部301からデータを読出して、動作判定部303による上記判定から上記規定時間までの経過時間を示すレベルゲージ(画像)503を画面501上に描画する(ステップST205)。図3では、経過時間描画部307が描画する画像がレベルゲージ503である場合を示しているが、これに限らず、例えば、砂時計を示す画像を描画したり、画面全体又は一部を点滅させたり色を変化させたりしてもよい。なお、画面全体又は一部を点滅させる場合には、経過時間に応じて点滅の間隔を早める等、経過時間を分かりやすくしてもよい。
【0025】
なお、動作判定部303が、時間計数部304により計数された時間が上記規定時間を経過するまでの間に、手を開いた又は検出装置2による検出範囲外に手が移動したと判定した場合には、シーケンスはステップST202に戻る(図3Aに示す画面501に戻る)。このようにすることで、操作途中で操作者の意思により分解操作を中断することが可能となる。
【0026】
次いで、動作描画部308は、時間計数部304により計数された時間が上記規定時間を経過した後、記憶部301からデータを読出して、図3Cに示すように手を握った状態から手を開く動作を示唆する動作モデル504を画面501上に描画する(ステップST206)。例えば、画面501上に、動作モデル504を描画して、アニメーションで手を握った状態から手を開く動作を繰り返し示す。このように、動作モデル504を画面501上に描画することで、操作者は、分解操作を行うための手の動きが事前にわからない場合であっても、手の動きを容易に把握できる。
なお、本構成では動作描画部308は、動作モデルを用いて第2動作を示唆しているが、これに限らず、文字等を用いて第2動作を示唆してもよい。また、第2動作の示唆を行う動作描画部308に代えて、図形等で第2動作を行うタイミングを示唆する動作タイミング描画部を画面操作装置3に設けてもよい。
【0027】
次いで、動作判定部303は、特徴点取得部302により取得された手の動きが、手を握った状態から手を開く動作であるかを判定する(ステップST207)。
このステップST207において、動作判定部303が手を握った状態から開く動作であると判定した場合には、操作部306は、記憶部301からデータを読出して、画面501上の機器502aに対して分解操作を行う(ステップST208)。これにより、図3Dに示すように、画面501上の機器(外観モデル)502aが、部品が分解された機器(分解モデル)502cに切替わる。
【0028】
一方、ステップST202において、動作判定部303は、手を開いた状態から握る動作ではないと判定した場合(例えば、手を握った状態で検出範囲内に手が挿入された場合)には、特徴点取得部302により取得された手の動きが、手を握ったまま移動する動作であるかを判定する(ステップST209)。
このステップST209において、動作判定部303が手を握ったまま移動する動作であると判定した場合には、操作部306は、記憶部301からデータを読出して、画面501上の機器502aに対して上記手の移動に応じた回転操作を行う(ステップST210)。この回転操作は従来と同様である。
【0029】
なお上記では、表示装置1に表示される画面をプレゼン用画面501としたが、表示モデルを有する画面であればよく、例えばゲーム画面でもよい。
【0030】
以上のように、この実施の形態1によれば、表示モデルを有する画面を操作する操作者による特徴点の動きを取得する特徴点取得部302と、特徴点取得部302により取得された特徴点の動きを判定する動作判定部303と、動作判定部303により特徴点の動きが第1動作であると判定された場合に、時間計数を開始する時間計数部304と、動作判定部303により特徴点の動きが第1動作であるとの判定が継続している間、画面上の表示モデルを規定操作後の状態を示唆するように動作させ、時間計数部304により計数された時間が規定時間を経過した後、画面上の表示モデルに対して当該規定操作を行う操作部306とを備えたので、表示モデルの次の動きを事前に把握できる。
更に、展示会等において発表者が操作を行い、観覧者にその操作内容や画面の動き、画面内の表示モデルの動きを見てもらうような場合には、発表者(操作者)だけでなく、観覧者にとっても表示モデルの次の動きが予測しやすくなる。
【0031】
最後に、図4を参照して、実施の形態1に係る画面操作装置3のハードウェア構成例を説明する。
画面操作装置3における特徴点取得部302、動作判定部303、時間計数部304、時間設定部305、操作部306、経過時間描画部307及び動作描画部308の各機能は、処理回路51により実現される。処理回路51は、図4Aに示すように、専用のハードウェアであっても、図4Bに示すように、メモリ53に格納されるプログラムを実行するCPU(Central Processing Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、DSP(Digital Signal Processor)ともいう)52であってもよい。
【0032】
処理回路51が専用のハードウェアである場合、処理回路51は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、又はこれらを組み合わせたものが該当する。特徴点取得部302、動作判定部303、時間計数部304、時間設定部305、操作部306、経過時間描画部307及び動作描画部308の各部の機能それぞれを処理回路51で実現してもよいし、各部の機能をまとめて処理回路51で実現してもよい。
【0033】
処理回路51がCPU52の場合、特徴点取得部302、動作判定部303、時間計数部304、時間設定部305、操作部306、経過時間描画部307及び動作描画部308の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアやファームウェアはプログラムとして記述され、メモリ53に格納される。処理回路51は、メモリ53に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、画面操作装置3は、処理回路51により実行されるときに、例えば図2に示した各ステップが結果的に実行されることになるプログラムを格納するためのメモリ53を備える。また、これらのプログラムは、特徴点取得部302、動作判定部303、時間計数部304、時間設定部305、操作部306、経過時間描画部307及び動作描画部308の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ53とは、例えば、RAM、ROM、フラッシュメモリ、EPROM、EEPROM等の、不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD等が該当する。
【0034】
なお、特徴点取得部302、動作判定部303、時間計数部304、時間設定部305、操作部306、経過時間描画部307及び動作描画部308の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、特徴点取得部302については専用のハードウェアとしての処理回路51でその機能を実現し、動作判定部303、時間計数部304、時間設定部305、操作部306、経過時間描画部307及び動作描画部308については処理回路51がメモリ53に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
【0035】
このように、処理回路51は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。
【0036】
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【符号の説明】
【0037】
1 表示装置、2 検出装置、3 画面操作装置、51 処理回路、52 CPU、53 メモリ、301 記憶部、302 特徴点取得部、303 動作判定部、304 時間計数部、305 時間設定部、306 操作部、307 経過時間描画部、308 動作描画部。
図1
図2
図3
図4