IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社リコーの特許一覧

特許7574609表示入力装置、プログラム、及び表示入力方法
<>
  • 特許-表示入力装置、プログラム、及び表示入力方法 図1
  • 特許-表示入力装置、プログラム、及び表示入力方法 図2
  • 特許-表示入力装置、プログラム、及び表示入力方法 図3
  • 特許-表示入力装置、プログラム、及び表示入力方法 図4
  • 特許-表示入力装置、プログラム、及び表示入力方法 図5
  • 特許-表示入力装置、プログラム、及び表示入力方法 図6
  • 特許-表示入力装置、プログラム、及び表示入力方法 図7
  • 特許-表示入力装置、プログラム、及び表示入力方法 図8
  • 特許-表示入力装置、プログラム、及び表示入力方法 図9
  • 特許-表示入力装置、プログラム、及び表示入力方法 図10
  • 特許-表示入力装置、プログラム、及び表示入力方法 図11
  • 特許-表示入力装置、プログラム、及び表示入力方法 図12
  • 特許-表示入力装置、プログラム、及び表示入力方法 図13
  • 特許-表示入力装置、プログラム、及び表示入力方法 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-21
(45)【発行日】2024-10-29
(54)【発明の名称】表示入力装置、プログラム、及び表示入力方法
(51)【国際特許分類】
   G06F 3/01 20060101AFI20241022BHJP
   G06F 3/0481 20220101ALI20241022BHJP
   G09G 5/00 20060101ALI20241022BHJP
【FI】
G06F3/01 510
G06F3/0481
G09G5/00 510H
G09G5/00 550B
【請求項の数】 13
(21)【出願番号】P 2020175522
(22)【出願日】2020-10-19
(65)【公開番号】P2022066915
(43)【公開日】2022-05-02
【審査請求日】2023-08-24
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】尾▲崎▼ 宏樹
【審査官】滝谷 亮一
(56)【参考文献】
【文献】特開2014-010781(JP,A)
【文献】特開2017-168039(JP,A)
【文献】特開2006-268263(JP,A)
【文献】特開2016-119567(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
G06F 3/0481
G09G 5/00
(57)【特許請求の範囲】
【請求項1】
表示部にコンテンツを表示する表示制御手段と、
前記表示部に対する操作を受け付ける操作受付手段と、
前記操作を入力する操作者以外の近傍者の死角となる死角領域を前記表示部の表示可能領域から決定する死角領域決定手段と、
前記死角領域へ書き込まれた書き込みコンテンツに関連する関連コンテンツを前記表示部に表示されているコンテンツから決定する関連コンテンツ決定手段と
を有し、
前記表示制御手段は、前記死角領域へ書き込まれた書き込みコンテンツと、前記書き込みコンテンツに関連する関連コンテンツと、を死角領域外の表示可能領域に表示し、
前記関連コンテンツ決定手段は、前記死角領域へ書き込まれた書き込みコンテンツと表示領域の少なくとも一部が重なる前記コンテンツを、前記書き込みコンテンツに関連する関連コンテンツに決定すること
を特徴とする表示入力装置。
【請求項2】
表示部にコンテンツを表示する表示制御手段と、
前記表示部に対する操作を受け付ける操作受付手段と、
前記操作を入力する操作者以外の近傍者の死角となる死角領域を前記表示部の表示可能領域から決定する死角領域決定手段と、
前記死角領域へ書き込まれた書き込みコンテンツに関連する関連コンテンツを前記表示部に表示されているコンテンツから決定する関連コンテンツ決定手段と
を有し、
前記表示制御手段は、前記死角領域へ書き込まれた書き込みコンテンツと、前記書き込みコンテンツに関連する関連コンテンツと、を死角領域外の表示可能領域に表示し、
前記関連コンテンツ決定手段は、
前記死角領域へ書き込まれた書き込みコンテンツと所定距離内にある表示領域の前記コンテンツを、前記書き込みコンテンツに関連する関連コンテンツに決定すること
を特徴とする表示入力装置。
【請求項3】
表示部にコンテンツを表示する表示制御手段と、
前記表示部に対する操作を受け付ける操作受付手段と、
前記操作を入力する操作者以外の近傍者の死角となる死角領域を前記表示部の表示可能領域から決定する死角領域決定手段と、
前記死角領域へ書き込まれた書き込みコンテンツに関連する関連コンテンツを前記表示部に表示されているコンテンツから決定する関連コンテンツ決定手段と
を有し、
前記表示制御手段は、前記死角領域へ書き込まれた書き込みコンテンツと、前記書き込みコンテンツに関連する関連コンテンツと、を死角領域外の表示可能領域に表示し、
前記関連コンテンツ決定手段は、
前記死角領域へ書き込まれた書き込みコンテンツと書き込み時間が所定時間内にある表示領域の前記コンテンツを、前記書き込みコンテンツに関連する関連コンテンツに決定すること
を特徴とする表示入力装置。
【請求項4】
前記表示制御手段は、前記関連コンテンツ決定手段が前記書き込みコンテンツに関連する関連コンテンツを決定した場合に、前記書き込みコンテンツと、前記書き込みコンテンツに関連する関連コンテンツと、の前記死角領域外の表示可能領域への表示を開始すること
を特徴とする請求項1乃至の何れか一項に記載の表示入力装置。
【請求項5】
前記表示制御手段は、前記関連コンテンツ決定手段が前記書き込みコンテンツに関連する関連コンテンツを決定するまで、前記死角領域へ書き込まれた書き込みコンテンツを死角領域外の表示可能領域に表示し、前記関連コンテンツ決定手段が前記書き込みコンテンツに関連する関連コンテンツを決定したあと、前記書き込みコンテンツと、前記書き込みコンテンツに関連する関連コンテンツと、を死角領域外の表示可能領域に表示すること
を特徴とする請求項1乃至の何れか一項に記載の表示入力装置。
【請求項6】
操作者と、前記操作者以外の近傍者との位置を検出する位置検出手段、を更に有し、
前記死角領域決定手段は、検出した前記操作者及び前記近傍者の位置に基づいて、前記近傍者の死角となる死角領域を決定すること
を特徴とする請求項1乃至の何れか一項に記載の表示入力装置。
【請求項7】
前記死角領域決定手段は、前記操作受付手段が操作を受け付けた前記表示部の表示可能領域の位置に基づいて、前記近傍者の死角となる死角領域を決定すること
を特徴とする請求項1乃至の何れか一項に記載の表示入力装置。
【請求項8】
表示入力装置を、
表示部にコンテンツを表示する表示制御手段、
前記表示部に対する操作を受け付ける操作受付手段、
前記操作を入力する操作者以外の近傍者の死角となる死角領域を前記表示部の表示可能領域から決定する死角領域決定手段、
前記死角領域へ書き込まれた書き込みコンテンツに関連する関連コンテンツを前記表示部に表示されているコンテンツから決定する関連コンテンツ決定手段、
として機能させ、
前記表示制御手段は、前記死角領域へ書き込まれた書き込みコンテンツと、前記書き込みコンテンツに関連する関連コンテンツと、を死角領域外の表示可能領域に表示し、
前記関連コンテンツ決定手段は、前記死角領域へ書き込まれた書き込みコンテンツと表示領域の少なくとも一部が重なる前記コンテンツを、前記書き込みコンテンツに関連する関連コンテンツに決定すること
を特徴とするプログラム。
【請求項9】
表示入力装置を、
表示部にコンテンツを表示する表示制御手段、
前記表示部に対する操作を受け付ける操作受付手段、
前記操作を入力する操作者以外の近傍者の死角となる死角領域を前記表示部の表示可能領域から決定する死角領域決定手段、
前記死角領域へ書き込まれた書き込みコンテンツに関連する関連コンテンツを前記表示部に表示されているコンテンツから決定する関連コンテンツ決定手段、
として機能させ、
前記表示制御手段は、前記死角領域へ書き込まれた書き込みコンテンツと、前記書き込みコンテンツに関連する関連コンテンツと、を死角領域外の表示可能領域に表示し、
前記関連コンテンツ決定手段は、
前記死角領域へ書き込まれた書き込みコンテンツと所定距離内にある表示領域の前記コンテンツを、前記書き込みコンテンツに関連する関連コンテンツに決定すること
を特徴とするプログラム。
【請求項10】
表示入力装置を、
表示部にコンテンツを表示する表示制御手段、
前記表示部に対する操作を受け付ける操作受付手段、
前記操作を入力する操作者以外の近傍者の死角となる死角領域を前記表示部の表示可能領域から決定する死角領域決定手段、
前記死角領域へ書き込まれた書き込みコンテンツに関連する関連コンテンツを前記表示部に表示されているコンテンツから決定する関連コンテンツ決定手段、
として機能させ、
前記表示制御手段は、前記死角領域へ書き込まれた書き込みコンテンツと、前記書き込みコンテンツに関連する関連コンテンツと、を死角領域外の表示可能領域に表示し、
前記関連コンテンツ決定手段は、
前記死角領域へ書き込まれた書き込みコンテンツと書き込み時間が所定時間内にある表示領域の前記コンテンツを、前記書き込みコンテンツに関連する関連コンテンツに決定すること
を特徴とするプログラム。
【請求項11】
表示入力装置に、
表示部にコンテンツを表示する表示制御手順と、
前記表示部に対する操作を受け付ける操作受付手順と、
前記操作を入力する操作者以外の近傍者の死角となる死角領域を前記表示部の表示可能領域から決定する死角領域決定手順と、
前記死角領域へ書き込まれた書き込みコンテンツに関連する関連コンテンツを前記表示部に表示されているコンテンツから決定する関連コンテンツ決定手順と、
を実行させ、
前記表示制御手順は、前記死角領域へ書き込まれた書き込みコンテンツと、前記書き込みコンテンツに関連する関連コンテンツと、を死角領域外の表示可能領域に表示し、
前記関連コンテンツ決定手順は、前記死角領域へ書き込まれた書き込みコンテンツと表示領域の少なくとも一部が重なる前記コンテンツを、前記書き込みコンテンツに関連する関連コンテンツに決定すること
を特徴とする表示入力方法。
【請求項12】
表示入力装置に、
表示部にコンテンツを表示する表示制御手順と、
前記表示部に対する操作を受け付ける操作受付手順と、
前記操作を入力する操作者以外の近傍者の死角となる死角領域を前記表示部の表示可能領域から決定する死角領域決定手順と、
前記死角領域へ書き込まれた書き込みコンテンツに関連する関連コンテンツを前記表示部に表示されているコンテンツから決定する関連コンテンツ決定手順と、
を実行させ、
前記表示制御手順は、前記死角領域へ書き込まれた書き込みコンテンツと、前記書き込みコンテンツに関連する関連コンテンツと、を死角領域外の表示可能領域に表示し、
前記関連コンテンツ決定手順は、
前記死角領域へ書き込まれた書き込みコンテンツと所定距離内にある表示領域の前記コンテンツを、前記書き込みコンテンツに関連する関連コンテンツに決定すること
を特徴とする表示入力方法。
【請求項13】
表示入力装置に、
表示部にコンテンツを表示する表示制御手順と、
前記表示部に対する操作を受け付ける操作受付手順と、
前記操作を入力する操作者以外の近傍者の死角となる死角領域を前記表示部の表示可能領域から決定する死角領域決定手順と、
前記死角領域へ書き込まれた書き込みコンテンツに関連する関連コンテンツを前記表示部に表示されているコンテンツから決定する関連コンテンツ決定手順と、
を実行させ、
前記表示制御手順は、前記死角領域へ書き込まれた書き込みコンテンツと、前記書き込みコンテンツに関連する関連コンテンツと、を死角領域外の表示可能領域に表示し、
前記関連コンテンツ決定手順は、
前記死角領域へ書き込まれた書き込みコンテンツと書き込み時間が所定時間内にある表示領域の前記コンテンツを、前記書き込みコンテンツに関連する関連コンテンツに決定すること
を特徴とする表示入力方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示入力装置、プログラム、及び表示入力方法に関する。
【背景技術】
【0002】
例えばデジタルサイネージを操作する操作者は、コンテンツが表示される表示面の近くに位置する。このため、デジタルサイネージを操作している操作者よりも後方に位置する者は、表示面の一部が操作者に隠れて、コンテンツの一部を視認することができないという問題がある。例えば操作者による操作を可能にしつつ、近傍者がコンテンツを閲覧できるようにするため、表示面中で近傍者の死角となる死角領域を決定し、決定された死角領域以外の表示可能領域にコンテンツを表示する技術は従来から知られている(例えば特許文献1参照)。
【発明の概要】
【発明が解決しようとする課題】
【0003】
例えば死角領域へ書き込まれる書き込みコンテンツは、表示領域に表示済みの画像又は書き込みなどのコンテンツと関連した書き込みである場合がある。書き込まれる書き込みコンテンツに関連したコンテンツを関連コンテンツと呼ぶ。死角領域へ書き込まれた書き込みコンテンツを、死角領域外の表示可能領域に表示する場合は、関連コンテンツとの関連が分からず、書き込みコンテンツの内容が理解できないという問題があった。
【0004】
本発明の実施の形態は、死角領域へ書き込まれた書き込みコンテンツの内容を近傍者が理解し易いように死角領域外の表示可能領域に表示できる表示入力装置を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記した課題を達成するために本願請求項1の表示入力装置は、表示部にコンテンツを表示する表示制御手段と、前記表示部に対する操作を受け付ける操作受付手段と、前記操作を入力する操作者以外の近傍者の死角となる死角領域を前記表示部の表示可能領域から決定する死角領域決定手段と、前記死角領域へ書き込まれた書き込みコンテンツに関連する関連コンテンツを前記表示部に表示されているコンテンツから決定する関連コンテンツ決定手段とを有し、前記表示制御手段は、前記死角領域へ書き込まれた書き込みコンテンツと、前記書き込みコンテンツに関連する関連コンテンツと、を死角領域外の表示可能領域に表示し、前記関連コンテンツ決定手段は、前記死角領域へ書き込まれた書き込みコンテンツと表示領域の少なくとも一部が重なる前記コンテンツを、前記書き込みコンテンツに関連する関連コンテンツに決定することを特徴とする。
【発明の効果】
【0006】
本発明の実施形態によれば、死角領域へ書き込まれた書き込みコンテンツの内容を近傍者が理解し易いように死角領域外の表示可能領域に表示できる。
【図面の簡単な説明】
【0007】
図1】本実施形態に係る電子黒板の一例のハードウェア構成図である。
図2】本実施形態に係る電子黒板の一例の機能ブロック図である。
図3】死角領域に書き込まれた書き込みコンテンツ及び関連コンテンツの一例について説明するための図である。
図4】本実施形態に係る電子黒板の処理の一例のフローチャートである。
図5】書き込みコンテンツと画像との重なりを判断する処理の一例の説明図である。
図6】死角領域に書き込まれた書き込みコンテンツ及び関連コンテンツの一例について説明するための図である。
図7】本実施形態に係る電子黒板の処理の一例のフローチャートである。
図8】書き込みコンテンツから所定距離内に表示された他の書き込みコンテンツを判断する処理の一例の説明図である。
図9】死角領域に書き込まれた書き込みコンテンツ及び関連コンテンツの一例について説明するための図である。
図10】本実施形態に係る電子黒板の処理の一例のフローチャートである。
図11】書き込みコンテンツの書き込み時刻から所定時間内に表示された他の書き込みコンテンツを判断する処理の一例の説明図である。
図12】本実施形態に係る電子黒板の処理の一例のフローチャートである。
図13】書き込みコンテンツの書き込み時刻から所定時間内に表示された添付された画像を判断する処理の一例の説明図である。
図14】関連コンテンツの判断条件の設定画面の一例のイメージ図である。
【発明を実施するための形態】
【0008】
以下、本発明の実施形態について図面を参照しながら説明する。なお、以下では表示部にコンテンツを表示し、表示部に対する操作を受け付ける表示入力装置の一例である電子黒板1について説明するが、電子黒板1に限定するものではない。
【0009】
[第1の実施形態]
<電子黒板のハードウェア構成>
図1を用いて、本発明の実施形態に係る電子黒板1の全体構成を説明する。図1は本実施形態に係る電子黒板の一例のハードウェア構成図である。電子黒板1は、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203、SSD(Solid State Drive)204、ネットワークI/F(Interface)205、及び、外部機器接続I/F206を備える。
【0010】
CPU201は電子黒板1全体の動作を制御する。ROM202はCPU201又はIPL(Initial Program Loader)等のCPU201の駆動に用いられるプログラムを記憶する。RAM203はCPU201のワークエリアとして使用される。SSD204は電子黒板1用のプログラム等の各種データを記憶する。ネットワークI/F205は、ネットワークを介した通信を制御する。
【0011】
外部機器接続I/F206は各種の外部機器を接続するインタフェースである。外部機器は、例えばUSB(Universal Serial Bus)メモリ230、及び外付け機器である。外付け機器は、例えばマイク240、スピーカ250、及びカメラ260である。
【0012】
また、電子黒板1は、キャプチャデバイス211、GPU(Graphics Processing Unit)212、ディスプレイコントローラ213、接触センサ214、センサコントローラ215、電子ペンコントローラ216、近距離通信回路219、近距離通信回路219のアンテナ219a、電源スイッチ222、及び選択スイッチ類223を備える。
【0013】
キャプチャデバイス211は外付けのPC(Personal Computer)270のディスプレイに対して映像情報を静止画又は動画として表示させる。GPU212はグラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ213はGPU212からの出力画像をディスプレイ280等へ出力するために画面表示の制御及び管理を行う。ディスプレイ280は表示部の一例である。
【0014】
接触センサ214はディスプレイ280上に電子ペン290又はユーザの手H等が接触したことを検知する。センサコントローラ215は接触センサ214の処理を制御する。接触センサ214は、赤外線遮断方式による座標の入力及び座標の検出を行う。赤外線遮断方式による座標の入力及び座標の検出を行う方法は、例えばディスプレイ280の端部に設置された受発光装置が、ディスプレイ280に平行して複数の赤外線を放射する。受発光装置は、ディスプレイ280の周囲に設けられた反射部材によって反射されて、放射した光の光路と同一の光路上を戻って来る光を受光する。
【0015】
接触センサ214は、物体によって遮断され、受信できなかった赤外線のIDをセンサコントローラ215に出力する。センサコントローラ215は物体の接触位置である座標位置を特定する。電子ペンコントローラ216は電子ペン290と通信し、ディスプレイ280へのペン先のタッチやペン尻のタッチの有無を判断する。
【0016】
近距離通信回路219はNFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。電源スイッチ222は、電子黒板1の電源のON/OFFを切り換えるためのスイッチである。選択スイッチ類223は、例えば、ディスプレイ280の表示の明暗や色合い等を調整するためのスイッチ群である。電子黒板1はバスライン210を備える。バスライン210は図2に示したCPU201等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0017】
接触センサ214は赤外線遮断方式に限らず、静電容量方式、抵抗膜方式、又は電磁誘導方式など、種々の方式を用いてもよい。静電容量方式のタッチパネルは静電容量の変化を検知することにより接触位置を特定する。抵抗膜方式のタッチパネルは対向する2つの抵抗膜の電圧変化によって接触位置を特定する。電磁誘導方式のタッチパネルは接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する。
【0018】
電子ペンコントローラ216は電子ペン290のペン先及びペン尻だけでなく、電子ペン290のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
【0019】
なお、本実施形態では特に明記しない限り、CPU201がRAM203をワークエリアとして使用して、プログラムに従った処理を実行する。
【0020】
<電子黒板の機能構成>
次に、図2を用いて、電子黒板1が有する機能について説明する。図2は、本実施形態に係る電子黒板の一例の機能ブロック図である。電子黒板1が有する各機能は、図1に示した各構成要素の何れかが、ワークエリアに展開されたプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。
【0021】
電子黒板1は、操作受付部10、位置検出部12、コンテンツ情報保持部14、関連コンテンツ決定部16、死角領域決定部18、及び表示制御部20を備える。なお、図2は本実施形態の説明に不要な機能についての図示を省略している。
【0022】
操作受付部10は、図1に示したCPU201からの命令、接触センサ214、電子ペンコントローラ216等により実現されており、検知した操作者の手H等の接触や電子ペン290の操作など、ディスプレイ280に対する操作を受け付ける。操作受付部10が操作者から受け付けるディスプレイ280に対する操作は、コンテンツの書き込み、又は画像の添付などである。例えば操作受付部10は、操作者の手H等の接触した位置又は電子ペン290の接触した位置の座標データを求め、操作者による手書き入力を書き込みコンテンツとして受け付けることができる。手書き入力とは、操作者の手H等の接触している座標の軌跡を用いた入力である。
【0023】
位置検出部12は、図1に示したCPU201がRAM203をワークエリアとして使用して、プログラムに従った処理を実行することによって実現される。位置検出部12はカメラ260が撮影した画像から、電子黒板1の操作者、及び操作者以外の近傍者の位置を検出する。位置検出部12は電子黒板1の操作者及び近傍者の位置を赤外線センサ、距離センサ、又はサーモセンサなどを利用して検出してもよい。カメラ260が撮影した画像から電子黒板1の操作者、及び操作者以外の近傍者の位置を検出する処理は既存の技術を用いることができる。また、電子黒板1の操作者及び近傍者の位置を赤外線センサ、距離センサ、又はサーモセンサなどを利用して検出する処理も既存の技術を用いることができる。位置検出部12はディスプレイ280に対する操作者の操作により書き込まれた書き込みコンテンツの位置から、操作者及び近傍者の位置を推定して検出してもよい。
【0024】
コンテンツ情報保持部14は、図1に示したCPU201からの命令、図1に示されているSSD204等により実現される。コンテンツ情報保持部14は操作者によるディスプレイ280に対する操作により書き込まれたコンテンツ(以下、書き込みコンテンツと呼ぶ)及び添付された画像などのコンテンツの位置、サイズ、及び時間を保持する。
【0025】
関連コンテンツ決定部16は、図1に示したCPU201がRAM203をワークエリアとして使用して、プログラムに従った処理を実行することによって実現される。関連コンテンツ決定部16は死角領域へ書き込まれた書き込みコンテンツに関連する関連コンテンツを、ディスプレイ280に添付された画像や表示済みの書き込みコンテンツから後述のように決定する。
【0026】
死角領域とは近傍者から電子黒板1を見る場合に、操作者の体等により隠れて見えない近傍者の死角となる電子黒板1の表示可能領域である。死角領域決定部18は、図1に示したCPU201がRAM203をワークエリアとして使用して、プログラムに従った処理を実行することによって実現される。死角領域決定部18は位置検出部12が検出した操作者及び近傍者の位置に基づき、近傍者の死角領域を決定する。操作者及び近傍者の位置に基づき、近傍者の死角領域を決定する処理は、例えば特開2017-168039号公報に記載された技術など、既存の技術を用いることができる。
【0027】
表示制御部20は図1に示したCPU201からの命令、GPU212、ディスプレイコントローラ213等により実現される。表示制御部20は書き込みコンテンツ及び画像などのディスプレイ280への表示に関する制御を行う。例えば表示制御部20は、死角領域内へ書き込まれた書き込みコンテンツと、その書き込みコンテンツに関連する関連コンテンツとを、死角領域外(操作者の体等により隠れておらず、近傍者から見ることのできる領域)の表示可能領域に表示する制御を行う。
【0028】
<書き込みコンテンツ及び関連コンテンツの表示例1>
図3は死角領域に書き込まれた書き込みコンテンツ及び関連コンテンツの一例について説明するための図である。図3(a)は画像1002が表示されている状態の電子黒板1の死角領域1000に、書き込みコンテンツ1004を書き込んでいる。画像1002はディスプレイ280に表示されているコンテンツの一例であって、例えばディスプレイ280に添付された画像である。
【0029】
書き込みコンテンツ1004は、死角領域1000に書き込まれている。死角領域1000に書き込まれた書き込みコンテンツ1004は、一部が画像1002上に重なるように表示されている。関連コンテンツ決定部16は画像1002を、死角領域1000へ書き込まれた書き込みコンテンツ1004に関連する関連コンテンツとして決定する。
【0030】
図3(b)は死角領域1000へ書き込まれた書き込みコンテンツ1004と、その書き込みコンテンツ1004に関連する関連コンテンツである画像1002とを、死角領域外の領域1006に表示している。
【0031】
図4は本実施形態に係る電子黒板の処理の一例のフローチャートである。ステップS10において、電子黒板1の位置検出部12は、例えばカメラ260が撮影した画像、各種センサの出力信号、操作者の操作により書き込まれた書き込みコンテンツの位置などを利用して、電子黒板1の操作者、及び操作者以外の近傍者の位置を検出する。
【0032】
ステップS12において、死角領域決定部18は位置検出部12が検出した操作者及び近傍者の位置に基づき、近傍者の死角領域を決定する。ステップS14において、操作受付部10は検知した操作者の手H等の接触や電子ペン290の操作など、ディスプレイ280に対する操作を受け付ける。操作受付部10は操作者の手H等の接触した位置又は電子ペン290の接触した位置の座標データを求め、操作者による手書き入力を書き込みコンテンツとして検出する。
【0033】
ステップS16において、コンテンツ情報保持部14は操作者によるディスプレイ280に対する操作により書き込まれた書き込みコンテンツの位置、サイズ、及び時間をコンテンツ情報として保持する。
【0034】
ステップS18において、関連コンテンツ決定部16はステップS14で検出した書き込みコンテンツが死角領域内にあるか否かを判定する。死角領域内になければ、関連コンテンツ決定部16はステップS10に戻る。死角領域内にあれば、関連コンテンツ決定部16はステップS20の処理を行う。
【0035】
ステップS20において、関連コンテンツ決定部16はステップS14で検出した書き込みコンテンツを囲んだ矩形領域内に、ディスプレイ280に添付された画像の領域が重なっているか否かを判定する。例えば図3の例では、ステップS14で検出した書き込みコンテンツ1004を囲んだ矩形領域内に、ディスプレイ280に添付された画像1002の領域が重なっているか否かを判定する。
【0036】
ステップS14で検出した書き込みコンテンツを囲んだ矩形領域内に、ディスプレイ280に添付された画像の領域が重なっていれば、関連コンテンツ決定部16はステップS22の処理を行う。関連コンテンツ決定部16はディスプレイ280に添付された画像を関連コンテンツとして決定する。表示制御部20は、決定した関連コンテンツとステップS14で検出した書き込みコンテンツとを表示コンテンツとして、一つの矩形領域を算出する。例えば図3の例では、決定した関連コンテンツである画像1002とステップS14で検出した書き込みコンテンツ1004とを表示コンテンツとして、一つの矩形領域を算出する。
【0037】
また、ステップS14で検出した書き込みコンテンツを囲んだ矩形領域内に、ディスプレイ280に添付された画像の領域が重なっていなければ、関連コンテンツ決定部16はステップS24の処理を行う。表示制御部20は、ステップS14で検出した書き込みコンテンツを表示コンテンツとして、矩形領域を算出する。
【0038】
ステップS26において、表示制御部20はステップS22又はS24で算出した矩形領域とステップS12で決定した死角領域とに基づき、死角領域外で表示できる領域1006を算出し、表示コンテンツを表示する。なお、ステップS26において、表示制御部20は例えば死角領域外で最大限表示できる領域1006を算出する。また、表示制御部20は例えば算出した領域1006に表示コンテンツを縮小して表示する。
【0039】
ステップS14で検出した書き込みコンテンツを囲んだ矩形領域内に、ディスプレイ280に添付された画像の領域が重なっているか否かを判定するステップS20の処理は例えば図5に示すように行う。図5は書き込みコンテンツと画像との重なりを判断する処理の一例の説明図である。
【0040】
コンテンツ情報保持部14は、書き込み情報として、書き込み座標一覧、コンテンツ位置、コンテンツサイズ、開始時刻、及び終了時刻を保持する。また、コンテンツ情報保持部14は、ディスプレイ280に添付された画像の画像情報として、コンテンツ位置、コンテンツサイズ、及び添付時刻を保持する。
【0041】
関連コンテンツ決定部16は、書き込みコンテンツ1004の矩形領域の範囲内に添付された画像1002の矩形領域が入っているか(重なっているか)否かを、コンテンツ位置及びコンテンツサイズで判断する。
【0042】
図3図5に示した処理によれば、電子黒板1は操作者が死角領域に書き込んだ書き込みコンテンツ1004と、その書き込みコンテンツ1004と関連性が高いと考えられる関連コンテンツの画像1002とを一緒に、死角領域外の領域1006に表示できる。近傍者は死角領域外の領域1006で死角領域に書き込んだ書き込みコンテンツ1004だけでなく、その書き込みコンテンツ1004の関連コンテンツである画像1002を一緒に閲覧できるので、書き込みコンテンツ1004の理解が容易となる。このように、電子黒板1は死角領域1000に書き込まれた書き込みコンテンツ1004の内容を、近傍者が理解し易いように死角領域外の表示可能領域に表示できる。
【0043】
<書き込みコンテンツ及び関連コンテンツの表示例2>
図6は死角領域に書き込まれた書き込みコンテンツ及び関連コンテンツの一例について説明するための図である。図6(a)は書き込みコンテンツ1010及び1012が表示されている状態の電子黒板1の死角領域1000に、書き込みコンテンツ1014を書き込んでいる。書き込みコンテンツ1010及び1012はディスプレイ280に表示済みの書き込みコンテンツの一例である。
【0044】
書き込みコンテンツ1014は、死角領域1000に書き込まれている。死角領域1000に書き込まれた書き込みコンテンツ1014は、書き込みコンテンツ1012から所定距離(一定距離)内に表示されている。関連コンテンツ決定部16は書き込みコンテンツ1012を、死角領域1000へ書き込まれた書き込みコンテンツ1014に関連する関連コンテンツとして決定する。
【0045】
図6(b)は死角領域1000へ書き込まれた書き込みコンテンツ1014と、その書き込みコンテンツ1014に関連する関連コンテンツである書き込みコンテンツ1012とを、死角領域外の領域1016に表示している。
【0046】
図7は本実施形態に係る電子黒板の処理の一例のフローチャートである。なお、図7に示したフローチャートの処理は一部を除いて図4と同様であり、適宜説明を省略する。ステップS30~S38の処理は図4のステップS10~S18と同様である。
【0047】
ステップS40において、関連コンテンツ決定部16はステップS34で検出した書き込みコンテンツを囲んだ矩形領域を一定サイズ拡大した拡大矩形領域内に、他の書き込みコンテンツの矩形領域が重なっているか否かを判定する。例えば図6の例では、ステップS34で検出した書き込みコンテンツ1014の拡大矩形領域内に、他の書き込みコンテンツ1010及び1012の領域が重なっているか否かを判定する。
【0048】
ステップS34で検出した書き込みコンテンツの拡大矩形領域内に、他の書き込みコンテンツ1010及び1012の領域の少なくとも一方が重なっていれば、関連コンテンツ決定部16はステップS42の処理を行う。関連コンテンツ決定部16はステップS34で検出した書き込みコンテンツの拡大矩形領域内に、領域が重なっている他の書き込みコンテンツ1010及び1012の領域の少なくとも一方を、関連コンテンツとして決定する。表示制御部20は、決定した関連コンテンツとステップS34で検出した書き込みコンテンツとを表示コンテンツとして、一つの矩形領域を算出する。例えば図6の例では、決定した関連コンテンツである書き込みコンテンツ1012とステップS34で検出した書き込みコンテンツ1014とを表示コンテンツとして、一つの矩形領域を算出する。
【0049】
また、ステップS34で検出した書き込みコンテンツの拡大矩形領域内に、他の書き込みコンテンツ1010又は1012の領域が重なっていなければ、関連コンテンツ決定部16はステップS44の処理を行う。表示制御部20は、ステップS34で検出した書き込みコンテンツを表示コンテンツとして、矩形領域を算出する。
【0050】
ステップS46において、表示制御部20はステップS42又はS44で算出した矩形領域とステップS32で決定した死角領域とに基づき、死角領域外で表示できる領域1016を算出し、表示コンテンツを表示する。なお、ステップS46において、表示制御部20は例えば死角領域外で最大限表示できる領域1016を算出する。また、表示制御部20は例えば算出した領域1016に表示コンテンツを縮小して表示する。
【0051】
ステップS34で検出した書き込みコンテンツの拡大矩形領域内に、他の書き込みコンテンツ1010及び1012の領域の少なくとも一方が重なっているか否かを判定するステップS40の処理は例えば図8に示すように行う。図8は書き込みコンテンツから所定距離内に表示された他の書き込みコンテンツを判断する処理の一例の説明図である。
【0052】
コンテンツ情報保持部14は、書き込みコンテンツ1014及び他の書き込みコンテンツ1012の書き込み情報として、書き込み座標一覧、コンテンツ位置、コンテンツサイズ、開始時刻、及び終了時刻を保持する。関連コンテンツ決定部16は、書き込みコンテンツ1014の矩形領域を一定サイズ拡大させた矩形領域1018の範囲内に、他の書き込みコンテンツ1012の矩形領域が入っているか(重なっているか)否かを、コンテンツ位置及びコンテンツサイズで判断する。
【0053】
図6図8に示した処理によれば、電子黒板1は操作者が死角領域に書き込んだ書き込みコンテンツ1014と、その書き込みコンテンツ1014と関連性が高いと考えられる関連コンテンツの他の書き込みコンテンツ1012とを一緒に、死角領域外の領域1016に表示できる。近傍者は死角領域外の領域1016で死角領域に書き込んだ書き込みコンテンツ1014だけでなく、その書き込みコンテンツ1014の関連コンテンツである他の書き込みコンテンツ1012を一緒に閲覧できるので、書き込みコンテンツ1014の理解が容易となる。このように、電子黒板1は死角領域1000に書き込まれた書き込みコンテンツ1014の内容を、近傍者が理解し易いように死角領域外の表示可能領域に表示できる。
【0054】
<書き込みコンテンツ及び関連コンテンツの表示例3>
図9は死角領域に書き込まれた書き込みコンテンツ及び関連コンテンツの一例について説明するための図である。図9(a)は書き込みコンテンツ1010及び1012が表示されている状態の電子黒板1の死角領域1000に、書き込みコンテンツ1014を書き込んでいる。書き込みコンテンツ1010及び1012はディスプレイ280に表示済みの書き込みコンテンツの一例である。
【0055】
書き込みコンテンツ1010は書き込み時刻が「0:10」である。書き込みコンテンツ1012は書き込み時刻が「0:40」である。書き込みコンテンツ1014は書き込み時刻が「0:43」である。
【0056】
書き込みコンテンツ1014は、死角領域1000に書き込まれている。死角領域1000に書き込まれた書き込みコンテンツ1014は、書き込みコンテンツ1012の書き込み時刻「0:40」から所定時間(一定時間)内である書き込み時刻「0:43」に表示されている。関連コンテンツ決定部16は書き込みコンテンツ1012を、死角領域1000へ書き込まれた書き込みコンテンツ1014に関連する関連コンテンツとして決定する。
【0057】
図9(b)は死角領域1000へ書き込まれた書き込みコンテンツ1014と、その書き込みコンテンツ1014に関連する関連コンテンツである書き込みコンテンツ1012とを、死角領域外の領域1016に表示している。
【0058】
図10は本実施形態に係る電子黒板の処理の一例のフローチャートである。なお、図10に示したフローチャートの処理は一部を除いて図4又は図7と同様であり、適宜説明を省略する。ステップS50~S58の処理は、例えば図4のステップS10~S18と同様である。
【0059】
ステップS60において、関連コンテンツ決定部16はステップS54で検出した書き込みコンテンツの書き込み時刻から所定時間内に、他の書き込みコンテンツの書き込み時刻があるか否かを判定する。例えば図9の例では、ステップS54で検出した書き込みコンテンツ1014の書き込み時刻と、他の書き込みコンテンツ1010及び1012の書き込み時刻とを比較する。そして、図9の例では書き込みコンテンツ1014の書き込み時刻から所定時間内の書き込み時刻の書き込みコンテンツがあるか否かを判定する。
【0060】
ステップS54で検出した書き込みコンテンツの書き込み時刻から所定時間内の書き込み時刻の他の書き込みコンテンツがあれば、関連コンテンツ決定部16はステップS62の処理を行う。関連コンテンツ決定部16はステップS54で検出した書き込みコンテンツの書き込み時刻から所定時間内の書き込み時刻の他の書き込みコンテンツ1012を関連コンテンツとして決定する。表示制御部20は、決定した関連コンテンツとステップS54で検出した書き込みコンテンツとを表示コンテンツとして、一つの矩形領域を算出する。例えば図9の例では、決定した関連コンテンツである書き込みコンテンツ1012とステップS54で検出した書き込みコンテンツ1014とを表示コンテンツとして、一つの矩形領域を算出する。
【0061】
また、ステップS54で検出した書き込みコンテンツの書き込み時刻から所定時間内の書き込み時刻の他の書き込みコンテンツがなければ関連コンテンツ決定部16はステップS64の処理を行う。表示制御部20は、ステップS54で検出した書き込みコンテンツを表示コンテンツとして、矩形領域を算出する。
【0062】
ステップS66において、表示制御部20はステップS62又はS64で算出した矩形領域とステップS52で決定した死角領域とに基づき、死角領域外で表示できる領域1016を算出し、表示コンテンツを表示する。なお、ステップS66において、表示制御部20は例えば死角領域外で最大限表示できる領域1016を算出する。また、表示制御部20は例えば算出した領域1016に表示コンテンツを縮小して表示する。
【0063】
ステップS54で検出した書き込みコンテンツの書き込み時刻から所定時間内に、他の書き込みコンテンツの書き込み時刻があるか否かを判定するステップS60の処理は例えば図11に示すように行う。図11は書き込みコンテンツの書き込み時刻から所定時間内に表示された他の書き込みコンテンツを判断する処理の一例の説明図である。
【0064】
コンテンツ情報保持部14は、書き込みコンテンツ1014及び他の書き込みコンテンツ1012の書き込み情報として、書き込み座標一覧、コンテンツ位置、コンテンツサイズ、開始時刻、及び終了時刻を保持する。関連コンテンツ決定部16は、書き込みコンテンツの開始時刻と他の書き込みコンテンツの終了時刻とを利用して、書き込みコンテンツの書き込み時刻から所定時間内に表示された他の書き込みコンテンツを判断する。
【0065】
図9図11に示した処理によれば、電子黒板1は操作者が死角領域に書き込んだ書き込みコンテンツ1014と、その書き込みコンテンツ1014と関連性が高いと考えられる関連コンテンツの他の書き込みコンテンツ1012とを一緒に、死角領域外の領域1016に表示できる。近傍者は死角領域外の領域1016で死角領域に書き込んだ書き込みコンテンツ1014だけでなく、その書き込みコンテンツ1014の関連コンテンツである他の書き込みコンテンツ1012を一緒に閲覧できるので、書き込みコンテンツ1014の理解が容易となる。このように、電子黒板1は死角領域1000に書き込まれた書き込みコンテンツ1014の内容を、近傍者が理解し易いように死角領域外の表示可能領域に表示できる。
【0066】
<書き込みコンテンツ及び関連コンテンツの表示例4>
図9では関連コンテンツが他の書き込みコンテンツの例を示したが、関連コンテンツが例えば図5の添付された画像1002であってもよい。図12は本実施形態に係る電子黒板の処理の一例のフローチャートである。なお、図12に示したフローチャートの処理は一部を除いて図10と同様であり、適宜説明を省略する。ステップS70~S78の処理は、例えば図10のステップS50~S58と同様である。
【0067】
ステップS80において、関連コンテンツ決定部16はステップS74で検出した書き込みコンテンツの書き込み時刻から所定時間内に、添付された画像の添付時刻があるか否かを判定する。
【0068】
ステップS74で検出した書き込みコンテンツの書き込み時刻から所定時間内の書き込み時刻の添付された画像があれば、関連コンテンツ決定部16はステップS82の処理を行う。関連コンテンツ決定部16はステップS74で検出した書き込みコンテンツの書き込み時刻から所定時間内の書き込み時刻のディスプレイ280に添付された画像1002を関連コンテンツとして決定する。
【0069】
表示制御部20は、決定した関連コンテンツとステップS74で検出した書き込みコンテンツとを表示コンテンツとして、一つの矩形領域を算出する。
【0070】
また、ステップS74で検出した書き込みコンテンツの書き込み時刻から所定時間内の書き込み時刻の添付された画像がなければ関連コンテンツ決定部16はステップS84の処理を行う。表示制御部20は、ステップS74で検出した書き込みコンテンツを表示コンテンツとして、矩形領域を算出する。
【0071】
ステップS86において、表示制御部20はステップS82又はS84で算出した矩形領域とステップS72で決定した死角領域とに基づき、死角領域外で表示できる領域を算出し、表示コンテンツを表示する。なお、ステップS86において、表示制御部20は例えば死角領域外で最大限表示できる領域を算出する。また、表示制御部20は例えば算出した領域に表示コンテンツを縮小して表示する。
【0072】
ステップS74で検出した書き込みコンテンツの書き込み時刻から所定時間内に、添付された画像の添付時刻があるか否かを判定するステップS80の処理は例えば図13に示すように行う。図13は書き込みコンテンツの書き込み時刻から所定時間内に表示された添付された画像を判断する処理の一例の説明図である。
【0073】
コンテンツ情報保持部14は、書き込み情報として、書き込み座標一覧、コンテンツ位置、コンテンツサイズ、開始時刻、及び終了時刻を保持する。また、コンテンツ情報保持部14は、ディスプレイ280に添付された画像の画像情報として、コンテンツ位置、コンテンツサイズ、及び添付時刻を保持する。関連コンテンツ決定部16は、書き込みコンテンツの開始時刻と画像の添付時刻とを利用して、書き込みコンテンツの書き込み時刻から所定時間内に添付された画像を判断する。
【0074】
図12図13に示した処理によれば、電子黒板1は操作者が死角領域に書き込んだ書き込みコンテンツ1004と、書き込みコンテンツ1004と関連性が高いと考えられる関連コンテンツの画像1002とを一緒に、死角領域外の領域1006に表示できる。近傍者は死角領域外の領域1006で死角領域に書き込んだ書き込みコンテンツ1004だけでなく、その書き込みコンテンツ1004の関連コンテンツである画像1002を一緒に閲覧できるので、書き込みコンテンツ1004の理解が容易となる。このように、電子黒板1は死角領域1000に書き込まれた書き込みコンテンツ1004の内容を、近傍者が理解し易いように死角領域外の表示可能領域に表示できる。
【0075】
<関連コンテンツの判断条件の設定>
なお、上記した関連コンテンツの判断条件は例えば図14の設定画面2000から設定できる。図14は関連コンテンツの判断条件の設定画面の一例のイメージ図である。設定画面2000は「書き込みと重なっている画像」と「距離が近い書き込み」と「一定時間以内の書き込み」と「一定時間以内に添付された画像」とを関連コンテンツの判断条件とした例である。
【0076】
例えば図14はチェックボックスにチェックを入れることで、そのチェックボックスに対応する判断条件を、関連コンテンツの判断条件として設定できる。例えば「書き込みと重なっている画像」の判断条件は、図5に示した判断に相当する。また「距離が近い書き込み」の判断条件は、図8に示した判断に相当する。また「一定時間以内の書き込み」の判断条件は、図11に示した判断に相当する。また「一定時間以内に添付された画像」の判断条件は、図13に示した判断に相当する。
【0077】
<死角領域外の領域に表示を開始するタイミング>
例えば表示制御部20は、操作者が死角領域に書き込んだ書き込みコンテンツ1004と、その書き込みコンテンツ1004と関連性が高いと考えられる関連コンテンツの画像1002とを一緒に、死角領域外の領域1006に表示する。死角領域外の領域1006に表示を開始するタイミングは、例えば関連コンテンツを決定したタイミングである。死角領域外の領域1006に表示を開始するタイミングは、死角領域に書き込んだ書き込みコンテンツが所定量(文字数、データ量、又は書き込みコンテンツを囲んだ矩形領域の面積など)を超えたタイミングであってもよい。
【0078】
例えば関連コンテンツを決定したタイミングで死角領域外の領域1006に表示を開始する電子黒板1は、関連コンテンツが決定するまで、死角領域に書き込んだ書き込みコンテンツ1004が死角領域外の領域1006に表示される。その後、関連コンテンツが決定すると、死角領域に書き込んだ書き込みコンテンツ1004と、その書き込みコンテンツ1004の関連コンテンツとが死角領域外の領域1006に表示される。
【0079】
<死角領域外の領域への表示を終了するタイミング>
例えば表示制御部20は、死角領域1000の変化、死角領域外の領域1006への表示を開始してからの時間経過などを、死角領域外の領域1006への表示を終了するタイミングとすることができる。
【0080】
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0081】
例えば、本実施形態では電子黒板を一例として説明したが、タッチパネルを有する情報処理装置であれば好適に適用できる。また、電子黒板と同様の機能を有する装置を、電子ホワイトボード、電子情報ボード、インタラクティブボードなどともいう。タッチパネルを搭載した情報処理装置としては、例えば、PJ(Projector:プロジェクタ)、デジタルサイネージ等の出力装置、HUD(Head Up Display)装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートPC(Personal Computer)、携帯電話、スマートフォン、タブレット端末、ゲーム機、PDA(Personal Digital Assistant)、デジタルカメラ、ウェアラブルPC又はデスクトップPC等であってもよい。
【0082】
また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
【符号の説明】
【0083】
1 電子黒板
10 操作受付部
12 位置検出部
14 コンテンツ情報保持部
16 関連コンテンツ決定部
18 死角領域決定部
20 表示制御部
280 ディスプレイ
1000 死角領域
1002 画像
1004、1010、1012、1014 書き込みコンテンツ
【先行技術文献】
【特許文献】
【0084】
【文献】特開2017-168039号公報
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14