ホーム > 特許ランキング > 日立マクセル株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6161544
(24)【登録日】2017年6月23日
(45)【発行日】2017年7月12日
(54)【発明の名称】携帯端末
(51)【国際特許分類】
G06F 3/0488 20130101AFI20170703BHJP
H04M 1/00 20060101ALI20170703BHJP
【ＦＩ】
G06F3/0488 130
H04M1/00 U
【請求項の数】1
【全頁数】24
(21)【出願番号】特願2013-558576(P2013-558576)
(86)(22)【出願日】2012年2月13日
(86)【国際出願番号】JP2012000927
(87)【国際公開番号】WO2013121455
(87)【国際公開日】20130822
【審査請求日】2014年6月25日
【審判番号】不服2016-3936(P2016-3936/J1)
【審判請求日】2016年3月15日
(73)【特許権者】
【識別番号】000005810
【氏名又は名称】日立マクセル株式会社
(74)【代理人】
【識別番号】100080001
【弁理士】
【氏名又は名称】筒井 大和
(72)【発明者】
【氏名】清水 宏
(72)【発明者】
【氏名】▲吉▼澤 和彦
(72)【発明者】
【氏名】鈴木 基之
(72)【発明者】
【氏名】西島 英男
(72)【発明者】
【氏名】益岡 信夫
【合議体】
【審判長】
新川 圭二
【審判官】
山澤 宏
【審判官】
稲葉 和生
(56)【参考文献】
【文献】
特開平５−３００１４７（ＪＰ，Ａ）
【文献】
特開２０１０−２７１８５５（ＪＰ，Ａ）
【文献】
特開２００４−３１７５８３（ＪＰ，Ａ）
【文献】
特開２００６−５５８９（ＪＰ，Ａ）
【文献】
特開平８−２６５４７３（ＪＰ，Ａ）
【文献】
特開平７−１７７４８２（ＪＰ，Ａ）
【文献】
特開平５−２３３９９５（ＪＰ，Ａ）
【文献】
特開２００８−１１６８７４（ＪＰ，Ａ）
【文献】
特開２００７−２４３９１９（ＪＰ，Ａ）
【文献】
特開２０１２−１１２４５（ＪＰ，Ａ）
【文献】
特開２０１１−２８６１９（ＪＰ，Ａ）
【文献】
特開２００２−５５７７１（ＪＰ，Ａ）
【文献】
特開昭６３−２８３２７１（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
G06F 3/01
G06F 3/03-3/048
G06F 3/14-3/153
(57)【特許請求の範囲】
【請求項1】
表示装置および他の携帯端末と通信可能な携帯端末であって、
前記携帯端末は前記表示装置および前記他の携帯端末とともに会議記録システムを構成するものであり、
表示部と、
ユーザからの指示を受付けるタッチパネルと、
前記表示装置と前記他の携帯端末のそれぞれとデータの送受信を行う送受信部と、
保存部と、
制御部と、
を有し、
前記制御部は、前記タッチパネルへの線画入力に基づいて描画用線種データまたは消去用線種データを生成して前記送受信部が前記表示装置に送信するように制御し、該描画用線種データは図形を描画するためのデータであり、該消去用線種データは図形を消去するためのデータであり、該消去用線種データは前記表示装置において、前記表示装置が他の携帯端末から先に受信した描画用線種データに基づいて生成された図形の消去に用いられるデータであり、
前記制御部は、前記送受信部を介して、描画用線種データまたは消去用線種データを前記表示装置から受信した場合に、受信した前記描画用線種データまたは前記消去用線種データに基づいて描画または消去を行って生成した表示画像を前記表示部に表示し、
前記制御部は、
前記携帯端末が、前記会議記録システムが対象とする会議に最初から参加している携帯端末の場合には、前記送受信部を介して前記表示装置から受信した描画用線種データまたは消去用線種データを前記会議の最初から逐次前記保存部に保存することにより、一連の前記描画用線種データおよび前記消去用線種データを前記会議の最初から時系列および前記会議の最初からの時間軸に対応付けられた時刻が把握できる形式で前記保存部に保存するように制御し、
前記携帯端末が、前記会議記録システムが対象とする会議の途中から参加した携帯端末の場合には、前記携帯端末が前記会議に参加する時点より前の時点の描画用線種データまたは消去用線種データを、前記会議の最初からの時系列および前記会議の最初からの時間軸に対応付けられた時刻が把握できる形式で、前記送受信部を介して前記表示装置から取得して前記保存部に保存し、その後に前記送受信部を介して前記表示装置から受信した描画用線種データまたは消去用線種データを逐次前記保存部に保存することにより、一連の前記描画用線種データおよび前記消去用線種データを前記会議の最初から時系列および前記会議の最初からの時間軸に対応付けられた時刻が把握できる形式で前記保存部に保存するように制御し、
前記表示部に表示する表示画像を前記会議の最初からの時間軸における過去の所望の時刻の表示状態へ変化させるためのユーザ指示をユーザが前記タッチパネルを介して入力することが可能となるように、前記表示部が前記会議の最初からの時間軸を示す表示を行い、前記タッチパネルが該時間軸上の任意の時刻を指定するユーザ指示を受け付けているときに、前記表示部に表示する表示画像を、過去の所望の時刻の表示状態へ変化させるためのユーザ指示であって、該所望の時刻を指定するユーザ指示が前記タッチパネルに入力された場合に、前記制御部は、前記ユーザ指示に応じて、前記保存部に保存された前記描画用線種データおよび前記消去用線種データを用いて、前記表示部に前記ユーザ指示の入力時点より過去であって前記会議の最初からの時系列のうち前記ユーザ指示により指定される時刻の時点の表示状態の表示画像を表示するように制御する
携帯端末。
前記携帯端末は前記表示装置および前記他の携帯端末とともに会議記録システムを構成するものであり、
表示部と、
ユーザからの指示を受付けるタッチパネルと、
前記表示装置と前記他の携帯端末のそれぞれとデータの送受信を行う送受信部と、
保存部と、
制御部と、
を有し、
前記制御部は、前記タッチパネルへの線画入力に基づいて描画用線種データまたは消去用線種データを生成して前記送受信部が前記表示装置に送信するように制御し、該描画用線種データは図形を描画するためのデータであり、該消去用線種データは図形を消去するためのデータであり、該消去用線種データは前記表示装置において、前記表示装置が他の携帯端末から先に受信した描画用線種データに基づいて生成された図形の消去に用いられるデータであり、
前記制御部は、前記送受信部を介して、描画用線種データまたは消去用線種データを前記表示装置から受信した場合に、受信した前記描画用線種データまたは前記消去用線種データに基づいて描画または消去を行って生成した表示画像を前記表示部に表示し、
前記制御部は、
前記携帯端末が、前記会議記録システムが対象とする会議に最初から参加している携帯端末の場合には、前記送受信部を介して前記表示装置から受信した描画用線種データまたは消去用線種データを前記会議の最初から逐次前記保存部に保存することにより、一連の前記描画用線種データおよび前記消去用線種データを前記会議の最初から時系列および前記会議の最初からの時間軸に対応付けられた時刻が把握できる形式で前記保存部に保存するように制御し、
前記携帯端末が、前記会議記録システムが対象とする会議の途中から参加した携帯端末の場合には、前記携帯端末が前記会議に参加する時点より前の時点の描画用線種データまたは消去用線種データを、前記会議の最初からの時系列および前記会議の最初からの時間軸に対応付けられた時刻が把握できる形式で、前記送受信部を介して前記表示装置から取得して前記保存部に保存し、その後に前記送受信部を介して前記表示装置から受信した描画用線種データまたは消去用線種データを逐次前記保存部に保存することにより、一連の前記描画用線種データおよび前記消去用線種データを前記会議の最初から時系列および前記会議の最初からの時間軸に対応付けられた時刻が把握できる形式で前記保存部に保存するように制御し、
前記表示部に表示する表示画像を前記会議の最初からの時間軸における過去の所望の時刻の表示状態へ変化させるためのユーザ指示をユーザが前記タッチパネルを介して入力することが可能となるように、前記表示部が前記会議の最初からの時間軸を示す表示を行い、前記タッチパネルが該時間軸上の任意の時刻を指定するユーザ指示を受け付けているときに、前記表示部に表示する表示画像を、過去の所望の時刻の表示状態へ変化させるためのユーザ指示であって、該所望の時刻を指定するユーザ指示が前記タッチパネルに入力された場合に、前記制御部は、前記ユーザ指示に応じて、前記保存部に保存された前記描画用線種データおよび前記消去用線種データを用いて、前記表示部に前記ユーザ指示の入力時点より過去であって前記会議の最初からの時系列のうち前記ユーザ指示により指定される時刻の時点の表示状態の表示画像を表示するように制御する
携帯端末。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、会議や発表会等において、複数の参加者により、同時に手書き入力による自由な書き込みや修正が出来る電子的に構築した図形入力・表示装置に関するものである。【背景技術】
【0002】
通常、特に新たな事項を提案しつつ進行することが求められる会議や発表会では、黒板のように大サイズの画面で、手書きによる直接書き込みや訂正、消去や変更などが出来、参加者全員が同時に閲覧できる画面が存在することが望ましい。【0003】
一般に小規模から中規模の会議等で使用されるものとして、白色のパネルに水性ペンによる記入や訂正、消去が出来る白板が有効利用されている。この白板には、さらに記入したものの最終結果をイメージスキャナにより読み取り、紙に印刷して会議結果の控えを残す機能を有するものも利用されている。【0004】
さらに会議結果の控えを電子的な情報として保存・管理する方法として、先行技術文献の特許文献１に、複数の手書き入力装置を備えた端末装置と、各端末装置にて手書き入力された情報をサーバに集結し、該サーバの表示ウィンドウ内の特定エリアごとに各端末の手書き入力エリアを設定し、それぞれの端末で入力した情報を表示する発明が記載されている。また、特許文献２には、テレライティング装置にて入力した手書き線を、静止画通信装置によりデジタル信号で送信するに適したデータフォーマットが記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２００８−２６９５２５号公報
【特許文献2】特開平６−２９６２１０号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明にて解決しようとする課題は、参加者全員が一斉に閲覧できる白板への記入や編集作業により、白板の閲覧を妨げないこと。また、記入した記録の途中経過までを含めた経緯を、後に閲覧するための手段を設け、有効な会議の進行や会議の結果を踏まえた活動のために、会議での議論等の情報を、より有用に活用可能とするための手段を提供することである。【0007】
そこで本発明の目的は、プロジェクタおよび端末を利用した会議等におけるユーザの使い勝手を向上することを目的とする。【課題を解決するための手段】
【0008】
本発明の目的は、その一例として特許請求の範囲に記載の構成により達成できる。【発明の効果】
【0009】
本発明によれば、プロジェクタおよび端末を利用した会議等におけるユーザの使い勝手を向上することができる。【図面の簡単な説明】
【0010】
【図1】図形入力・表示装置、携帯端末を構成する、各機器間の接続と、具体的な動作イメージを示す説明図である。
【図2】図形入力・表示装置、携帯端末における、複数の線分を同時に入力して表示するためのデータの取り扱いとフォーマットを説明した説明図である。
【図3】図形入力・表示装置、携帯端末の、各端末からのデータパケットの出力とプロジェクタへのデータ送信、そしてプロジェクタから端末へのデータパケットの再配布を示した説明図である。
【図4】図形入力・表示装置、携帯端末における、タッチパネル付端末装置に線画を入力する際の、表示方法を示した説明図である。
【図5】図形入力・表示装置の、携帯端末のシステム構造を示すブロック図の例である。
【図6】図形入力・表示装置、携帯端末の、インテリジェント液晶プロジェクタのシステム構造を示すブロック図の例である。
【図7】図形入力・表示装置の、ソフトウェアの構造とハードウェアの関係を示す第一の実施例を説明する説明図である。
【図8】図形入力・表示装置、携帯端末の、ソフトウェアの構造とハードウェアの関係を示す第二の実施例を説明する説明図である。
【図9】図形入力・表示装置、携帯端末の構成機器を用いて、会議中に特定の端末同士の間のみの会話を行うUIを示した説明図である。
【図10】図形入力・表示装置、携帯端末で、描画が進行している線がどの利用者により書かれているかを表示する方法を示した説明図である。
【図11】図図形入力・表示装置、携帯端末にて取り扱う描画データの流れを示した説明図である。
【図12】図形入力・表示装置、携帯端末にて取り扱う描画データの流れを操作する動作をフローチャートで示した説明図である。
【図13】図形入力・表示装置、携帯端末の会議進行途中の白板イメージの巻き戻し再生動作を示した説明図である。
【図14】図形入力・表示装置、携帯端末において、参加者が描画する一定単位の線画をすべて描画してから、まとめて表示する方法を示した説明図である。
【図15】図形入力・表示装置、携帯端末の、端末の表示画面の例を示す説明図である。
【図16】図形入力・表示装置、携帯端末の、特定の端末による記入・削除の禁止状態を示した説明図である。
【図17】図形入力・表示装置、携帯端末の、端末の操作を操作者の意思により一時的に停止する方法を示した説明図である。
【図18】図図形入力・表示装置、携帯端末の、各端末の操作者が個人的にメモを記録する場合の画面を示した説明図である。
【図19】図形入力・表示装置、携帯端末の、標準的な図形を自動的に清書する画面を示した説明図である。
【図20】図形入力・表示装置、携帯端末の、文字入力における画面例を示す説明図である。
【図21】図形入力・表示装置、携帯端末の、会議参加者のID表示の例を示す説明図である。
【図22】図形入力・表示装置、携帯端末の、会議開始時の画面を事前設定する場合の例を示した説明図である。
【図23】図形入力・表示装置、携帯端末の、構成機器を用いて、会議中に特定の端末同士の間のみの会話を行う場合の端末内構造を示す説明図である。
【図24】図形入力・表示装置、携帯端末の、自動スケール変更に関する動作を示した説明図である。
【図25】図形入力・表示装置、携帯端末の、カメラを用いた参加者確認動作を示した説明図である。
【図26】図形入力・表示装置、携帯端末の、カメラを用いた参加者確認のカメラ部の具体的動作を示した説明図である。
【発明を実施するための形態】
【0011】
以下、本発明による図形入力・表示装置の具体的な実施例を、図を用いて説明する。図１は、本発明による図形入力・表示装置、携帯端末を構成する、各機器間の接続と、具体的な動作イメージを示す説明図である。
白板を壁面やスクリーンに投射するデバイスは、インテリジェント液晶プロジェクタ10010である。これは液晶プロジェクタ10020と、コントローラ10030により構成され、液晶プロジェクタ10020と、コントローラ10030は、同一筐体内への内蔵でも、別体で構成して、コントローラ10030より投射イメージデータを液晶プロジェクタ10020にアナログもしくはデジタル信号により伝送する方式のいずれでもよい。伝送された投射イメージは、壁面に投射され（10011）、大画面のイメージとして会議の参加者全員が閲覧することが出来る。
会議の参加者は、各自タッチパネル及び同寸のディスプレイを一体としたタッチパネル付端末（10040〜10070）を有し、タッチパネルにペン（10041、10042）により、手書き線画の入力や編集を行うことが出来る。
インテリジェント液晶プロジェクタ10010内のコントローラと、各タッチパネル付端末（10040〜10070）の間は、本実施例においては、無線で構成されるLAN（Local Area Network）により接続されている。このLAN環境は、一般のオフィスなどで共有利用されている無線LAN環境を用いてもよいが、本実施例では、コントローラ10030をルータとして、該コントローラからIPアドレスを提供されて接続される各タッチパネル付端末（10040〜10070）の間だけに接続環境がクローズされるLANにて構成される。会議開始時の動作は、既にコントローラにMACアドレス等が登録されている複数のタッチパネル付端末との間でのIPアドレスの配信や、会議参加者が持ち込んだタッチパネル付端末を、コントローラに設けた操作スイッチや、コントローラから液晶プロジェクタにより投影されたIDコードなどを端末に入力することで、通信接続環境が構築される。
具体的な動作を以下に説明する。各タッチパネル付端末（10040〜10070）にペン（10041、10042）で入力された線は、この例において、タッチパネル付端末（10040）及びタッチパネル付端末（10070）の二台で、同時に線画の入力が行われている状態である。即ち、最終的に表示される白板イメージ上では、二本の線画が同時に伸び続けており、あたかも二名の参加者が同時に従来の白板に物理的に記入をしているのと同じ状態で表示される。
投射された白板イメージ10011と同一のイメージは、各タッチパネル付端末（10040〜10070）に同時に表示され、会議参加者は、最新の白板イメージを見ながら、そこに加筆・修正を行うことが出来る。
投射及びタッチパネル付端末（10040〜10070）に表示されたイメージには、会議に参加している参加者の各タッチパネル付端末（10040〜10070）の状況を示すアイコン10012が重畳表示されている。本実施例では4台の端末が参加しているが、この例での会議システムでは最大6台の端末が参加可能であり、そのうち4番目と6番目は参加者が欠席もしくはタッチパネル付端末が稼動していない状態である。会議に参加している参加者が有する各タッチパネル付端末（10040〜10070）は、ここでは端末ID#1（10040）、端末ID#2（10050）、端末ID#3（10060）、端末ID#5（10070）として識別され、このうちID#1（10040）及びID#2（10050）の端末が、同時に線画を入力している状態となっている。
図２は、本発明による図形入力・表示装置、携帯端末における、複数の線分を同時に入力して表示するためのデータの取り扱いとフォーマットを説明した説明図である。
【0012】
図２(a)に示すように、タッチパネル付端末にペン20001により入力された線画20000は、端末内での変換処理20010により、複数の直線で構成される線分20030の集合体20020に変換される。【0013】
各々の線分は、始点Xstart(以下、Xsと呼称)、Ystart（以下、Ysと呼称）、Xend（以下、Xeと呼称）、Yend（以下、Yeと呼称）として取り扱われる。【0014】
図２(b)は入力された線画を分割した各線分を、線分毎にデータパケット20040として取り扱うデータフォーマットを示している。各データパケットは、その線分を入力した端末の端末ID、始点と終点の座標、後述する線の太さや色、種類、また消しゴムやレーザーポインタなどの多彩な利用方法に応じた線種のデータにより構成される。【0015】
これらの線分データは各端末より時間軸20050に従って入力される。各々の端末において、利用者は一本の線画（図２(a)20060）として一回のストロークで入力しているつもりで筆記をしているつもりでの入力が可能であるが、実際には所定のサンプリング時間間隔で分割された線分毎に、端末1からの入力（20060）と、端末２からの入力（20070）が混在した状態で、前記コントローラ10030が受信する。【0016】
受信したパケット20040は、コントローラ10030内で、受信順にデータリストとして保存され、ここから受信した順に時系列で白板イメージを構築する図示しない映像メモリや、各タッチパネル付端末に向けて出力される（20080）。出力を受けた映像メモリは、受信したパケットデータ順に、自己映像メモリ内に各線分データをイメージデータとして記入。また受信した各端末も同様に、自身の映像メモリ内に各線分をイメージデータとして構築して出力する。【0017】
この方法により、複数の参加者が同時に記入した線画を、見かけ上同時に複数の線が画面上で伸び続けているように見せる処理を行うことが出来る。【0018】
図３に、本発明による図形入力・表示装置、携帯端末の、各端末からのデータパケットの出力とプロジェクタへのデータ送信、そしてプロジェクタから端末へのデータパケットの再配布を示した説明図である。【0019】
端末#1（30001）から出力される線分データを示すデータパケットは、所定のサンプリングタイミングごとに生成され、30010、30011、30012のように、各線分単位でインテリジェント液晶プロジェクタのコントローラ30003に送信される。この送信データとは非同期で、端末#2より、同様に所定のサンプリングタイミングで静止された線分データを示すデータパケットは、30020、30021のように、コントローラ30003に向けて送信される。【0020】
コントローラはこれを、受信順に受け取って保存し、その順序に従って、液晶プロジェクタに表示すると共に、各端末30004に再配布する。この配布タイミングは所定のタイミング間隔にて動作し、例えばプロジェクタや各端末の表示部の表示デバイスのフレームタイミングに合わせた速度にて送信する。【0021】
これによって、大画面で壁面に投影されたプロジェクタイメージや、各参加者のタッチパネル付端末装置の表示部に、端末#1と端末#2で同時に記入され、且つ記入につれて伸びていく線が、同じ画面で同時に伸びていくように表示され、見かけ上複数の端末から入力した線画が同時に表示されるように見ることが出来る。【0022】
図４は、本発明の図形入力・表示装置、携帯端末における、タッチパネル付端末装置に線画を入力する際の、表示方法を示した説明図である。【0023】
図３にて説明したように、各端末のタッチパネルで入力した線分データは、一度コントローラに送信され、他の端末からの入力と合成された後、各端末に再送されて、表示される。この場合、ペンでタッチパネルに線を書いてから、実際に表示されるまで、コントローラへのデータの往復、さらにコントローラによるデータの合成にかかる時間だけ、ペンによる線の入力時刻と実際に端末に表示される線の表示時刻の間に、わずかな遅れが生じ、線を描いてもすぐに表示されず、使いづらいものとなってしまう。【0024】
本実施例では、まず図４(a)において、タッチパネル付端末装置は、ペンで入力された線画データに基づいて、即時の線の表示を行う。この端末内データ表示40000により、前記した時間差がなく、ペンで描いたとおりの線画が即時表示されるため、あたかも鉛筆で紙に直接線画を記載した如く、自然な入力を行うことが出来る。【0025】
次に、コントローラから再配布されてきた線分データを表示する。受信データ表示40010は、既にペンで書いたときに表示された線画をなぞるように、前記の遅れ時間差を持って追いかけるように、線画を表示する。基本的にこの線は最初にペンで線画を記入したときと同じ線を表示するが、端末内での表示と区別するように、色や太さなど、表示書式を分けた線で受信した線を表示する。この後から表示された受信データ表示40010が、正式に白板に記入された線画である。【0026】
図５は、本発明による図形入力・表示装置、携帯端末の、携帯端末のシステム構造を示すブロック図の例である。【0027】
本実施例において、携帯端末は一般的なコンピュータシステムの構成を用いており、CPU50000を中心として、各種ハードウェアがバス50001を用いて接続されており、各ハードウェアは図示しないハードウェアインタフェースを内蔵して、データの入力や保存、出力等の制御を、CPU上で動作するプログラムの制御に従って行う。【0028】
端末はCPUを核として、表示デバイスであるLCD50010、表示デバイスで表示するイメージを構築するV-RAM(Video-RAM)50050、LCDの上に重なった状態でペンや指の接触を座標値として検出するタッチパネル50020、CPU50000が実行するプログラムや基本データを保存したフラッシュメモリ50060、端末の電源ON/OFFやバックライトの調整などを行う各種スイッチ50030、CPU50000がワークエリアとして使用するRAM50070、例えばカメラ50040などの前記タッチパネル以外のイメージデータの入力デバイス、そして入力した線画を変換した線分データを送受信する無線LAN50080により構成される。各々のデバイスには、前記したように図示しないインタフェースがあり、CPUバス50001と接続することで、各々のデバイスへの入出力データを、CPU上で動作するプログラムが扱うことが出来る。【0029】
図６は、本発明による図形入力・表示装置、携帯端末の、インテリジェント液晶プロジェクタのシステム構造を示すブロック図の例である。【0030】
本実施例においても、インテリジェント液晶プロジェクタは、図５で示した端末と同様に、一般的なコンピュータシステムの構成を用いており、CPU60000を中心として、各種ハードウェアがバス60001を用いて接続されており、各ハードウェアは図示しないハードウェアインタフェースを内蔵して、データの入力や保存、出力等の制御を、CPU上で動作するプログラムの制御に従って行う。【0031】
インテリジェント液晶プロジェクタはCPUを核として、内蔵もしくは外付けのプロジェクタ60010、プロジェクタに送信して表示するイメージを構築するV-RAM(Video-RAM)60040、電源ON/OFFや各種の操作を行う各種スイッチ60020、CPU60000が実行するプログラムや基本データを保存したフラッシュメモリ60050、CPU60000がワークエリアとして利用するRAM60060、そして各タッチパネル付端末にIPアドレスを付与してLANを構築し、各端末から送信された線分パケットの受信や再送信を行う無線LANルータ60030により構成される。各々のデバイスには、前記したように図示しないインタフェースがあり、CPUバス60001と接続することで、各々のデバイスへの入出力データを、CPU上で動作するプログラムが扱うことが出来る。【0032】
図７は、本発明による図形入力・表示装置、携帯端末の、ソフトウェアの構造とハードウェアの関係を示す第一の実施例を説明する説明図である。【0033】
図７(a)は端末装置の構成を示しており、オペレーティングシステム（以下OSと呼称）70010の全体制御で動作しており、そのOSの管理下で、白板アプリケーション70000が実行されている。白板アプリケーションとOSの間は、各ハードウェアごとにアプリケーションインタフェース（以下、APIと呼称）70001、70002、70003で接続され、白板アプリケーションはOSを介して、各ハードウェアとデータの送受信を行う。【0034】
タッチパネル70021にて入力された手書き線画を構成するデータは、タッチパネルドライバ70011によりOSに入力され、API70001を経由して白板アプリケーションに入力される。このとき、図３で説明したサンプリングタイミングは、白板アプリケーションからOSへのタッチパネル上の座標取り込み指示のタイミングにて行われ、ペンまたは指がタッチパネルに触れているか離れているか、触れている場合の座標を取り込み、図２で説明した線分毎のパケットデータに変換し、API70003、OS70010、LCDドライバ70013を経由して、LCDに表示する（70023）。同時に、API70002、OS70010、無線LANドライバ70012を経由して、無線LAN70022よりインテリジェント液晶プロジェクタに向けて送信される。【0035】
図７(b)はインテリジェント液晶プロジェクタの構成、特にコントローラの構成を示しており、OS70050の全体制御で動作しており、そのOSの管理下で、白板アプリケーション70040が実行されている。白板アプリケーションとOSの間は、各ハードウェアごとにアプリケーションインタフェース（以下、APIと呼称）70041、70042で接続され、白板アプリケーションはOSを介して、各ハードウェアとデータの送受信を行う。【0036】
無線LANルータ80062にて、各端末と接続し、接続した端末より送信された入力された手書き線画を構成する線分データは、無線LANドライバ70052によりOSに入力され、API70042を経由して白板アプリケーションに入力される。このデータは複数の端末から送信されるが、それらを受信した時系列順にデータリスト化し、白板アプリケーションにて保存を行うと同時に、API70041、OS70050を経由して、液晶プロジェクタドライバ70051により液晶プロジェクタハードウェアに送信し、投影画面70061として表示する。【0037】
同時に、複数の端末から受信した線分データの集合は、API70042、OS70050を経由して、無線LANドライバ70052により無線LANルータ70062からの電波発信にて、各端末に再配布される。【0038】
図２で説明した線分毎のパケットデータに変換し、API70003、OS70010、LCDドライバ70013を経由して、LCDに表示する（70023）。同時に、API70002、OS70010、無線LANドライバ70012を経由して、無線LAN70022よりインテリジェント液晶プロジェクタに向けて送信される。【0039】
ここで、図７(b)で保存されたデータパケットは、液晶プロジェクタによる表示及び各端末への再送信を行った時点で破棄してもよいが、会議中のすべてのデータを保存することにより、会議の白板への記入を時系列に保存した会議記録として残すことが可能であり、また会議に途中参加した端末が発生した場合にも、会議開始時からのデータパケットを送信することで、参加時点以前での議論を白板記載情報で確認することが出来る。これは、図７(a)で示した各端末上での保存も行うことで、会議途中で会議開始時からの議事進行をいつでも再確認することが出来、また各端末ごとに会議記録として残すことも可能になる。【0040】
図８は、本発明による図形入力・表示装置、携帯端末の、ソフトウェアの構造とハードウェアの関係を示す第二の実施例を示す説明図である。【0042】
本実施例において、液晶プロジェクタに表示する表示イメージを処理するプログラムに、白板アプリケーション80000ではなく、汎用の表示プログラムであるwebブラウザを使うことが特徴である。【0043】
HTML5というホームページ記述言語には、従来までの画像データによるグラフィックイメージ表示の他に、図８(b)に示すように線分の始点と終点、色や幅などの属性を設定して、任意の線分を表示する機能がある。これを用いて、白板アプリケーションより出力された線分データは、HTML5の記述言語に変換された後、API80002、OS80010、API80031を介して、ブラウザ80030に入力され、ブラウザ80030は、API80031、OS80010、液晶プロジェクタドライバ80013を介して、白板イメージ80023として投射される。【0044】
図８で図示していないが、端末装置も同様で、図７(a)にブラウザとAPIを組み込むことで、汎用のブラウザを使うことが出来、特に出力デバイスのハードウェア仕様に依存しない形態の機器を提供することが可能になる。【0045】
図９は、本発明による図形入力・表示装置、携帯端末の構成機器を用いて、会議中に特定の端末同士の間のみの会話を行うUIを示した説明図である。【0046】
ハードウェア及び通信アプリケーションの動作は図示しないが、無線LANルータによりIPアドレスを配布され、個別のIPアドレスを有する端末が、例えば端末1から端末5に会話のリクエストと会話を行う場合、当該IPアドレス同士の直接通信を行うか、白板アプリケーションを経由した通信ルートでの通信を行うか、いずれの方法を用いても良い。【0047】
本実施例では、2台の端末のUIの例を示す。ここでは端末１から端末５に呼び出しをかけた場合の事例を示す。【0048】
図１で説明したように、端末の画面（90000）上部には、同じ会議に参加している端末のID名90002が、アイコンの形状で並んでいる。各端末の違いは、番号のほかに、アイコンの色でも区別され、さらに参加していないか電源が入っていない端末は×印で消した形で表示している。そして自端末はアイコンの周囲の枠線を太線で表示している。【0049】
図９(a)において、左側の端末１が、端末５の利用者と連絡を取りたい場合は、ペン90001にて、端末５のアイコンをタッチする。右側の端末５の画面90010は、まだ呼び出しを受けていない状態なので、図１等で説明したように投射された白板と同じ画面が表示されている（90010）。【0050】
図９(b)で端末１から端末５への呼出が開始されると、端末１の画面には、呼び出し中である旨の窓90020が表示される。そして、端末５の画面には、端末１より呼び出したあった旨を表示する窓90021が表示される。同時に、端末１の画面では端末５のアイコンが、また端末５の画面では端末１のアイコンが点滅をして、利用者に呼び出しの発生を明示する表示を行う。【0051】
ここで、端末５が端末１からの呼出に応じる場合は、例えば点滅している端末１のアイコンをタッチすればよく、また呼出をキャンセルしたい場合は、端末１からの呼び出し窓90021をタッチしてもよい。端末１も呼び出しを途中で中断したい場合は、窓90020をタッチしてもよく、また、図示していないが、呼出中に窓もしくは画面の隅などに別途表示される、呼び出しに応じることを示すアイコン、呼び出しを拒否するアイコン、また呼び出した側が呼び出しを中断するアイコンを表示して、それをタッチしてもよい。【0052】
図９(c)は、端末５が端末１からの呼び出しに応じて、連絡を開始した画面である。両者の端末にはそれぞれCHAT−1、CHAT-5と表示された窓90030、90031が表示される。この窓は、図９(b)の呼び出し表示窓がそのまま遷移してもよい。この窓は端末１と端末５の間だけで表示が行われる白板と同様の機能を持つ入力画面となり、２台の端末は、この窓に手書きで文字を入力することで、相互の連絡を行うことが出来る。このときのデータの送受信方法は、図１、図２に示した図形入力・表示装置の入力した線画を線分に分割して送受信する方法と同一の方法で実現できる。【0053】
窓90030、90031は、ここでは会議全体の白板を覆う形で表示されており、従って二台の端末間による連絡中は白板の閲覧が出来ない表示となってしまう。この場合、例えば両端末に表示された窓の上部にある「CHAT-#5」、「CHAT-#1」と書かれた部分をペンや指で触れた状態でドラッグすることで、窓の位置を動かして、背面の会議全体の白板を参照することも可能で、また図示しないが、窓が半透明でタッチパネル全体を覆った表示形態とすることで、会議全体の白板に追記する形で二台の端末間のみでの連絡を行うという動作も可能である。これらの動作は、図７に示した白板アプリケーションにより実行することが出来る。【0054】
図１０は、本発明による図形入力・表示装置、携帯端末で、描画が進行している線がどの利用者により書かれているかを表示する方法を示した説明図である。【0055】
図１０(a)は端末#1の表示画面100000を示しており、ペン100001により画面左側の描線を記入している最中の状態である。【0056】
図１０(b)は、図形入力・表示装置により投影された画面及び、他の端末で表示されている画面であり、左側が端末#1により描線されている最中の画面、右側が端末#1による描線の完了、具体的にはペンが離れてから所定の時間が経過した後の画面である。【0057】
描画を行っている最中の線は、端末#1を指し示す色、具体的には端末#1のアイコンを表示している色で描線が行われる。そして、描線が完了すると、その線の色は、予め端末#1が指定した色、通常の場合は、物理的に書き込む白板で利用しているペンの色、例えば全員が同じ色、例えば黒を使って書いている場合は、黒の色に描線された線の色が切り替わる。この時点で、端末#1の描線は完了しており、会議の議事進行において、議論するための画面として取り扱うことになる。【0058】
ここで、仮に端末#1と端末#2など、二台以上の端末が同時に描線をしている場合は、左側の図において、それぞれ描画中の線の色は、描画中の端末IDを示すアイコンと同じ色で進行し、描画が終わってそれぞれ所定時間が経過したところで、各端末が設定した色に変化して、描画が完了したことを示す。【0059】
図１０(c)は、同時に複数の端末が描画を行ったときの、描画表示を行う図１０(b)とは異なった方法を示した例である。画面左側の描線は端末#1により、画面右側の描線は端末#2により描線されている最中を示す。【0060】
このとき、各描線の終点、即ち線が時間の経過につれて各端末の描画に従って伸びている端点には、端末#1が描画していることを示す吹き出しメッセージ100030及び100040が表示され、端点の移動につれてメッセージの位置も移動する。そして、描画完了後、所定の時間が経過したところで、図１０(b)と同様に色が変化し、会議の議事進行において、議論するための画面として取り扱うことになる。【0061】
図１１は、本発明の図形入力・表示装置、携帯端末にて取り扱う描画データの流れを示した説明図である。【0062】
本図の説明ではデータの流れを説明しており、従ってデータが移動する先はソフトウェアとハードウェアが混在した図面となっている。【0063】
まず、タッチパネル110032に入力された手書き描画は、タッチパネルドライバ110030を経由して、アプリケーション110000に入力される。ここで描画データは図２で説明した線分に分割され、無線LANドライバ110040を経由して無線LAN110041より、インテリジェント液晶プロジェクタのコントローラに送信される。【0064】
コントローラは無線LAN110051により送信された線分パケットデータを受信し、無線LANドライバ110050を経て、アプリケーション110010内に入り、線分データパケット110001にまとめて保存される。保存された線分データパケットは図２(b)で示したように、複数の端末から入力された線分パケットデータが混在した状態で保存される。【0065】
保存された線分パケットデータは保存された順に呼び出され（110005）、プロジェクタドライバ110060を経てプロジェクタ110061に入力され、大画面白板イメージ110062として投射される。同時に無線LANドライバ110050及び無線LAN110051を経由して、各端末に再配布され（110004）、各端末の無線LAN110041及び無線LANドライバ110040を経て、端末内の線分パケットデータ110001にまとめて保存される。そして、コントローラと同様にそのデータは入力順に呼び出され、ディスプレイドライバ110010を経て、端末のLCD110020に表示される。【0066】
ここで、図４(a)に示したように、手書き入力した描画データがコントローラに一度送信されてから、再配送されたデータを描画した場合、手書きのタイミングと表示のタイミングに時差が生じ、描画操作に違和感が生じてしまうのを防ぐために、点線110002で示したように、タッチパネル110032で入力したデータを、コントローラに送信すると同時にLCD110020にも表示する。その後、返送してきたデータを表示することで、図４(b)に示したように、リアルタイムの描画線の伸びを追いかけるように再配布された描画データが描かれていくという表示を行うことが出来る。【0067】
図１２は、本発明の図形入力・表示装置、携帯端末にて取り扱う描画データの流れを操作する動作をフローチャートで示した説明図である。【0068】
図１２(a)は、タッチパネル付端末における、描画データの入力と送信を行う部分であり、図１１の110003に相当する。即ち、タッチパネルにて受け付けた描画を線分として受信し（120000）、それを線分毎に送信する（120001）。【0069】
図１２(b)は、同じくタッチパネル付端末における、描画データの入力と送信を行う部分である。こちらは図４(a)のような端末内で一度描画データを表示する場合であって、図１１の110002を含んでいる。即ち、タッチパネルにて受け付けた描画を線分として受信し（120010）、それを端末のLCDに表示（120011）し、そして線分毎に送信する（120012）。【0070】
図１２(c)は、プロジェクタから再送信されてきた線分データを受け付ける端末の動作を示したものであり、図１１の線分パケットデータ110001への保存と読み出しを中心とする動作に相当する。端末はまず線分データを受信し（120020）、それを線分パケットデータに保存（120021）、そしてそのデータを読み出して（120022）、読み出した線分データをLCDに表示する（120023）。【0071】
図１２(d)は、プロジェクタの受信動作例であり、図１１の線分パケットデータ110011への保存と読み出しを中心とする動作に相当する。プロジェクタは各端末から送信されてきた線分データを受信し（120030）、それをひとつのパケットの受信の都度、線分パケットデータにスタックして保存する（120031）。【0072】
図１２(e)は、プロジェクタによるデータの再送信を示したものであり、図１１の1100004に相当する。線分パケットデータにスタックして保存された線分データは、この時点で複数の端末からの線分データが混在しているが、それを書き込まれた順に読み出し（120040）、そして、各端末からのデータが混在した読み出しデータを、それぞれの端末に再配布する。【0073】
図１３は、本発明による図形入力・表示装置、携帯端末の会議進行途中の白板イメージの巻き戻し再生動作を示した説明図である。【0074】
図７(b)で説明した線分データパケットは、図１１、図１２で説明したように会議の最初からすべて記録することによって、例えば会議途中から参加した参加者が会議冒頭からの白板記入の進行を再確認したりすることが可能であり、また最初から参加している参加者も、会議冒頭からの記録をプレイバックすることも可能となる。本実施例ではその操作を行うためのUIについて説明する。【0075】
図１３(a)は、図１の各タッチパネル付端末の画面を示している。ここでは、画面左下に巻き戻し指示（130010）ボタンを設けて表示していることが特徴となる。会議の途中で巻き戻し指示ボタンにタッチすると、画面は図１３(b)のように変化する。ここでは画面下に横軸が会議開始から現在までの時間を横軸とした時間軸を示すバー130020が表示され、その上に、ポインタ130040が表示される。このポインタをペンで指定して左右にドラッグすることで、表示している画面を最新のものから所定時間さかのぼった時点での画面に変化させることが出来る。さかのぼった時間は、130050のように表示され、ここでは最新時点から12分前の画面を表示している状態となっている。【0076】
これらの動作は、図７に示した白板アプリケーションにより実行することが出来る。【0077】
図１４は、本発明による図形入力・表示装置、携帯端末において、参加者が描画する線をリアルタイムで描画中も含めて表示せず、一定単位の線画をすべて描画してから、まとめて表示する方法を示した説明図である。【0078】
図１４(a)は、ある端末の表示画面140000を示している。ここで、右側の描線140011は参加者がこの端末を用いてペン140011によって線画を入力している最中でああることを示す。ここで、この端末の動作モードは図１５にて後述する方法で、SUBMITモードに切り替えてあり、この状態では、端末にて描画した線は、即時線分に分割されつつ送信されず、端末の操作者がひととおりの描画を完了してから、まとめて送信するまで端末は送信を行わない。【0079】
図１４(b)は、図１４(a)において参加者が描画中のときのプロジェクタの投影画面140030を示している。前記したように、端末から描画データが送信されていないので、プロジェクタにはなにも表示されない。【0080】
図１４(c)は、図14(a)において操作者が一連の描画を完了して、表示を希望して「SUBMIT」ボタンをペンや指でタッチした後の画面を示している。この画面はプロジェクタや他の端末でも同一であり、図１４(a)にて入力された一定端の線画が一括描画され（140040）、表示される。そのとき端末#2のユーザーが入力したことを示すために、ここでは図１０(c)に示したように、一括描画後に所定時間の間、端末#2が描画したことを示す吹き出しメッセージ140041が表示され、これは既に説明した実施例と同様に、所定時間の表示の後、吹き出しメッセージは消え、予め設定した色の線として表示される。【0081】
図１５は、本発明による図形入力・表示装置、携帯端末の、端末の表示画面の例を示す説明図である。【0082】
これまでの図面では省略していたが、手書き描画を行うタッチパネル付端末装置であり、手書き線の種類等を指定するメニュー画面150010が選択可能な形で画面150000上の、本実施例では左側に表示している。【0083】
表示されたメニューの構成要素は、線種（直線、点線２種）に加え、消しゴム、レーザーポインタモードの選択メニューである。ここでは描画する線の種類に加え、ペンを消しゴム代わりにすることで、既に記載された描画を消去することも可能である。このとき、消しゴムによる消去も線分の移動データとして保存することで、消去以前の記述も保存することが出来、図１３で示したプレイバック再生時に、過去の記述を再確認することが出来る。またレーザーポインタモードは、プロジェクタ投影画像への直接のレーザーポインタ照射の他に、手元のタッチパネル付端末の画面で同じ操作をすることが出来ることを特徴とする。【0084】
次の構成要素は、線の太さ、そして線の色で各々３種類を事例として記述そている。その次は、「DRAW」モードと「SUBMIT」モードの切替ボタンで、SUBMITモードを選択することで、図１４に示したような一括描画を行うモードに切り替えることが出来る。【0085】
最後は、「ENABLE」で、これは他の端末、特にホストの端末を設定した場合や、プロジェクタのコントローラを、液晶プロジェクタとは別体で一台のタッチパネル付端末で構成した場合、その端末がホスト役となり、そこからの指示で、特定の端末の白板記入・削除の許可／禁止を制御することが出来、その状況を表示している。【0086】
図１６は、本発明による図形入力・表示装置、携帯端末の、特定の端末による記入・削除の禁止状態を示した説明図である。【0087】
図１６(a)は、図１５において、白板への記入・削除の禁止を受けた端末の画面を示しており、図１６で示した「ENABLE」の文字が「DISABLE」となっている（160030）。同時に入力モードを示す「DRAW」「SUBMIT」ボタンもマスクされ、端末への入力が出来なくなっていることを示す。【0089】
端末#2のアイコンが所定の色よりさらに暗く塗りつぶされ、端末#2の記入参加が出来ない状態になっていることが、他の端末やプロジェクタ表示により、他の参加者にわかるようにしている。【0090】
図１７は、本発明による図形入力・表示装置、携帯端末の、端末の操作を操作者の意思により一時的に停止する方法を示した説明図である。【0091】
図１７(a)は、会議中に中座する操作者の端末画面170000で、操作者が操作する項目を、メニュー画面170010内に表示している。「OFFLINE」を操作者が選択することで、この端末での記入・削除操作は不可能となり、また画面に表示されている白板イメージも見えなくなるように制御する。これにより、操作者が中座により席を離れたとき、例えば端末をそのまま置いておいたときに、他の参加者から記入や削除などの操作がされないように、また操作者が端末を持ち出して、例えば自席に置いたときに、無線LANにより通信は接続されていても、会議の参加者以外による白板の閲覧と、記入や削除が出来ないようにすることが出来る。【0092】
図１７(b)は、会議中に中座するために、「OFFLINE」を押した後の、端末の画面である。本実施例では、各中座ごとに、個別にロックをかける機能を達成するために、離席指示画面170020を表示して、参加者に中座からの復帰時に使用する電子サインの入力を促す。電子サインを入力して、離席指示画面の右下の「ENTER」を押すことで、端末画面は中座状態の画面となり、離席指示画面と同様のレイアウトで白板の描画を全部隠す位置に、再開指示画面を表示した状態となる。入力された電子サインはその特徴点を検出してデータ保存し、図１７(c)に示す再開指示で入力した電子サインとの照合に用いられる。【0093】
図１７(c)は、再開指示画面170040への電子サインの入力を示した図であり、ここでは電子サインを異なったものを入れた場合を示す。電子サインを入力して「ENTER」を押しても、電子サインが図１７(b)と異なるため、端末は「INVALID!」と表示され、再開を許可しない。正しく電子サインを入れた場合は、再開指示画面は消え、白板の表示を行う離席前の画面に戻る。【0094】
図１８は、本発明による図形入力・表示装置、携帯端末の、各端末の操作者が個人的にメモを記録する場合の画面を示した説明図である。【0095】
図１８(a)において、本実施例では、メニュー画面180000の一部に「MEMO」ボタンを設け、このボタンを押すことで「MEMO」モードに切り替わることを示している。【0096】
図１８(b)は、「MEMO」モードにおける端末への記入画面であり、180030に記載した線画が、当該端末の操作者だけのメモである。このメモは図１８(c)に示したプロジェクタ画面180040や、他の端末には表示されない。【0097】
図示しないが、このメモデータは、書式は図２以降で示した線分パケットデータと同一であり、特に別途保存してある白板の線分パケットデータのどの時刻（どのパケットの表示時）に記入されたかの、時間軸方向の関係を示すリンク情報をパケットデータに追加して保有している。メモの表示を行うときにも、図１３に示したようなプレイバックと重ね合わせた表示が出来、会議の全員が参照する白板イメージと、自身のメモを、現在時点の画面のみならず、過去の画面における表示をプレイバックして行うことも可能である。【0098】
図１９は、本発明による図形入力・表示装置、携帯端末の、標準的な図形を自動的に清書する画面を示した説明図である。【0099】
端末画面190000において、会議中に描画の上で注目すべき点を、丸印で囲ったり、文字の場合は二本線のアンダーラインなどで強調したりという、標準的な描画形状の線を利用する場合がある。【0100】
これらは特に描画線の微妙な形状の違いに意味合いを持つものではなく、逆にきちんと正しく書かれた図形のほうが、効果的な種類の描画である。本実施例では、手書き線画190010に示すような、図形の一部を強調するように記載した丸印を、図形ではなく強調するサインと自動的に認識して、清書結果190020として正確な楕円に書き直すことで、白板記入の手書きによるレイアウトの崩れをきちんと保つことが出来るようになる。この清書は図１９(c)に示すように、プロジェクタにも表示される。【0101】
図示しないが、保存されるデータパケットには、線分に分割してから保存する方法の他に、標準的な図形を現すような中心点座標地や直径値を含むパケットデータとして保存してもよい。【0102】
図２０は、本発明による図形入力・表示装置、携帯端末の、文字入力における画面例を示す説明図である。【0103】
白板を使った会議では、基本的にすべて手書きで記入を行うが、文字の入力の場合、デジタル情報として線画を扱っているので、筆者の文字の良否による判読障害を防ぐ処理が可能となる。【0104】
図２０(a)は、まず手書きによる文字入力をした端末画面200000である。手書き線画200010で文字を入力しているので、筆者の個性は出るものの、決して読みやすい文字にはならないことが多い。ここで、図１９(b)のように、入力した文字を自動的もしくは記入者による選択・変換により、OCR(Optiocal Character Reader)に付随する線画・文字変換機能を利用して、文字コードに変換し、当該文字コードに対応した文字列を清書して表示する（20020）。これにより、判読困難な文字入力を時には自動的に変換してくれることで、より白板を活用した会議の環境を改善することが出来る。【0105】
図示しないが、入力した文字は、線画ではなく文字コードとして、図１９(c)で説明したと同様に、保存されるデータパケットに、文字列の始点座標、文字サイズ、文字コード列というフォーマットで保存すればよい。【0106】
図２０(c)は、文字入力の際に最初から手書き入力を使わず、ソフトウェアキーボードによる直接文字入力で清書する方法を示している。例えば特に汎用の携帯端末を本会議に用いた場合は、標準装備で搭載されているソフトウェアキーボード200030を用いて、専用のAPIを通してOS経由で白板アプリケーションに取り入れるようにプログラムを構成すれば、清書された文字の表示（200040）は容易に実現できる。入力した文字データの保存方法は、図２０(b)で記載したものと同じでよい。【0107】
図２１は、本発明による図形入力・表示装置、携帯端末の、会議参加者のID表示の例を示す説明図である。【0108】
前記まで説明していた図では、プロジェクタや端末で表示する会議参加者を、端末ID番号で示していた。これを会議開始時、もしくは各自が自身の保有する携帯端末を持ち寄って使用する場合は、端末IDではなく参加者の名前を直接個人名アイコン210010として表示することが出来る。これは会議の開始時に、図２０に示した方法で各自が名前を入力することで実現することが出来る。【0109】
図２２は、本発明による図形入力・表示装置、携帯端末の、会議開始時の画面を事前設定する場合の例を示した説明図である。【0110】
従来までの白板を使った会議でも、会議開始前に主催者が、題目や日付、議事リストなどを事前に白板に記載してから会議を行うことも多い。本実施例では、会議開始前に特定の参加者（主催者）が、予め手書き描画や、図２０などの清書機能を用いて、議事に必要な書類を事前に記載して（220010）、会議を開催する機能を示す。【0111】
事前に記載する情報は、文字や描画の他に、表計算ソフトのページからコピーをした、工程管理表のような図面を用意することも出来る。勿論、前回の会議の続きという形で、前回までに保存してある線分パケットデータを描画してもよい。【0112】
ここで、図示しないが、図２２に示したような表に個人名を入れる場合、図２１に示した個人名アイコンに名前が記載されているので、これをペンでドラッグして、表中の「Member」に持ってくることで直接記入するようなUIも設けると、使い勝手がよい。これらはすべて図形入力・表示装置アプリケーションの処理で実現することが可能である。【0113】
図２３は、本発明による図形入力・表示装置、携帯端末の構成機器を用いて、会議中に特定の端末同士の間のみの会話を行う場合の端末内構造を示す説明図である。【0114】
本実施例では、図９にて説明した特定の端末間の会話を行う際の、端末内のデータの構成とデータの流れを示している。左側の第一の端末のアプリケーション内には、線分データパケット1100001、右側の第二の端末のアプリケーション内には、線分データパケット1100003があり、これは図１１で説明した、コントローラ及び全タッチパネル付端末が共有して保有している白板に表示する描画データを保存したデータパケットである。【0115】
本実施例では、このデータパケット以外に、第一の端末と第二の端末が図９(c)で説明したチャットボードに記載した線画を、白板データと同様に保存する線分データパケット（2300001、2300011）を有している。このデータパケットは、前述の白板に表示する描画データを保存したデータパケットとは独立したものであり、白板に表示することなく、第一の端末及び第二の端末の間での線画による会話を記録するデータパケットである。【0116】
このデータパケット（2300001、2300011）は、図９(d)の右側の端末のように、同時に複数の端末と会話を行っているときは、相手の端末の数だけ保有する。【0117】
さらに、このチャットボードに記載した線画を示す線分データパケットは、図１４で示した一括描画の動作と同じ方法で、第一の端末と第二の端末の打合せ結果を、そのまま全員が共有している白板データに送信することで、白板及び全員の端末の画面に表示し、会議の議事データとしての線分データパケットに保存することも出来る。【0118】
図２４は、本発明による図形入力・表示装置、携帯端末の、自動スケール変更に関する動作を示した説明図である。【0119】
本実施例において、会議の参加者全員が共有する白板イメージのサイズは、携帯端末や白板のサイズに合わせた固定の画素数のサイズではなく、さらに大きなイメージサイズを持っている場合の動作を示したものである。【0120】
図２４(a)は、これまで説明したタッチパネル付端末装置の画面を示している。ここで図２４(b)のように線をさらに引いて、図２４(a)の画面の外にはみ出すような線を引いた場合、タッチパネル付端末装置の画面は、自動的にスクロールし、さらに大きなイメージサイズの白板への記入を行う。【0121】
このときプロジェクタにより投影される白板イメージは、図２４(c)に示すように、描かれた線画の全体が表示されるように自動的にサイズ縮小表示を行う。他の端末も白板と同様に縮小表示に自動的に遷移するが、各端末の図示しないメニューから、拡大表示に切り替えることも可能であり、また各端末からコントローラに拡大表示の指示を出して、図２４(c)のような縮小表示から、図２４(b)の端末表示と同様な拡大表示に切り替えることも可能である。【0122】
図２５は、本発明による図形入力・表示装置、携帯端末の、カメラを用いた参加者確認動作を示した説明図である。【0123】
インテリジェント液晶プロジェクタ10010や、会議の参加者が使用するタッチパネル付端末（10040〜10070）の動作は、図１と同様であるので、ここでの説明は省略する。【0124】
本実施例において、参加者250002の各タッチパネル付端末（10040〜10070）の状況を示すアイコン10012が、各参加者が使用するタッチパネル付端末（10040〜10070）に内蔵もしくは装着されたカメラ250001により撮影された、参加者自身の画像を表示していることを特徴とする。【0125】
この画像は、会議開始時に一度撮影した静止画でも、会議中常時撮影している動画像でもよく、会議参加者の顔ぶれが全員で共有情報として表示され、参加者が誰か、また参加してはいけない人が参加していないかの確認を、全員がすることが出来る。【0126】
図２６は、本発明による図形入力・表示装置、携帯端末の、カメラを用いた参加者確認のカメラ部の具体的動作を示した説明図である。【0127】
図２６(a)に示すように、本実施例におけるタッチパネル付端末10070には、他の用途、例えばTV電話などに利用可能なように、タッチパネル側にカメラ25001が内蔵もしくは搭載可能となっている。カメラ25001の向きは通常は可動せず固定として、部品点数を削減しており、その場合、カメラ25001で撮影される範囲があまり限定されないように、その撮影画角26001は、広角レンズによりかなり広く撮影できるようになっている。【0128】
このカメラで、参加者を撮影すると、図２６(b)に示すように、カメラの撮影エリア260002に対して、参加者250002はかなり小さく写ることになる。本実施例では、カメラの顔検出機能として知られる技術を利用して、撮影エリア260002の中で、参加者の顔近辺の映像260003を抽出・切り出しを行い、図２５に示すアイコン10012に表示する。これにより、画面全体に比して小さなアイコンの面積を有用に活用し、参加者の顔を各参加者が確認することが出来るようになる。【0129】
図２５で示したように、撮影した画像は静止画像でも動画像でもよく、静止画像であれば通信トラフィックの画像転送における占有度は、会議開始時の一時的なもので済む。また、動画像の場合は、会議途中で参加者が入れ替わったり、どの参加者がその時点でのプレゼンやホワイトボード記入内容に注視しているかなどの状況も、他の参加者が確認することが出来、より円滑な会議推進が可能となる。【0130】
なお、本実施例は以下のようにも表現できる。すなわち、携帯端末にインストールされ、識別情報により特定される他の携帯端末およびプロジェクタと通信するために実行されるプログラムであって、タッチパネルから入力された線画情報を所定の間隔で線分に分割して、該線分の始点と終点の座標値及び描画線の種類、色等の属性情報と共に線分データパケットを生成し、プロジェクタに送信するよう、タッチパネル手段、表示手段および送受信手段を制御し、この表示手段にさきの識別情報により識別された他の携帯端末のユーザ情報が表示され、該ユーザ情報を特定し、タッチパネルから入力された線画情報を所定の間隔で線分に分割して、該線分の始点と終点の座標値及び描画線の種類、色等の属性情報と共に線分データパケットを生成し、該他の携帯端末のユーザに送信するよう、タッチパネル手段、表示手段および送受信手段を制御し、表示手段に識別情報により識別された他の携帯端末のユーザからの受信データを表示するよう表示手段および送受信手段を制御するプログラムとして機能させることもできる。また、上述のプログラムにおいて、複数の携帯端末上にて、前記他の携帯端末もしくはプロジェクタより配信されたデータを、前記端末内のメモリに保存し、携帯端末の操作により、線分データパケットにより描画される線が伸びていく過程を、時間軸に沿って過去に戻って再生する機能を実行可能であるプログラムであっても構わない。また、上述のプログラムであって、複数の携帯端末のうちの、任意の端末である第一の携帯端末と、同じく任意の端末である第二の携帯端末の間でのみ交わす直接の交信を行うための呼び出し処理をかける機能を有し、呼び出しを受けた第二の携帯端末のプログラムは、第一の携帯端末のプログラムによる呼び出し処理に応答する機能を有し、第一の端末と第二の端末のプログラムは、前記呼出処理と応答が完了した時点から、端末上のタッチパネル及びディスプレイを用いて、前記文字及び図形の始点と終点の座標値及び描画線の種類、色等の属性情報を含むデータを当該端末の間でのみ送受信して表示する機能が実行可能であっても構わない。また、上述のプログラムであって、このプログラムは、プログラムを実行する携帯端末の画面上に、ネットワークに接続している携帯端末のIDのリストを、ID番号、色、模様、映像のいずれかもしくは複数を利用して表示する機能を実行可能であっても構わない。また、上述のプログラムであって、プログラムは、利用者に向く方向にカメラが、携帯端末に内蔵もしくは搭載されている場合に、前記カメラを制御して、利用者を特定可能な映像を撮影し、前記表示した携帯端末のIDのリストには、前記タッチパネルを利用している利用者の特定が可能な映像を表示する機能を実行可能であっても構わない。また、上述のプログラムであって、携帯端末に内蔵もしくは搭載されたカメラにより撮影する、利用者を特定可能な映像は、撮影した画像より、利用者を特定可能な部位を自動検出して切り出した映像を生成し、利用する処理が実行可能な構成でも構わない。なお、上述のプログラムは本実施例の一例であって、本実施例のハード構成をソフト構成としたプログラムが実行する構成ももちろん本実施例に含まれる。【符号の説明】
【0131】
１００１０ インテリジェント液晶プロジェクタ１００４０ タッチパネル付端末
２００４０ 線分パケットデータ