特許 7572480 ビデオ会議またはビデオ授業用の電子装置及び表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-15

(45)【発行日】2024-10-23

(54)【発明の名称】ビデオ会議またはビデオ授業用の電子装置及び表示方法

(51)【国際特許分類】

   G09G 5/377 20060101AFI20241016BHJP

   G09G 5/00 20060101ALI20241016BHJP

   G09G 5/38 20060101ALI20241016BHJP

   G09G 5/14 20060101ALI20241016BHJP

   G09G 5/37 20060101ALI20241016BHJP

   H04N 23/63 20230101ALI20241016BHJP

   G06F 3/0483 20130101ALI20241016BHJP

   G06F 3/04883 20220101ALI20241016BHJP

【ＦＩ】

G09G5/377 100

G09G5/00 510H

G09G5/00 550B

G09G5/00 555D

G09G5/38

G09G5/00 550C

G09G5/14 A

G09G5/37 320

G09G5/37 110

H04N23/63 300

G06F3/0483

G06F3/04883

【請求項の数】 14

【外国語出願】

(21)【出願番号】P 2023033553

(22)【出願日】2023-03-06

(65)【公開番号】P2023138910

(43)【公開日】2023-10-03

【審査請求日】2023-04-04

(31)【優先権主張番号】111110298

(32)【優先日】2022-03-21

(33)【優先権主張国・地域又は機関】TW

(73)【特許権者】

【識別番号】508226687

【氏名又は名称】和碩聯合科技股▲ふん▼有限公司

【氏名又は名称原語表記】ＰＥＧＡＴＲＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】５Ｆ．，Ｎｏ．７６，Ｌｉｇｏｎｇ Ｓｔ．， Ｂｅｉｔｏｕ Ｄｉｓｔ．， Ｔａｉｐｅｉ Ｃｉｔｙ １１２， Ｔａｉｗａｎ

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】▲蒋▼佳良

(72)【発明者】

【氏名】陳柏森

(72)【発明者】

【氏名】游清皓

(72)【発明者】

【氏名】高才虔

(72)【発明者】

【氏名】鍾權岳

(72)【発明者】

【氏名】鄭道華

【審査官】中村 直行

(56)【参考文献】

【文献】特開２０１１－１４５９９５（ＪＰ，Ａ）

【文献】特開２０１４－２０３１１９（ＪＰ，Ａ）

【文献】特開２０１０－２０６７４５（ＪＰ，Ａ）

【文献】特開２０１４－２１２４０４（ＪＰ，Ａ）

【文献】特開２０２０－０４８１１７（ＪＰ，Ａ）

【文献】特開２０２２－０４２９８０（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０１７－００８７３５７（ＫＲ，Ａ）

【文献】韓国公開特許第１０－２００５－０００９４１７（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｇ ３／００ － ５／４２

Ｈ０４Ｎ ２３／６３

Ｇ０６Ｆ ３／０４８３

Ｇ０６Ｆ ３／０４８８３

(57)【特許請求の範囲】

【請求項1】

物理的文書の第１の文書画像を取得するように構成された第１の画像取得部と、
ディスプレイと、
注釈情報を生成するように構成された入力部と、
前記第１の画像取得部、前記ディスプレイ、及び前記入力部に結合され、前記第１の文書画像を表示するように前記ディスプレイを制御するように構成されたプロセッサであって、前記プロセッサは、前記第１の画像取得部が前記第１の文書画像を取得し、前記ディスプレイが前記第１の文書画像を同時に表示している間に、前記入力部から前記注釈情報を受信した場合、前記第１の文書画像及び前記注釈情報を同時に表示するように前記ディスプレイを制御するように構成された、プロセッサと、を備え、
前記第１の画像取得部は、さらに、前記物理的文書の第２の文書画像を取得するように構成され、前記プロセッサは、さらに、前記第１の文書画像の特徴値を取得し、前記第２の文書画像が前記特徴値と一致する場合、前記プロセッサは、前記第２の文書画像及び前記注釈情報を同時に表示するように前記ディスプレイを制御する、ビデオ会議またはビデオ授業用のための電子装置。

【請求項2】

前記プロセッサは、さらに、前記第１の文書画像と前記注釈情報との間の相対位置を取得し、前記注釈情報が前記第２の文書画像上に表示される場合、前記注釈情報は前記相対位置に基づいて前記第２の文書画像上に配置される、請求項１に記載の電子装置。

【請求項3】

前記プロセッサは、さらに、前記注釈情報がデータベースに格納されているかどうかを確認し、前記データベースが前記注釈情報を有していない場合、前記プロセッサは前記注釈情報を登録し、前記注釈情報を前記データベースに格納する、請求項１に記載の電子装置。

【請求項4】

前記第２の文書画像が前記特徴値と一致しない場合、前記プロセッサは、前記注釈情報を表示しないように前記ディスプレイを制御する、請求項１に記載の電子装置。

【請求項5】

前記プロセッサに結合され、ユーザのユーザ画像を取得するように構成された第２の画像取得部と、
をさらに備え、
前記プロセッサは、前記ユーザ画像を表示するように前記ディスプレイを制御する、請求項１に記載の電子装置。

【請求項6】

前記プロセッサは、前記ユーザ画像の背景部分を除去する、請求項５に記載の電子装置。

【請求項7】

前記プロセッサは、セマンティックセグメンテーションモデルにより前記背景部分をセグメント化する、請求項６に記載の電子装置。

【請求項8】

ビデオ会議またはビデオ授業における電子装置に適した表示方法であって、
前記電子装置は、第１の画像取得部と、ディスプレイと、入力部と、を備え、
前記表示方法は、
前記第１の画像取得部で物理的文書の第１の文書画像を取得することと、
前記ディスプレイで前記第１の文書画像を表示することと、
前記入力部で注釈情報を生成することと、
前記第１の画像取得部が前記第１の文書画像を取得し、前記ディスプレイが前記第１の文書を同時に表示している間に前記入力部から前記注釈情報が受信されると、前記注釈情報及び前記第１の文書画像とを同時に表示するように前記ディスプレイを制御することと、
前記第１の文書画像の特徴値を取得することと、
前記第１の画像取得部で前記物理的文書の第２の文書画像を取得することと、
前記第２の文書画像が前記特徴値と一致する場合、前記第２の文書画像及び前記注釈情報を同時に表示するように前記ディスプレイを制御することと、を含む、表示方法。

【請求項9】

前記第１の文書画像の特徴値を取得することは、
前記注釈情報がデータベースに格納されているかどうかを確認することと、
前記データベースが前記注釈情報を有していない場合、前記注釈情報を登録し、前記データベースに前記注釈情報を格納することと、を含む、請求項８に記載の表示方法。

【請求項10】

前記第１の文書画像と前記注釈情報との間の相対位置を取得することと、
前記注釈情報が前記第２の文書画像上に表示される場合、前記相対位置に基づいて前記第２の文書画像上に前記注釈情報を配置することと、を更に含む、請求項８に記載の表示方法。

【請求項11】

前記第２の文書画像が特徴値と一致しない場合、前記注釈情報を表示しないように前記ディスプレイを制御することを更に含む、請求項８に記載の表示方法。

【請求項12】

第２の画像取得部によって、ユーザのユーザ画像を取得することを更に含む、請求項８に記載の表示方法。

【請求項13】

前記ユーザ画像の背景部分を除去することを更に含む、請求項１２に記載の表示方法。

【請求項14】

セマンティックセグメンテーションモデルにより前記背景部分をセグメント化することを更に含む、請求項１３に記載の表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電子装置及び表示方法に関し、特に、ビデオ会議またはビデオ授業用の電子装置及び表示方法に関する。

【背景技術】

【0002】

近年、ビデオ授業やビデオ会議の需要が急速に高まっている。ソフトウェアファイルは、既存のビデオソフトウェアを介して、ビデオ授業またはビデオ会議で共有することができる。ただし、物理的文書（教師の配布資料、公式文書など）をビデオで視聴者と共有する必要がある場合、話者は物理的文書をカメラの前で見せる必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

操作上、話者が物理的文書を共有したり、読み物をガイドしたりする必要がある場合、話者は物理的文書をカメラの前で保持する必要がある。上記の方法は揺れやすく、物理的文書の画像比率が小さすぎるため、ビデオ授業やビデオ会議の聴衆がコンテンツをはっきりと見ることができないという問題が発生する。さらに、話者が補助的な説明のために、物理的文書の要点または注釈を直接マークする必要がある場合、その物理的文書は必ず覆われることになる。上記に照らして、ビデオ会議またはビデオ授業の過程で、物理的文書をビデオで聴衆と共有する必要がある場合、従来の操作方法は、話者と聴衆のユーザ体験を大きく不快にさせる。

【課題を解決するための手段】

【0004】

本発明は、物理的文書をビデオで聴衆と共有する必要がある場合に、話者及び聴衆のユーザ体験及び利便性を向上させることができる、ビデオ会議またはビデオ授業のための電子装置及び表示方法を提供する。

【0005】

本発明の電子装置は、ビデオ会議またはビデオ授業に適用される。電子装置は、第１の画像取得部と、ディスプレイと、入力部と、プロセッサとを備える。第１の画像取得部は、物理的文書の第１の文書画像を取り込む。入力部は注釈情報を生成する。プロセッサは、第１の画像取得部、ディスプレイ、及び入力部に結合される。プロセッサは、ディスプレイを制御して、第１の文書画像を表示する。プロセッサが、第１の画像取得部が第１の文書画像を取得し、ディスプレイが第１の文書画像を同時に表示している間に注釈情報を受信すると、プロセッサは、ディスプレイを制御して、注釈情報及び第１の文書画像を同時に表示する。

【0006】

本発明の表示方法は、ビデオ会議またはビデオ授業における電子装置に適用される。電子装置は、第１の画像取得部と、ディスプレイと、入力部とを含む。表示方法は、以下を含む。物理的文書の第１の文書画像を第１の画像取得部によって取得することと、第１の文書画像をディスプレイによって表示することと、第１の画像取得部が第１の文書画像を取得し、ディスプレイが第１の文書画像を同時に表示している間に、入力部が注釈情報を受信した場合、ディスプレイは注釈情報及び第１の文書画像を同時に表示するように制御されることと、を含む。

【発明の効果】

【0007】

第１の画像取得部が第１の文書画像を取得し、ディスプレイが第１の文書画像を同時に表示している間に注釈情報を受信すると、本発明は、注釈情報及び第１の文書画像を同時に表示する。したがって、物理的文書の読み取りを共有またはガイドする場合、本発明は、第１の文書画像に注釈情報を追加して、第１の文書画像をマークすることができる。このようにすることで、第１の文書画像が揺れないので、画像比率が小さいために、ビデオ授業やビデオ会議の聴衆が内容を明瞭に見ることができないという問題が発生しない。話者が物理的文書を共有したり、読み方をガイドしたりしている場合も、第１の文書画像は覆われない。上記に照らして、本発明は、ユーザ体験及び利便性を効果的に改善することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の一実施形態による電子装置の動作シナリオの概略図である。

【図2】本発明の第１の実施形態による電子装置の概略図である。

【図3】図２に示す表示方法による第１の方法のフローチャートである。

【図4】図２に示す表示方法による第２の方法のフローチャートである。

【図5A】図５に示す操作インターフェースの概略図である。

【図5B】図５に示す操作インターフェースの概略図である。

【図6】図２による動作フローチャートである。

【図7】本発明の第２の実施形態による電子装置の概略図である。

【図8】図７に示す表示方法のフローチャートである。

【図9】図７に示す操作インターフェースの概略図である。

【図10】図７による操作のフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付された図面とともに、本発明のいくつかの実施形態を詳細に説明する。以下の説明で使用する符号は、異なる図面間で同一の符号を付した場合、同一または類似の要素とみなす。これらの実施形態は、本発明の一部にすぎず、本発明のすべての可能な実施を開示していない。より正確には、実施形態は、本発明の特許請求の範囲の例示に過ぎない。

【0010】

図１と図２を併せて参照されたい。図１は、本発明の一実施形態による電子装置の動作シナリオの概略図である。図２は、本発明の第１の実施形態による電子装置の概略図である。本実施形態において、電子装置１００は、ビデオ会議またはビデオ授業に適用されうる。電子装置１００は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォンなどであってもよい。本実施形態において、電子装置１００はラップトップコンピュータである。本実施形態において、電子装置１００は、画像取得部１１０と、ディスプレイ１２０と、入力部１３０と、プロセッサ１４０と、を含む。画像取得部１１０は、物理的文書ＦＬの文書画像ＦＩＭＧ１～ＦＩＭＧｎのうちの少なくとも１つを取得する。物理的文書ＦＬは、例えば、書籍、印刷物、公文書などである。文書画像ＦＩＭＧ１～ＦＩＭＧｎは、例えば、物理的文書ＦＬの異なるページの画像である（本発明はこれに限定されない）。本実施形態において、画像取得部１１０は、カメラであり得る。本実施形態において、画像取得部１１０は、ラップトップコンピュータの背面カバーに配置される。したがって、画像取得部１１０は、後方向きカメラ（または世界向きカメラ（ｗｏｒｌｄ ｆａｃｉｎｇ ｃａｍｅｒａ）と呼ばれる）である。いくつかの実施形態において、画像取得部１１０は、電子装置１００に外部的に接続されてもよい。物理的文書ＦＬが固定部材（例えば、本棚）によって固定される場合、画像取得部１１０は、物理的文書ＦＬの画像文書画像ＦＩＭＧ１～ＦＩＭＧｎのうちの少なくとも１つをリアルタイムで取得することができる。本実施形態において、入力部１３０は、注釈情報ＭＫを生成するように適合されている。ユーザは、例えば、入力部１３０を介して注釈情報ＭＫを提供する。入力部１３０は、スタイラス、マウス、トレースボールなどの要素であってよい。別の例として、入力部１３０は、ディスプレイ１２０のタッチパネルであってもよい。ユーザは、指を使用してディスプレイ１２０のタッチパネル上でタッチ操作を行い、マーキングトレースパターンを生成して注釈情報ＭＫを提供してもよい。

【0011】

本実施形態において、プロセッサ１４０は、画像取得部１１０、ディスプレイ１２０、及び入力部１３０に結合される。プロセッサ１４０は、ディスプレイ１２０を制御して、文書画像ＦＩＭＧ１～ＦＩＭＧｎのうちの１つを表示する。本実施形態では、ビデオ要件に基づいて、画像取得部１１０が文書画像ＦＩＭＧ１を取得しているときに、ディスプレイ１２０は文書画像ＦＩＭＧ１をリアルタイムで同時に表示する。いくつかの実施形態では、画像取得部１１０が文書画像ＦＩＭＧ１～ＦＩＭＧｎのうちの１つを取り込むとき、ディスプレイ１２０は、文書画像ＦＩＭＧ１～ＦＩＭＧｎのうちの１つを表示するように制御される。本発明は、文書画像ＦＩＭＧ１～ＦＩＭＧｎが表示されているタイミングに限定されない。

【0012】

本実施形態において、ディスプレイ１２０は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）、有機発光ダイオード（ＯＬＥＤ）など、または表示機能を提供するための任意のディスプレイ装置、またはバックライトモジュールとして冷陰極蛍光ランプ（ＣＣＦＬ）または発光ダイオード（ＬＥＤ）を使用するスクリーンであってよい。プロセッサ１４０は、例えば、中央処理装置（ＣＰＵ）、または他のプログラマブル汎用または専用マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、プログラマブルコントローラ、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、または他の同様の装置、または前述の装置の組み合わせであり、コンピュータプログラムをロードして実行することができる。

【0013】

画像取得部１１０が文書画像ＦＩＭＧ１を取得し、ディスプレイ１２０が文書画像ＦＩＭＧ１（例えば、第１の文書画像）を同時に表示している間に、プロセッサ１４０が注釈情報ＭＫを受信すると、プロセッサ１４０は、ディスプレイ１２０を制御して、注釈情報ＭＫ及び文書画像ＦＩＭＧ１とを同時に表示する。本実施形態において、注釈情報ＭＫは、ユーザが電子装置１００の入力部１３０を介して生成した少なくとも１つのマーキングトレースパターンである。例えば、電子装置１００のユーザは、スタイラス、マウス、トレースボール、または指を使用して、ディスプレイ１２０のタッチスクリーン上でタッチ操作を行い、マーキングトレースパターンを生成することができる。

【0014】

ユーザは、例えば話者である。ユーザは、物理的文書ＦＬの文書画像ＦＩＭＧ１に対してマーキング操作を行って注釈情報ＭＫを生成することができる。プロセッサ１４０は、ディスプレイ１２０を制御して、文書画像ＦＩＭＧ１上に注釈情報ＭＫを表示する。したがって、参加者は、ディスプレイ１２０上で物理的文書ＦＬの文書画像ＦＩＭＧ１及び注釈情報ＭＫを見ることができる。

【0015】

ここで、画像取得部１１０が文書画像ＦＩＭＧ１を取得し、ディスプレイ１２０が文書画像ＦＩＭＧ１を同時に表示している間に、プロセッサ１４０が注釈情報ＭＫを受信すると、プロセッサ１４０は、ディスプレイ１２０を制御して、注釈情報ＭＫ及び文書画像ＦＩＭＧ１を同時に表示することに留意されたい。したがって、ユーザが物理的文書の読み取りを共有またはガイドする場合、プロセッサ１４０は注釈情報ＭＫを使用して文書画像ＦＩＭＧ１をマークすることができる。ユーザは、物理的文書ＦＬを保持する必要がない。したがって、物理的文書ＦＬの文書画像ＦＩＭＧ１が揺れないので、ビデオ授業やテレビ会議の参加者が、画像比率が小さいために内容を明瞭にみることができないという問題が生じない。さらに、ユーザが物理的文書を共有している場合や、または読み方をガイドしている場合も、文書画像ＦＩＭＧ１は不明瞭にならない。上記に照らして、電子装置１００は、ユーザ体験及び利便性を効果的に改善することができる。

【0016】

本実施形態において、プロセッサ１４０は、文書画像ＦＩＭＧ１の特徴値Ｆ１を取得する。プロセッサ１４０は、特徴値Ｆ１を使用して、ディスプレイ１２０に表示された現在の文書画像（例えば、第２の文書画像）を識別する。現在の文書画像の特徴値が文書画像ＦＩＭＧ１の特徴値Ｆ１と一致する場合、プロセッサ１４０は、現在の文書画像が文書画像ＦＩＭＧ１と一致すると判断する。すなわち、現在の文書画像と文書画像ＦＩＭＧ１は物理的文書ＦＬの同一ページの画像であると判断する。したがって、プロセッサ１４０は、ディスプレイ１２０を制御して、注釈情報ＭＫ及び現在の文書画像を同時に表示する。これに対して、現在の文書画像の特徴値が文書画像ＦＩＭＧ１の特徴値Ｆ１と一致しない場合、プロセッサ１４０は、現在の文書画像が文書画像ＦＩＭＧ１以外の文書画像であると判断する。したがって、プロセッサ１４０は、現在の文書画像上に注釈情報ＭＫを表示しないようにディスプレイ１２０を制御する。

【0017】

プロセッサ１４０は、特徴値Ｆ１を使用して現在の文書画像を識別し、ディスプレイ１２０が注釈情報ＭＫ及び現在の文書画像を同時に表示できるようにするかどうかを判断できることに留意されたい。このようにして、物理的文書ＦＬの同一ページが再度表示されると、注釈情報ＭＫもすぐに表示される。

【0018】

本実施形態において、プロセッサ１４０は、深層学習モデルを通じて文書画像ＦＩＭＧ１の特徴値Ｆ１を獲得することができる。

【0019】

本実施形態において、プロセッサ１４０は、文書画像ＦＩＭＧ１と注釈情報ＭＫ（または注釈情報ＭＫのマーキング特徴値）との相対位置を取得する。したがって、文書画像ＦＩＭＧ１と一致する現在の文書画像が表示される場合、注釈情報ＭＫは、文書画像ＦＩＭＧ１と注釈情報ＭＫとの間の相対位置に基づいて、現在の文書画像上に配置される。したがって、注釈情報ＭＫは、現在の文書画像上の正確な位置に表示される。さらに、注釈の特徴値は、文書画像ＦＩＭＧ１の特徴値の位置に関連付けられる。したがって、文書画像ＦＩＭＧ１がシフトまたはズームされても、注釈情報ＭＫはそれに応じて変更される。

【0020】

図２及び図３を併せて参照されたい。図３は、図２に示す表示方法のフローチャートである。本実施形態の表示方法は、電子装置１００に適用される。ステップＳ１１０では、物理的文書ＦＬの第１の文書画像（例えば、文書画像ＦＩＭＧ１）が取得される。本実施形態では、第１の文書画像は画像取得部１１０により取得される。ステップＳ１２０において、プロセッサ１４０は、第１の文書画像を表示するようにディスプレイ１２０を制御する。ステップＳ１３０において、入力部１３０は、注釈情報ＭＫを生成する。ステップＳ１４０において、画像取得部１１０が第１の文書画像を取得し、第１の文書画像を同時に表示している間に注釈情報ＭＫを受信すると、注釈情報ＭＫが第１の文書画像上に表示される。本実施形態において、ステップＳ１４０は、プロセッサ１４０によって実行されてもよい。ステップＳ１１０からＳ１４０までの実施の詳細は、図１及び２の実施形態から十分に教示され得るため、ここでは説明を繰り返さない。

【0021】

図４を参照すると、図２に示す表示方法の第２のフローチャートである。本実施形態の表示方法は、電子装置１００のプロセッサ１４０に適合する。ステップＳ２０１において、プロセッサ１４０は、画像取得部１１０を起動して、現在の文書画像を取得する。ステップＳ２０２において、プロセッサ１４０は、電子装置１００のデータベース（図示せず）に注釈情報が格納されているかどうかを判断する。注釈情報がデータベースに格納されていると判断した場合、プロセッサ１４０は、現在の文書画像が文書画像ＦＩＭＧ１と一致するかどうかを判断する。文書画像ＦＩＭＧ１の特徴値Ｆ１を例にとると、プロセッサ１４０は、特徴値Ｆ１を使用して現在の文書画像を識別する。現在の文書画像の特徴値が特徴値Ｆ１と一致する場合、プロセッサ１４０は、現在の文書画像が文書画像ＦＩＭＧ１と一致すると判断し、現在の文書画像を識別する。したがって、ステップＳ２０３において、プロセッサ１４０は、文書画像ＦＩＭＧ１に対応する注釈情報をさらに検索する。さらに、注釈情報を受信すると、プロセッサ１４０は、注釈情報を登録し、データベースに注釈情報を格納する。ディスプレイ１２０が現在の文書画像を表示する場合、プロセッサ１４０はまず、ステップＳ２０２で、データベースが何らかの注釈情報を記憶しているかどうかを確認する。データベースに格納された注釈情報がある場合、プロセッサ１４０は、ステップＳ２０３で、現在の文書画像の特徴値に基づいて、対応する注釈情報を検索する。次に、プロセッサ１４０は、文書画像と対応する注釈情報との間の相対位置を取得する。したがって、プロセッサ１４０は、ステップＳ２０４において、注釈情報を現在の文書画像に重畳する。

【0022】

これに対して、ステップＳ２０３でプロセッサ１４０が対応する注釈情報が発見されない場合、それは、現在の文書画像に対応する注釈情報が除去されてもよいことを意味する。したがって、プロセッサ１４０は、ステップＳ２０５で、新しい注釈情報を追加するかどうかを判断する。

【0023】

ステップＳ２０２に戻る。現在の文書画像が対応する注釈情報を有していないと判断された場合、それは、現在の文書画像に対応する注釈情報がデータベースに格納されていないことを意味する。したがって、プロセッサ１４０は、ステップＳ２０５で、新しい注釈情報を追加するかどうかを判断する。

【0024】

ステップＳ２０５において、新しい注釈情報を受信しない場合、プロセッサ１４０は、ステップＳ２０６において、現在の文書画像のみを表示するようにディスプレイ１２０を制御する。これに対して、画像取得部１１０が起動され、現在の文書画像の表示中に新しい注釈情報を受信すると、プロセッサ１４０は、ステップＳ２０７において、新しい注釈情報を受信する。プロセッサ１４０は、ステップＳ２０８において、現在の文書画像の特徴値を取得し、新しい注釈情報を登録し、ステップＳ２０９において、現在の文書画像に新しい注釈情報を重畳する。

【0025】

図２、図５Ａ、図５Ｂ、及び図６を併せて参照されたい。図５Ａ及び５Ｂは、図２に示す操作インターフェースの概略図である。図６は、図２による動作フローチャートである。本実施形態では、第１の文書画像（例えば、文書画像ＦＩＭＧ１）の操作を例に挙げる。本実施形態においては、ステップＳ３０１で動作フローがスタートする。画像取得部１１０は、文書画像を取得するために起動される。ステップＳ３０２では、図５Ａに示すように、第１の文書画像が表示される。ステップＳ３０３では、注釈情報ＭＫを追加するか否かを判断する。本実施形態において、ユーザは操作インターフェース上で操作を行うことができる。プロセッサ１４０は、操作インターフェースに対するユーザの操作に基づいて、注釈情報ＭＫを付加する意思があるか否かを判断する。ステップＳ３０３において、ユーザが注釈情報ＭＫを追加しようとしていると判断した場合、ステップＳ３０４において、プロセッサ１４０はフォーマットメニューを表示するようにディスプレイ１２０を制御し、注釈情報ＭＫのフォーマットを提供する。本実施形態において、プロセッサ１４０は、ステップＳ３０４で操作ウィンドウＯＷを提供する。操作ウィンドウＯＷは、例えば、色選択アイコンＣ１～Ｃ５及び保存アイコンＢ１を含む（本発明はこれに限定されない）。ユーザは、色選択アイコンＣ１～Ｃ５から少なくとも注釈情報ＭＫの色を選択することができる。

【0026】

ステップＳ３０５において、注釈情報ＭＫを受信する。ステップＳ３０５において、プロセッサ１４０は、注釈情報ＭＫを受信する。したがって、ステップＳ３０６において、プロセッサ１４０は、ディスプレイ１２０を制御して、注釈情報ＭＫ及び文書画像ＦＩＭＧ１を表示する。例えば、注釈情報ＭＫは、図５Ｂに示すように、マーキングトレースＭＫ１～ＭＫ４を含む。注釈情報ＭＫ及び文書画像ＦＩＭＧ１は、操作インターフェースを介して同時に他の参加者（例えば聴衆）に提示される。

【0027】

以上の操作に基づいて、参加者は、操作インターフェースを介して受け取った文書画像ＦＩＭＧ１にマークを付けて注釈情報を生成することもできることを理解されたい。

【0028】

さらに、ステップＳ３０６において、ユーザは、保存アイコンＢ１をクリックして、注釈情報ＭＫ及び第１の文書画像との合成画像ファイルを保存することができる。

【0029】

ステップＳ３０７において、ユーザは、物理的文書ＦＬのページを変更し、第１の文書画像を第１の文書画像以外の別の文書画像（例えば、特徴値Ｆ１と一致しない文書画像）に切り替える。したがって、第１の文書画像に対応する注釈情報ＭＫの表示が停止される。文書画像ＦＩＭＧ１を例にとると、プロセッサ１４０は、特徴値Ｆ１を使用して現在の文書画像を識別する。現在の文書画像が文書画像ＦＩＭＧ１の特徴値Ｆ１と一致しない場合、プロセッサ１４０は、現在の文書画像と文書画像ＦＩＭＧ１が物理的文書ＦＬの同一ページに属していないと判断する。したがって、プロセッサ１４０は、注釈情報ＭＫを表示しないようにディスプレイ１２０を制御する。すなわち、ディスプレイ１２０に表示されている現在の文書画像が文書画像ＦＩＭＧ１と一致しない場合、プロセッサ１４０は、注釈情報ＭＫの表示を停止するようにディスプレイ１２０を制御する。したがって、ステップＳ３０８において、ディスプレイ１２０は現在の文書画像のみを表示する。現在の文書画像は、他の参加者の操作インターフェースに表示される。

【0030】

さらに、ステップＳ３０８において、ユーザは、保存アイコンＢ１をクリックして、現在の文書画像の写真ファイルを保存することができる。

【0031】

ステップＳ３０９において、ユーザは物理的文書ＦＬのページを第１の文書画像のページに戻す。例えば、プロセッサ１４０は、現在の文書画像が文書画像ＦＩＭＧ１と一致すると判断する。したがって、プロセッサ１４０は、ステップＳ３０６の動作に戻る。

【0032】

ステップＳ３０３に戻る。ユーザが注釈情報ＭＫを追加するか否かを判断できない場合、プロセッサ１４０は、ステップＳ３１０の動作に入り、フォーマットメニューの表示を停止するようにディスプレイ１２０を制御する。したがって、注釈情報ＭＫの生成は停止される。

【0033】

図７を参照すると、本発明の第２の実施形態による電子装置の概略図である。本実施形態において、電子装置２００は、画像取得部２１０＿１、２１０＿２、ディスプレイ２２０、及びプロセッサ２４０を備える。画像取得部２１０＿１の動作詳細は、図１及び図２の画像取得部１１０の動作詳細を参照することができるため、ここでは説明を繰り返さない。本実施形態において、文書画像ＦＩＭＧ１上に注釈情報ＭＫを表示するように制御されるディスプレイ２２０の実施は、図１から図６の様々な実施形態で十分に教示されているため、ここでは説明を繰り返さない。

【0034】

本実施形態において、画像取得部２１０＿２は、電子装置２００のユーザのユーザ画像ＵＩＭＧを取得する。ユーザ画像ＵＩＭＧは、例えば、リアルタイム動画像である。本実施形態において、画像取得部２１０＿２は、プロセッサ２４０に結合される。プロセッサ２４０は、ユーザ画像ＵＩＭＧを受信し、ディスプレイ２２０を制御して、ユーザ画像ＵＩＭＧを表示する。このようにして、他の参加者は、電子装置２００のユーザを見ることができる。本実施形態において、画像取得部２１０＿２は、例えばディスプレイ２２０の表示面上に配置され、画像取得部２１０＿２のレンズは、ディスプレイ２２０の表示方向に向いている。したがって、画像取得部２１０＿２のレンズは、例えば、前面カメラ（またはユーザ向きカメラ（ｕｓｅｒ ｆａｃｉｎｇ ｃａｍｅｒａ）という）である。

【0035】

図７及び図８を併せて参照されたい。図８は、図７の表示方法のフローチャートである。本実施形態では、ステップＳ４０１において、ユーザ画像ＵＩＭＧが取得される。ステップＳ４０２では、ユーザ画像ＵＩＭＧの背景が除去される。ステップＳ４０２において、プロセッサ２４０は、背景を識別し、ユーザ画像ＵＩＭＧ内の背景を除去する。例えば、ステップＳ４０２において、プロセッサ２４０は、セマンティックセグメンテーションモデル（ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ ｍｏｄｅｌ）などによって背景部分をセグメント化し、背景部分が除去されたユーザ画像ＵＩＭＧのみを保持する。いくつかの実施形態では、プロセッサ２４０は、例えば、他の画像分類モデルを通じて背景部分をセグメント化する。

【0036】

ステップＳ４０３では、画像取得部を起動して、現在の文書画像を取得する。ステップＳ４０４において、プロセッサ２４０は、何らかの注釈情報がデータベース（図示せず）に格納されているかどうかを判断する。データベースに注釈情報が格納されていると判断した場合、プロセッサ２４０は、ステップＳ４０５において、対応する注釈情報をさらに検索する。ステップＳ４０３～Ｓ４０５の動作は、図４のステップＳ２０１～Ｓ２０３の動作と同様である。ステップＳ４０３～Ｓ４０５の動作の詳細は、図４のステップＳ２０１～Ｓ２０３で明確に説明されているので、ここでは説明を繰り返さない。

【0037】

本実施形態では、ステップＳ４０５において、プロセッサ２４０が現在の文書画像に対応する注釈情報を発見した場合、それは、現在の文書画像に対応する注釈情報が保持されていることを意味する。したがって、プロセッサ２４０は、ステップＳ４０６で、背景部分が除去されたユーザ画像ＵＩＭＧ及び注釈情報を現在の文書画像に重畳する。

【0038】

これに対して、ステップＳ４０５において、プロセッサ２４０が現在の文書画像に対応する注釈情報を発見しない場合、それは、現在の文書画像に対応する注釈情報が除去されてもよいことを意味する。したがって、プロセッサ２４０は、ステップＳ４０７で、新しい注釈情報を追加するかどうかを判断する。

【0039】

ステップＳ４０４に戻る。データベースに格納された注釈情報がない場合、プロセッサ２４０は、ステップＳ４０７において、新しい注釈情報を追加するかどうかを判断する。

【0040】

ステップＳ４０７において、注釈情報を受信しない場合、プロセッサ２４０は、ステップＳ４０８において、背景部分が除去されたユーザ画像ＵＩＭＧを現在の文書画像に重畳するようにディスプレイ２２０を制御する。これに対して、ステップＳ４０９でプロセッサ２４０が新しい注釈情報を受信すると、プロセッサ２４０は、ステップＳ４１０で、現在の文書画像の特徴値を取得し、新しい注釈情報を登録する。そして、ステップＳ４１１で、背景部分が除去されたユーザ画像ＵＩＭＧ及び新しい注釈情報を現在の文書画像に重畳する。

【0041】

図７、図９、及び図１０をまとめて参照されたい。図９は、図７に示す操作インターフェースの概略図である。図１０は、図７による操作のフローチャートである。本実施形態において、ステップＳ５０１で動作が開始される。画像取得部２１０＿１を起動して、第１の文書画像（例えば、文書画像ＦＩＭＧ１）を取得する。画像取得部２１０＿２を起動して、ユーザ画像ＵＩＭＧを取得する。

【0042】

ステップＳ５０２では、ユーザ画像ＵＩＭＧが表示される。ユーザ画像ＵＩＭＧの表示位置とサイズが調整される。ステップＳ５０３では、第１の文書画像が表示される。例えば、プロセッサ２４０は、ディスプレイ２２０を制御して、ユーザ画像ＵＩＭＧを表示する。ユーザは、図９に示すように、操作インターフェースを介して、ユーザ画像ＵＩＭＧをドラッグしてユーザ画像ＵＩＭＧの表示位置を調整し、ユーザ画像ＵＩＭＧの縁をドラッグしてユーザ画像ＵＩＭＧのサイズを調整することができる。

【0043】

ステップＳ５０４では、注釈情報ＭＫを追加するか否かを判断する。ステップＳ５０４において、ユーザが注釈情報ＭＫを追加すると、ステップＳ５０５において、プロセッサ２４０はフォーマットメニューを表示する。したがって、ユーザは、フォーマットメニューから注釈情報ＭＫのフォーマットを選択することができる。ステップＳ５０６では、注釈情報ＭＫを受信する。したがって、ステップＳ５０７において、プロセッサ２４０は、ディスプレイ２２０を制御して、注釈情報ＭＫ、第１の文書画像、及びユーザ画像ＵＩＭＧを表示する。例えば、注釈情報ＭＫは、図９に示すように、マーキングトレースＭＫ１～ＭＫ４を含む。注釈情報ＭＫ、文書画像ＦＩＭＧ１、ユーザ画像ＵＩＭＧは、操作インターフェースを介して他の参加者に提示される。したがって、他の参加者は、ユーザ画像ＵＩＭＧを見ることができる。また、ステップＳ５０７において、ユーザは、保存アイコンＢ１をクリックして、注釈情報ＭＫと第１文書画像との合成画像ファイルを保存することができる。

【0044】

ステップＳ５０８において、ユーザは物理的文書ＦＬを変更し、第１の文書画像を第１の文書画像以外の別の文書画像（例えば、特徴値Ｆ１と一致しない文書画像）に切り替える。したがって、第１の文書画像に対応する注釈情報ＭＫの表示が停止される。したがって、ステップＳ５０９において、ディスプレイ２２０は、現在の文書画像及びユーザ画像ＵＩＭＧを表示する。現在の文書画像及びユーザ画像ＵＩＭＧが、操作インターフェースを介して他の参加者に提示される。さらに、ステップＳ５０９において、ユーザは、保存アイコンＢ１をクリックして、現在の文書画像の写真ファイルを保存することができる。

【0045】

ステップＳ５１０において、ユーザはページを元のページに戻す。プロセッサ２４０は、現在の文書画像（すなわち、特徴値Ｆ１に一致する文書画像）が第１の文書画像と一致すると判断する。したがって、プロセッサ２４０は、ステップＳ５０７に戻り、ディスプレイ２２０を制御して、注釈情報ＭＫ、第１の文書画像、及びユーザ画像ＵＩＭＧを表示する。

【0046】

ステップＳ５０４において、ユーザが注釈情報ＭＫを追加するか否かを判断できない場合、プロセッサ２４０は、ステップＳ５１１の動作に入り、フォーマットメニューの表示を停止するようにディスプレイ２２０を制御する。したがって、注釈情報ＭＫの生成は停止される。

【産業上の利用可能性】

【0047】

文書画像が取得され、文書画像が同時に表示されている間に注釈情報を受信した場合、本発明は、注釈情報及び文書画像を同時に表示する。したがって、物理的文書の読み取りが共有またはガイドされるとき、本発明は、ユーザが物理的文書を保持することなく、現在表示されている文書画像に注釈を追加することができる。これにより、手ぶれによる文書画像の揺れがなくなり、画像比率が小さすぎてビデオ授業やビデオ会議の他の参加者が内容を明瞭に見ることができないという問題が発生しない。話者が物理的文書を共有したり、読み物をガイドしたりしている場合、聴衆が見る文書の画像は話者によって覆われない。上記に照らして、本発明は、ユーザ体験及び利便性を効果的に改善することができる。さらに、本発明は、特徴値を利用して現在の文書画像を識別し、注釈情報が表示されるかどうかを判断する。このようにして、一致した文書画像が再度表示されると、注釈情報もすぐに表示される。

【符号の説明】

【0048】

１００， ２００： 電子装置
１１０： 画像取得部
１２０， ２２０： ディスプレイ
１３０， ２３０： 入力部
１４０， ２４０： プロセッサ
２１０＿１： 画像取得部／第１の画像取得部
２１０＿２： 画像取得部／第２の画像取得部
Ｂ１： 保存アイコン
Ｃ１－Ｃ５： 色選択アイコン
Ｆ１： 特徴値
ＦＩＭＧ１－ＦＩＭＧｎ： 文書画像
ＦＬ： 物理的文書
ＭＫ： 注釈情報
ＭＫ１－ＭＫ４： マーキングトレース
ＯＷ： 操作ウィンドウ
Ｓ１１０－Ｓ１４０： ステップ
Ｓ２０１－Ｓ２０９： ステップ
Ｓ３０１－Ｓ３１０： ステップ
Ｓ４０１－Ｓ４１１： ステップ
Ｓ５０１－Ｓ５１１： ステップ
ＵＩＭＧ： ユーザ画像

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】