特許 7593373 情報処理装置、投影方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-25

(45)【発行日】2024-12-03

(54)【発明の名称】情報処理装置、投影方法、及びプログラム

(51)【国際特許分類】

   G09G 5/00 20060101AFI20241126BHJP

   G06F 3/0481 20220101ALI20241126BHJP

   G09G 5/02 20060101ALI20241126BHJP

   G09G 5/22 20060101ALI20241126BHJP

   G09G 5/37 20060101ALI20241126BHJP

   G09G 5/38 20060101ALI20241126BHJP

   H04N 5/74 20060101ALI20241126BHJP

【ＦＩ】

G09G5/00 510B

G06F3/0481

G09G5/00 510V

G09G5/00 550C

G09G5/02 B

G09G5/22 630G

G09G5/37 100

G09G5/37 320

G09G5/38

H04N5/74 Z

【請求項の数】 20

(21)【出願番号】P 2022081179

(22)【出願日】2022-05-17

(65)【公開番号】P2023169830

(43)【公開日】2023-11-30

【審査請求日】2024-03-05

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100139491

【弁理士】

【氏名又は名称】河合 隆慶

(74)【代理人】

【識別番号】100224694

【弁理士】

【氏名又は名称】伊藤 孝志

(72)【発明者】

【氏名】加来 航

【審査官】公文代 康祐

(56)【参考文献】

【文献】特開２０１２－０７３３９９（ＪＰ，Ａ）

【文献】特開２００５－２９３２９０（ＪＰ，Ａ）

【文献】特開２００２－０２３６０３（ＪＰ，Ａ）

【文献】特開２０１１－１９７３８１（ＪＰ，Ａ）

【文献】特開２００４－１７０７３６（ＪＰ，Ａ）

【文献】韓国登録特許第１０－２３０１５４８（ＫＲ，Ｂ１）

【文献】特開２００６－１５４６９１（ＪＰ，Ａ）

【文献】特開２０２０－１４００５５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｇ ５／００－ ５／４２

Ｈ０４Ｎ ５／７４

Ｇ０６Ｆ ３／０４８－３／０４８９５

Ｇ０９Ｂ １１／００

(57)【特許請求の範囲】

【請求項1】

制御部を備える情報処理装置であって、
前記制御部は、
文字の書かれた第１領域を含む第１媒体の第１画像を取得し、
前記第１画像を第２媒体の所定の位置に投影し、
投影された前記第１画像で示される前記文字とは異なる色の線の書かれた第２領域を含む前記第２媒体の第２画像を取得し、
前記第２画像上の前記第１領域と前記第２領域とが重複する重複領域の色データを、重複に伴う明度又は彩度の低下が所定の割合だけ解消するように補正し、
補正された前記第２画像を前記第１媒体に前記文字の位置が一致するように投影する、情報処理装置。

【請求項2】

請求項１に記載の情報処理装置であって、
前記文字の色は、黒色であり、
前記制御部は、前記第１画像を前記第２媒体に投影する際に、前記第２媒体が置かれた載置台の全体に、前記第１領域を避けて照明光を照射する、情報処理装置。

【請求項3】

請求項２に記載の情報処理装置であって、
前記載置台は、前記第１画像を投影する投影光及び前記照明光以外の光から、遮光されている、情報処理装置。

【請求項4】

請求項１から３の何れか一項に記載の情報処理装置であって、
前記色データは、前記重複領域の色に対応するＲＧＢ値である、情報処理装置。

【請求項5】

請求項４に記載の情報処理装置であって、
前記制御部は、前記重複領域の色に対応するＲＧＢ値を、前記第２画像上の前記第１領域と前記第２領域とが重複しない領域における前記線の色に対応するＲＧＢ値に基づいて補正する、情報処理装置。

【請求項6】

請求項１から３のいずれか一項に記載の情報処理装置であって、
前記第１画像は、所定のフレーム数の第１画像であり、前記第２画像は、所定のフレーム数の第２画像である、情報処理装置。

【請求項7】

請求項６に記載の情報処理装置であって、
前記制御部は、前記第１媒体に前記文字を書く第１ユーザ及び前記第２媒体に前記線を書く第２ユーザを各々正面から撮像した、所定のフレーム数の第３画像及び所定のフレーム数の第４画像を更に取得し、前記所定のフレーム数の第３画像及び前記所定のフレーム数の第４画像に基づいて、前記第１ユーザ及び前記第２ユーザの各々の正面に配置されたパネルに、互いの姿をリアルタイムに表示させる、情報処理装置。

【請求項8】

情報処理装置が実行する投影方法であって、
文字の書かれた第１領域を含む第１媒体の第１画像を取得すること、
前記第１画像を第２媒体の所定の位置に投影すること、
投影された前記第１画像で示される前記文字とは異なる色の線の書かれた第２領域を含む前記第２媒体の第２画像を取得すること、
前記第２画像上の前記第１領域と前記第２領域とが重複する重複領域の色データを、重複に伴う明度又は彩度の低下が所定の割合だけ解消するように補正すること、及び
補正された前記第２画像を前記第１媒体に前記文字の位置が一致するように投影すること
を含む、投影方法。

【請求項9】

請求項８に記載の投影方法であって、
前記文字の色は、黒色であり、
前記第１画像を前記第２媒体に投影する際に、前記第２媒体が置かれた載置台の全体に、前記第１領域を避けて照明光を照射すること
を更に含む、投影方法。

【請求項10】

請求項９に記載の投影方法であって、
前記載置台は、前記第１画像を投影する投影光及び前記照明光以外の光から、遮光されている、投影方法。

【請求項11】

請求項８から１０の何れか一項に記載の投影方法であって、
前記色データは、前記重複領域の色に対応するＲＧＢ値である、投影方法。

【請求項12】

請求項１１に記載の投影方法であって、
前記重複領域の色に対応するＲＧＢ値を、前記第２画像上の前記第１領域と前記第２領域とが重複しない領域における前記線の色に対応するＲＧＢ値に基づいて補正すること
を更に含む、投影方法。

【請求項13】

請求項８から１０のいずれか一項に記載の投影方法であって、
前記第１画像は、所定のフレーム数の第１画像であり、前記第２画像は、所定のフレーム数の第２画像である、投影方法。

【請求項14】

請求項１３に記載の投影方法であって、
前記第１媒体に前記文字を書く第１ユーザ及び前記第２媒体に前記線を書く第２ユーザを各々正面から撮像した、所定のフレーム数の第３画像及び所定のフレーム数の第４画像を更に取得し、前記所定のフレーム数の第３画像及び前記所定のフレーム数の第４画像に基づいて、前記第１ユーザ及び前記第２ユーザの各々の正面に配置されたパネルに、互いの姿をリアルタイムに表示させること
を更に含む、投影方法。

【請求項15】

情報処理装置に、
文字の書かれた第１領域を含む第１媒体の第１画像を取得すること、
前記第１画像を第２媒体の所定の位置に投影すること、
投影された前記第１画像で示される前記文字とは異なる色の線の書かれた第２領域を含む前記第２媒体の第２画像を取得すること、
前記第２画像上の前記第１領域と前記第２領域とが重複する重複領域の色データを、重複に伴う明度又は彩度の低下が所定の割合だけ解消するように補正すること、及び
補正された前記第２画像を前記第１媒体に前記文字の位置が一致するように投影すること
を実行させる、プログラム。

【請求項16】

請求項１５に記載のプログラムであって、
前記文字の色は、黒色であり、
前記第１画像を前記第２媒体に投影する際に、前記第２媒体が置かれた載置台の全体に、前記第１領域を避けて照明光を照射すること
を前記情報処理装置に更に実行させる、プログラム。

【請求項17】

請求項１６に記載のプログラムであって、
前記載置台は、前記第１画像を投影する投影光及び前記照明光以外の光から、遮光されている、プログラム。

【請求項18】

請求項１５から１７の何れか一項に記載のプログラムであって、
前記色データは、前記重複領域の色に対応するＲＧＢ値である、プログラム。

【請求項19】

請求項１８に記載のプログラムであって、
前記重複領域の色に対応するＲＧＢ値を、前記第２画像上の前記第１領域と前記第２領域とが重複しない領域における前記線の色に対応するＲＧＢ値に基づいて補正すること
を前記情報処理装置に更に実行させる、プログラム。

【請求項20】

請求項１５から１７のいずれか一項に記載のプログラムであって、
前記第１画像は、所定のフレーム数の第１画像であり、前記第２画像は、所定のフレーム数の第２画像である、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、投影方法、及びプログラムに関する。

【背景技術】

【0002】

従来、画像投影に関する技術が知られている。例えば、特許文献１には、半紙に書かれた文字と参照情報とを比較して修正すべき箇所を半紙上に投影する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００５－２９３２９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

現物の習字道具（半紙、筆、及び硯等）を使用する習字のｅラーニングでは、講師側で添削結果を撮像するときに１回、生徒側で添削結果を投影するときに１回の合計２回、生徒の文字と講師の線（改良点を示す修正線）とが重複する領域で、講師の線の色の明度又は彩度が低下して色調が暗くなる、いわゆる黒ずみが生じる。黒ずみが生じると、生徒側での改良点の視認性及び添削結果の再現性が低下し、習字のｅラーニングの学習効果を高めづらくなる。しかしながら、従来の画像投影ではこれらの問題が考慮されていない。したがって、画像投影に関する技術には改善の余地があった。

【0005】

かかる事情に鑑みてなされた本開示の目的は、画像投影に関する技術を改善することにある。

【課題を解決するための手段】

【0006】

本開示の一実施形態に係る情報処理装置は、
制御部を備える情報処理装置であって、
前記制御部は、
文字の書かれた第１領域を含む第１媒体の第１画像を取得し、
前記第１画像を第２媒体の所定の位置に投影し、
投影された前記第１画像で示される前記文字とは異なる色の線の書かれた第２領域を含む前記第２媒体の第２画像を取得し、
前記第２画像上の前記第１領域と前記第２領域とが重複する重複領域の色データを補正し、
補正された前記第２画像を前記第１媒体に前記文字の位置が一致するように投影する。

【0007】

本開示の一実施形態に係る投影方法は、
情報処理装置が実行する投影方法であって、
文字の書かれた第１領域を含む第１媒体の第１画像を取得すること、
前記第１画像を第２媒体の所定の位置に投影すること、
投影された前記第１画像で示される前記文字とは異なる色の線の書かれた第２領域を含む前記第２媒体の第２画像を取得すること、
前記第２画像上の前記第１領域と前記第２領域とが重複する重複領域の色データを補正すること、及び
補正された前記第２画像を前記第１媒体に前記文字の位置が一致するように投影すること
を含む。

【0008】

本開示の一実施形態に係るプログラムは、
情報処理装置に、
文字の書かれた第１領域を含む第１媒体の第１画像を取得すること、
前記第１画像を第２媒体の所定の位置に投影すること、
投影された前記第１画像で示される前記文字とは異なる色の線の書かれた第２領域を含む前記第２媒体の第２画像を取得すること、
前記第２画像上の前記第１領域と前記第２領域とが重複する重複領域の色データを補正すること、
補正された前記第２画像を前記第１媒体に前記文字の位置が一致するように投影すること
を実行させる。

【発明の効果】

【0009】

本開示の一実施形態によれば、画像投影に関する技術が改善される。

【図面の簡単な説明】

【0010】

【図1】本開示の一実施形態に係るシステムの概略構成を示すブロック図である。

【図2】第１画像処理装置の概略構成を示すブロック図である。

【図3】第２画像処理装置の概略構成を示すブロック図である。

【図4】情報処理装置の概略構成を示すブロック図である。

【図5】情報処理装置の動作を示すフローチャートである。

【図6】第１画像の具体例を示す図である。

【図7】第２画像の具体例を示す図である。

【発明を実施するための形態】

【0011】

以下、本開示の実施形態について説明する。

【0012】

＜実施形態の概要＞
図１を参照して、本開示の実施形態に係るシステム１の概要について説明する。システム１は、第１画像処理装置１０と、第２画像処理装置２０と、情報処理装置３０と、を備える。第１画像処理装置１０、第２画像処理装置２０、及び情報処理装置３０は、例えばインターネット及び移動体通信網等を含むネットワーク４０と通信可能に接続される。

【0013】

第１画像処理装置１０は、本実施形態では撮像部と投影部（例えば、プロジェクタ）を備えた装置であるが、これに限らず任意の画像処理装置であってよい。プロジェクタは、ＬＣＤ（liquid crystal display）プロジェクタ、ＬＣＯＳ（liquid crystal on silicon）プロジェクタ、又はＤＬＰ（digital light processing）プロジェクタ等、任意の方式のプロジェクタである。プロジェクタは、一般に、画像信号に基づいて変調された赤色（Ｒ）光、緑色（Ｇ）光、及び青色（Ｂ）光の３原色を投影面（半紙、壁、スクリーン等）に投光することで画像を投影する。なお、各色のレーザ光を、光走査手段により２次元走査して画像を投影してもよい。第１画像処理装置１０は、本実施形態では習字の生徒（以下、「第１ユーザ」ともいう。）の頭上に設置されるが、これに限られず任意の位置に設置可能である。システム１が備える第１画像処理装置１０の数は、任意に定め得る。

【0014】

第２画像処理装置２０は、本実施形態では撮像部と投影部（例えば、プロジェクタ）を備えた装置であるが、これに限らず任意の画像処理装置であってよい。プロジェクタは、ＬＣＤプロジェクタ、ＤＬＰプロジェクタ、又はＬＣＯＳプロジェクタ等の任意の方式のプロジェクタである。プロジェクタは、一般に、画像信号に基づいて変調された赤色（Ｒ）光、緑色（Ｇ）光、及び青色（Ｂ）光の３原色を投影面に投光することで画像を投影する。なお、各色のレーザ光を、光走査手段により２次元走査して画像を投影してもよい。第２画像処理装置２０は、本実施形態では習字の講師（以下、「第２ユーザ」ともいう。）の頭上に設置されるが、これに限られず任意の位置に設置可能である。システム１が備える第２画像処理装置２０の数は、任意に定め得る。

【0015】

情報処理装置３０は、例えばサーバ装置等のコンピュータである。情報処理装置３０は、ネットワーク４０を介して第１画像処理装置１０及び第２画像処理装置２０と通信可能である。

【0016】

まず、本実施形態の概要について説明し、詳細については後述する。情報処理装置３０は、文字の書かれた第１領域を含む第１媒体の第１画像を取得する。情報処理装置３０は、第１画像を第２媒体の所定の位置に投影する。情報処理装置３０は、投影された第１画像で示される文字とは異なる色の線の書かれた第２領域を含む第２媒体の第２画像を取得する。情報処理装置３０は、第２画像上の第１領域と第２領域とが重複する重複領域の色データを補正する。情報処理装置３０は、補正された第２画像を第１媒体に文字の位置が一致するように投影する。

【0017】

このように、本実施形態によれば、重複領域の色データが補正された第２画像が、第１媒体に文字の位置が一致するように投影される。このため、例えば第２画像上の重複領域で黒ずみが生じた場合でも、当該黒ずみが所定の割合だけ解消されるように色データを補正した第２画像を第１媒体に投影することができる。したがって、第１ユーザ側での改良点の視認性及び添削結果の再現性が向上し、習字のｅラーニングの学習効果を高めやすくなる点で、画像投影に関する技術が改善される。

【0018】

次に、システム１の各構成について詳細に説明する。

【0019】

＜第１画像処理装置の構成＞
図２に示すように、第１画像処理装置１０は、通信部１１と、撮像部１２と、投影部１３と、検知部１４と、出力部１５と、入力部１６と、記憶部１７と、制御部１８と、を備える。

【0020】

通信部１１は、ネットワーク４０に接続する１つ以上の通信インタフェースを含む。当該通信インタフェースは、例えば４Ｇ（4th Generation）又は５Ｇ（5th Generation）等の移動体通信規格に対応するが、これらに限られない。本実施形態において、第１画像処理装置１０は、通信部１１及びネットワーク４０を介して第２画像処理装置２０及び情報処理装置３０と通信する。

【0021】

撮像部１２は、１つ以上のカメラを含む。撮像部１２に含まれる各カメラは、例えばＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子を有するいわゆるデジタルカメラである。撮像部１２は、所定のフレームレートで被写体の撮像を行い、当該撮像によって得られた撮像画像の画像データを出力する。撮像部１２を介して得られる画像データは、フレーム画像として動画像を構成することが可能である。一実施形態において、撮像部１２は、第１媒体の画像を取得する。

【0022】

投影部１３は、画像表示素子と、光源と、投影レンズと、を含む。画像表示素子としては、例えば第１画像処理装置１０がＬＣＤ又はＬＣＯＳ方式のプロジェクタである場合には液晶が、ＤＬＰ方式のプロジェクタである場合にはＤＭＤ（Digital Micromirror Device）が使用される。光源は、画像表示素子に投影光を照射し、投影部１３を通して投影面に画像を投影する。光源は、投影光に加えて照明光も照射し得る。投影光の照射範囲及び照明光の照射範囲は、同じであっても異なっていてもよい。投影レンズは、投影面に画像表示素子の画像を任意の倍率で拡大又は縮小して表示させる。一実施形態において、投影部１３は、第１媒体に画像を投影する。

【0023】

検知部１４は、投影部１３から画像が投影される投影面の状態を示す情報を取得可能な任意のセンサモジュールを含む。例えば、投影面の状態は、投影面と投影部１３との距離、投影面の変位、又はこれらの組合せを含む。例えば、センサモジュールは、レーザセンサ、光電センサ、超音波センサ、又はこれらの組合せを含む。

【0024】

出力部１５は、少なくとも１つの出力用インタフェースを含む。出力用インタフェースは、例えば、ディスプレイ又はスピーカである。ディスプレイは、例えば、ＬＣＤ又は有機ＥＬ（Electro Luminescence）ディスプレイである。出力部１５は、第１画像処理装置１０の動作によって得られるデータを出力する。出力部１５は、第１画像処理装置１０に備えられる代わりに、外部の出力機器として第１画像処理装置１０に接続されてもよい。接続用インタフェースとしては、例えば、ＵＳＢ（Universal Serial Bus）又はBluetooth（登録商標）等の規格に対応したインタフェースを用いることができる。

【0025】

入力部１６は、少なくとも１つの入力用インタフェースを含む。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン、又はマイクロフォンである。入力部１６は、第１画像処理装置１０の動作に用いられるデータを入力する操作を受け付ける。入力部１６は、第１画像処理装置１０に備えられる代わりに、外部の入力機器として第１画像処理装置１０に接続されてもよい。接続用インタフェースとしては、例えば、ＵＳＢ又はBluetooth（登録商標）等の規格に対応したインタフェースを用いることができる。

【0026】

記憶部１７は、１つ以上のメモリを含む。メモリは、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られない。記憶部１７に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部１７は、第１画像処理装置１０の動作に用いられる任意の情報を記憶する。例えば、記憶部１７は、システムプログラム、アプリケーションプログラム、及び組み込みソフトウェア等を記憶してもよい。記憶部１７に記憶された情報は、例えば通信部１１を介してネットワーク４０から取得される情報で更新可能であってもよい。本実施形態において、記憶部１７は、撮像部１２を介して撮像された画像又は動画像及び検知部１４を介して取得された情報を記憶することができる。

【0027】

制御部１８は、１つ以上のプロセッサ、１つ以上のプログラマブル回路、１つ以上の専用回路、又はこれらの組合せを含む。プロセッサは、例えばＣＰＵ（Central Processing Unit）若しくはＧＰＵ（Graphics Processing Unit）等の汎用プロセッサ、又は特定の処理に特化した専用プロセッサであるがこれらに限られない。プログラマブル回路は、例えばＦＰＧＡ（Field-Programmable Gate Array）であるがこれに限られない。専用回路は、例えばＡＳＩＣ（Application Specific Integrated Circuit）であるがこれに限られない。制御部１８は、第１画像処理装置１０全体の動作を制御する。

【0028】

＜第２画像処理装置の構成＞
図３に示すように、第２画像処理装置２０は、通信部２１と、撮像部２２と、投影部２３と、検知部２４と、出力部２５と、入力部２６と、記憶部２７と、制御部２８と、を備える。

【0029】

通信部２１は、ネットワーク４０に接続する１つ以上の通信インタフェースを含む。当該通信インタフェースは、例えば４Ｇ又は５Ｇ等の移動体通信規格に対応するが、これらに限られない。本実施形態において、第２画像処理装置２０は、通信部２１及びネットワーク４０を介して第１画像処理装置１０及び情報処理装置３０と通信する。

【0030】

撮像部２２は、１つ以上のカメラを含む。撮像部２２に含まれる各カメラは、例えばＣＣＤ又はＣＭＯＳイメージセンサ等の撮像素子を有するいわゆるデジタルカメラである。撮像部２２は、所定のフレームレートで被写体の撮像を行い、当該撮像によって得られた撮像画像の画像データを出力する。撮像部２２を介して得られる画像データは、フレーム画像として動画像を構成することも可能である。一実施形態において、撮像部２２は、第２媒体の画像を取得する。

【0031】

投影部２３は、画像表示素子と、光源と、投影レンズと、を含む。画像表示素子としては、例えば第２画像処理装置２０がＬＣＤ又はＬＣＯＳ方式のプロジェクタである場合には液晶が、ＤＬＰ方式のプロジェクタである場合にはＤＭＤが使用される。光源は、画像表示素子に投影光を照射し、投影部２３を通して投影面に画像を投影する。光源は、投影光に加えて照明光も照射し得る。投影光の照射範囲及び照明光の照射範囲は、同じであっても異なっていてもよい。投影レンズは、投影面に画像表示素子の画像を任意の倍率で拡大又は縮小して表示させる。一実施形態において、投影部２３は、第２媒体に画像を投影する。

【0032】

検知部２４は、投影部２３から画像が投影される投影面の状態を示す情報を取得可能な任意のセンサモジュールを含む。例えば、投影面の状態は、投影面と投影部２３との距離、投影面の変位、又はこれらの組合せを含む。例えば、センサモジュールは、レーザセンサ、光電センサ、超音波センサ、又はこれらの組合せを含む。

【0033】

出力部２５は、少なくとも１つの出力用インタフェースを含む。出力用インタフェースは、例えば、ディスプレイ又はスピーカである。ディスプレイは、例えば、ＬＣＤ又は有機ＥＬディスプレイである。出力部２５は、第２画像処理装置２０の動作によって得られるデータを出力する。出力部２５は、第２画像処理装置２０に備えられる代わりに、外部の出力機器として第２画像処理装置２０に接続されてもよい。接続用インタフェースとしては、例えば、ＵＳＢ又はBluetooth（登録商標）等の規格に対応したインタフェースを用いることができる。

【0034】

入力部２６は、少なくとも１つの入力用インタフェースを含む。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン、又はマイクロフォンである。入力部２６は、第２画像処理装置２０の動作に用いられるデータを入力する操作を受け付ける。入力部２６は、第２画像処理装置２０に備えられる代わりに、外部の入力機器として第２画像処理装置２０に接続されてもよい。接続用インタフェースとしては、例えば、ＵＳＢ又はBluetooth（登録商標）等の規格に対応したインタフェースを用いることができる。

【0035】

記憶部２７は、１つ以上のメモリを含む。メモリは、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られない。記憶部２７に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部２７は、第２画像処理装置２０の動作に用いられる任意の情報を記憶する。例えば、記憶部２７は、システムプログラム、アプリケーションプログラム、及び組み込みソフトウェア等を記憶してもよい。記憶部２７に記憶された情報は、例えば通信部２１を介してネットワーク４０から取得される情報で更新可能であってもよい。本実施形態において、記憶部２７は、撮像部２２を介して撮像された画像又は動画像及び検知部２４を介して取得された情報を記憶することができる。

【0036】

制御部２８は、１つ以上のプロセッサ、１つ以上のプログラマブル回路、１つ以上の専用回路、又はこれらの組合せを含む。プロセッサは、例えばＣＰＵ若しくはＧＰＵ等の汎用プロセッサ、又は特定の処理に特化した専用プロセッサであるがこれらに限られない。プログラマブル回路は、例えばＦＰＧＡであるがこれに限られない。専用回路は、例えばＡＳＩＣであるがこれに限られない。制御部２８は、第２画像処理装置２０全体の動作を制御する。

【0037】

＜情報処理装置の構成＞
図４に示すように、情報処理装置３０は、通信部３１と、記憶部３２と、制御部３３と、を備える。

【0038】

通信部３１は、ネットワーク４０に接続する１つ以上の通信インタフェースを含む。当該通信インタフェースは、例えば移動体通信規格、有線ＬＡＮ（Local Area Network）規格、又は無線ＬＡＮ規格に対応するが、これらに限られず、任意の通信規格に対応してもよい。本実施形態において、情報処理装置３０は、通信部３１及びネットワーク４０を介して第１画像処理装置１０及び第２画像処理装置２０と通信する。

【0039】

記憶部３２は、１つ以上のメモリを含む。記憶部３２に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部３２は、情報処理装置３０の動作に用いられる任意の情報を記憶する。例えば、記憶部３２は、システムプログラム、アプリケーションプログラム、データベース、及び地図情報等を記憶してもよい。記憶部３２に記憶された情報は、例えば通信部３１を介してネットワーク４０から取得される情報で更新可能であってもよい。

【0040】

制御部３３は、１つ以上のプロセッサ、１つ以上のプログラマブル回路、１つ以上の専用回路、又はこれらの組合せを含む。制御部３３は、情報処理装置３０全体の動作を制御する。

【0041】

＜情報処理装置の動作フロー＞
図５を参照して、本実施形態に係る情報処理装置３０の動作について説明する。図５の動作は、本実施形態に係る投影方法に相当する。図５の動作は、所定の周期で繰り返し実行される。本実施形態では、図５の動作は、後述する作品提出の意思表示が検知される度に、実行される。しかしながら、所定の周期は、これに限られず任意に定め得る。

【0042】

以下の説明において、「課題作品」とは、第１ユーザが、白色の半紙（以下、「第１ユーザ側の半紙」ともいう。）に所定の色の墨汁を付けた筆で文字を書くことで得られる文字の書かれた半紙のことである。所定の色は、本実施形態では黒色であり、したがって、文字の色は、黒色である。しかしながら、文字の色は、これに限られず任意の色が採用可能である。「添削結果」とは、第２ユーザが、第２ユーザ側の白色の半紙（以下、「第２ユーザ側の半紙」ともいう。）に投影された第１ユーザ側の半紙を示す画像の領域のうち、文字の書かれた第１領域の少なくとも一部に重ねて、文字の色とは異なる色の墨汁を付けた筆で改良点を示す線を追記することで得られる半紙のことである。文字の色とは異なる色は、本実施形態では朱色であり、したがって、線の色は、朱色である。しかしながら、線の色は、これに限られず、文字の色とは異なる任意の色が採用可能である。

【0043】

また、以下の説明において、第１ユーザ及び第２ユーザは、それぞれ床に正座するのではなく椅子に座った姿勢で、載置台（例えば、机）に置かれた同じサイズ（例えば、縦３３４ｍｍ×横２４３ｍｍ）の矩形の半紙（例えば、パルプ半紙）に、それぞれ異なる色の墨汁を付けた筆で文字又は線を書くものとする。また、載置台の汚損防止のために、載置台と半紙との間にフェルト製の同じサイズ（例えば、縦３６０ｍｍ×２６０ｍｍ）の矩形の下敷きが敷かれるものとする。しかしながら、半紙及び下敷きの材料及びサイズは、これらの例に限られず任意に選択可能である。

【0044】

ステップＳ１００：情報処理装置３０の制御部３３は、文字の書かれた第１領域を含む第１媒体の第１画像を取得する。

【0045】

具体的には、情報処理装置３０の通信部３１は、ネットワーク４０を介して第１画像処理装置１０の通信部１１から、撮像部１２により撮像された、第１ユーザによる文字の書かれた領域を含む、第１ユーザ側の半紙の画像を受信する。文字の書かれた領域（墨汁で書かれた文字自体）は、本実施形態の第１領域に、第１ユーザ側の半紙は、本実施形態の第１媒体に、当該半紙の画像は、本実施形態の第１画像に相当する。なお、撮像部１２により撮像された半紙の撮像画像には、半紙の周囲（例えば、下敷き又は載置台）の画像も含まれることがあるが、この場合は、受信した撮像画像の画像解析を行うことで、半紙の部分のみの画像を抽出し、これを第１画像（第１ユーザ側の半紙の画像）として記憶することが望ましい。情報処理装置３０の制御部３３は、通信部３１を介して受信された第１ユーザ側の半紙の画像を記憶部３２に記憶しておく。そして、制御部３３は、図５の動作を実行する度に、第１ユーザ側の半紙の画像を記憶部３２から読み出すことで、第１画像を取得する。例えば、制御部３３は、図６に示すような文字の書かれた領域Ｒ１を含む第１ユーザ側の半紙Ｍ１の画像Ｓ１を取得してもよい。領域Ｒ１は、本実施形態の第１領域に、第１ユーザ側の半紙Ｍ１は、本実施形態の第１媒体に、画像Ｓ１は、本実施形態の第１画像に相当する。

【0046】

また、制御部３３は、文字の書かれた第１領域の、第１画像上の位置を算出する。具体的には、制御部３３は、第１画像の各画素につき色の特徴値を算出することで、第１画像に含まれる画素の中から、第１領域に対応する一群の画素（以下、「第１画素群」ともいう。）を抽出する。色の特徴値は、本実施形態ではＲＧＢ色空間におけるＲ値、Ｇ値、Ｂ値（以下、「ＲＧＢ値」ともいう。）であるが、これに限られず任意の値が採用可能である。例えば、色の特徴値は、ＲＧＢ値の代わりに又はそれに加えて、ＨＳＶ色空間における色相Ｈ、彩度Ｓ、明度Ｖであってもよい。第１画素群の抽出には、任意の手法が採用可能である。例えば、第１画素群は、他の領域に対応する画素とは異なる、第１画素群特有のＲＧＢ値を有する。したがって、制御部３３は、第１画像の各画素のＲＧＢ値を比較することで、第１画像に含まれる画素の中から第１画素群を抽出し得る。制御部３３は、抽出された第１画素群に含まれる各画素に対応する第１画像上の二次元座標値を算出し、算出された二次元座標値を各画素と対応付けて、記憶部３２に記憶する。なお、第１画素群の位置を示す情報は、本実施形態では第１画像の二次元座標値として算出されるが、これに限られず任意の情報が採用可能である。

【0047】

本実施形態において、第１ユーザ側の半紙の画像の撮像は、任意のタイミングで実行可能である。例えば、情報処理装置３０の制御部３３は、課題作品を第２ユーザに提出する第１ユーザの意思表示（以下、「作品提出の意思表示」ともいう。）が検知された場合に、第１ユーザ側の半紙の画像を撮像する指示を、第１画像処理装置１０の通信部１１に送信してもよい。第１画像処理装置１０の制御部１８は、通信部１１を介して受信された指示に応じて、第１ユーザ側の半紙の画像の撮像を撮像部２２に実行させてもよい。

【0048】

作品提出の意思表示の検知には、任意の手法が採用可能である。例えば、制御部３３は、所定の条件が満たされた場合に、作品提出の意思表示が検知されたと判定してもよい。所定の条件は、任意に定め得るが、以下に具体例として第１例及び第２例を示す。

【0049】

第１例は、第１ユーザによる作品提出の意思表示が明示的に行われる場合である。この場合、所定の条件は、第１ユーザによる所定の操作が検知されたことであり得る。例えば、所定の操作は、第１ユーザが第１画像処理装置１０の入力部１６に含まれるタッチスクリーンを操作して作品提出を提出するためのボタン等のアイコンをタッチすること、又は第１ユーザが入力部１６に含まれる物理キーを押下することであり得る。所定の操作が検知された場合、第１画像処理装置１０の制御部１８は、通信部１１及びネットワーク４０を介して情報処理装置３０の通信部３１に、第１ユーザによる所定の操作が検知されたことを示す情報を送信してもよい。当該情報が通信部３１により受信された場合、制御部３３は、所定の条件が満たされたと判定し、作品提出の意思表示が検知されたと判定し得る。

【0050】

第２例は、第１ユーザによる作品提出の意思表示が暗黙的に行われる場合である。この場合、所定の条件は、第１ユーザによる所定の挙動が検知されたことであり得る。例えば、所定の挙動は、第１ユーザが所定の位置（例えば、載置台に置かれた硯の上）に筆を置き、筆から手を離したことであり得る。所定の挙動の検知には、任意の手法が採用可能である。例えば、第１画像処理装置１０の撮像部１２は、第１ユーザ及び載置台を被写体として所定のフレームレートで撮像し、当該撮像によって得られた撮像画像の画像データを出力してもよい。第１画像処理装置１０の制御部１８は、通信部１１及びネットワーク４０を介して情報処理装置３０の通信部３１に、当該画像データを送信してもよい。情報処理装置３０の制御部３３は、通信部３１により受信された画像データの画像解析を行うことで、第１ユーザの挙動が所定の挙動に該当するか否かを判定してもよい。画像解析の結果、第１ユーザの挙動が所定の挙動に該当すると判定された場合、制御部３３は、所定の条件が満たされたと判定し、作品提出の意思表示が検知されたと判定し得る。

【0051】

なお、本実施形態において、課題作品の第２ユーザへの提出は、ネットワーク４０を介して、第１画像処理装置１０から情報処理装置３０に課題作品を示す情報が送信され、情報処理装置３０から第２画像処理装置２０に当該情報が転送されることで実行される。しかしながら、課題作品の第２ユーザへの提出は、これに限られず任意の手法が採用可能である。例えば、課題作品を示す情報は、第１画像処理装置１０から情報処理装置３０と第２画像処理装置２０の両方に直接送信されてもよい。

【0052】

ステップＳ１０１：制御部３３は、ステップＳ１００で取得された第１画像を第２媒体の所定の位置に投影する。第２媒体の所定の位置は、本実施形態では第１画像が投影時に第２媒体の輪郭線に収まるような第２媒体上の位置であり、第２媒体の二次元座標値として示される。しかしながら、第２媒体の所定の位置は、これらの例に限られず任意の位置及び値が採用可能である。

【0053】

具体的には、制御部３３は、第２媒体における位置合わせの基準点を設定し、基準点に基づいて第１画像と第２媒体との位置合わせを行い、第２媒体における第１画像の投影を行うことで、第１画像を第２媒体の所定の位置に投影する。第２媒体における位置合わせの基準点は、第２媒体の任意の点が採用可能である。例えば、制御部３３は、基準点として、第２媒体（矩形の半紙）の四隅を設定する。この場合、制御部３３は、通信部３１及びネットワーク４０を介して第２画像処理装置２０から、第２媒体の撮像画像を受信し、受信された撮像画像の画像解析を行うことで、投影面となる第２媒体の四隅を特定し、特定された四隅を基準点として設定し得る。そして、制御部３３は、通信部３１及びネットワーク４０を介して第２画像処理装置２０の通信部２１に、設定された基準点を送信する。第２画像処理装置２０の制御部２８は、投影部２３に第１画像を第２媒体に投影させながら、投影された第１画像の四隅が通信部２１を介して受信された基準点（すなわち、第２媒体の四隅）の枠内に収まるように、第１画像と第２媒体との位置合わせを行う。例えば、第１媒体と第２媒体を同じサイズの半紙とし、第１画像の四隅が第２媒体の四隅と一致するように、必要に応じて第１画像の拡大、縮小、傾き修正等の処理を行って、第１画像を第２媒体上に投影することが望ましい。こうして、図６に示す画像Ｓ１が、投影時に図７に示すような第２ユーザ側の半紙Ｍ２の輪郭線に収まるような半紙Ｍ２上の位置に、位置合わせされる。これにより、第１画像が投影時に第２媒体の輪郭線に収まり、第１画像が第２媒体の所定の位置に投影される。

【0054】

本実施形態において、第１画像で示される文字は、光を持たない黒色であることから、第２媒体に鮮明に投影しづらい。そこで、制御部３３は、第１画像を第２媒体に投影する際に、第２媒体が置かれた載置台（すなわち、載置台の天板）の全体に、第１領域を避けて照明光を照射することが好ましい。第１領域を避けた照明光の照射には、任意の手法が採用可能である。例えば、制御部３３は、第１画素群に含まれる各画素に対応する第１画像上の二次元座標値を、記憶部３２から読み出す。制御部３３は、例えばマスキングにより照明範囲を制限することで、記憶部３２から読み出された二次元座標値で示される位置に投影部２３の光源からの照明光が照射されないように制御する。そして、制御部３３は、上述したように第１画像を第２媒体の所定の位置に投影しながら、第２媒体が置かれた載置台の全体に、照明光を照射する。これにより、第２媒体が置かれた載置台の全体に、第１領域を避けて照明光が照射され得る。その結果、第１画像を第２媒体に投影する際に、第１領域に相当する文字の書かれた領域が他の領域に比べて暗くなる。したがって、第１画像で示される文字を第２媒体に鮮明に投影しやすくなる。なお、照明光は、本実施形態では投影部２３の光源から照射されるが、これに限られない。例えば、照明光は、投影部２３とは別体の外部光源から照射されてもよい。ここで、第２ユーザ側の載置台の全体ではなく載置台に置かれた第２媒体にだけ光を照射すると、第２媒体上の第１領域に相当する部分と他の部分とのコントラスト比が不足し、第２媒体上の第１領域が黒色よりも明るい色（例えば、ライトグレー）に見え、第１媒体の再現性が低下し得る。このため、照明光は、第２媒体が置かれた載置台の全体に照射することが好ましい。

【0055】

また、載置台は、第１画像を投影する投影光及び照明光以外の光から、遮光されていることがより好ましい。載置台の遮光には、任意の手法が採用可能である。例えば、載置台が矩形状の机である場合、載置台を遮光性パネル（例えば、不透明のアクリルボード）でコの字状に囲う、すなわち第２ユーザが着席している側を除く３辺を囲うことで、載置台を遮光してもよい。第１画像を投影する投影光及び照明光以外の光から、載置台を遮光することで、載置台の第１領域に相当する部分と残りの部分とのコントラスト比を高めやすくなる。その結果、第１画像で示される文字を第２媒体に更に鮮明に投影しやすくなる。

【0056】

ステップＳ１０２：制御部３３は、投影された第１画像で示される文字とは異なる色の線の書かれた第２領域を含む第２媒体の第２画像を取得する。

【0057】

具体的には、情報処理装置３０の通信部３１は、ネットワーク４０を介して第２画像処理装置２０の通信部２１から、撮像部２２により撮像された、第２ユーザ側の半紙の１組の画像を受信する。１組の画像は、第１画像が投影された第２ユーザ側の半紙を撮像した画像（以下、「文字の画像」ともいう。）と、第２ユーザ側の半紙に第１画像が投影された状態で、第２ユーザによる線の書かれた第２ユーザ側の半紙を撮像した画像（以下、「添削結果の画像」ともいう。）と、第１画像の投影を中断する等して第２ユーザ側の半紙に第１画像が投影されない状態で、第２ユーザによる線の書かれた第２ユーザ側の半紙を撮像した画像（以下、「線の画像」ともいう。）とを含む。線の書かれた領域は、本実施形態の第２領域に、第２ユーザ側の半紙は、本実施形態の第２媒体に、１組の画像は、本実施形態の第２画像に相当する。なお、撮像部２２により撮像された半紙の撮像画像には、半紙の周囲（例えば、下敷き又は載置台）の画像も含まれることがあるが、この場合は、受信した撮像画像の画像解析を行うことで、半紙の部分のみの画像を抽出し、これを第２画像（文字の画像、添削結果の画像、及び線の画像を含む１組の画像）として記憶することが望ましい。情報処理装置３０の制御部３３は、通信部３１を介して受信された１組の画像を紐付けて、記憶部３２に記憶しておく。そして、制御部３３は、図５の動作を実行する度に、１組の画像を記憶部３２から読み出すことで、第２画像を取得する。

【0058】

例えば、制御部３３は、図７に示すような文字の書かれた領域Ｒ１、線の書かれた領域Ｒ２、及び領域Ｒ１と領域Ｒ２とが重複する重複領域Ｒ３を含む第２ユーザ側の半紙Ｍ２の画像Ｓ２（添削結果の画像に相当）と、領域Ｒ１のみを含む半紙Ｍ２の画像（文字の画像に相当）と、領域Ｒ２のみを含む半紙Ｍ２の画像（線の画像に相当）との３種類の画像を、１組の画像として取得してもよい。領域Ｒ２（朱線自体）は、本実施形態の第２領域に、第２ユーザ側の半紙Ｍ２は、本実施形態の第２媒体に、３種類の画像は、本実施形態の１組の画像からなる第２画像に相当する。なお、図７では、図面の理解を容易にするために、領域Ｒ１を白抜きの実線、領域Ｒ２を白抜きの破線で示し、網掛け部分が重複領域Ｒ３に相当する。

【0059】

本実施形態において、第２ユーザ側の半紙の１組の画像の撮像は、任意のタイミングで実行可能である。例えば、「文字の画像」について、情報処理装置３０の制御部３３は、第２ユーザ側の半紙に第１画像を投影させた状態で当該半紙を撮像する指示を、第２画像処理装置２０の通信部２１に送信してもよい。第２画像処理装置２０の制御部２８は、通信部２１を介して受信された指示に応じて、投影部２３による第２ユーザ側の半紙への第１画像の投影を継続させながら、当該半紙の画像の撮像を撮像部２２に実行させてもよい。これにより、「文字の画像」が撮像され得る。

【0060】

また、「添削結果の画像」及び「線の画像」について、制御部３３は、添削結果を第１ユーザに通知する第２ユーザの意思表示（以下、「結果通知の意思表示」ともいう。）が検された場合に、第２ユーザ側の半紙の画像を撮像する指示を、第２画像処理装置２０の通信部２１に送信してもよい。第２画像処理装置２０の制御部２８は、通信部２１を介して受信された指示に応じて、投影部２３による第２ユーザ側の半紙への第１画像の投影を継続又は中断させながら、当該半紙の画像の撮像を撮像部２２に実行させてもよい。これにより、「添削結果の画像」及び「線の画像」が撮像され得る。

【0061】

結果通知の意思表示の検知には、任意の手法が採用可能である。例えば、制御部３３は、所定の条件が満たされた場合に、結果通知の意思表示が検知されたと判定してもよい。所定の条件は、任意に定め得るが、以下に具体例として第３例及び第４例を示す。

【0062】

第３例は、第２ユーザによる結果通知の意思表示が明示的に行われる場合である。この場合、所定の条件は、第２ユーザによる所定の操作が検知されたことであり得る。例えば、所定の操作は、第２ユーザが第２画像処理装置２０の入力部２６に含まれるタッチスクリーンを操作して添削結果を通知するためのボタン等のアイコンをタッチすること、又は第２ユーザが入力部２６に含まれる物理キーを押下することであり得る。所定の操作が検知された場合、第２画像処理装置２０の制御部２８は、通信部２１及びネットワーク４０を介して情報処理装置３０の通信部３１に、第２ユーザによる所定の操作が検知されたことを示す情報を送信してもよい。当該情報が通信部３１により受信された場合、制御部３３は、所定の条件が満たされたと判定し、結果通知の意思表示が検知されたと判定し得る。

【0063】

第４例は、第２ユーザによる結果通知の意思表示が暗黙的に行われる場合である。この場合、所定の条件は、第２ユーザによる所定の挙動が検知されたことであり得る。例えば、所定の挙動は、第２ユーザが所定の位置（例えば、載置台に置かれた硯の上）に筆を置き、筆から手を離したことであり得る。所定の挙動の検知には、任意の手法が採用可能である。例えば、第２画像処理装置２０の撮像部２２は、第２ユーザ及び載置台を被写体として所定のフレームレートで撮像し、当該撮像によって得られた撮像画像の画像データを出力してもよい。第２画像処理装置２０の制御部２８は、通信部２１及びネットワーク４０を介して情報処理装置３０の通信部３１に、当該画像データを送信してもよい。情報処理装置３０の制御部３３は、通信部３１により受信された画像データの画像解析を行うことで、第２ユーザの挙動が所定の挙動に該当するか否かを判定してもよい。画像解析の結果、第２ユーザの挙動が所定の挙動に該当すると判定された場合、制御部３３は、所定の条件が満たされたと判定し、結果通知の意思表示が検知されたと判定し得る。

【0064】

なお、本実施形態において、添削結果の第１ユーザへの通知は、ネットワーク４０を介して、第２画像処理装置２０から情報処理装置３０に添削結果を示す情報が送信され、情報処理装置３０から第１画像処理装置１０に当該情報が転送されることで実行される。しかしながら、添削結果の第１ユーザへの通知は、これに限られず任意の手法が採用可能である。例えば、添削結果を示す情報は、第２画像処理装置２０から情報処理装置３０と第１画像処理装置１０の両方に直接送信されてもよい。

【0065】

ステップＳ１０３：制御部３３は、ステップＳ１０２で取得された第２画像上の重複領域があるか否かを判定する。「重複領域」とは、第１領域と第２領域とが重複する領域のことである。重複領域があると判定された場合（ステップＳ１０３－Ｙｅｓ）、プロセスは、ステップＳ１０４に進む。重複領域がないと判定された場合、（ステップＳ１０３－Ｎｏ）、プロセスは、ステップＳ１０６に進む。

【0066】

具体的には、制御部３３は、ステップＳ１０２で取得された１組の画像（「文字の画像」、「添削結果の画像」、及び「線の画像」を含む。）からなる第２画像に対して以下の画像解析を行うことで、第１領域及び第２領域それぞれの、第２画像上の位置を算出する。

【0067】

制御部３３は、「文字の画像」に含まれる画素の中から、第１領域に対応する一群の画素（以下、「第２画素群」ともいう。）を抽出する。第２画素群の抽出には、任意の手法が採用可能である。例えば、第２画素群は、第１画像について上述した第１画素群と同様、他の領域に対応する画素とは異なる、第２画素群特有のＲＧＢ値を有する。したがって、制御部３３は、文字の画像の各画素のＲＧＢ値を比較することで、文字の画像に含まれる画素の中から第２画素群を抽出し得る。制御部３３は、抽出された第２画素群に含まれる各画素に対応する文字の画像上の二次元座標値を算出し、算出された二次元座標値を各画素と対応付けて、記憶部３２に記憶する。なお、第２画素群の位置を示す情報は、本実施形態では文字の画像の二次元座標値として算出されるが、これに限られず任意の情報が採用可能である。

【0068】

また、制御部３３は、「線の画像」に含まれる画素の中から、第２領域に対応する一群の画素（以下、「第３画素群」ともいう。）を抽出する。第３画素群の抽出には、任意の手法が採用可能である。例えば、第３画素群は、上述した第１画素群と同様、他の領域に対応する画素とは異なる、第３画素群特有のＲＧＢ値を有する。したがって、制御部３３は、線の画像の各画素のＲＧＢ値を比較することで、線の画像に含まれる画素の中から第３画素群を抽出し得る。制御部３３は、抽出された第３画素群に含まれる各画素に対応する線の画像上の二次元座標値を算出し、算出された二次元座標値を各画素と対応付けて、記憶部３２に記憶する。なお、第３画素群の位置を示す情報は、本実施形態では線の画像の二次元座標値として算出されるが、これに限られず任意の情報が採用可能である。

【0069】

そして、制御部３３は、このように算出された第２画素群及び第３画素群それぞれの二次元座標値を比較することで、「添削結果の画像」上の重複領域があるか否かを判定する。本実施形態において、文字の画像上の二次元座標値、線の画像上の二次元座標値、及び添削結果の画像上の二次元座標値で示される位置は、互いに等しい。したがって、比較の結果、二次元座標値の等しい少なくとも１つの画素が特定された場合、制御部３３は、第２画像上の重複領域があると判定することができる。制御部３３は、特定された少なくとも１つの画素からなる画素群（以下、「第４画素群」ともいう。）に含まれる各画素に対応する添削結果の画像上の二次元座標値を算出し、算出された二次元座標値を各画素と対応付けて、記憶部３２に記憶する。第４画素群は、本実施形態の重複領域に相当する。図７に示す例では、制御部３３は、領域Ｒ１と領域Ｒ２とが重複する重複領域Ｒ３（網掛け部分）を重複領域として特定し、第２画像上の重複領域があると判定し得る。なお、第４画素群の位置を示す情報は、本実施形態では添削結果の画像の二次元座標値として算出されるが、これに限られず任意の情報が採用可能である。

【0070】

ステップＳ１０４：重複領域があると判定された場合（ステップＳ１０３－Ｙｅｓ）、制御部３３は、重複領域の色データを補正する。

【0071】

具体的には、制御部３３は、ステップＳ１０３で特定された重複領域の色に対応するＲＧＢ値を、第２画像上の第１領域と第２領域とが重複しない領域における線の色に対応するＲＧＢ値に基づいて補正する。図７に示す例では、制御部３３は、重複領域Ｒ３の色に対応するＲＧＢ値を、画像Ｓ２上の領域Ｒ１と領域Ｒ２とが重複しない領域における線の色に対応するＲＧＢ値に基づいて補正し得る。第２画像（ここでは、「添削結果の画像」）の重複領域Ｒ３の色に対応するＲＧＢ値が補正された画像を、「補正された第２画像」という。

【0072】

ＲＧＢ値の補正には、任意の手法が採用可能である。例えば、制御部３３は、第３画素群の画素のうち、第４画素群に含まれない１つの画素を選択する。当該１つの画素は、黒ずみの影響を受けていない第３画素群の画素であり、第３画素群の本来の色に対応するＲＧＢ値を保持する。制御部３３は、選択された１つの画素に対応するＲＧＢ値を記憶部３２から読み出す。制御部３３は、第４画素群の各画素の色に対応するＲＧＢ値を算出する。制御部３３は、選択された１つの画素に対応するＲＧＢ値と、算出された第４画素群の各画素の色に対応するＲＧＢ値との差分を算出する。制御部３３は、算出された差分に基づいて、第４画素群の各画素の色に対応するＲＧＢ値を、選択された１つの画素に対応するＲＧＢ値に所定の割合だけ近づくように補正し得る。所定の割合は、画素ごとに任意に定め得る。例えば、所定の割合を小さくするほど（すなわち、０％に近付けるほど）、差分が保持され、重複領域の外観を維持しやすくなる。一方、所定の割合を大きくするほど（すなわち、１００％に近付けるほど）、差分が小さくなり、重複領域における第３画素群が本来の色に近付き、改良点の視認性を高めやすくなる。したがって、所定の割合は、添削結果の外観を維持する程度と改良点の視認性とのバランスを考慮して設定し得る。

【0073】

また、制御部３３は、重複領域の色に対応するＲＧＢ値を、第２画像上の第１領域と第２領域とが重複しない領域における線の色に対応するＲＧＢ値に加えて、第１領域の文字の色に対応するＲＧＢ値に基づいて補正してもよい。具体的には、制御部３３は、所定の値として、第１領域の文字の色に対応するＲＧＢ値に応じて、Ｒ値、Ｇ値、及びＢ値の一部又は全部を所定の割合だけ増加させる増分率を設定してもよい。例えば、本実施形態のように第１領域の文字の色が黒色である場合、第４画素群に対応する各画素の色に対応するＲ値、Ｇ値、及びＢ値の全てが低下する。この場合、制御部３３は、所定の値として、Ｒ値、Ｇ値、及びＢ値の全てを所定の割合だけ増加させる増分率（例えば、＋１０％）を設定し得る。増分率は、第１領域の文字の色に対応するＲＧＢ値に応じて、Ｒ値、Ｇ値、Ｂ値のそれぞれにつき個別に設定可能である。

【0074】

また、本実施形態では、所定の値は、第１画像処理装置１０側での添削結果の投影時に生じる黒ずみの影響を考慮して設定される。これにより、第２画像処理装置２０側での添削結果の撮像時に１回、第１画像処理装置１０側での添削結果の投影時に１回の合計２回生じる黒ずみの影響を、所望の程度緩和することができる。したがって、第１ユーザ側での改良点の視認性及び添削結果の再現性が向上し、習字のｅラーニングの学習効果を更に高めやすくなる。しかしながら、重複領域の色データの補正には、これらの例に限られず任意の手法が採用可能である。

【0075】

ステップＳ１０５：制御部３３は、補正された第２画像を第１媒体に文字の位置が一致するように投影する。

【0076】

具体的には、制御部３３は、補正された第２画像に含まれる第２画素群（第１領域に対応）の輪郭線が投影時に第１媒体に書かれた文字（墨汁で書かれた文字自体）の輪郭線と一致するような第１媒体上の位置を特定する。かかる第１媒体上の位置は、本実施形態では第１媒体の二次元座標値として示されるが、これに限らず任意の値が採用可能である。かかる第１媒体上の位置の特定には、任意の手法が採用可能である。例えば、制御部３３は、第１画像を記憶部３２から読み出し、第１媒体に占める、第１媒体に書かれた文字の面積を算出する。制御部３３は、第２画像を記憶部３２から読み出し、第２画像に占める、第２画素群の面積を算出する。制御部３３は、第２画素群の面積が、投影面である第１媒体に書かれた文字の面積と一致するまで、縦横比を維持しながら、第２画像を拡大又は縮小する。制御部３３は、このときの拡大又は縮小倍率を、投影倍率として算出する。この際、制御部３３は、必要に応じて傾き修正等の他の処理で使用される値（以下、「他の調整値」ともいう。）も算出する。制御部３３は、通信部３１及びネットワーク４０を介して第１画像処理装置１０の通信部１１に、算出された投影倍率及び／又は他の調整値を送信する。第１画像処理装置１０の制御部１８は、通信部１１を介して受信された投影倍率及び／又は他の調整値に従って、投影部１３に第２画像を第１媒体に投影させる。そして、制御部１８は、第２画像に含まれる第２画素群の輪郭線が、第１媒体に書かれた文字の輪郭線とずれなく重なるように位置合わせする。例えば、色データが補正された図７に示す画像Ｓ２の輪郭線が、図６に示す第１ユーザ側の半紙Ｍ１に書かれた文字に対応する領域Ｒ１の輪郭線とずれなく重なるように位置合わせされる。これにより、補正された第２画像が、第１媒体に文字の位置が一致するように投影される。しかしながら、第１媒体における第２画像の投影には、これらの例に限られず任意の手法が採用可能である。

【0077】

ステップＳ１０６：重複領域がないと判定された場合（ステップＳ１０３－Ｎｏ）、制御部３３は、第２画像の色データを補正せずに、第２画像を第１媒体に文字の位置が一致するように投影する。第２画像の投影手法は、色データの補正を行わない点を除けばステップＳ１０５で上述したのと同様であるので、説明を省略する。

【0078】

以上述べたように、本実施形態に係る情報処理装置３０は、文字の書かれた第１領域を含む第１媒体の第１画像を取得する。情報処理装置３０は、第１画像を第２媒体の所定の位置に投影する。情報処理装置３０は、投影された第１画像で示される文字とは異なる色の線の書かれた第２領域を含む第２媒体の第２画像を取得する。情報処理装置３０は、第２画像上の第１領域と第２領域とが重複する重複領域の色データを補正する。情報処理装置３０は、補正された第２画像を第１媒体に文字の位置が一致するように投影する。

【0079】

かかる構成によれば、重複領域の色データが補正された第２画像が、第１媒体に文字の位置が一致するように投影される。このため、例えば第２画像上の重複領域で黒ずみが生じた場合でも、当該黒ずみが所定の割合だけ解消されるように色データを補正した第２画像を第１媒体に投影することができる。したがって、第１ユーザ側での改良点の視認性及び添削結果の再現性が向上し、習字のｅラーニングの学習効果を高めやすくなる点で、画像投影に関する技術が改善される。

【0080】

本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び改変を行ってもよいことに注意されたい。したがって、これらの変形及び改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

【0081】

例えば、上述した実施形態において、情報処理装置３０の構成及び動作を、互いに通信可能な複数のコンピュータに分散させた実施形態も可能である。また例えば、情報処理装置３０の一部又は全部の構成要素を第１画像処理装置１０及び第２画像処理装置２０に設けた実施形態も可能である。

【0082】

また例えば、上述の実施形態において、第１ユーザ側で課題作品が完成した後に第１画像（静止画）が撮像され、第１画像が第２ユーザ側で投影され、第２ユーザ側で第１画像が投影された後及び添削結果が完成した後に第２画像（静止画）が撮像され、補正された第２画像が第１ユーザ側で投影される。これに対して、本実施形態の第１変形例では、第１ユーザと第２ユーザとの間で、経時的に変化する互いの半紙の状態（例えば、外観）を示す動画像データをリアルタイムに送受信し、互いの半紙にリアルタイムに投影してもよい。第１変形例では、第１ユーザと第２ユーザとの間で互いの半紙の動画像データが送受信され、互いの半紙に動画像がリアルタイムに投影される。

【0083】

具体的には、第１変形例において、第１画像は、所定のフレーム数の第１画像であり、第２画像は、所定のフレーム数の第２画像である。第１変形例において、情報処理装置３０は、第１領域を含む第１媒体の第１画像を、所定のフレーム数だけ取得する。情報処理装置３０は、所定のフレーム数の第１画像を第２媒体の所定の位置に投影する。情報処理装置３０は、第２領域を含む第２媒体の第２画像を、所定のフレーム数だけ取得する。情報処理装置３０は、第２画像上の第１領域と第２領域とが重複する重複領域の色データを補正する。情報処理装置３０は、補正された第２画像を第１媒体に文字の位置が一致するように投影する。

【0084】

所定のフレーム数の第１画像は、第１画像処理装置１０の撮像部１２によって第１期間、所定のフレームレートで撮像される第１画像（第１映像）であってもよい。例えば、第１期間は、第１画像処理装置１０側の開始イベント（例えば、第１ユーザが入力部１６に含まれるボタン等のアイコン若しくは物理キーを押下したこと又は硯上の筆を手に取ったこと）が検知された時点から終了イベント（例えば、作品提出の意思表示）が検知される時点までの期間であってもよい。開始イベント及び終了イベントの検知は、上述した第１例及び第２例の場合と同様に実行可能である。或いは、第１期間は、授業の開始時刻から終了時刻までの期間であってもよい。第１画像処理装置１０の制御部１８は、情報処理装置３０を介して第２画像処理装置２０に、又は情報処理装置３０と第２画像処理装置２０の両方に直接、所定のフレーム数の第１画像をリアルタイムに送信してもよい。第２画像処理装置２０側では、受信された所定のフレーム数の第１画像を動画像として第２媒体に投影することで、経時的に変化する第１ユーザ側の半紙の状態をリアルタイムに表示し得る。

【0085】

所定のフレーム数の第２画像は、第２画像処理装置２０の撮像部２２によって第２期間、所定のフレームレートで撮像される第２画像（第２映像）であってもよい。例えば、第２期間は、第２画像処理装置２０側で「文字の画像」が撮像された時点から、その後、第２画像処理装置２０側の開始イベント（例えば、第２ユーザが入力部２６に含まれるボタン等のアイコン若しくは物理キーを押下したこと又は硯上の筆を手に取ったこと）が検知され、終了イベント（例えば、結果通知の意思表示）が検知される時点までの期間であってもよい。開始イベント及び終了イベントの検知は、上述した第３例及び第４例の場合と同様に実行可能である。或いは、第２期間は、授業の開始時刻から終了時刻までの期間であってもよい。第２画像処理装置２０の制御部２８は、情報処理装置３０を介して第１画像処理装置１０に、又は情報処理装置３０と第１画像処理装置１０の両方に直接、所定のフレーム数の第２画像をリアルタイムに送信してもよい。第１画像処理装置１０側では、受信された所定のフレーム数の第２画像を動画像として第１媒体に投影することで、経時的に変化する第２ユーザ側の半紙の状態をリアルタイムに表示し得る。

【0086】

第１変形例によれば、第１ユーザ及び第２ユーザは、互いの作業結果だけでなく作業プロセス（例えば、書き順又は筆の運び方等）も確認しあうことが可能となる。その結果、習字のｅラーニングにおいて対面授業と同等の臨場感を創出しやすくなる。

【0087】

また例えば、本実施形態の第２変形例では、第１変形例に加えて、第１ユーザ及び第２ユーザを各々正面から撮像した、所定のフレーム数の画像データも取得し、第１画像処理装置１０と第２画像処理装置２０との間で、情報処理装置３０を介して間接的に又は直接、リアルタイムに送受信してもよい。第１画像処理装置１０及び第２画像処理装置２０は、それぞれ第１ユーザと第２ユーザの各々の正面に位置する液晶ディスプレイ等のパネルに、互いの姿をリアルタイムに表示させてもよい。

【0088】

具体的には、第２変形例において、情報処理装置３０の制御部３３は、第１媒体に文字を書く第１ユーザ及び第２媒体に線を書く第２ユーザを各々正面から撮像した、所定のフレーム数の第３画像及び所定のフレーム数の第４画像を更に取得し、所定のフレーム数の第３画像及び所定のフレーム数の第４画像に基づいて、第１ユーザ及び第２ユーザの各々の正面に配置されたパネル（例えば、液晶ディスプレイ等の表示装置）に、互いの姿をリアルタイムに表示させる。例えば、第１ユーザ及び第２ユーザの撮像は、各々の正面に配置されたパネルに設置されたカメラ等、外部の撮像装置を介して行われてもよい。

【0089】

所定のフレーム数の第３画像は、第１画像処理装置１０の撮像部１２によって第３期間、所定のフレームレートで撮像される第３画像（第３映像）であってもよい。例えば、第３期間は、上記第１期間と同じであってもよいが、異なってもよい。例えば、第１期間が第１画像処理装置１０側の開始イベントが検知された時点から終了イベントが検知される時点までの期間である場合、第３期間は、授業の開始時刻から終了時刻までの期間であってもよい。第１画像処理装置１０の制御部１８は、情報処理装置３０を介して第２画像処理装置２０に、又は情報処理装置３０と第２画像処理装置２０の両方に直接、所定のフレーム数の第３画像をリアルタイムに送信してもよい。第２画像処理装置２０側では、受信された所定のフレーム数の第３画像を動画像として第２ユーザの正面に配置されたパネルに表示させることで、経時的に変化する第１ユーザの様子をリアルタイムに表示し得る。

【0090】

所定のフレーム数の第４画像は、第２画像処理装置２０の撮像部２２によって第４期間、所定のフレームレートで撮像される第４画像（第４映像）であってもよい。例えば、第４期間は、上記第２期間と同じであってもよいが、異なってもよい。例えば、第２期間が第２画像処理装置２０側で「文字の画像」が撮像された時点から開始イベント及び終了イベントが検知される時点までの期間である場合、第４期間は、授業の開始時刻から終了時刻までの期間であってもよい。第２画像処理装置２０の制御部２８は、情報処理装置３０を介して第１画像処理装置１０に、又は情報処理装置３０と第１画像処理装置１０の両方に直接、所定のフレーム数の第４画像をリアルタイムに送信してもよい。第１画像処理装置１０側では、受信された所定のフレーム数の第４画像を動画像として第１ユーザの正面に配置されたパネルに表示させることで、経時的に変化する第２ユーザの様子をリアルタイムに表示し得る。

【0091】

第２変形例によれば、第１ユーザ及び第２ユーザは、互いの表情又は姿勢等の追加的な情報も確認しあうことが可能となる。その結果、習字のｅラーニングにおいて対面授業と同等の臨場感を更に創出しやすくなる。

【0092】

また、例えば汎用のコンピュータを、上述した実施形態に係る情報処理装置３０として機能させる実施形態も可能である。具体的には、上述した実施形態に係る情報処理装置３０の各機能を実現する処理内容を記述したプログラムを、汎用のコンピュータのメモリに格納し、プロセッサによって当該プログラムを読み出して実行させる。したがって、本開示は、プロセッサが実行可能なプログラム、又は当該プログラムを記憶する非一時的なコンピュータ可読媒体としても実現可能である。

【0093】

以下に本開示の実施形態の一部について例示する。しかしながら、本開示の実施形態はこれらに限定されない点に留意されたい。
［付記１］
制御部を備える情報処理装置であって、
前記制御部は、
文字の書かれた第１領域を含む第１媒体の第１画像を取得し、
前記第１画像を第２媒体の所定の位置に投影し、
投影された前記第１画像で示される前記文字とは異なる色の線の書かれた第２領域を含む前記第２媒体の第２画像を取得し、
前記第２画像上の前記第１領域と前記第２領域とが重複する重複領域の色データを補正し、
補正された前記第２画像を前記第１媒体に前記文字の位置が一致するように投影する、情報処理装置。
［付記２］
付記１に記載の情報処理装置であって、
前記文字の色は、黒色であり、
前記制御部は、前記第１画像を前記第２媒体に投影する際に、前記第２媒体が置かれた載置台の全体に、前記第１領域を避けて照明光を照射する、情報処理装置。
［付記３］
付記２に記載の情報処理装置であって、
前記載置台は、前記第１画像を投影する投影光及び前記照明光以外の光から、遮光されている、情報処理装置。
［付記４］
付記１から３の何れか一項に記載の情報処理装置であって、
前記色データは、前記重複領域の色に対応するＲＧＢ値である、情報処理装置。
［付記５］
付記４に記載の情報処理装置であって、
前記制御部は、前記重複領域の色に対応するＲＧＢ値を、前記第２画像上の前記第１領域と前記第２領域とが重複しない領域における前記線の色に対応するＲＧＢ値に基づいて補正する、情報処理装置。
［付記６］
付記１から５のいずれか一項に記載の情報処理装置であって、
前記第１画像は、所定のフレーム数の第１画像であり、前記第２画像は、所定のフレーム数の第２画像である、情報処理装置。
［付記７］
付記６に記載の情報処理装置であって、
前記制御部は、前記第１媒体に前記文字を書く第１ユーザ及び前記第２媒体に前記線を書く第２ユーザを各々正面から撮像した、所定のフレーム数の第３画像及び所定のフレーム数の第４画像を更に取得し、前記所定のフレーム数の第３画像及び前記所定のフレーム数の第４画像に基づいて、前記第１ユーザ及び前記第２ユーザの各々の正面に配置されたパネルに、互いの姿をリアルタイムに表示させる、情報処理装置。
［付記８］
情報処理装置が実行する投影方法であって、
文字の書かれた第１領域を含む第１媒体の第１画像を取得すること、
前記第１画像を第２媒体の所定の位置に投影すること、
投影された前記第１画像で示される前記文字とは異なる色の線の書かれた第２領域を含む前記第２媒体の第２画像を取得すること、
前記第２画像上の前記第１領域と前記第２領域とが重複する重複領域の色データを補正すること、及び
補正された前記第２画像を前記第１媒体に前記文字の位置が一致するように投影すること
を含む、投影方法。
［付記９］
付記８に記載の投影方法であって、
前記文字の色は、黒色であり、
前記第１画像を前記第２媒体に投影する際に、前記第２媒体が置かれた載置台の全体に、前記第１領域を避けて照明光を照射すること
を更に含む、投影方法。
［付記１０］
付記９に記載の投影方法であって、
前記載置台は、前記第１画像を投影する投影光及び前記照明光以外の光から、遮光されている、投影方法。
［付記１１］
付記８から１０の何れか一項に記載の投影方法であって、
前記色データは、前記重複領域の色に対応するＲＧＢ値である、投影方法。
［付記１２］
付記１１に記載の投影方法であって、
前記重複領域の色に対応するＲＧＢ値を、前記第２画像上の前記第１領域と前記第２領域とが重複しない領域における前記線の色に対応するＲＧＢ値に基づいて補正すること
を更に含む、投影方法。
［付記１３］
付記８から１２のいずれか一項に記載の投影方法であって、
前記第１画像は、所定のフレーム数の第１画像であり、前記第２画像は、所定のフレーム数の第２画像である、投影方法。
［付記１４］
付記１３に記載の投影方法であって、
前記第１媒体に前記文字を書く第１ユーザ及び前記第２媒体に前記線を書く第２ユーザを各々正面から撮像した、所定のフレーム数の第３画像及び所定のフレーム数の第４画像を更に取得し、前記所定のフレーム数の第３画像及び前記所定のフレーム数の第４画像に基づいて、前記第１ユーザ及び前記第２ユーザの各々の正面に配置されたパネルに、互いの姿をリアルタイムに表示させること
を更に含む、投影方法。
［付記１５］
情報処理装置に、
文字の書かれた第１領域を含む第１媒体の第１画像を取得すること、
前記第１画像を第２媒体の所定の位置に投影すること、
投影された前記第１画像で示される前記文字とは異なる色の線の書かれた第２領域を含む前記第２媒体の第２画像を取得すること、
前記第２画像上の前記第１領域と前記第２領域とが重複する重複領域の色データを補正すること、及び
補正された前記第２画像を前記第１媒体に前記文字の位置が一致するように投影すること
を実行させる、プログラム。
［付記１６］
付記１５に記載のプログラムであって、
前記文字の色は、黒色であり、
前記第１画像を前記第２媒体に投影する際に、前記第２媒体が置かれた載置台の全体に、前記第１領域を避けて照明光を照射すること
を前記情報処理装置に更に実行させる、プログラム。
［付記１７］
付記１６に記載のプログラムであって、
前記載置台は、前記第１画像を投影する投影光及び前記照明光以外の光から、遮光されている、プログラム。
［付記１８］
付記１５から１７の何れか一項に記載のプログラムであって、
前記色データは、前記重複領域の色に対応するＲＧＢ値である、プログラム。
［付記１９］
付記１８に記載のプログラムであって、
前記重複領域の色に対応するＲＧＢ値を、前記第２画像上の前記第１領域と前記第２領域とが重複しない領域における前記線の色に対応するＲＧＢ値に基づいて補正すること
を前記情報処理装置に更に実行させる、プログラム。
［付記２０］
付記１５から１９のいずれか一項に記載のプログラムであって、
前記第１画像は、所定のフレーム数の第１画像であり、前記第２画像は、所定のフレーム数の第２画像である、プログラム。

【符号の説明】

【0094】

１ システム
１０ 第１画像処理装置
１１ 通信部
１２ 撮像部
１３ 投影部
１４ 検知部
１５ 出力部
１６ 入力部
１７ 記憶部
１８ 制御部
２０ 第２画像処理装置
２１ 通信部
２２ 撮像部
２３ 投影部
２４ 検知部
２５ 出力部
２６ 入力部
２７ 記憶部
２８ 制御部
３０ 情報処理装置
３１ 通信部
３２ 記憶部
３３ 制御部
４０ ネットワーク
Ｍ１ 第１ユーザ側の半紙
Ｍ２ 第２ユーザ側の半紙
Ｒ１ 文字の書かれた領域
Ｒ２ 線の書かれた領域
Ｒ３ 重複領域
Ｓ１ 第１ユーザ側の半紙の画像
Ｓ２ 第２ユーザ側の半紙の画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】