(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023111716
(43)【公開日】2023-08-10
(54)【発明の名称】情報処理プログラム及び情報処理方法
(51)【国際特許分類】
G06T 19/00 20110101AFI20230803BHJP
G06F 3/04842 20220101ALI20230803BHJP
【FI】
G06T19/00 A
G06F3/0484 120
【審査請求】未請求
【請求項の数】4
【出願形態】OL
(21)【出願番号】P 2022013707
(22)【出願日】2022-01-31
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り (1)令和3年7月23日~令和3年9月14日 https://vronline.jp/touken/ (2)令和3年9月24日~令和3年9月30日 https://vronline.jp/touken/
(71)【出願人】
【識別番号】000003193
【氏名又は名称】凸版印刷株式会社
(74)【代理人】
【識別番号】100105854
【弁理士】
【氏名又は名称】廣瀬 一
(74)【代理人】
【識別番号】100116012
【弁理士】
【氏名又は名称】宮坂 徹
(72)【発明者】
【氏名】宮▲崎▼ 遥
【テーマコード(参考)】
5B050
5E555
【Fターム(参考)】
5B050AA03
5B050BA06
5B050BA09
5B050BA18
5B050BA20
5B050CA07
5B050CA08
5B050EA19
5B050EA26
5B050FA02
5B050FA05
5B050FA10
5B050FA13
5E555AA26
5E555BA04
5E555BB04
5E555BC17
5E555CA13
5E555CB16
5E555DB41
5E555DB54
5E555DD07
5E555FA00
(57)【要約】
【課題】本発明は、情報処理プログラム及び情報処理方法に関し、刀剣などの美術品の2次元モデルを仮想3次元空間内に配置し、鑑賞ポイントの解説を順次受けながら鑑賞できる。
【解決手段】仮想3次元空間60内に2次元モデルである仮想美術品モデル(仮想刀剣モデル61)を配置するモデル配置部201と、カメラ配置部202と、光源配置部203と、画像生成部204と、画像表示部205と、カメラ移動制御部206と、光源移動制御部207と、鑑賞モードとナビゲーションモードとを選択可能なモード選択部200と、撮影画像と、鑑賞ポイントの用語名及び鑑賞ポイントの解説文とを画面70に表示し、操作部35に対する進行操作に基づき、ナビゲーションを進行するナビゲーション制御部210としてコンピュータを機能させる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
操作部による入力を受け付け可能な情報処理装置のコンピュータに実行させる情報処理プログラムであって、
仮想3次元空間内に2次元モデルである仮想美術品モデルを配置するモデル配置部と、
前記仮想美術品モデルを撮影する仮想カメラを前記仮想3次元空間内に配置するカメラ配置部と、
前記仮想美術品モデルに光を照射する仮想光源を前記仮想3次元空間内に配置する仮想光源配置部と、
前記仮想カメラで前記仮想3次元空間内を撮影することにより撮影画像を生成する画像生成部と、
前記撮影画像を画面に表示する画像表示部と、
前記操作部に対するカメラ移動操作に基づき、前記仮想3次元空間内において前記仮想カメラを移動するカメラ移動制御部と、
前記操作部に対する光源移動操作に基づき、前記仮想3次元空間内において前記仮想光源を移動する光源移動制御部と、
前記カメラ移動操作及び前記光源移動操作の少なくとも一方に基づき、前記仮想カメラ及び前記仮想光源の少なくとも一方を移動しながら、前記画面に表示された前記仮想美術品モデルを自由に鑑賞する鑑賞モードと、前記仮想美術品モデルの鑑賞ポイントの解説を順次受けながら仮想美術品モデルを鑑賞するナビゲーションモードとを選択可能なモード選択部と、
前記ナビゲーションモードに移行後、前記仮想カメラで撮影した前記撮影画像と、前記鑑賞ポイントの用語名及び前記鑑賞ポイントの解説文とを少なくとも前記画面に表示し、前記操作部に対する進行操作に基づき、次の鑑賞ポイントの用語名を表示し、前記仮想カメラが前記次の鑑賞ポイントに到着したら、当該次の鑑賞ポイントの前記解説文を表示することでナビゲーションを進行するナビゲーション制御部として前記コンピュータを機能させる、情報処理プログラム。
【請求項2】
前記ナビゲーションの進行途中に、前記カメラ移動操作に基づき、前記仮想カメラにより前記次の鑑賞ポイントが位置する目標エリアを探すミッションを発生するミッション発生部と、
前記ミッションの発生後、前記仮想カメラの移動を自動から手動に切り替え、前記仮想カメラの表示範囲が、前記目標エリアに対する予め設定した範囲内に入ると、その位置から前記目標エリアまで前記仮想カメラを自動で移動し、前記仮想カメラが前記目標エリアに到着後、前記次の鑑賞ポイントの前記解説文を表示するミッション判定部として前記コンピュータを更に機能させる、請求項1に記載の情報処理プログラム。
【請求項3】
前記仮想美術品モデルは日本刀の表裏面側からそれぞれ撮影した写真データから生成される、請求項1又は請求項2に記載の情報処理プログラム。
【請求項4】
操作部による入力を受け付け可能な情報処理装置のコンピュータを制御するための情報処理方法であって、
仮想3次元空間内に2次元モデルである仮想美術品モデルを配置するモデル配置ステップと、
前記仮想美術品モデルを撮影する仮想カメラを前記仮想3次元空間内に配置するカメラ配置ステップと、
前記仮想美術品モデルに光を照射する仮想光源を前記仮想3次元空間内に配置する仮想光源配置ステップと、
前記仮想カメラで前記仮想3次元空間内を撮影することにより撮影画像を生成する画像生成ステップと、
前記撮影画像を画面に表示する画像表示ステップと、
前記操作部に対するカメラ移動操作に基づき、前記仮想3次元空間内において前記仮想カメラを移動するカメラ移動制御ステップと、
前記操作部に対する光源移動操作に基づき、前記仮想3次元空間内において前記仮想光源を移動する光源移動制御ステップと、
前記カメラ移動操作と前記光源移動操作とに基づき、前記仮想カメラと前記仮想光源とを移動しながら、前記画面に表示された前記仮想美術品モデルを自由に鑑賞する鑑賞モードと、前記仮想美術品モデルの鑑賞ポイントの解説を順次受けながら仮想美術品モデルを鑑賞するナビゲーションモードとを選択可能なモード選択ステップと、
前記ナビゲーションモードに移行後、前記仮想カメラで撮影した前記撮影画像と、鑑賞ポイントの用語名及び前記鑑賞ポイントの解説文とを少なくとも前記画面に表示し、前記操作部に対する進行操作に基づき、次の鑑賞ポイントの用語名を表示し、前記仮想カメラが前記次の鑑賞ポイントに到着したら、当該次の鑑賞ポイントの前記解説文を表示することでナビゲーションを進行するナビゲーション制御ステップとを前記コンピュータに実行させる情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理プログラム及び情報処理方法に関し、刀剣などの美術品の2次元モデルを仮想3次元空間内に配置し、鑑賞者が美術品の2次元モデルを自由に鑑賞したり、或いは鑑賞ポイントの解説を順次受けながら鑑賞することができるようにしたものである。
【背景技術】
【0002】
従来、刀剣の先端側を光源に向けて、刀剣の刃文を観察する刀剣観察方法であり、観察者側から刀剣を撮像した画像を表示する刀剣観察システムが知られている(特許文献1の段落「0019」及び「0020」、並びに
図1~4及び
図8参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、従来の刀剣観察システムでは、実物の刀剣を使用するので、刀剣を撮影する側と観察者側との両者のスケジュールが合わないと、鑑賞できず、鑑賞者がいつでも自由に鑑賞できないという制約があり、又、鑑賞者が撮影機を自由に操作できないという第1の問題点がある。
これに対し、実物の刀剣を使用せずに、その写真を使用すれば、観察者がいつでも自由に鑑賞することができるが、写真は2次元画像であるため、実物の刀剣と比較し立体感や実在感に乏しいという第2の問題点があった。
【0005】
そこで、本発明は、仮想3次元空間内に仮想美術品モデル、仮想カメラ及び仮想光源を配置することで、鑑賞者が仮想カメラや仮想光源を自由に操作しながら仮想美術品モデルを鑑賞できるようにしたものである。また、本発明は、鑑賞ポイントを鑑賞者が一々調べることなく、ナビゲーションモードに切り替えることで、鑑賞ポイントの解説を順次受けながら仮想美術品モデルを鑑賞することができるようにしたものである。
【課題を解決するための手段】
【0006】
本発明の一態様に係る情報処理プログラムは、操作部による入力を受け付け可能な情報処理装置のコンピュータに実行させる情報処理プログラムであって、仮想3次元空間内に2次元モデルである仮想美術品モデルを配置するモデル配置部と、前記仮想美術品モデルを撮影する仮想カメラを前記仮想3次元空間内に配置するカメラ配置部と、前記仮想美術品モデルに光を照射する仮想光源を前記仮想3次元空間内に配置する仮想光源配置部と、前記仮想カメラで前記仮想3次元空間内を撮影することにより撮影画像を生成する画像生成部と、前記撮影画像を画面に表示する画像表示部と、前記操作部に対するカメラ移動操作に基づき、前記仮想3次元空間内において前記仮想カメラを移動するカメラ移動制御部と、前記操作部に対する光源移動操作に基づき、前記仮想3次元空間内において前記仮想光源を移動する光源移動制御部と、前記カメラ移動操作及び前記光源移動操作の少なくとも一方に基づき、前記仮想カメラ及び前記仮想光源の少なくとも一方を移動しながら、前記画面に表示された前記仮想美術品モデルを自由に鑑賞する鑑賞モードと、前記仮想美術品モデルの鑑賞ポイントの解説を順次受けながら仮想美術品モデルを鑑賞するナビゲーションモードとを選択可能なモード選択部と、前記ナビゲーションモードに移行後、前記仮想カメラで撮影した前記撮影画像と、前記鑑賞ポイントの用語名及び前記鑑賞ポイントの解説文とを少なくとも前記画面に表示し、前記操作部に対する進行操作に基づき、次の鑑賞ポイントの用語名を表示し、前記仮想カメラが前記次の鑑賞ポイントに到着したら、当該次の鑑賞ポイントの前記解説文を表示することでナビゲーションを進行するナビゲーション制御部として前記コンピュータを機能させる、ことを特徴とする。
【0007】
また、本発明の一態様に係る情報処理プログラムは、前記ナビゲーションの進行途中に、前記カメラ移動操作に基づき、前記仮想カメラにより前記次の鑑賞ポイントが位置する目標エリアを探すミッションを発生するミッション発生部と、前記ミッションの発生後、前記仮想カメラの移動を自動から手動に切り替え、前記仮想カメラの表示範囲が、前記目標エリアに対する予め設定した範囲内に入ると、その位置から前記目標エリアまで前記仮想カメラを自動で移動し、前記仮想カメラが前記目標エリアに到着後、前記次の鑑賞ポイントの前記解説文を表示するミッション判定部として前記コンピュータを更に機能させる、ことを特徴とする。
【0008】
本発明の一態様に係る情報処理プログラムは、前記仮想美術品モデルは日本刀の表裏面側からそれぞれ撮影した写真データから生成される、ことを特徴とする。
本発明の一態様に係る情報処理方法は、操作部による入力を受け付け可能な情報処理装置のコンピュータを制御するための情報処理方法であって、仮想3次元空間内に2次元モデルである仮想美術品モデルを配置するモデル配置ステップと、前記仮想美術品モデルを撮影する仮想カメラを前記仮想3次元空間内に配置するカメラ配置ステップと、前記仮想美術品モデルに光を照射する仮想光源を前記仮想3次元空間内に配置する仮想光源配置ステップと、前記仮想カメラで前記仮想3次元空間内を撮影することにより撮影画像を生成する画像生成ステップと、前記撮影画像を画面に表示する画像表示ステップと、前記操作部に対するカメラ移動操作に基づき、前記仮想3次元空間内において前記仮想カメラを移動するカメラ移動制御ステップと、前記操作部に対する光源移動操作に基づき、前記仮想3次元空間内において前記仮想光源を移動する光源移動制御ステップと、前記カメラ移動操作と前記光源移動操作とに基づき、前記仮想カメラと前記仮想光源とを移動しながら、前記画面に表示された前記仮想美術品モデルを自由に鑑賞する鑑賞モードと、前記仮想美術品モデルの鑑賞ポイントの解説を順次受けながら仮想美術品モデルを鑑賞するナビゲーションモードとを選択可能なモード選択ステップと、前記ナビゲーションモードに移行後、前記仮想カメラで撮影した前記撮影画像と、鑑賞ポイントの用語名及び前記鑑賞ポイントの解説文とを少なくとも前記画面に表示し、前記操作部に対する進行操作に基づき、次の鑑賞ポイントの用語名を表示し、前記仮想カメラが前記次の鑑賞ポイントに到着したら、当該次の鑑賞ポイントの前記解説文を表示することでナビゲーションを進行するナビゲーション制御ステップとを前記コンピュータに実行させる、ことを特徴とする。
【発明の効果】
【0009】
本発明の一態様によれば、仮想3次元空間内に仮想美術品モデル、仮想カメラ及び仮想光源を配置することで、鑑賞者が仮想カメラや仮想光源を自由に操作しながら仮想美術品モデルを鑑賞できる。
また、本発明の一態様によれば、鑑賞ポイントを鑑賞者が一々調べることなく、ナビゲーションモードに切り替えることで、鑑賞ポイントの解説を順次受けながら仮想美術品モデルを鑑賞することができる。
【図面の簡単な説明】
【0010】
【
図1】本発明に基づく実施形態に係り、仮想三次元空間の全体像を示す模式図である。
【
図2】本発明に基づく実施形態に係り、情報処理システムの全体像を示す模式図である。
【
図3】
図2のスマートデバイスの構成の一例を示すブロック図である。
【
図4】
図2のサーバの構成の一例を示すブロック図である。
【
図5】
図3のプロセッサ部の構成の一例を示すブロック図である。
【
図7】座標の説明図であり、同図(a)は3次元座標、同図(b)は仮想3次元座標群の説明図をそれぞれ示す。
【
図8】本発明に基づく実施形態に係り、操作軌跡とカメラ移動軌跡との関係を説明するための説明図である。
【
図9】本発明に基づく実施形態に係り、光源移動操作を説明するための説明図である。
【
図10】本発明に基づく実施形態に係り、スマートデバイスの画面の表示例を示す説明図である。
【
図12】本発明に基づく実施形態に係り、リモコンデバイスの一例を示す斜視図である。
【発明を実施するための形態】
【0011】
(
図1の仮想3次元空間60)
図1中、60は、仮想3次元空間を示し、仮想3次元空間60内には、仮想刀剣モデル61、仮想カメラ62及び仮想光源63を配置している。
仮想刀剣モデル61は、実物の刀剣を模した2次元モデルである。
仮想刀剣モデル61は、仮想3次元空間60内において、XZ軸に平行な平面上に配置し、静止している。
これに対し、仮想カメラ62と仮想光源63とは、静止状態の仮想刀剣モデル61に対し、XYZ軸方向に移動可能に配置されている。
また、仮想カメラ62の表示範囲65は、
図8を用いた後述するスマートデバイス30の画面70の範囲に一致する。
ここで、仮想3次元空間60内において、X軸は、仮想刀剣モデル61の幅方向に位置し、Y軸は仮想刀剣モデル61の厚み方向に位置し、Z軸は仮想刀剣モデル61の長さ方向に位置する。仮想3次元空間60のX軸は、
図8に示すスマートデバイス30の画面70においては左右方向、Y軸はスマートデバイス30の厚み方向、Z軸は画面70上下方向にそれぞれ対応する。
【0012】
(仮想刀剣モデル61)
仮想刀剣モデル61は、例えば日本刀の表裏面側からそれぞれ撮影した2個の刀剣画像データから生成される。仮想刀剣モデル61は、表裏面を有する1枚の平面の表側に、刀剣画像データの表面画像が、平面の裏側に裏面画像がそれぞれ張り付いているような状態である。
なお、仮想刀剣モデル61として、日本刀を例示したが、日本刀は美術品の一例である。
【0013】
(美術品)
美術品は、広く美術品(美術工芸品を含む。)全般を含む。
美術品は、多少の凹凸があり、平面のものが適している。日本刀は金属製であるが、金属以外でも質感の差があるものであれば、質感の差を仮想美術品モデルに反映できる。美術品は、日本刀などの刀剣のほか、絵画、水墨画の屏風、繍仏に加え、織物、刺繍、屏風、金貨(古銭)なども含む。
【0014】
(
図2の情報処理システム10)
情報処理システム10は、サーバ20と、スマートデバイス30と、パーソナルコンピュータ40(以下「PC」という。)とを含んでいる。
スマートデバイス30は、例えばスマートフォンやタブレット機などである。
PC40には、例えばデスクトップ型、ノート型、タブレット型などがある。
サーバ20と、スマートデバイス30と、PC40とは、インターネットを介して通信可能に構成されている。
本実施形態では、このような構成で、仮想刀剣モデル61の鑑賞や鑑賞ポイントのナビゲーションなどのサービスを提供することを想定している。スマートデバイス30などには、当該サービスを実現するためのアプリケーションがインストールされる。そして、サーバ20を介して仮想刀剣モデル61のモデルデータを送信することで、ユーザに当該サービスを提供する。
【0015】
(
図3のスマートデバイス30のハードウェアの構成)
スマートデバイス30は、プロセッサ部31と、内部記憶装置32と、メインメモリ33と、通信部34と、操作部35と、表示部36と、ジャイロセンサ37とを備えている。なお、スマートデバイス30には、そのほか、カメラ、スピーカ、GPS、ライトなどを備えていてもよい。
プロセッサ部31は、後述する情報処理を実行したり、スマートデバイス30の全体的な動作を制御したりするためのシステムプログラム(図示せず)を実行することで、スマートデバイス30の動作を制御する。
【0016】
なお、プロセッサ部31は、単一のプロセッサを搭載してもよいし、複数のプロセッサを搭載するようにしてもよい。内部記憶装置32には、プロセッサ部31によって実行される各種プログラムや当該プログラムで利用される各種データが格納されている。
内部記憶装置32は、例えば、フラッシュEEPROMやハードディスク装置である。メインメモリ33は、コンピュータプログラムや情報を一時的に記憶する。通信部34は、有線、又は無線通信によってネットワークと接続し、上記サーバ20との間で所定のデータを送受信する。操作部35は、例えば、ユーザからの操作を受け付けるための入力装置である。表示部36は、典型的には液晶表示装置である。なお、本実施形態に係る処理では、操作部35及び表示部36として、液晶画面と一体化したタッチパネルを想定する。他の実施形態では、操作部35として、タッチパネル以外のジャイロセンサ37や、所定のポインティングデバイスを用いてもよい。
【0017】
(
図4のサーバ20のハードウェアの構成)
サーバ20は、プロセッサ部21と、内部記憶装置22と、メインメモリ23と、通信部24と、データベース25とを少なくとも備えている。
プロセッサ部21は、サーバ20を制御するための各種プログラムを実行する。内部記憶装置22には、プロセッサ部21によって実行される各種プログラムや利用される各種データが格納されている。メインメモリ23は、コンピュータプログラムや情報を一時的に記憶する。通信部24は、有線、又は無線通信によってネットワークと接続し、上記スマートデバイス30や他のサーバ(図示せず)との間で所定のデータを送受信する。
【0018】
(
図5のスマートデバイス30のソフトウェアの構成)
スマートデバイス30のプロセッサ部31は、情報処理プログラムを読み込むことで、
図5に示す各部としてコンピュータを機能する。
各部として、(1)モード選択部200、(2)モデル配置部201、(3)カメラ配置部202、(4)光源配置部203、(5)画像生成部204、(6)画像表示部205、(7)カメラ移動制御部206、(8)光源移動制御部207、(9)点列座標情報取得部208、(10)データ受信部209、(11)ナビゲーション制御部210、(12)ミッション発生部211、(13)ミッション判定部212、(14)モデル反転部213とを含む。
なお、各部を、スマートデバイス30のプロセッサ部31を用いて説明したが、
図2のPC40のプロセッサ部(図示せず)にあるコンピュータに実行させてもよい。
【0019】
(
図5のモード選択部200)
モード選択部200は、カメラ移動操作及び光源移動操作の少なくとも一方に基づき、仮想カメラ62及び仮想光源63の少なくとも一方を移動しながら、画面70に表示された仮想刀剣モデル61を自由に鑑賞する鑑賞モードと、仮想刀剣モデル61の鑑賞ポイントの解説を順次受けながら仮想刀剣モデル61を鑑賞するナビゲーションモードとを選択可能な手段である。
【0020】
(
図5のモデル配置部201)
モデル配置部201は、
図1に示すように、仮想3次元空間60内に2次元モデルである仮想刀剣モデル61を配置する手段である。
【0021】
(
図5のカメラ配置部202)
カメラ配置部202は、
図1に示すように、仮想刀剣モデル61を撮影する仮想カメラ62を仮想3次元空間60内に配置する手段である。
【0022】
(
図5の光源配置部203)
光源配置部203は、
図1に示すように、仮想刀剣モデル61に光を照射する仮想光源63を仮想3次元空間60内に配置する手段である。
【0023】
(
図5の画像生成部204)
画像生成部204は、仮想カメラ62で仮想3次元空間60内を撮影することにより撮影画像を生成する手段である。
【0024】
(
図5の画像表示部205)
画像表示部205は、撮影画像を画面70に表示する手段である。
【0025】
(
図5のカメラ移動制御部206)
カメラ移動制御部206は、操作部35に対するカメラ移動操作に基づき、仮想3次元空間60内において仮想カメラ62を移動する手段である。
ここで、カメラ移動操作は、
図8を用いて後述する画面70のスワイプ操作をいう。
また、カメラ移動制御部206は、仮想刀剣モデル61に反りがある場合に、仮想カメラ62を仮想刀剣モデル61の長手方向に直線的に移動するカメラ移動操作が行われときに、仮想カメラ62を仮想刀剣モデル61の刀身100に沿って曲線的に移動する。
具体的に説明すると、カメラ移動制御部206は、スワイプ操作で得られた縦(スクリーンY座標(上下方向))の移動量を、通常なら仮想カメラ62の座標のZ値のみに反映させるところ(例えば(0,0,0)→(0,0,5))、点列座標情報を基に、Zの値からXの値に補正する(例えば(0,0,0)→(3,0,5))。
その結果、
図8を用いて後述するように、仮想カメラ62を仮想刀剣モデル61の刀身100に沿って曲線を描くように移動させることで、仮想刀剣モデル61が反り105(
図6参照)の影響で画面70外に出ないようにしている。
【0026】
(
図5の光源移動制御部207)
光源移動制御部207は、操作部35に対する光源移動操作に基づき、仮想3次元空間60内において仮想光源63を移動する手段である。
また、光源移動制御部207は、光源移動操作の操作量に応じて仮想光源63を移動する。
ここで、光源移動操作としては、例えばスマートデバイス30の傾け動作がある。
傾け動作は、スマートデバイス30の例えばジャイロセンサ37で検出する。
【0027】
(
図5の点列座標情報取得部208)
点列座標情報取得部208は、仮想刀剣モデル61の刀身に沿って所定間隔で並ぶ点列の各点の仮想3次元空間60内の座標である点列座標情報を取得する手段である。
ここで、点列座標情報は、
図7(b)を用いて後述する仮想3次元座標群64をいう。
【0028】
(
図5のデータ受信部209)
データ受信部209は、仮想刀剣モデル61は日本刀の表裏面側からそれぞれ撮影した写真データから生成され、情報処理装置の外部で生成された仮想刀剣モデル61のモデルデータを受信する手段である。
ここで、情報処理装置の外部は、例えば
図2に示すサーバ20をいう。なお、外部としてサーバ20を例示したが、これに限らず、図示しないが、他のサーバでもよい。
また、モデルデータの受信は、例えば
図3に示す通信部34を用いて実行する。
【0029】
(ナビゲーション制御部210)
ナビゲーション制御部210は、ナビゲーションモードに移行後、仮想カメラ62で撮影した撮影画像と、鑑賞ポイント及び鑑賞ポイントの解説文とを少なくとも画面70に表示し、操作部35に対する進行操作に基づき、次の鑑賞ポイントを表示し、仮想カメラ62が次の鑑賞ポイントに到着したら、当該次の鑑賞ポイントの解説文を表示することでナビゲーションを進行する手段である。
ここで、進行操作としては、
図10を用いて後述するが、画面70に表示した第1ボタン91や第2ボタン92のタッチ操作をいう。
なお、ナビゲーションを、画面70の表示を用いたが、これに限定されず、例えば音声を併用してもよい。
【0030】
(
図5のミッション発生部211)
ミッション発生部211は、ナビゲーションの進行途中に、カメラ移動操作に基づき、仮想カメラ62により次の鑑賞ポイントが位置する目標エリアを探すミッションを発生する手段である。
【0031】
(
図5のミッション判定部212)
ミッション判定部212は、ミッションの発生後、仮想カメラ62の移動を自動から手動に切り替え、仮想カメラ62の表示範囲65が、目標エリアに対する予め設定した範囲内に入ると、その位置から目標エリアまで仮想カメラ62を自動で移動し、仮想カメラ62が目標エリアに到着後、次の鑑賞ポイントの解説文を表示する手段である。
【0032】
(
図5のモデル反転部213)
モデル反転部213は、操作部35に対するモデル反転操作に基づき、仮想刀剣モデルを表裏反転する手段である。
ここで、モデル反転操作は、例えばスマートデバイス30を左右に振る動作をいう。
左右に振る動作は、スマートデバイス30の例えばジャイロセンサ37で検出する。
なお、モデル反転操作として、左右に振る動作を例示したが、これに限定されず、画面70を左右方向にスワイプ操作することで、仮想刀剣モデル61が反転させてもよい。
仮想刀剣モデル61の反転は、
図7(a)を用いて後述する刀剣データがある「y=0」の平面上で、仮想カメラ62の表示範囲65(
図1参照)内の中心点(c_x,0,c_z)のZ座標と、
図7(a)を用いて後述する仮想刀剣モデル61の仮想3次元座標群64とが重なる点A(a_x,0,c_z)を算出し、X=a_xの直線を回転軸としている。
仮想刀剣モデル61は、回転軸を中心に180度回転する。
また、仮想カメラ62の位置で回転軸がその都度変わる。
そして、仮想刀剣モデル61の回転方向は、スマートデバイス30を振る方向に一致する。
【0033】
(
図6の刀剣50(仮想刀剣モデル61)の用語など)
刀剣50の各部の用語や、各部間の距離について、
図6を用いて説明する。
刀剣50の用語や距離は、(1)刀身100、(2)茎(なかご)101、(3)切先102、(4)全長103、(5)刃長104、(6)反り105、(7)先身長106、(8)切先長107、(9)物打108、(10)元幅109、(11)棟区110がある。
なお、刀剣50の用語や距離について説明したが、仮想刀剣モデル61についても同一の用語や距離を用いて説明する。
また、反り105は、切先102と棟区110との先端を結ぶ直線と、棟との間で最も長い部分の「寸法」、若しくは「部分」を意味する。
【0034】
(
図7の3次元座標51、仮想3次元座標群64)
図7を用いて、3次元座標51、仮想3次元座標群64について説明図する。
同図(a)は、2次元の刀剣データに基準点を設定し、当該基準点の3次元座標51を示すものである。3次元座標51の値は(0.0,0.0,0.0)である。なお、3次元座標51は、基準点のXYZ軸の座標を示す。
【0035】
同図(b)は、仮想刀剣モデル61の刀身に沿って所定間隔で並ぶ点列を設定し、当該点列の仮想3次元座標群64の示すものである。仮想3次元座標群64は、先に説明した2次元の刀剣データに合わせて生成したものである。
仮想3次元座標群64は、上方から順に、例えば(-1.8,0.0,-36.0)、(3.4,0.0,0.0)、(-1.5,0.0,28.0)である。
仮想3次元座標群64は、3次元座標51を基準にし、X軸において、同図(b)において向かって左方向に移動すると「プラス」、右方向に移動すると「マイナス」の値がそれぞれ付与される。
仮想3次元座標群64は、カメラ移動制御部206による、仮想カメラ62の移動の補正に用いられている。
【0036】
(
図8の操作軌跡71とカメラ移動軌跡72との関係)
例えば、スマートデバイス30の画面70上において、同図の向かって左側に示すように、上方に向かって直線的にスワイプ操作すると、その操作軌跡71は直線となる。
一方、日本刀には反り105があることから、仮想3次元空間60内において、仮想カメラ62の移動がカメラ移動制御部206により補正され、仮想刀剣モデル61の刀身100に沿って曲線を描くように移動する。このカメラ移動軌跡72を操作軌跡71に合わせて、画面70上に表示すると、同図の向かって左側のようである。
【0037】
(仮想刀剣モデル61の拡縮操作)
拡縮操作としては、画面70において、ピンチ操作すると、
図1の仮想カメラ62が縮小の矢印の方向に移動し、表示範囲65が大きくなり、画面70における撮影画像が縮小される。
逆にピンチイン操作をすると、
図1の仮想カメラ62が拡大の矢印の方向に移動し、表示範囲65が小さくなり、画面70における撮影画像が拡大される。
【0038】
(
図9の光源移動操作)
図9を用いて、スマートデバイス30の傾け動作と仮想光源63から照射された光の仮想反射部80の移動との関係について説明する。
仮想3次元空間60内の仮想光源63の位置を基づいて、スマートデバイス30の外側に現実世界の仮想光源定位置81を設定する。
そして、スマートデバイス30の傾きを、例えばジャイロセンサ37を用いて算出し、仮想3次元空間60内の仮想光源63の位置が、仮想光源定位置81と一致するように、光源移動制御部207により制御している。
【0039】
(
図10及び
図11の画面70の表示例)
図10及び
図11を用いて、ナビゲーションモードの表示例について説明する。
表示部36の画面70には、
図10に示すように、仮想カメラ62で撮影した仮想刀剣モデル61の撮影画像と、仮想刀剣モデル61の元なった刀剣名、仮想ポイントやその解説文などを表示する表示位置90と、ナビゲーションの進行操作を行う第1ボタン91(例えば「戻る」)及び第2ボタン92(例えば「次へ」)とを表示する。これらの表示は、画像表示部205により制御される。
なお、画面70内に表示した画像や文字などは、
図10に例示した表示例に限定されない。
【0040】
ナビゲーションモードが開始すると、
図10に示すように、表示位置90に鑑賞ポイント(例えば「茎」(なかご))を表示する。これはナビゲーション制御部210により実行される。
仮想ポイントの表示後、第2ボタン92(例えば「次へ」)をタッチ操作すると、仮想カメラ62が仮想ポイント(例えば「茎」)に移動し、仮想ポイントに到着すると、
図11に示すように、撮影画像を表示するとともに、表示位置90に仮想ポイントの解説文を表示する。これを1サイクルとして、第2ボタン92のタッチ操作を契機として、所定の回数、1サイクルを繰り返し、ナビゲーションを進行する。
入力側の操作は「次へ」の第2ボタン92のタッチ操作で、仮想カメラ62も一緒に自動的に移動する。また、その途中、すなわち「次へ」の第2ボタン92をタッチ操作する迄は、自由に操作ができる期間であり、鑑賞者は仮想カメラ62の移動などを手動で行える。
【0041】
(ミッションの発生)
ナビゲーションの進行途中に、ミッションを発生させる。
ミッションとしては、
図10の表示位置90に、「ここで茎の辺りを拡大してみましょう」を表示させる。
鑑賞者は、ミッションを見て、カメラ移動操作により仮想カメラ62を移動する。鑑賞者は、その撮影画像を見ながら、仮想カメラ62を移動し、鑑賞ポイントが位置する目標エリアを探す。
その後、仮想カメラ62が目標エリアに到着すると、
図11に示すように、表示位置90に仮想ポイントの解説文を表示する。
【0042】
一方、仮想カメラ62が目標エリアに到着しない場合には、表示位置90に仮想ポイントの解説文を表示されない。
そこで、鑑賞者は、仮想カメラ62を更に移動し、目標エリアを探す。
その結果、仮想カメラ62の表示範囲65が、目標エリアに対し、予め設定した範囲内に入ると、その位置から目標エリアまで仮想カメラ62を自動で移動する。仮想カメラ62が目標エリアに到着後、
図11に示すように、表示位置90に仮想ポイントの解説文を表示する。これらは、ミッション判定部212により制御する。
【0043】
図12を用いて、リモコンデバイス41の一例について説明する。
リモコンデバイス41は、柄の形をし、ジャイロセンサを内蔵する。リモコンデバイス41は、PC40などに接続する。リモコンデバイス41は、傾けたり、振ったりした動きをジャイロセンサで検出し、電気信号をPC40に送信する。
そして、リモコンデバイス41を傾けたり、振ったりした動きにより、仮想カメラ62や仮想光源63を移動する。
【0044】
(各所の機能)
なお、ナビゲーション制御部210により、各種の機能を提供する。
「鑑賞モード」と「ナビゲーションモード」とのほか、スマートデバイス30には、図示しないが、(1)鑑賞ノート機能、(2)購入・刀剣選択機能、(3)特典機能を有する。
鑑賞ノート機能は、すでに鑑賞した仮想刀剣モデル61の鑑賞ノートの保管、閲覧できるようにする機能である。
購入・刀剣選択機能は、刀剣一振り毎に購入でき、その収益の一部をその刀剣へ還元できるようにする機能である。
特典機能は、限定商品や特典の画像、動画、コラムなどを保管、閲覧できるようにする機能である。
【0045】
(仮想刀剣モデル61の立体感を増すための処理)
本情報処理プログラム(以下、「刀剣鑑賞アプリ」ともいう。)では、例えば、仮想刀剣モデル61の立体感を増すために、刀剣の写真(色情報)に加えて、表面の凹凸情報、光沢情報を格納した画像を使用する。
具体的には、刀剣の写真に加え、その写真の各画素に対応する表面の法線情報を保持した法線マップと、光沢情報を保持した反射強度マップと、表面粗さ(滑らかさ)マップなどを使用する。
これらの情報をもとに、写真の各画素に対して光の当たり具合を変化させることで立体感を演出する。
凹凸の表現は、「法線マッピング(ノーマルマッピング)」という手法を使用している。刀剣鑑賞アプリでは、この法線マッピングによって、平面画像を疑似的に立体的に見せるということを行っている。
また、法線マッピングによる疑似的な形状と合わせて、各部分がどのように反射するかを決定する光沢情報として、反射強度(Specular)情報、表面粗さ(Roughness)若しくは滑らかさ(Smoothness)情報を画像化したものを用いて、刃文や地鉄の反射の違いなどを表現している。
【0046】
(実施形態の特徴点と効果)
実施形態の特徴点は、次の通りである。
(第1の特徴点)
第1の特徴点は、操作部35による入力を受け付け可能な情報処理装置(スマートデバイス30)のコンピュータに実行させる情報処理プログラムであって、仮想3次元空間60内に2次元モデルである仮想美術品モデル(仮想刀剣モデル61)を配置するモデル配置部201と、仮想美術品モデル(仮想刀剣モデル61)を撮影する仮想カメラ62を仮想3次元空間60内に配置するカメラ配置部202と、仮想美術品モデル(仮想刀剣モデル61)に光を照射する仮想光源63を仮想3次元空間60内に配置する光源配置部203と、仮想カメラ62で仮想3次元空間60内を撮影することにより撮影画像を生成する画像生成部204と、撮影画像を画面70に表示する画像表示部205と、操作部35に対するカメラ移動操作に基づき、仮想3次元空間60内において仮想カメラ62を移動するカメラ移動制御部206と、操作部に対する光源移動操作に基づき、仮想3次元空間60内において仮想光源63を移動する光源移動制御部207としてコンピュータを機能させることを特徴とする。
また、光源移動制御部207は、光源移動操作の操作量に応じて仮想光源63を移動する、ことを特徴とする。
【0047】
(第1の特徴点の効果)
第1の特徴点によれば、仮想3次元空間60内に仮想美術品モデル(仮想刀剣モデル61)、仮想カメラ62及び仮想光源63を配置することで、鑑賞者が仮想カメラ62や仮想光源63を自由に操作しながら仮想美術品モデル(仮想刀剣モデル61)をいつでも自由に鑑賞できる。
また、第1の特徴点によれば、光源移動操作の操作量に応じて仮想光源63を移動することで、仮想美術品モデル(仮想刀剣モデル61)における光の反射位置を変化でき、仮想美術品モデル(仮想刀剣モデル61)の立体感などを演出できる。
さらに、第1の特徴点によれば、仮想美術品モデル61に対して、「立体感」のほかに、「絵画であれば筆のタッチなど、漆や金箔を使った工芸品ではその美しい光沢感など、繍仏(刺繍画で描かれた仏像)であれば刺繍画の糸一本一本からなる繊細な質感などそれぞれの美術品の持つ特徴に応じた質感を再現し、光の当て方を変えながら鑑賞できるようにすることで、あたかも本物を鑑賞しているような体験をユーザに与えることができる。
特に、仮想美術品モデルとして仮想刀剣モデル61を用いれば、「立体感」に加えて「刃文」や「地鉄」といった刀剣の表面の繊細な質感を実物のように表現できる。
仮想刀剣モデル61を用いれば、本物を鑑賞しているような見た目の品質、リアルさが大きな特徴である。
剣は、その材質や作り方(鍛錬)で表面の様子がとても複雑なため、布、紙、石といった材質とは異なり、「鉄」という材質の中での質感の表現なのでとても表現が難しい材質である。
また、刀剣を傾けた際の表現の反射の様子がデバイスの傾きに合わせて本物を扱う時のように逐一変化が分かる、というリアルタイム性も刀剣を鑑賞するリアル感を表現する上で重要な要素である。
また、仮想刀剣モデル61を用いれば、光源移動操作を「傾き」(ジャイロセンサ)とした場合は、実際に刀剣を手に取って刃文などを鑑賞するように、よりリアルな鑑賞体験を演出できる。
【0048】
(第2の特徴点)
第2の特徴点は、カメラ移動制御部206は、仮想刀剣モデル61に反りがある場合に、仮想カメラ62を仮想刀剣モデル61の長手方向に直線的に移動するカメラ移動操作が行われときに、仮想カメラ62を仮想刀剣モデル61の刀身100に沿って曲線的に移動する、ことを特徴とする。
【0049】
(第2の特徴点の効果)
第2の特徴点によれば、仮想3次元空間60内に仮想刀剣モデル61、仮想カメラ62及び仮想光源63を配置することで、鑑賞者が仮想カメラ62を自由に操作しながら仮想刀剣モデル61をいつでも自由に鑑賞できる。
また、第2の特徴点によれば、仮想刀剣モデル61に反りがある場合に、仮想カメラ62を仮想刀剣モデル61の刀身100に沿って曲線的に移動することで、仮想刀剣モデル61が反り105の影響で画面70外に出るのを防止できる。
【0050】
(第3の特徴点)
第3の特徴点は、操作部35に対するモデル反転操作に基づき、仮想刀剣モデル61を表裏反転するモデル反転部213としてコンピュータを更に機能させる、ことを特徴とする。
【0051】
(第3の特徴点の効果)
第3の特徴点によれば、仮想刀剣モデル61の鑑賞する際には、仮想刀剣モデル61を反転することが必要になるが、その際に仮想刀剣モデル61を反転して、裏側の面を鑑賞できる。
また、第3の特徴点によれば、反転操作を「傾き」(ジャイロセンサ)とした場合に、刀剣を手に取って裏面を鑑賞するように、よりリアルな鑑賞体験を演出できる。
【0052】
(第4の特徴点)
第4の特徴点は、仮想刀剣モデル61は日本刀の表裏面側からそれぞれ撮影した写真データから生成される、ことを特徴とする。
【0053】
(第4の特徴点の効果)
第4の特徴点によれば、仮想刀剣モデル61を日本刀を撮影した写真データから生成することで、仮想刀剣モデル61をリアルに生成でき、又、データ容量を軽量化できる。
【0054】
(第5の特徴点)
第5の特徴点は、操作部35による入力を受け付け可能な情報処理装置(スマートデバイス30)のコンピュータ(プロセッサ部31)を制御するための情報処理方法であって、仮想3次元空間60内に2次元モデルである仮想美術品モデル(仮想刀剣モデル61)を配置するモデル配置ステップと、仮想美術品モデル(仮想刀剣モデル61)を撮影する仮想カメラ62を仮想3次元空間60内に配置するカメラ配置ステップと、仮想美術品モデル(仮想刀剣モデル61)に光を照射する仮想光源63を仮想3次元空間60内に配置する光源配置ステップと、仮想カメラ62で仮想3次元空間60内を撮影することにより撮影画像を生成する画像生成ステップと、撮影画像を画面70に表示する画像表示ステップと、操作部35に対するカメラ移動操作に基づき、仮想3次元空間60内において仮想カメラ62を移動するカメラ移動制御ステップと、操作部35に対する光源移動操作に基づき、仮想3次元空間60内において仮想刀剣モデル61に沿って仮想光源63を移動する光源移動制御ステップとを前記コンピュータに実行させる。
また、光源移動制御ステップは、光源移動操作の操作量に応じて仮想光源63を移動する、ことを特徴とする。
【0055】
(第5の特徴点の効果)
第5の特徴点によれば、第1の特徴点と同様の効果を奏する。
【0056】
(第6の特徴点)
第6の特徴点は、操作部35による入力を受け付け可能な情報処理装置(スマートデバイス30)のコンピュータに実行させる情報処理プログラムであって、仮想3次元空間60内に2次元モデルである仮想美術品モデル(仮想刀剣モデル61)を配置するモデル配置部201と、仮想美術品モデル(仮想刀剣モデル61)を撮影する仮想カメラ62を仮想3次元空間60内に配置するカメラ配置部202と、仮想美術品モデル(仮想刀剣モデル61)に光を照射する仮想光源63を仮想3次元空間60内に配置する光源配置部203と、仮想カメラ62で仮想3次元空間60内を撮影することにより撮影画像を生成する画像生成部204と、撮影画像を画面70に表示する画像表示部205と、操作部35に対するカメラ移動操作に基づき、仮想3次元空間60内において仮想カメラ62を移動するカメラ移動制御部206と、操作部35に対する光源移動操作に基づき、仮想3次元空間60内において仮想光源63を移動する光源移動制御部207と、カメラ移動操作及び光源移動操作の少なくとも一方に基づき、仮想カメラ62及び仮想光源63の少なくとも一方を移動しながら、画面70に表示された仮想美術品モデル(仮想刀剣モデル61)を自由に鑑賞する鑑賞モードと、仮想美術品モデル(仮想刀剣モデル61)の鑑賞ポイントの解説を順次受けながら仮想美術品モデル(仮想刀剣モデル61)を鑑賞するナビゲーションモードとを選択可能なモード選択部200と、ナビゲーションモードに移行後、仮想カメラ62で撮影した撮影画像と、鑑賞ポイントの用語名及び鑑賞ポイントの解説文とを少なくとも画面70に表示し、操作部35に対する進行操作に基づき、次の鑑賞ポイントの用語名を表示し、仮想カメラ62が次の鑑賞ポイントに到着したら、当該次の鑑賞ポイントの解説文を表示することでナビゲーションを進行するナビゲーション制御部210としてコンピュータを機能させる、ことを特徴とする。
【0057】
(第6の特徴点の効果)
第6の特徴点によれば、仮想3次元空間内に2次元モデルである仮想刀剣モデル、仮想カメラ及び仮想光源を配置することで、鑑賞者が仮想カメラや仮想光源を自由に操作しながら仮想美術品モデル(仮想刀剣モデル61)を鑑賞できる。
また、本発明の一態様によれば、鑑賞ポイントを鑑賞者が一々調べることなく、ナビゲーションモードに切り替えることで、鑑賞ポイントの解説を順次受けながら仮想美術品モデル(仮想刀剣モデル61)を鑑賞することができる。
【0058】
(第7の特徴点)
第7の特徴点は、ナビゲーションの進行途中に、カメラ移動操作に基づき、仮想カメラ62により次の鑑賞ポイントが位置する目標エリアを探すミッションを発生するミッション発生部211と、ミッションの発生後、仮想カメラ62の移動を自動から手動に切り替え、仮想カメラ62の表示範囲65が、目標エリアに対する予め設定した範囲内に入ると、その位置から目標エリアまで仮想カメラ62を自動で移動し、仮想カメラ62が目標エリアに到着後、次の鑑賞ポイントの解説文を表示するミッション判定部212としてコンピュータを更に機能させる、ことを特徴とする。
【0059】
(第7の特徴点の効果)
第7の特徴点によれば、カメラ移動操作に基づき、仮想カメラ62により次の鑑賞ポイントが位置する目標エリアを探させることで、鑑賞者が美術館に行き、学芸員の説明を受けながら鑑賞しているような演出ができ、能動的で体験的な要素を付加できる。
また、第7の特徴点によれば、表示範囲が目標エリアに完全に一致しなくても設定範囲内に入ればよいので、よりスムーズに鑑賞することができ、学芸員のサポートを受けながら鑑賞しているような演出ができる。
【0060】
(第8の特徴点)
第8の特徴点は、仮想美術品モデル(仮想刀剣モデル61)は日本刀の表裏面側からそれぞれ撮影した写真データから生成される、ことを特徴とする。
【0061】
(第8の特徴点の効果)
第8の特徴点によれば、
第8の特徴点によれば、第4の特徴点と同様の効果を奏する。
【0062】
(第9の特徴点)
第9の特徴点は、操作部35による入力を受け付け可能な情報処理装置(スマートデバイス30)のコンピュータ(プロセッサ部31)を制御するための情報処理方法であって、仮想3次元空間60内に2次元モデルである仮想美術品モデル(仮想刀剣モデル61)を配置するモデル配置ステップと、仮想美術品モデル(仮想刀剣モデル61)を撮影する仮想カメラ62を仮想3次元空間60内に配置するカメラ配置ステップと、仮想美術品モデル(仮想刀剣モデル61)に光を照射する仮想光源63を仮想3次元空間60内に配置する光源配置ステップと、仮想カメラ62で仮想3次元空間60内を撮影することにより撮影画像を生成する画像生成ステップと、撮影画像を画面70に表示する画像表示ステップと、操作部35に対するカメラ移動操作に基づき、仮想3次元空間60内において仮想カメラ62を移動するカメラ移動制御ステップと、操作部35に対する光源移動操作に基づき、仮想3次元空間60内において仮想光源63を移動する光源移動制御ステップと、カメラ移動操作と光源移動操作とに基づき、仮想カメラ62と仮想光源63とを移動しながら、画面70に表示された仮想美術品モデル(仮想刀剣モデル61)を自由に鑑賞する鑑賞モードと、仮想美術品モデル(仮想刀剣モデル61)の鑑賞ポイントの解説を順次受けながら仮想美術品モデル(仮想刀剣モデル61)を鑑賞するナビゲーションモードとを選択可能なモード選択ステップと、ナビゲーションモードに移行後、仮想カメラ62で撮影した撮影画像と、鑑賞ポイントの用語名及び鑑賞ポイントの解説文とを少なくとも画面70に表示し、操作部35に対する進行操作(例えば
図10の第1ボタン91や第2ボタン92のタッチ操作)に基づき、次の鑑賞ポイントの用語名を表示し、仮想カメラ62が次の鑑賞ポイントに到着したら、当該次の鑑賞ポイントの解説文を表示することでナビゲーションを進行するナビゲーション制御ステップとをコンピュータに実行させる、ことを特徴とする。
【0063】
(第9の特徴点の効果)
第9の特徴点によれば、第6の特徴点と同様の効果を奏する。
【符号の説明】
【0064】
10 情報処理システム
20 サーバ
21 プロセッサ部
22 内部記憶装置
23 メインメモリ
24 通信部
25 データベース
30 スマートデバイス
31 プロセッサ部
32 内部記憶装置
33 メインメモリ
34 通信部
35 操作部
36 表示部
37 ジャイロセンサ
40 PC
41 リモコンデバイス
50 刀剣
51 3次元座標
60 仮想3次元空間
61 仮想刀剣モデル
62 仮想カメラ
63 仮想光源
64 仮想3次元座標群
65 表示範囲
70 画面
71 操作軌跡
72 カメラ移動軌跡
80 仮想反射部
81 仮想光源定位置
90 表示位置
91 第1ボタン
92 第2ボタン
100 刀身
101 茎
102 切先
103 全長
104 刃長
105 反り
106 先身長
107 切先長
108 物打
109 元幅
110 棟区
200 モード選択部
201 モデル配置部
202 カメラ配置部
203 光源配置部
204 画像生成部
205 画像表示部
206 カメラ移動制御部
207 光源移動制御部
208 点列座標情報取得部
209 データ受信部
210 ナビゲーション制御部
211 ミッション発生部
212 ミッション判定部
213 モデル反転部