(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024098997
(43)【公開日】2024-07-24
(54)【発明の名称】情報処理装置及びプログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20240717BHJP
G06F 3/0481 20220101ALI20240717BHJP
G06F 3/14 20060101ALI20240717BHJP
G09G 5/00 20060101ALI20240717BHJP
G09G 5/37 20060101ALI20240717BHJP
【FI】
G06F3/01 510
G06F3/0481
G06F3/14 350A
G09G5/00 510V
G09G5/00 550C
G09G5/00 530T
G09G5/37 600
【審査請求】有
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2024067206
(22)【出願日】2024-04-18
(62)【分割の表示】P 2020076902の分割
【原出願日】2020-04-23
(71)【出願人】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】110001210
【氏名又は名称】弁理士法人YKI国際特許事務所
(72)【発明者】
【氏名】齋田 堂好
(57)【要約】
【課題】開閉可能な表示機構を有する情報処理装置の大面積の表示装置によって得られるアプリの使い勝手を損なうことを抑止しつつ、AIアシスタントによる視覚的な情報提供を受けることができるようにする。
【解決手段】表示機構を開状態として主ディスプレイ14上にアプリのUI画像15aを表示した状態で、ユーザがそのUI画像15aにテキスト入力を行っていると、AIアシスタントがその入力に関連する情報を検索し、ユーザへの提供情報を生成する。このとき情報処理装置10は、その提供情報を示す提供情報画像17aを副ディスプレイ16上に表示する。ユーザが表示機構を閉じたり、情報処理装置10を裏返したりすると、ユーザは、副ディスプレイ16に表示された提供情報画像17aを見ることができる。
【選択図】
図3
【特許請求の範囲】
【請求項1】
第1の表示装置と、前記第1の表示装置の表示面積以下の表示面積を有する第2の表示装置と、を有する開閉可能な表示機構と、
プロセッサと、
を備え、
前記プロセッサは、
前記第1の表示装置の第1のアプリケーションプログラムに割り当てられた表示領域内に第1の画像を表示している間に、AIアシスタントが提供する提供情報がある場合に、前記提供情報を示す第2の画像を前記第2の表示装置に表示するための表示制御を実行する、
ことを特徴とする情報処理装置。
【請求項2】
前記表示制御では、前記第2の表示装置がユーザ側を向いていない場合には前記第2の画像を表示しない、ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記プロセッサは、更に、
前記第1の表示装置に前記第1の画像を表示している間に、前記提供情報がある場合に、前記提供情報がある旨の通知を実行する、
ことを特徴とする請求項1又は2に記載の情報処理装置。
【請求項4】
前記通知は、前記第1の表示装置に表示している前記第1の画像上に、前記提供情報があることを示す画像であって前記第2の画像よりも小さい画像を表示する処理である、ことを特徴とする請求項3に記載の情報処理装置。
【請求項5】
前記表示制御では、前記提供情報の量が閾値以下の場合は前記第2の画像を前記第2の表示装置に表示し、前記提供情報の量が前記閾値より多い場合は前記第2の画像を前記第1の表示装置に表示する、請求項1~4のいずれか1項に記載の情報処理装置。
【請求項6】
前記表示制御では、前記第2の画像を前記第1の表示装置に表示した場合、前記第1の画像の表示内容を示す画像を前記第2の表示装置に表示する、ことを特徴とする請求項5に記載の情報処理装置。
【請求項7】
前記表示制御では、前記提供情報の量が前記閾値より多い場合は、前記提供情報を前記第1の表示装置に表示するか否かを問い合わせる問合せ画像を前記第2の表示装置に表示し、前記問合せ画像に対して前記第1の表示装置に表示する旨の指示がユーザからあった場合に、前記第2の画像を前記第1の表示装置に表示する、請求項5又は6に記載の情報処理装置。
【請求項8】
第1の表示装置と、前記第1の表示装置の表示面積以下の表示面積を有する第2の表示装置と、を有する開閉可能な表示機構、を備えるコンピュータを、
前記第1の表示装置の第1のアプリケーションプログラムに割り当てられた表示領域内に第1の画像を表示している間に、AIアシスタントが提供する提供情報がある場合に、前記提供情報を示す第2の画像を前記第2の表示装置に表示するための表示制御を実行する、ように動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【0002】
有機EL(エレクトロルミネッセンス)や電子ペーパー等を用いたフレキシブルなディスプレイが開発されている。近年、携帯端末に搭載するフレキシブルなディスプレイの構造が提案され(特許文献1-3)、そのような構造を持った携帯端末が販売されている。
【0003】
フレキシブルなディスプレイを搭載し二つ折りで折り畳み可能なスマートフォンは、閉じた状態では例えば片手に収まる程度の幅を実現しつつも、開いた状態ではタブレット端末に匹敵する大画面の表示が可能である。この種のスマートフォンの中には、閉じた状態でも、開いた状態よりも小面積の画面を表示可能なものがある。例えば、主ディスプレイの大画面を内側にして折り畳む方式のスマートフォンのある機種は、閉じた状態で外側に位置する面上に、それよりも小さい副ディスプレイを備える。また、主ディスプレイの大画面を外側にして折り畳む方式のスマートフォンのある機種は、閉じた状態では、二つ折りになった主ディスプレイのうちユーザの方を向いた半分の部分に表示を行う。また、これらの機種のスマートフォンは、閉じた状態と開いた状態とで画面表示を連動させる。例えば、それらスマートフォンは、大画面を開くと、それまで閉じた状態で小画面に表示していたアプリ画面と同じアプリの画面を大画面に表示する。またこの種のスマートフォンの中には、開いた主ディスプレイを複数の領域に分割し、各領域にそれぞれ別々のアプリのユーザインターフェース画像を表示する等のマルチウィンドウ機能を持つものもある。
【0004】
また、特許文献4に記載された装置は、折り曲げ可能なタッチパネルを平面状に開いた状態ではユーザインターフェース(以下、UIと表記)画像をタッチパネル全面に表示する。そして、タッチパネルをある角度に折り曲げた状態では、タッチパネルの半面にソフトキーボードを、残りの半面にUI画像を表示し、ノートPCに似た使い勝手を提供する。
【0005】
また近年、AI(人工知能)アシスタントと呼ばれるソフトウエアエージェントが普及している、AIアシスタントは、仮想アシスタントとも呼ばれ、ユーザの指示や質問その他の入力を理解し、その入力に応じたサービスをユーザに提供する。
【0006】
スマートフォン等の携帯端末のAIアシスタントは、UI画像を、時刻や通信状態などを示す領域を除くアプリケーションプログラム(以下「アプリ」と略称する)用の表示領域(以下「アプリ表示領域」と呼ぶ)に表示したり、あるいは、ディスプレイの表示領域全面にわたって全画面表示で表示したりする方式が現在のところ主流である。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特表2017-510065号公報
【特許文献2】欧州特許出願公開003352044号明細書
【特許文献3】国際公開第2018/192426号
【特許文献4】特開2017-130158号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
AIアシスタントのユーザインターフェース画像がディスプレイの表示領域全面あるいはアプリ表示領域全体にわたって表示される方式の場合、ユーザがあるアプリケーションプログラムを開いて作業を行っているときにAIアシスタントのユーザインターフェース画像が表示される場合がある。この場合、そのアプリの利用のために割り当てられた領域に表示されるユーザインターフェース画像が、AIアシスタントの利用のために割り当てられた領域に表示されるユーザインターフェース画像によって、覆われてしまうので、ユーザは、元のアプリでの作業に戻ろうとした場合、そのアプリのユーザインターフェース画像を再度前面に表示する操作を行う必要がある。
【0009】
折り畳み型携帯端末は、開状態では広い表示領域を持つので、AIアシスタントのユーザインターフェース画像をディスプレイの表示領域内の一部に表示することも考えられる。しかし、アプリのユーザインターフェース画像がAIアシスタントのユーザインターフェース画像により隠されてしまうと、アプリの操作性が低下する。
【0010】
本発明は、開閉可能な表示機構を有する情報処理装置の大面積の表示装置によって得られるアプリの操作性が低下することを抑止しつつ、AIアシスタントによる視覚的な情報提供を受けることができるようにすることを目的とする。
【課題を解決するための手段】
【0011】
請求項1に係る発明は、第1の表示装置と、前記第1の表示装置の表示面積以下の表示面積を有する第2の表示装置と、を有する開閉可能な表示機構と、プロセッサと、を備え、前記プロセッサは、前記第1の表示装置の第1のアプリケーションプログラムに割り当てられた表示領域内に第1の画像を表示している間に、AIアシスタントが提供する提供情報がある場合に、前記提供情報を示す第2の画像を前記第2の表示装置に表示するための表示制御を実行する、ことを特徴とする情報処理装置である。
【0012】
請求項2に係る発明は、前記表示制御では、前記第2の表示装置がユーザ側を向いていない場合には前記第2の画像を表示しない、ことを特徴とする請求項1に記載の情報処理装置である。
【0013】
請求項3に係る発明は、前記プロセッサは、更に、前記第1の表示装置に前記第1の画像を表示している間に、前記提供情報がある場合に、前記提供情報がある旨の通知を実行する、ことを特徴とする請求項1又は2に記載の情報処理装置である。
【0014】
請求項4に係る発明は、前記通知は、前記第1の表示装置に表示している前記第1の画像上に、前記提供情報があることを示す画像であって前記第2の画像よりも小さい画像を表示する処理である、ことを特徴とする請求項3に記載の情報処理装置である。
【0015】
請求項5に係る発明は、前記表示制御では、前記提供情報の量が閾値以下の場合は前記第2の画像を前記第2の表示装置に表示し、前記提供情報の量が前記閾値より多い場合は前記第2の画像を前記第1の表示装置に表示する、請求項1~4のいずれか1項に記載の情報処理装置である。
【0016】
請求項6に係る発明は、前記表示制御では、前記第2の画像を前記第1の表示装置に表示した場合、前記第1の画像の表示内容を示す画像を前記第2の表示装置に表示する、ことを特徴とする請求項5に記載の情報処理装置である。
【0017】
請求項7に係る発明は、前記表示制御では、前記提供情報の量が前記閾値より多い場合は、前記提供情報を前記第1の表示装置に表示するか否かを問い合わせる問合せ画像を前記第2の表示装置に表示し、前記問合せ画像に対して前記第1の表示装置に表示する旨の指示がユーザからあった場合に、前記第2の画像を前記第1の表示装置に表示する、請求項5又は6に記載の情報処理装置である。
【0018】
請求項8に係る発明は、第1の表示装置と、前記第1の表示装置の表示面積以下の表示面積を有する第2の表示装置と、を有する開閉可能な表示機構、を備えるコンピュータを、前記第1の表示装置の第1のアプリケーションプログラムに割り当てられた表示領域内に第1の画像を表示している間に、AIアシスタントが提供する提供情報がある場合に、前記提供情報を示す第2の画像を前記第2の表示装置に表示するための表示制御を実行する、ように動作させるためのプログラムである。
【発明の効果】
【0019】
請求項1又は8に係る発明によれば、開閉可能な表示機構を有する情報処理装置の大面積の表示装置によって得られるアプリの操作性が低下することを抑止しつつ、AIアシスタントによる視覚的な情報提供を受けることができる。
【0020】
請求項2に係る発明によれば、第2の表示装置の向きによらず第2の画像を表示する場合と比べて、ユーザが見ていない第2の表示装置に表示された第2の画像からの情報漏洩のリスクを低減することができる。
【0021】
請求項3に係る発明によれば、ユーザに第2の表示装置を見るきっかけを与えることができる。
【0022】
請求項4に係る発明によれば、第1の画像上に第2の画像を表示する場合よりも、第1の画像のうち隠される部分の量を少なくすることができる。
【0023】
請求項5に係る発明によれば、提供情報の量によらず第2の画像を必ず第2の表示装置に表示する場合と比べて、ユーザが提供情報全体を見るためのスクロール等の画像表示の切替の操作を少なくすることができる。
【0024】
請求項6に係る発明によれば、第1の表示装置に第2の画像を表示することにより第1の画像が表示されないままとする場合よりも、第1の画像の表示を見るためのユーザの手間を低減することができる。
【0025】
請求項7に係る発明によれば、第1の表示装置に表示されていた第1の画像が、ユーザの意図しないまま第2の画像の表示により見えなくなること、を防ぐことができる。
【図面の簡単な説明】
【0026】
【
図1】折り畳み式の情報処理装置の通常の表示制御を説明するための図である。
【
図2】情報処理装置のハードウエア構成の一例を示す図である。
【
図3】実施形態の情報処理装置における、AIアシスタントからの提供情報の表示制御を説明するための図である。
【
図4】AIアシスタントからの提供情報の表示制御の手順を例示する図である。
【
図5】AIアシスタントからの提供情報の表示制御の別の例を説明するための図である。
【
図6】AIアシスタントからの提供情報の表示制御の更に別の例を説明するための図である。
【
図7】AIアシスタントからの提供情報の表示制御の更に別の例を説明するための図である。
【発明を実施するための形態】
【0027】
図1を参照して、大画面のフレキシブルなディスプレイを備える二つ折りの折り畳み式の情報処理装置10の表示制御の例を説明する。情報処理装置10は、例えば携帯型の情報端末(例えばスマートフォンやタブレット端末)であるが、これに限られるわけではない。
【0028】
図1に例示する情報処理装置10は、開閉可能に相互連結された第1ボディ12Aと第2ボディ12Bを備える。第1ボディ12Aと第2ボディ12Bの一方の表面には、それら両者に跨がって、フレキシブルな主ディスプレイ14が設けられている。主ディスプレイ14は、第1ボディ12Aと第2ボディ12Bの両方の表面を合わせた面積に近い面積の表示領域を持つ。また、この例では、第1ボディ12Aのうち、主ディスプレイ14が設けられていない方の表面に、副ディスプレイ16が設けられている。副ディスプレイ16は、第1ボディ12Aの表面内に収まる面積であり、主ディスプレイ14より小さい表示領域を有する。また、副ディスプレイ16は、フレキシブルでなくてよい。主ディスプレイ14及び副ディスプレイ16は、例えばタッチパネルディスプレイとして構成されている。この例では、主ディスプレイ14が第1の表示装置に、副ディスプレイ16が第2の表示装置に、それぞれ該当する。また主ディスプレイ14及び副ディスプレイ16とそれらを支持する第1ボディ12A及び第2ボディ12Bとを含む構造が、開閉可能な表示機構に該当する。
【0029】
図1の左側には(a)閉状態の情報処理装置10が、右側には(b)開状態の情報処理装置10が、それぞれ示されている。
【0030】
閉状態とは、主ディスプレイ14の表示領域が外側から十分に見えない程度に表示機構が閉じている状態のことである。閉状態では、情報処理装置10の外側からは、主ディスプレイ14に表示領域が十分に見えない代わりに、副ディスプレイ16の表示領域はよく見える。図に例示した(a)閉状態では、第1ボディ12Aと第2ボディ12Bの主ディスプレイ14側の表面同士が、接触しているか又は接触するほど近くに近接している。この状態では、主ディスプレイ14の第1ボディ12A側と第2ボディ12B側との面がなす角度(すなわち表示機構の開き角)はほぼ0度である。なお、開き角がほぼ0度の場合を閉状態と規定するのはあくまで一例に過ぎない。この代わりに、0度より大きい閾値を定めておき、開き角が0度からその閾値の範囲にある場合を閉状態と規定してもよい。
【0031】
開状態とは、主ディスプレイ14の表示領域が十分に見える程度に表示機構が開いている状態である。開状態では、情報処理装置10の外側からは、副ディスプレイ16の表示領域が十分に見えない代わりに、主ディスプレイ14の表示領域はよく見える。図では、一例として、表示機構が180度開いた状態を(b)開状態として示しているが、これは一例に過ぎない。例えば、180度未満の第2の閾値を定めておき、開き角がその第2の閾値から180度の範囲にある場合を開状態と規定してもよい。
【0032】
情報処理装置10は、表示機構が閉状態にあるときは、副ディスプレイ16の表示領域における画面表示を行う。閉状態では、主ディスプレイ14の画面表示は停止(例えば主ディスプレイ14を消灯とする)してもよい。逆に、表示機構が開状態にあるときは、情報処理装置10は、主ディスプレイ14の表示領域における画面表示を行う。開状態では、副ディスプレイ16の表示領域における画面表示は停止してもよい。
【0033】
図示例では、閉状態の副ディスプレイ16には、連絡帳アプリにより生成されたある連絡先の情報を示すユーザインターフェース画像(以下、UI画像と呼ぶ)17が、連絡帳アプリに割り当てられた表示領域(17の破線で囲まれる領域)に表示されている。このUI画像17には、連絡先の氏名、住所、電話番号等の情報や、電話アプリを呼び出すためのアイコン20、電子メールアプリを呼び出すためのアイコン22などが表示される。この状態からユーザが表示機構を開いて開状態にすると、情報処理装置10は、主ディスプレイ14の表示を開始させる。このとき、主ディスプレイ14上の、連絡帳アプリに割り当てられた表示領域(15の破線で囲まれる領域)には、閉状態で表示されていたUI画像17と同じ連絡帳アプリの、同じ連絡先についての情報を示すUI画像15が表示される。ここで、主ディスプレイ14は副ディスプレイ16よりも表示面積が大きいので、UI画像15にはUI画像17よりも多くの表示内容を表示するようにアプリのプログラムが構成される。例えば、UI画像15には、UI画像17に表示されていた表示内容に加えて、UI画像17には表示されていなかった連絡先ユーザの顔写真の画像や、SNS(ソーシャルメディアネットワーク)アプリを呼び出すためのアイコン24等が表示されている。主ディスプレイ14に表示されるアプリのUI画像15は第1のUI画像の一例であり、UI画像15内の表示内容(例えば文字列、顔写真の画像、アイコン群からなる)は、第1のUI画像の表示内容の一例である。
なお、図示例では、連絡帳アプリのUI画像15は、主ディスプレイ14の表示領域全体にわたっているが、これは一例に過ぎない、情報処理装置10やこれを制御するOS(オペレーティングシステム)の設定によっては、主ディスプレイ14の表示領域内の所定の場所、例えばその上端や下端の部分、に時刻や通信状態、通知、又はアプリのアイコン群、等を表示する領域が確保されている場合がある。このような場合、ユーザが開いたアプリのUI画像は、主ディスプレイ14の表示領域のうち、そのように予め確保されている領域を除いた残りの領域に表示される。このようにアプリのUI画像が表示される領域が、「第1のアプリケーションプログラムに割り当てられた表示領域」に該当する。なお、「表示領域」が「第1のアプリケーションプログラムに割り当てられた」とは、複数のアプリが存在する場合に、それらアプリごとにそれぞれ表示領域が割り当てられている場合に限らない。それら複数のアプリに対して同じ表示領域が共通に割り当てられている場合も含む。この場合、いずれかのアプリが起動されると、そのアプリのUI画像は、主ディスプレイ14の表示領域のうち上述した予め確保されている領域を除いた残りの、共通の表示領域に表示される。
【0034】
なお、この明細書において、アプリとは、情報処理装置10が実行するアプリケーションプログラムのことである。
【0035】
図2に、情報処理装置10のハードウエア構成の主要部の一例を示す。このハードウエア構成の中には、プロセッサ102、ランダムアクセスメモリ等のメモリ104、フラッシュメモリ等の補助記憶装置106、表示制御回路108、入力制御回路110等、通常のコンピュータが持つ要素が含まれる。また更に、通信回路112、表示機構の開閉状態の検知のためのセンサ114、等も含まれる。図示例では、プロセッサ102、メモリ104、補助記憶装置106、表示制御回路108、入力制御回路110、通信回路112、及びセンサ114を制御するセンサ制御回路115が、バス120に接続されている。プロセッサ102は、バス120を介して、メモリ104、補助記憶装置106、表示制御回路108、入力制御回路110、通信回路112、センサ制御回路115とデータのやりとりを行う。なお、
図2の例では、プロセッサ102からセンサ制御回路115までの全ての要素が同じバス120にフラットに接続されているが、これはあくまで一例に過ぎない。この代わりに、それら要素のうちの一部(例えばプロセッサ102を含む要素群)が例えばSoC(System-on-a-Chip)のように一つのチップに集積され、そのチップが接続された外部バスに対して残りの要素群が接続されるような階層的な構造であってもよい。
【0036】
ここでプロセッサ102とは広義的なプロセッサを指し、汎用的なプロセッサ(例えばCPU:Central Processing Unit、等)や、専用のプロセッサ(例えばGPU:Graphics Processing Unit、 ASIC:Application Specific Integrated Circuit、 FPGA:Field Programmable Gate Array、 プログラマブル論理デバイス、等)を含むものである。
【0037】
また、プロセッサ102の動作は、1つのプロセッサによってなすのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働してなすものであってもよい。また、プロセッサ102の各動作は、以下の実施形態において説明する順序のみに限定されるものではなく、適宜に変更してもよい。
【0038】
補助記憶装置106には、情報処理装置10のOSや各種のアプリ、後述するAIアシスタント又は外部サーバ上のAIアシスタントとのインタフェースを行うプログラム、がインストールされている。また、補助記憶装置106には、後述する本実施形態でのAIアシスタントの提供情報画像の表示制御のためのプログラムもインストールされている。
【0039】
表示制御回路108は、主ディスプレイ14及び副ディスプレイ16の画面表示を制御する。入力制御回路110は、主ディスプレイ14及び副ディスプレイ16が備えるタッチパネルに対するタッチ入力を検知して処理し、その処理結果をプロセッサに伝える。通信回路112は、情報処理装置10が外部のネットワーク装置との無線等での通信のための信号処理を実行する。
【0040】
表示機構の開閉状態の検知のためのセンサ114は、例えばホール素子であってもよい。この場合、第1ボディ12A又は第2ボディ12Bの一方に磁石が、他方にホール素子が設けられ、表示機構が閉じられることで磁石とホール素子とが近づくと、ホール素子が磁気を検知して、表示機構が閉状態になったことを検知する。表示機構の開閉状態の検知のためのセンサは、ホール素子に限らない。このセンサ114としては、開閉可能な装置の開閉を検知するために従来用いられている様々なセンサ、例えば赤外線センサ、照度センサ、加速度センサ、ジャイロセンサ、近接センサ等の様々なセンサを用いてよい。
【0041】
また情報処理装置10は、スピーカーやバイブレーション機構等の出力装置を内蔵していてもよい。
【0042】
情報処理装置10には、AIアシスタントから提供される提供情報を表示するためのプログラムがインストールされている。
【0043】
AIアシスタントとは、ユーザの入力を理解し、その入力に応じたサービスをユーザに提供するソフトウエアエージェントである。本実施形態では、AIアシスタントが提供するサービスのうち、ユーザの入力に応じてAIアシスタントが生成し、提供する情報(以下「提供情報」と呼ぶ)を視覚的な表示として提供するサービスに焦点を当てる。
【0044】
AIアシスタントは、ユーザからの明示的な起動指示に従って起動し、起動後にユーザから入力を受け付ける。またAIアシスタントを利用することが設定されたアプリのUI画像が主ディスプレイ14又は副ディスプレイ16に表示されているときに、AIアシスタントは、そのアプリに対してユーザが入力した情報をアプリから受け取る。
【0045】
アプリやAIアシスタントへのユーザの入力の方法には、キーボードからの入力、画面に対するタッチ入力、手や指等のユーザの身体によるジェスチャ入力、音声入力、カメラからの画像の入力等、様々な場合があり得る。また、AIアシスタントは、GPSや屋内測位システム等を用いて求められる、ユーザが携帯する情報処理装置10の所在位置を、ユーザからの入力として用いてもよい。
【0046】
AIアシスタントは、ユーザの入力内容に関係のある情報を情報処理装置10内、又はAIアシスタントが接続されたネットワーク(例えばインターネット)上のサーバ等から検索し、検索した情報に基づいて、ユーザに提供する提供情報を生成する。AIアシスタントが生成する提供情報のうち、本実施形態が注目する視覚的な提供情報には、テキスト、画像、動画、音声付き動画等が含まれる。
【0047】
AIアシスタントは、情報処理装置10自体に搭載されていてもよいし、情報処理装置10からアクセス可能なネットワーク上のサーバに搭載されていてもよい。後者の場合、情報処理装置10には、ユーザの入力をサーバ上のAIアシスタントに送信する処理と、その送信に応じてAIアシスタントから応答される提供情報を表示するための処理と、を行うプログラムが搭載される。
【0048】
情報処理装置10が実行中のアプリ(以下「実行中アプリ」と呼ぶ)のUI画像を主ディスプレイ14に表示している状態で、AIアシスタントが生成した視覚的な提供情報をユーザに提供する場合を考える。例えば、その実行中アプリに対してAIアシスタントを利用する旨の設定がなされているときに、ユーザがそのUI画像に対して入力した情報(例えばテキスト情報)に関連する提供情報をAIアシスタントが生成した場合がその一例である。ユーザは、例えばドキュメント(すなわち文書)等を作成するために、UI画像に対して入力を行っているものとする。
【0049】
このような場合、AIアシスタントからの提供情報を表示する画像(以下「提供情報画像」と呼ぶ)を、実行中アプリのUI画像を完全に又は部分的に覆うように主ディスプレイ14に表示すると、そのUI画像が一部又は全部が見えなくなり、ユーザの入力作業の妨げとなる。また、提供情報画像に当該画像を消すためのボタンを設け、ユーザがそのボタンを押下すると実行中アプリのUI画像が表示されるようにしたとしても、ユーザがそのボタンを押下する手間が掛かる。
【0050】
そこで、本実施形態の情報処理装置10は、そのような場合に、主ディスプレイ14には実行中アプリのUI画像を表示したまま、副ディスプレイ16にAIアシスタントの提供情報画像を表示する。主ディスプレイ14に表示される実行中アプリのUI画像は、第1の表示装置に表示される第1のユーザインターフェース画像に、副ディスプレイ16に表示される情報提供画像は、第2の表示装置に表示される第2のユーザインターフェース画像に、それぞれ該当する。
【0051】
このような提供情報画像の表示制御を、
図3に示す具体例を参照しつつ更に説明する。
【0052】
図3の例では、開状態の表示機構の主ディスプレイ14に、ドキュメント作成アプリのUI画像15aが表示されている。このドキュメント作成アプリが、現在の実行中アプリである。UI画像15aは、ドキュメントの作成のためのUI画像であり、ユーザから入力されたテキストや画像等を表示する。ドキュメント作成アプリには、AIアシスタントを利用する旨の設定が予めなされているものとする。
【0053】
AIアシスタントは、主ディスプレイ14に表示されたUI画像15a内にユーザが入力するデータ(図示例ではテキスト)を監視し、そのデータに関連のある情報をインターネット等の情報源から検索し、検索の結果得られた情報に基づき提供情報を生成する。図示例では、ユーザは「レポート:各国の成長について」という表題の文書を作成中であり、本文を2行半まで書き進めている。AIアシスタントは、UI画像15aに対するユーザの入力内容(この例ではテキストデータ)を監視しており、その入力内容に対して関連する情報を検索し、検索した情報を編集することにより、ユーザに対して提供する提供情報を生成する。例えば、AIアシスタントは、入力内容に対して有用と評価される情報を検索し、生成することを学習済みであり、その学習結果を用いて提供情報を生成する。図示例では、AIアシスタントは、公知のキーワード抽出技術を用いてUI画像15a中のテキストから「アメリカ」、「2019年」、「名目GDP」というキーワードを抽出し、これらキーワードの組に関連が強い情報を検索する。この検索により、アメリカの2019年の名目GDPの情報、及びこれに関連の強いアメリカのGDPの年度別推移のグラフが見つかる。AIアシスタントは、検索により得られたこれらの情報を編集して提供情報、又はその提供情報を表示する提供情報画像17aの情報を生成する。
【0054】
AIアシスタントが提供情報を生成すると、情報処理装置10は、その提供情報を示す提供情報画像17aを副ディスプレイ16内に表示するための表示制御を行う。この表示制御の機能は、例えば、情報処理装置10のOS、又は情報処理装置10に搭載されたAIアシスタント、又は外部のAIアシスタントとのインタフェースのために情報処理装置に搭載されたプログラム等に搭載されてもよい。また,その表示制御機能を担う独立したプログラムが情報処理装置10に搭載されていてもよい。
【0055】
ここで、AIアシスタントから提供情報が得られたときに提供情報画像17aを直ちに副ディスプレイ16に表示すると、ユーザが見ていない副ディスプレイ16上に表示が行われることになり、情報漏洩のリスクが無駄に高くなる。そこで、情報処理装置10は、ユーザが副ディスプレイ16を見ている蓋然性が高いと判断される状態になってはじめて提供情報画像17aを副ディスプレイ16に表示する。すなわち、情報処理装置10は、副ディスプレイ16がユーザ側、すなわち大略的にユーザの顔に向かう向き、に向いたと判断したときに、提供情報画像17aを副ディスプレイ16に表示する。例えば、ユーザが情報処理装置10の表示機構を折り畳んだとき、又はユーザが開いた状態の情報処理装置10を裏返して副ディスプレイ16を自分の側に向けたとき等が、ユーザが副ディスプレイ16を見ている蓋然性が高いと判断される状態の例である。このような状態になると、表示制御の機能は、副ディスプレイ16を点灯し、副ディスプレイ16上の提供情報画像17aが視認できるようにする。ユーザが表示機構を折り畳んだことは、上述したセンサ114の出力する信号から判断する。また、ユーザが情報処理装置10を裏返したことは、情報処理装置10が内蔵する加速度センサ、カメラ、又は顔認証用のセンサ等からの信号のうちの一以上に基づき判断すればよい。例えば、加速度センサが検知した重力加速度の向きから副ディスプレイ16が上側を向いていることが分かった場合、ユーザが情報処理装置10を裏返して副ディスプレイ16を見る状態となったと判断される。また副ディスプレイ16と同じ側の面に設けられたカメラが捉えた画像内からユーザの顔を検知した場合や、その面に設けられた顔認証用のセンサがるユーザの顔を認識した場合にも、ユーザが副ディスプレイ16を見る状態となったと判断される。カメラの画像や顔認証用のセンサの信号と照合するユーザの顔の情報は、情報処理装置10に予め登録しておけばよい。
【0056】
また、単に表示機構が折り畳まれただけでは、副ディスプレイ16がユーザ側を向いているとは限らない。したがって、一つの例では、折り畳まれたこと検知した場合に、更に加速度センサ等の信号に基づき副ディスプレイ16がユーザ側を向いているか否かを判定する。向いていると判断される場合に、副ディスプレイ16に提供情報を表示するようにしてもよい。
【0057】
ここで、情報処理装置10の表示制御の機能は、裏返されたことを検知して副ディスプレイ16に提供情報を表示した場合、主ディスプレイ14上のドキュメント作成アプリのUI画像15aが視認できないようにしてもよい。これには、例えば主ディスプレイ14を消灯とする等とすればよい。これにより、ユーザが見ていない主ディスプレイ14の表示情報が他者から盗み見されるリスクが低下する。
【0058】
また情報処理装置10(特に提供情報の表示制御の機能)は、AIアシスタントが生成した提供情報が存在する場合に、その旨をユーザに通知してもよい。この通知は、情報処理装置10が内蔵するバイブレーション機能を用いて情報処理装置10を所定パターンで振動させることにより行ってもよい。また、その通知は、情報処理装置10が持つスピーカーや情報処理装置10に有線又は無線で接続されたイヤホン等の音声出力装置から、所定の音を出力することにより行ってもよい。また、情報処理装置10が備えるLED(発光ダイオード)等のランプの発光や点滅等により、その通知を行ってもよい。その通知の態様の更に別の例として、
図5に例示するように、主ディスプレイ14上のUI画像15a内に、AIアシスタントからの提供情報が存在することを示す所定形状のアイコン20を表示してもよい。このアイコン20は、UI画像15aの表示内容をなるべく隠さないよう、小面積のものとする。アイコン20を、提供情報画像17aよりも小面積とすれば、提供情報画像17aを主ディスプレイ14に表示する場合よりも、UI画像15aのうち隠される部分の面積が少なくなる。また、振動、音声、ランプの発光、UI画像15a上へのアイコン20の表示等のうちの2つ以上の組合せにより、その通知を行ってもよい。
【0059】
ユーザは、その通知により、AIアシスタントが生成した提供情報が存在することを知り、情報処理装置10を閉じるすなわち折り畳むか、又は裏返す。これにより、ユーザは、副ディスプレイ16に表示された、その提供情報画像17aを閲覧することができる。
【0060】
そしてユーザは、提供情報画像17aを見てAIアシスタントからの提供情報の内容を確認した後、情報処理装置10を開くか、再度裏返すことにより、主ディスプレイ14上のUI画像15aを再度見て、ドキュメント作成の作業に戻る。
【0061】
以上に説明した提供情報の画像の表示制御のために情報処理装置10が実行する処理手順を
図4に例示する。
【0062】
情報処理装置10(特にプロセッサ102)は、開状態であり、主ディスプレイ14上に現在あるアプリのUI画像15aを表示しているとする。また、そのアプリのバックグラウンドで動作しているAIアシスタントは、そのUI画像15aへのユーザの入力の内容を解析し、その解析結果に基づいてそのユーザに提供することが有用な情報が見つかれば、その情報を含む提供情報を生成する。
【0063】
情報処理装置10は、AIアシスタントが提供情報を生成するのを待つ(S10)。AIアシスタントが提供情報を生成したことを検知すると(S10の判定結果がYes)、情報処理装置10は、その提供情報を表示する提供情報画像17aを副ディスプレイ16に表示するための準備を行う(S12)。例えば、副ディスプレイ16用のビデオメモリ上にその提供情報画像17aを描画し、いつでもその提供情報画像17aを表示できるようにする。この時点では、副ディスプレイは消灯(すなわち非表示)状態であるか、又は所定の待機画像を表示中であり、まだ提供情報画像17aの表示は行っていない。次に情報処理装置10は、AIアシスタントからの提供情報が存在する旨の示す、振動、音声、画面へのアイコン20の表示等の所定態様での通知を実行する(S14)。
【0064】
その後、情報処理装置10は、表示機構が閉状態となるか、又は表示機構が開状態のまま裏返されるのを待つ(S16,S18)。
【0065】
表示機構が閉状態となった(S16がYes)か、又は表示機構が開状態のまま裏返された(S18がYes)ことを検知すると、情報処理装置10は、S12で準備していた提供情報画像17aを副ディスプレイ16に表示する(S20)。ここでは、例えば副ディスプレイ16用のビデオメモリに予め描画していた提供情報画像17aを副ディスプレイ16に表示する。またこのとき情報処理装置10は、主ディスプレイ14を消灯するなどして、それまで表示していたアプリのUI画像15aが視認できないようにする(S22)。アプリのUI画像15aの表示情報は、主ディスプレイ14用のビデオメモリに保持されたままであり、いつでもそのUI画像15aを主ディスプレイ14に表示可能な状態が維持されている。
【0066】
次に情報処理装置10は、表示機構が開状態となるか、又は表示機構が裏返されるのを待つ(S24,S26)。表示機構が開状態となった(S24がYes)か、又は表示機構が裏返された(S26がYes)ことを検知すると、情報処理装置10は、主ディスプレイ14を点灯するなどによりアプリのUI画像15aを主ディスプレイ14に表示する。またこのとき情報処理装置10は、副ディスプレイ16を消灯するなどにより提供情報画像17aを見えなくする(S28)。その後、情報処理装置10の処理はS10に戻る。
【0067】
次に、
図5を参照して、AIアシスタントの提供情報の表示制御の別の例を説明する。
【0068】
図5の例では、開状態の表示機構の主ディスプレイ14に表示されたドキュメント作成アプリのUI画像15a内に、AIアシスタントからの提供情報がある旨が示すアイコン20が表示されている。アイコン20は、UI画像15a内の入力内容のうち、その提供情報を生成するためにAIアシスタントが解析した部分の近傍に表示される。アイコン20を点滅表示や目立ちやすい色で表示することにより、ユーザの注意を強く喚起するようにしてもよい。
【0069】
ユーザは、このアイコン20の表示を見て、AIアシスタントからの提供情報があることを知ると、表示機構を閉状態とするか、又は情報処理装置10全体を裏返すかすることにより、副ディスプレイ16がユーザ側を向くようにする。すると、情報処理装置10は、副ディスプレイ16にその提供情報を示す提供情報画像17aを表示する。
【0070】
図5の例ではアイコン20を表示したが、提供情報の存在をユーザに通知するための表示は、アイコン20に限らない。例えばこの代わりに、副ディスプレイ16の提供情報画像17aより小さいサイズのウインドウ内に提供情報の一部を表示したものを、その通知のための表示としてUI画像15a上に表示してもよい。
【0071】
図5の例では、その提供情報画像17a内には、その提供情報画像17a内の情報を主ディスプレイ14に表示されたアプリのUI画像15aに挿入するか否かを問い合わせるダイアログ30が表示される。図示例では、ダイアログ30は、提供情報画像17a内に表示されたグラフ19を、元のアプリのUI画像15aに利用するかどうかを問い合わせるものとなっている。ユーザが、このダイアログ30内の「はい」ボタン32を押下すると、UI画像15aのアイコン20の近傍の空き領域にそのグラフを追加する指示が情報処理装置10からドキュメント作成アプリに送られる。ドキュメント作成アプリは、その指示に応じて、UI画像15aの表示内容を更新し、その更新された表示内容が主ディスプレイ14用のビデオメモリに反映される。
【0072】
ユーザが、副ディスプレイ16上の提供情報画像17aの確認を終え、表示機構を開くか、又は開状態の表示機構を再び裏返すかすることにより、主ディスプレイ14がユーザの側を向いた状態となると、主ディスプレイ14が再び点灯される。このとき主ディスプレイ14に表示されるドキュメント作成アプリのUI画像15aには、ダイアログ30に対するユーザの指示に応じて、グラフ19が挿入されている。
【0073】
以上に説明したように、
図5の例では、副ディスプレイ16上の提供情報画像17aに表示された提供情報やその一部を、実行中アプリのUI画像15a内の入力内容に追加する仕組みが提供されている。
【0074】
次に、
図6を参照して、AIアシスタントの提供情報の表示制御の更に別の例を説明する。
【0075】
図6の例は、AIアシスタントが生成した提供情報の量が閾値以上である場合の制御を説明するためのものである。例えば、提供情報の量が副ディスプレイ16の面積に収まらない場合には、ユーザが提供情報全体を読むためには、提供情報画像17aをスクロールしたり、提供情報画像17aに表示されたページをめくったりする等の操作が必要となる。このような操作は、ユーザの使い勝手を損ねる。また、スクロールやページめくりをある程度許容する場合でも、提供情報全体を見るのに大量のスクロールやページめくりを行う必要があるのではユーザにとっての操作の負担が大きい。
【0076】
そこで、この例では、ユーザの操作負担からみて許容可能な程度の提供情報の量を閾値として定めておく。そして、AIアシスタントが生成した提供情報の量が閾値を超える場合、情報処理装置10は、その提供情報を示す提供情報画像17bを主ディスプレイ14に表示する。提供情報画像17bを主ディスプレイ14に表示すれば、大量の提供情報をスクロールやページめくりをせずに表示可能になるか、又は仮に提供情報全部を表示するためにスクロール等の操作が必要であっても、その操作の量は少なくて済む。逆に提供情報の量が閾値以下である場合、情報処理装置10は、
図3の例と同様その提供情報画像17aを副ディスプレイ16に表示する。
【0077】
ただし、主ディスプレイ14にいきなり提供情報画像17bを表示すると、アプリのUI画像15aが消えるので、ユーザの混乱を招くおそれがある。そこで、
図6の例では、AIアシスタントからの提供情報がある場合、まずは副ディスプレイ16に提供情報画像17aを表示し、その提供情報画像17a内に、その提供情報を主ディスプレイ14に表示するか否かを問い合わせるダイアログ40を表示する。
【0078】
ユーザがこのダイアログ40内の「はい」ボタンを押すと、情報処理装置10は、その提供情報を表示する提供情報画像17bを主ディスプレイ14に表示する。この表示の処理の流れでは、情報処理装置10は、例えば、主ディスプレイ14のサイズに合わせた提供情報画像17bを主ディスプレイ14用のビデオメモリに描画し、それを表示する準備を行う。ユーザが閉じている表示機構を開くか、元々開いている表示機構を裏返して主ディスプレイ14をユーザ側に向けると、情報処理装置10は、準備した提供情報画像17bを主ディスプレイ14に表示する。
【0079】
ダイアログ40にてユーザが「いいえ」ボタンを押した場合、副ディスプレイ16上の提供情報画像17aからダイアログ40が消え、その提供情報画像17a内に提供情報がスクロール又はページめくりの形で表示される。
【0080】
また、主ディスプレイ14に提供情報画像17bを表示した場合、その前に主ディスプレイ14に表示していた実行中アプリの表示内容を示すUI画像15bを、副ディスプレイ16に表示してもよい。この場合、実行中アプリの副ディスプレイ16でのUI画像15bが横長の形状である場合、図示のように副ディスプレイ16にそのUI画像15bを横表示してもよい。主ディスプレイ14上の提供情報画像17bで提供情報を閲覧していたユーザが、実行中アプリのUI画像15bの表示内容を確認したい場合、表示機構を閉じたり、裏返したりして、副ディスプレイ16の表示を見る。
【0081】
次に、
図7を参照して、AIアシスタントの提供情報の表示制御の更に別の例を説明する。
【0082】
この例の情報処理装置10は、開状態の表示機構の両面に、上述した主ディスプレイ14とほぼ同サイズのディスプレイ14a及び14bを備える。表示機構が閉状態となったときには、ディスプレイ14a及び14bのうちの外側のディスプレイの二つ折り状態の半面を、副ディスプレイとして機能させてもよい。
【0083】
この例では、ディスプレイ14aに実行中アプリのUI画像15aを表示しているときに、AIアシスタントから提供情報が提供された場合、情報処理装置10はその提供情報画像17cを裏側のディスプレイ14bに表示する。提供情報画像17cを直ちに表示する代わりに、ディスプレイ14bがユーザ側を向いたことを検知した場合に、提供情報画像17cを表示するよう制御してもよい。
【0084】
この例では、AIアシスタントの提供情報も大きいサイズで表示される。
【0085】
以上、情報処理装置10の実施形態を説明したが、以上に説明した実施形態はあくまで例示的なものにすぎない。本発明の技術的思想の範囲内で様々な変形や改良があり得る。
【0086】
上記実施形態は、実行中アプリ(例えば
図3の例における「ドキュメント作成アプリ」)に対するユーザの入力に対してAIアシスタントが生成した提供情報を例にとって、提供情報の表示制御の仕組み説明した。しかし、上記実施形態の表示制御は、実行中アプリではなく、AIアシスタントに対して直接的にユーザが入力した入力内容に対してそのAIアシスタントが生成した提供情報を表示する場合にも適用可能である。例えば、ユーザが主ディスプレイ14に実行中アプリのUI画像15aを開いて作業しつつ、所定の呼び掛け語でAIアシスタントを起動して質問や要求を声で入力すると、AIアシスタントはその質問や要求に対応する提供情報を生成する。このとき、その提供情報を表示する提供情報画像を主ディスプレイ14ではなく、副ディスプレイ16に表示する。UI画像15aの表示が隠れされることが防止又は低減される。
【符号の説明】
【0087】
10 情報処理装置、12A 第1ボディ、12B 第2ボディ、14 主ディスプレイ、15a,15b (実行中アプリの)UI画像、16 副ディスプレイ、17a,17b,17c 提供情報画像。
【手続補正書】
【提出日】2024-05-20
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
第1の表示装置と、
前記第1の表示装置が設けられていない面に設けられた第2の表示装置と、
プロセッサと、
を備え、
前記プロセッサは、
ユーザにより入力された情報を前記第1の表示装置に表示させ、
前記入力された情報が前記第1の表示装置に表示されている状態で、前記入力された情報に基づきAIアシスタントが生成した情報を、前記第2の表示装置に表示させる
制御を行うことを特徴とする情報処理装置。
【請求項2】
前記ユーザにより入力された情報は、音声により入力された情報である、ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記ユーザにより入力された情報は、前記AIアシスタントに対して直接入力された情報である、ことを特徴とする請求項1に記載の情報処理装置。
【請求項4】
前記AIアシスタントは、前記ユーザによる所定の呼び掛け語の音声の入力により起動される、ことを特徴とする請求項1に記載の情報処理装置。
【請求項5】
前記ユーザにより入力され前記第1の表示装置に表示されている情報に基づき、前記AIアシスタントが生成した情報がある場合に、前記プロセッサは、前記生成した情報があることを前記第1の表示装置に表示させる制御を行う
ことを特徴とする請求項1に記載の情報処理装置。
【請求項6】
第1の表示装置と、
前記第1の表示装置が設けられていない面に設けられた第2の表示装置と、
を備えるコンピュータに、
ユーザにより入力された情報を前記第1の表示装置に表示させ、
前記入力された情報が前記第1の表示装置に表示されている状態で、前記入力された情報に基づきAIアシスタントが生成した情報を、前記第2の表示装置に表示させる
制御を実行させるためのプログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0008
【補正方法】削除
【補正の内容】
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0009
【補正方法】削除
【補正の内容】
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0010
【補正方法】削除
【補正の内容】
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0011
【補正方法】変更
【補正の内容】
【0011】
請求項1に係る発明は、第1の表示装置と、前記第1の表示装置が設けられていない面に設けられた第2の表示装置と、プロセッサと、を備え、前記プロセッサは、ユーザにより入力された情報を前記第1の表示装置に表示させ、前記入力された情報が前記第1の表示装置に表示されている状態で、前記入力された情報に基づきAIアシスタントが生成した情報を、前記第2の表示装置に表示させる制御を行うことを特徴とする情報処理装置である。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0012
【補正方法】変更
【補正の内容】
【0012】
請求項2に係る発明は、前記ユーザにより入力された情報は、音声により入力された情報である、ことを特徴とする請求項1に記載の情報処理装置である。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】0013
【補正方法】変更
【補正の内容】
【0013】
請求項3に係る発明は、前記ユーザにより入力された情報は、前記AIアシスタントに対して直接入力された情報である、ことを特徴とする請求項1に記載の情報処理装置である。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】0014
【補正方法】変更
【補正の内容】
【0014】
請求項4に係る発明は、前記AIアシスタントは、前記ユーザによる所定の呼び掛け語の音声の入力により起動される、ことを特徴とする請求項1に記載の情報処理装置である。
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】0015
【補正方法】変更
【補正の内容】
【0015】
請求項5に係る発明は、前記ユーザにより入力され前記第1の表示装置に表示されている情報に基づき、前記AIアシスタントが生成した情報がある場合に、前記プロセッサは、前記生成した情報があることを前記第1の表示装置に表示させる制御を行う、請求項1に記載の情報処理装置である。
【手続補正10】
【補正対象書類名】明細書
【補正対象項目名】0016
【補正方法】変更
【補正の内容】
【0016】
請求項6に係る発明は、第1の表示装置と、前記第1の表示装置が設けられていない面に設けられた第2の表示装置と、を備えるコンピュータに、ユーザにより入力された情報を前記第1の表示装置に表示させ、前記入力された情報が前記第1の表示装置に表示されている状態で、前記入力された情報に基づきAIアシスタントが生成した情報を、前記第2の表示装置に表示させる制御を実行させるためのプログラムである。
【手続補正11】
【補正対象書類名】明細書
【補正対象項目名】0017
【補正方法】削除
【補正の内容】
【手続補正12】
【補正対象書類名】明細書
【補正対象項目名】0018
【補正方法】削除
【補正の内容】
【手続補正13】
【補正対象書類名】明細書
【補正対象項目名】0019
【補正方法】変更
【補正の内容】
【0019】
本発明によれば、ユーザにより入力された情報を第1の表示装置に表示させた状態で、入力された情報に基づきAIアシスタントが生成した情報を、第1の表示装置が設けられていない面に設けられた第2の表示装置に表示させることが可能となる。
【手続補正14】
【補正対象書類名】明細書
【補正対象項目名】0020
【補正方法】削除
【補正の内容】
【手続補正15】
【補正対象書類名】明細書
【補正対象項目名】0021
【補正方法】削除
【補正の内容】
【手続補正16】
【補正対象書類名】明細書
【補正対象項目名】0022
【補正方法】削除
【補正の内容】
【手続補正17】
【補正対象書類名】明細書
【補正対象項目名】0023
【補正方法】削除
【補正の内容】
【手続補正18】
【補正対象書類名】明細書
【補正対象項目名】0024
【補正方法】削除
【補正の内容】
【手続補正19】
【補正対象書類名】明細書
【補正対象項目名】0025
【補正方法】削除
【補正の内容】