目次
はじめに
はじめまして．
筑波大学システム情報工学研究科バーチャルリアリティ研究室に所属している，博士前期課程2年の伊藤弘一郎です．
我々の研究室では，バーチャルリアリティに深く関連する技術である，力覚提示装置，歩行感覚提示装置，没入球面ディスプレイ，デバイスアートを研究しています．詳しくは，当研究室HPをご覧ください．
本記事では，バーチャルリアリティの研究とは何かという話から，力覚提示装置，自身の研究などを解説します．特に，本記事は主な読者である高校生，研究室配属前の大学生向けの内容になっています．一人でも本記事を読んでバーチャルリアリティの研究に関心を持って頂ければ嬉しいです．
VRを研究するとは？
VRの研究と聞いてあなたは何をイメージしますか？
読者の皆さんの中にはVRヘッドセット（ヘッドマウントディスプレイ，以下HMD）を使用したゲームコンテンツなどに関連する技術の研究を想像する方も多いと思います．
しかし，日本のVR研究者の必読書である「バーチャルリアリティ学（出版社: コロナ社）」(p.7)で，VRは「それがそこにない（現前していない）にもかかわらず，観察する者にそこにあると感じさせる（同一の表象を生じさせる）ものである」と紹介されており，なんとなくVRの研究とはHMDのみについて指す言葉ではないことが分かります．
さらに，同書(p.5 – 6)でVRの重要な３要素は，
「コンピュータの生成する人工環境が①人間にとって自然な3次元空間を構成しており，②人間がそのなかで，環境との実時間の相互作用をしながら自由に行動でき，③その環境と使用している人間とがシームレスになっていて環境に入り込んだ状態が作られているということ」
と紹介されています．
つまり，これらをよく噛み砕いて表現するならば，
バーチャルリアリティ技術は，人間が実際の現実空間と同じように体を動かしたり，歩き回ったり，物に触ったり，風や香りを感じたりすることができるバーチャル空間を実現し，それを利用するための技術ということになるでしょう．
「映画Ready Player One」や「ソードアートオンライン」などを知っている方は，ここでいうバーチャル空間というものを想像しやすいかもしれません．下の動画は「映画Ready Player One」の予告動画ですが，現在盛んに要素技術が研究されている触覚スーツなどが登場したのは非常に印象的です．
そして，現実空間と同等の環境をコンピュータで構築するためには，人がどのようにして世界を知覚するのかが解明される必要があり，これには生理学や心理学の研究が必要です．また，現実空間と同等の環境を実現する装置の研究・開発も必要であり，これにはコンピュータグラフィクスからメカトロニクスなどの多岐にわたる分野の研究が必要です．
つまり，VRの研究には非常に多くの分野が内包されているというわけであり，VRを研究する学生の端くれである筆者もまた，それらの分野の知識を横断的に学び研究・開発を行っています．
バーチャルリアリティにおけるディスプレイ
私たちは，自分の周りに広がる環境の色や音，物体の形や大きさなどを目と耳で知覚し，香りや味までも鼻と口で知覚できます．さらに手などにおいては実際に物に触れることで，その材質感や硬さ，温度などを知覚できます．他にも，人間は下表のように分類される複数の感覚によって自身を取り巻く環境を知覚し，それに合わせた行動を決定しているのです．
出典：五感情報通信技術に関する調査研究会 報告書 p.15
VR技術において，これらの感覚に対し人間に感覚入力を行うシステムをディスプレイと呼びます．例えば，冒頭に挙げたHMDは代表的な視聴覚ディスプレイの一つであり，バーチャルな空間を自由に歩き回り，自分を取り巻く環境を360度見渡すことができるという点でVR技術に大きく貢献しています．
映像や音を提示するディスプレイには他にもさまざまな形態のものがあり，視聴覚ディスプレイに関しては広く実用可能なレベルまで技術が進展しています．
しかし，味覚・嗅覚，触覚（皮膚感覚・深部感覚）のディスプレイは視聴覚ディスプレイほど技術が進展していません．2002年時点でのそれぞれの感覚器ディスプレイについての技術の進展具合は概ね下図の右列のようであると報告されています．
出展：五感情報通信技術に関する調査研究会 報告書 p.5
そしてこのことは，データで確認せずとも，自由自在に味や香りを変えることができる装置や，どんな重さや温度のものでも自由に作り出せる装置が一般に普及していないことからも想像できるでしょう．
しかしながら，これらの技術が進展すれば，HMDから見える料理から非常に魅力的な香りがしたり，VRゲームに登場するアイテムを重さや材質感を感じながら触ったり操作したりすることが可能になるのです．
力覚提示装置（ハプティックデバイス）
筆者は，前述のディスプレイにおいても，特に体性感覚に分類される深部感覚にて知覚する力覚（硬さ，重さなど）を提示する装置についての研究を行っています．ここでは，筆者が研究・開発する 力覚提示装置（ハプティックデバイス） について紹介しましょう．
力覚提示（ハプティック）技術
力覚提示技術は、そこに物体があるかのように感じさせる技術，または指が物に触れたときに生じる反力を再現する技術というように説明されます．
我々は物に触ったときに，その物から受ける反力を深部感覚にて知覚し，その硬さや重さなどを感じます．力覚提示装置（ハプティックデバイス）は，この反力を実物体と同等にバーチャル物体に触ったときにユーザに与える装置です．
先ほどの例を用いますと，VRゲーム中にHMDから見える手元のアイテムに触り，重さや材質感を確認できる装置，ピストルの反動や剣で何かを切った反力を感じることができる装置という感じです．
現在までに，ハプティックデバイスは数多く開発されてきました．
代表的なものでは3D Systems社のTouchがあります．これは，ペン型のデバイスを把持し，コンピュータ内のバーチャル物体の硬さや形などを確認しながらバーチャル物体を操作できるというハプティックデバイスです．
動画ではペンで3Dオブジェクトに触れている様子が見れますが，ペンが手に3Dオブジェクトに触れた際の反力を返すことで，ユーザは実際に3Dオブジェクトに触れている感覚を得ることができています．
しかし，この装置では触れている場所と3Dオブジェクトが見えている場所が離れており，更にペンを介して反力が返ってくるために，実際に触れている感覚を得にくいという欠点があります．
研究活動の紹介
筆者が研究にて使用する3自由度可動式タッチスクリーンと命名された，タブレットPCに描画されたバーチャル物体に対し，その形や重さを触ることで知覚可能である装置を紹介します．文章で説明してもなかなか伝わらない装置なので，まずは下の動画をご覧ください．
参考：高中駿,矢野博明,岩田洋夫,:”3自由度可動式タッチスクリーンを用いたマルチタッチ力覚提示装置”,日本バーチャルリアリティ学会論文誌/22(3)/pp.325-334, 2017
タブレットPCに力を加えると，それに合わせてタブレットPCが動作し，四角柱や円柱の物体を動かしたり，ゲルのような物体をつついたりする様子が確認できます．これはただタブレットPCが動いているのではなく，指に石を動かした際に生じる反力を返しています．そして，そこに石はありませんが，ユーザは実際に石の形や硬さを知覚できます．
このシステムであれば，2次元的な表現ですが，触っている場所にバーチャル物体があり，指で直接触れているために実際にバーチャル物体に触れている感覚を得やすいと言えます．
現在まで，これに加えて静電触覚提示技術を用いてツルツル，ザラザラといった材質感をユーザに提示し，深部感覚にて知覚する力覚と、皮膚感覚にて知覚する触覚を同時に提示する研究や，ディスプレイ表面をゲルシートで覆った状態で硬さを提示する研究を行いました．後に続く章では，本装置の基本動作原理とゲルシートを用いた硬さ提示の概要について解説します．
3自由度可動式タッチスクリーン
ハードウェア
本装置は，下図のように下からXY-ステージ，回転機構，力覚センサ，タブレットPCが接続されています．
XY-ステージと回転機構は動画を見ての通り，タブレットPCを水平方向に並進・回転移動させる機構です．力覚センサでは，ユーザがタブレットPCに加えた並進力及び回転力を検出することが可能です．また，タブレットPCではバーチャル物体を描画するほか，上記のセンサや並進・回転移動に使用するモータの制御プログラムを動作させています．
ソフトウェア
力覚センサでは指でどの方向に，どれくらいの強さでタブレットPCに力を加えたかを検出することができます．タブレットPCは力覚センサから得られた力入力を用いて運動方程式を解き，タブレットPCを動作させています．例えば，ユーザが石に力を加えた力のベクトルをFとし，石の質量をMとしたとき，石の加速度（運動）aは
$$ \mathrm{ F = M\ a} \\$$
$$ \mathrm{ a = \frac{F}{M}}$$
という最もシンプルな運動方程式を解くことで得られます．タブレットPCは，これに従って動作し，実際の石に力を加えた時の動作をシミュレーションするようにタブレットPCも動作します．
先ほど，タブレットPCはXY-ステージと回転機構により動作していると説明しましたが，これらはモータで動いています．したがって，タブレットの位置の制御はモータを制御することで行われます．
ここには制御工学の知識が必要であり，これは主にロボット工学で使用される知識です．また，バーチャル物体を描画するためのソフトウェアを開発する必要があり，本装置ではOpenGLというコンピュータグラフィックスライブラリを使用しています．これにはプログラミングやCGの知識が必要であり，これは主に情報工学分野などで使用される知識です．
こんなように，力覚提示システムを開発するのに，力学，制御工学，情報工学などの多分野の知識・経験を活用する必要があります．ほかにも，この装置の開発には機械工作，電子回路，逆運動学などの知識を使用し，装置の評価を行うために心理物理学などの知識も必要になります．
これまでに分かっていること
本装置では，これまでにバーチャル物体の形状，重さ，硬さなどを提示できることが分かっています．現在は，特に硬さに注目した研究を行っています．
上の動画で，ゲルっぽいバーチャル物体をつつくような様子が確認できたと思いますが，触っている面はタブレットPCの画面であり，柔らかいものをつついているのに触っている面は硬いという違和感が生じます．
そこで，現在はこのタブレットPCの上にゲルシートを設置して硬さの提示を行うという研究をしています．写真は，開発中のもので遠隔触診の実装などを目標にバーチャルな臓器に触れることを目標に開発しているものです．
ここで，この装置を開発するために本研究では多くの課題が生じました．その中でも大きく二つ
課題１：ゲルシートを設置したことによりタッチパネルセンサが使用できないため，タッチパネルセンサ以外でのタッチ位置検出を行う必要がある
課題２：バーチャルゲル物体の任意の硬さ提示を行うには，ゲルシートの硬さを考慮した硬さ提示を行う必要がある
という課題があります．ここではこれらの課題を高校物理をベースに考察し，その解決方法を解説します.
課題１の解決法：新たなタッチセンサ開発
ゲルシート設置前までは，タブレットPCのタッチパネルセンサを使用して，ユーザがどこを触れているのかを検出していました．装置が動作する動画の中では，ユーザがタッチした指の位置に応じて，自然にバーチャル物体とインタラクションを行う様子を確認できます．
しかし，ゲルシートをタブレットPC上面に設置すると，当然タッチパネルセンサは使用できなくなってしまいます．タッチ位置が分からなければ，ユーザがバーチャル物体のどこに触れているのかが分かりません．
この問題はタブレットPC下部に接続された力覚センサを使用することで解決しました．
タブレットPCを下右図のような2次元の座標系のように見立てます．例えば，下図のようにディスプレイ上面に錘を置いた時，力覚センサでは錘の重力による鉛直下向きの力 Fz (N)と錘が左側に乗ることでy軸周りに生じる回転力（モーメント）Mz (N m)を計測可能です．すると，錘の位置 x (m)は
$$ \mathrm{ My = x\ Fz}$$
$$ \mathrm{ x = \frac{My}{Fz}}$$
といったように推測可能なわけです．
そして，ユーザがタブレットPCに加えた並進力を \( \vec{F} \)，それぞれの軸周りの回転力（モーメント）を \( \vec{M} \) ，タッチ点から力覚センサまでの距離をdとすると，タッチ点 \( \vec{T} \) は以下の式にて表せます．
$$ \mathrm{ (T_x, T_y) = \left(\frac{M_y – d\ F_x}{F_z} , \frac{M_x – d\ F_y}{F_z}\right)}$$
出典： 伊藤 弘一郎 ,矢野 博明 ,嵯峨 智, : “3 自由度可動式タッチスクリーンにおける触力覚提示” , 第２０回ハプティクス研究会, pp.27-32 (2018)
高校物理でモーメントの単元を学習していれば理解できると思うので，どうしてこの数式でタッチ点を求めることができるのかを考えてみましょう．モーメントについてはこちらのサイトで分かりやすく解説されていましたので，確認するのも良いでしょう．
そして，これの他にセンサからの出力データの処理などを行うことで，タッチ点が1点接地のみで良い場合，この方法で十分な検出精度でタッチ位置を推定することができました．
課題２の解決法：目標剛性の計算
本装置では，ユーザがタブレットPCに加えた力に対し，力を加えた指の位置を実際にゲル物体をつついたときの変形を平面方向にシミュレーションするように移動させることで硬さの提示を行います．
ゲルシートを乗せる以前は，タブレットPCに加えられた力を検出し，上記の通りにバーチャルゲル物体の変形量だけタブレットPCを動かすことで，任意の硬さ提示を行っていました．
しかし，ゲルシートを設置すると，タブレットPCが動作して硬さ提示するのと同時にゲルシートそのものが変形するために，このままでは狙った硬さを正しく提示できないのです．
参考：伊藤弘一郎，矢野博明，伊藤香，大城幸雄．3自由度可動式タッチスクリーンを用いた臓器硬さ提示，Journal of Japan Society of Computer Aided Surgery，JSCAS28，vol.21 no.4 2019／269−270（2019）
この問題は，ゲルシートの硬さを事前に調べておき、ゲルシートがどの程度変形するのかを考慮した変形量だけタブレットPCを動作させることで解決できるでしょう．
つまり，ユーザに提示したい目標の硬さをバネ定数 \(\mathrm{K}\) N/m，タブレットPC上面に設置したゲルシートのせん断変形時の硬さをバネ定数\(\mathrm{K_g}\) N/m としたとき，モータを動作させて提示する硬さ\(\mathrm{K_v}\) N/mは以下の式にて表すことができます．
$$ \mathrm{ K_v = \frac{K_g\ K} {K_g – K} }$$
すると，フックの法則からタブレットPCに指で力を加えた時に動かすべきタブレットPCの変位ベクトル \( \vec{D} \) は
$$\vec{D} = \mathrm{\frac{K_g – K} {K_g\ K} } \vec{F}$$
と置けるので，この変位ベクトル \( \vec{D} \) の通りにタブレットPCを位置制御することでユーザの指にはせん断方向にバネ定数 \(\mathrm{K}\) N/mの硬さを提示できるというわけです．ここで用いられているのも，高校物理で学習する直列バネの公式です．公式についてもう一度理解を深めておきましょう．
他にもねじり変形の動作を実装などをしましたが，この方法で健康な肝臓の硬さから重度の肝硬変の肝臓の硬さまでを装置で提示できることが分かりました．
さらに研究では，課題１，２を解決した後にこの方法で提示した硬さがユーザにはどのような硬さに感じられるか（硬さの心理物理量）の調査まで行い，複数提示した硬さごとにそれぞれどれくらいの硬さを感じるか，提示した硬さをユーザがどの程度硬さを弁別できるかなどの実験を行っています．
終わりに
さて，本記事ではVRの研究とは何かという話から，筆者の研究の一例の紹介までさせていただきました．後半は少し難しい内容が含まれたかと思われますが，読者の皆さんにハプティックデバイスの開発の雰囲気が伝わっていれば嬉しいです．
ハプティックデバイスは現在，世界の多くの研究室にて研究・開発が行われている最中です．例えば，実際に皆さんが触れることができる身近な例ではiphone 7の押せないけど押した感じがするホームボタンや，Nintendo Switchのジョイコン（1-2-Switchというソフトでジョイコンを傾けるとボールがぶつかり合う感覚が感じられるコンテンツがあってあれは楽しい）などを挙げられます．
しかし，汎用的に使用できるハプティックデバイスが身近な存在になるためには，もう少し時間がかかりそうです．そのため，まずは多くの人にデバイスの存在を認知してほしいと思います．（日本発のハプティックデバイスには例えば以下の例があります）
加えて，私の研究にも言えることですが，ハプティックデバイスはいくら論文を読んでも触ってみなければどういった効果があるのかを実感しにくいものです．
この分野に関わりたいと思った方は，是非近くのハプティックデバイス（触力覚提示）を研究する研究室を訪れてみてください．また，11月にIVRC（国際学生対抗VRコンテスト）の決勝大会に出展した ハプティックデバイスを含んだVR消防体験システム（VR消防体験 -炎舞-）を，2020年2月に Tsukuba Mini Maker Faire に出展しますので，是非体験しに来てください．
また，全国でVRを研究する代表的な研究室は「 バーチャルリアリティでリードする大学（ 河合塾教育研究部 みらいぶプラス運営事務局 ） 」で非常に綺麗に纏められていました．研究内容など含めて興味のある研究を探してみましょう．
