仮想と現実の境い目を取り除きたい。XRで物理的な音を鳴らすあくなき挑戦。〜4期生インタビュー Vol.13　薗部健さん〜

クマ財団が支援する学生クリエイターたち。
彼らはどんなコンセプトやメッセージを持って創作活動に打ち込んでいるのか。
今という時代に新たな表現でアプローチする彼らの想いをお届けします。

>>> 4期生のインタビューについての記事はこちらから。
4期生41名のインタビュー、始めます！

薗部 健

1997年和歌山県生まれ。
名古屋市立大学 芸術工学研究科 博士課程。中川研究室に在籍。
物理と仮想が強く結びついた空間体験であるCross Reality（XR）を、オーディオビジュアルアートを通して実装している。
作品のコンセプトデザイン、システムデザイン、ソフト/ハードウェア構築を手がけている。

https://kuma-foundation.org/student/ken-sonobe/

 

 

ヴァーチャルな光の弾で、現実の物体に関与するには？

 

――オーディオビジュアルアートとしてXR（Cross Reality）の作品を制作されていますが、テクノロジーを使った創作活動を始めたきっかけを教えてください。

 

薗部　漠然とプロダクトデザインが勉強したいと思って情報環境デザイン学科に入ったんですが、自分が思っていたプロダクトデザインとはちょっと違うと感じて、すぐに興味を失ってしまったんです。逆にこれまで興味がなかったプログラミングが、いざやってみると面白くて、そっちに興味が傾きはじめました。勉強がすぐに形にならないのとは違い、プログラミングはどんどん形になっていきます。それが楽しくて、脳波計を使ったインタラクティブなVRコンテンツを作ったり、チャレンジングなことをやり始めたんです。

一般的な工学系の学科と比べて、私が在籍していた学科は融合分野なので、ひとつの分野に高い専門性があるわけではなく、ある意味、中途半端です。それで何かアイデアと組み合わせることで面白いものを創りたいと思っていたこともあって、ARやMRを研究していた中川研究室に入りました。中川先生は芸術系の出身で、最新テクノロジーを使ったオーディオビジュアルアートに取り組んでいました。その延長線上で次の作品を創ろうというところから始まっています。

 

――オーディオビジュアルアートというものに、どんな可能性を感じていますか？

 

薗部　オーディオビジュアルアートは音とビジュアルを組み合わせたもので、ダンスもそうだと言えるし、けっこう昔からあるものなんですね。それが近年になってVRやARが登場したことで、表現の幅が一気に広がったんです。

中川研究室ではMicrosoftのHoloLensを使って複数人で同時体験できるオーディオビジュアルアートを制作していました。VRの問題点のひとつに「孤立した体験になりやすい」ということがよく言われますが、グラス型のデバイスなら相手も見えるし、共有して物を見ることができます。つまり複数人同時体験にうってつけなんです。さらにその特性を活かして、どんなことができるか？ということに興味を持ちました。

 

――そこから生まれたアイデアが、ヴァーチャルな光の弾を飛ばす「Encounters」というわけですね。

 

薗部　先生とディスカッションしていたとき、ちょうど机の上にペットボトルがあって、「仮想の弾をぶつけてこのペットボトルが倒れたら面白いよな」という話になったんです。でもそれって、どう考えても無理な話じゃないですか（笑）。

仮想空間のものが物理に関わるのはほぼ不可能なことなんですけど、最近はIoT家電を使ったMRコンテンツも出てきているので、どうにかできないか、という話になり、仮想の弾をぶつけて物理オブジェクトから音を鳴らそうというアイデアになったんです。複数人同時体験が可能な仮想空間と現実空間が相互に強い結びつきを持った体験として、XRの実装になるのではないかと考えました。

 

 

――あくまで物理的に音を鳴らすことにこだわったわけですね。どうやって仮想の弾で実際の音を鳴らすんですか？

 

薗部　苦労したのが、まずそこです（笑）。どうやって作ろうかという時点ですごく迷いました。結局のところ、物理オブジェクトから音を出そうと思ったら、実際に叩くしかないんです。だけど、仮想の弾で衝突を起こすのは不可能なので、擬似的に衝突を起こそうと考えました。つまり物理オブジェクトに仮想の弾が飛んできたことをセンサーで判定して、物理オブジェクトを叩く装置を取り付けることにしたわけです。このあたりもかなり試行錯誤しましたね。

 

 

 

実用性に縛られないアイデアで“一歩先の未来”を創る

 

――次作の「Encounters 2.0」は、どこらへんが進化しているんでしょうか？

 

薗部　実際の光を追加しています。IoT家電の電球を設置して、そこに仮想の弾が飛んでくると「パリン」と音がして電球が消え、光が飛び散るエフェクトが出るようにしています。さらに消えた電球からはヴァーチャルな光の球体が発生し、それをつかんで電球に入れると光を灯すことができます。展示会で体験してもらったところ、これは音でもあったことなんですが、どこまでがヴァーチャルでどれが物理的な現象なのか区別がつかなくなる人がいましたね。そもそも光は物理的に触ることができないというヴァーチャルに近い性質を持ちながら、物理オブジェクトを照らして見え方を変化させるという性質があり、仮想と物理をつなぐ上で重要なものになるんじゃないかと考えているんです。そこからヒントを得て、光と影に着目し、現在は「Encounters」とはまた違うXRの作品を制作しています。

 

――同じように光の弾を飛ばすという体験では「HADO」というARスポーツがありますが、体験としての違いはどんなところにありますか？

 

薗部　「Encounters」はアート体験だと考えています。HADOがスポーツや娯楽として楽しまれているのに比べると、「Encounters」は実装はできたけど、設置が大がかりなことやデバイスの精度の問題もあって、まだ実用性に欠けるという段階です。今のところ何かの役に立つものではありませんが、その体験がVRやARをさらに発展させるためのヒントになればと思い、工学系の国際会議などを中心に発表し、さまざまな分野の専門家の方に体験してもらっています。

 

――今のところ社会実装については、それほど考えていない感じですか。

 

薗部　どちらかというと「自分が面白いと思うことを実現したい」という気持ちです。それがこの分野のいいところでもあって、工学系の研究だとどうしても実用性というものが付いてまわると思うんです。はっきり言って、大がかりな設置をして「Encounters」で音を鳴らしても実用性はないですよね。もちろん実用性は大切なことですけど、アートの分野であれば、実用性に縛られずアイデアを出すことができて、単純に自分が面白いと思うものを創ることができるわけです。それが何になるんだ？と思われるかもしれないけど、今の時代の実用性で考えると出てこないような“一歩先の未来”を創ることができるんじゃないかと思っていますね。

 

――AppleがARグラスを開発したり、コロナ過でオンライン化が急激に進んだり、今後、ヴァーチャルな世界がもっと身近なものになっていくと思うのですが、どんな未来像を思い描いてますか？

 

薗部　新型コロナに関しては、逆に現実空間の大切さというのをあらためて実感した感じでした。いつか完全にヴァーチャル主体の社会に移行するのかもしれないですけど、まだ早いというか、急には変われないと思います。特に人の感情を伝えるのは、ヴァーチャルではなかなかスムーズにいかないことをすごく実感しましたね。

だけど、それは「今の技術においては」という話で、もっと進歩すればむしろヴァーチャルのほうが現実よりも表現手段が増えるかもしれないですよね。それこそApple Glassのような新デバイスが普及したら、MRやXRは一気に加速すると思います。「Encounters」にしても、今はトラッカーが大きすぎることやデバイスの精度の問題もあって実用化にはほど遠い状態ですが、そのへんの技術もどんどん進歩しているので、近い将来、より簡単に楽しめるようになるかもしれないですよね。

 

――そうした近未来に対し、どんなふうにアプローチしていきたいですか？

 

薗部　今はまだ仮想世界と現実世界というものが、世間一般的にはシャットアウトされていると思うんです。その境い目が取り除かれたとき、一気にヴァーチャルの価値が上がってくると思います。将来的に長いスパンで見れば、絶対にそうなっていくと思っているので、早くその世界を見てみたい。今、私たちが創っているものが、その流れを加速させたり、その体験をよりリッチにするような開発の足がかりになればいいなと思っています。

 

――本日はありがとうございました！

 

Text by 大寺明