Химия в виртуальной реальности

Химию, информационные технологии и технологии виртуальной реальности обсудили с экспертами лектория «Капитаны будущего», спикерами из Университета ИТМО: Екатериной Скорб и Артёмом Смолиным.

— Артём, как бы вы определили, что такое технология виртуальной реальности?

— Чёткое определение дать не берусь, но если не брать в расчёт то, что под виртуальной реальностью мы можем понимать цифровое пространство как таковое, в этом случае технологии виртуальной реальности — это программно-аппаратные комплексы, позволяющие обеспечить погружение внутрь цифрового пространства, включая не только визуальный и аудиальный сенсорные каналы, например, с помощью гарнитур виртуальной реальности, но и иные устройства вроде устройств для передачи запаха, костюмы с обратной связью и т. д. Плюс к этому нужно обязательно добавить непосредственно контент, виртуальные среды, в которые осуществляется погружение.

— Я помню, что когда только-только появились VR-очки, то все кругом говорили, что «вот оно — будущее», что всё уйдёт в VR. Однако прошло уже больше десяти лет, а даже в кинотеатрах обычные фильмы вытесняют 3D. Обществу оказались не так нужны новые технологии?

— Мы склонны к громким лозунгам и некорректным прогнозам. В 2012 году, благодаря стартапу Oculus и непосредственно Палмеру Лаки (Palmer Freeman Luckey) появилась первая доступная гарнитура виртуальной реальности, главными свойствами которой были приемлемая цена и возможность видеть виртуальную среду полностью, а не частично, как было в дорогостоящих предыдущих аналогах. Несмотря на то, что был сильный «вау-эффект» (я, например, попробовал гарнитуру в 2013 году на мероприятии Geek Picnic, отстояв часовую очередь, и испытал непередаваемые ощущения) устройство было ещё далеко до совершенства.

За период с 2012 по 2023 г. данные технологии претерпели сильный позитивный скачок и сейчас они активно используются во всех сферах жизнедеятельности, от науки до досуга. Тем не менее, говорить о том, что они готовы полностью заменить плоские экраны ещё рановато и, возможно, данные технологии это промежуточный этап к некой новой технологии, которая позволит комфортно находиться в реальной и виртуальной средах, как по отдельности (с возможностью быстрого переключения), так и комбинированно, когда трансляция цифрового контента будет происходить непосредственно на объективную реальность.

Если говорить о виртуальной среде без использования VR-очков, то создателям выставки-игры «Капитаны будущего: Terra Futura», которая проходила на ВДНХ, удалось сделать некую виртуальную среду с эффектом погружения: в одном из залов выставки пол был в формате экрана, по которому посетители могли ходить и видеть города с разной высоты. А за одной из дверей выставки была скрыта «зелёная» архитектурная мысль, воплотившаяся также с помощью технологий погружения: здесь использовались эффекты глубины и зеркального отражения, 3D-графика. Открываешь дверь, а за ней — город-лес: высокие деревья с пышной листвой, в стволах которых — многоэтажки, светящиеся изнутри. Такие инструменты позволили гостям увидеть города будущего в разных измерениях и почувствовать себя реальными жителями этих мест. А увидеть 3D-технологию на выставке удалось благодаря экспонату — 3D-принтеру, который печатал Школу Чародейства и волшебства Хогвартс.

— Что нам мешает погрузиться в виртуальную реальность? Несовершенство шлемов или сама реальность недостаточно реальна?

— Для тотального прихода данных технологий, когда все, условно, будут использовать технологии расширенной (Extended Reality, XR) реальности вместо смартфонов и телевизоров ещё рановато. Необходимо дорабатывать всё, от «железа» до приложений. Тем не менее я считаю, что если не будет явного форс-мажора, это дело ближайшего будущего.

— Получается, в сфере образования эти технологии активно используются?

— Да, в этой области дела обстоят вполне позитивно. Создано уже приличное количество образовательных программ, от тренажёров в виртуальной реальности до возможности проводить занятия в виртуальных классах. Причём, это не замена текущим образовательным процессам, а вполне качественное дополнение. Скажем, прежде чем проходить стажировку на потенциально опасном оборудовании, можно пройти образовательный курс на цифровом двойнике в виртуальной реальности. Или же проводить полноценное занятие с необходимым иллюстративным материалом, собрав учеников со всего мира в виртуальном классе, который может быть на Марсе или в Марианской впадине.

Артём Смолин. Фото из личного архива.

Например, в нашем Центре Юзабилити и Смешанной Реальности Университета ИТМО мы совместно с коллегами из центра нейронаук в образовании ИТМО и Российским государственным педагогическим университетом им. А. И. Герцена создали многопользовательскую VR-игру «Орбитальный космический бой». В основе игры лежит изучение принципов распределения электронов в атомах разных химических элементов. Игра напоминает морской бой, только действие происходит в космосе. Выбираете, за какую из рас «Лантаноиды» или «Актиноиды» вы играете, и ваша задача будет заключаться в том, чтобы стоя на мостике космического корабля, быстрее противника угадать соответствующий элемент таблицы Менделеева.

Если мы делаем цифровой двойник химической лаборатории, то это даёт много преимуществ: безопасное использование опасных веществ, перманентная демонстрация процессов, происходящих на молекулярном уровне, ускорение или замедление времени и многое другое.

— Екатерина, можно ли сейчас к списку уже существующих «химий» — органической, физической, биохимии и других — добавить химию виртуальную?

— «Виртуальная химия» — такого понятия пока что нет. У нас пока не существует такой среды, в который вы сможете промоделировать систему одинаково хорошо на разных уровнях её организации. Например, для каких-то небольших химических систем вы можете приближённо решить уравнение Шрёдингера, применив ту же теорию функционала плотности (Density Functional Theory, DFT). Но когда системы становятся больше, то приходится уже задействовать другие методы, например, молекулярной динамики.

До какого-то времени не было понятия и «инфохимия». Но появляется всё больше областей на стыке химии и информационных технологий: это и хемоинформатика, и хемометрика, и трибоинформатика, и хемотроника. Каждая из этих областей характеризует определённую систему и необходима для решения какой-либо практической задачи, где основной фокус — это насколько мы сможем предсказывать поведение сложных систем, и какие модели можно для этого применять. Поскольку таких областей появилось много, инфохимия объединяет их под своим зонтиком и смотрит, насколько алгоритмы с большими данными могут помочь в каждой из областей.

Одна из областей, где «информационная» революция свершилась — это биоинформатика. Учёные-биоинформатики могут даже никогда не заходить в лаборатории и тем не менее работать с реальными данными, полученными экспериментально, например, с помощью секвенирования ДНК. И конечно, им нравится, когда их теоретические модели подтверждаются на практике.

Екатерина Скорб. Фото из личного архива.

Такая же революция сейчас происходит в материаловедении, в химии, потому что появились хорошие алгоритмы по предсказанию поведения сложных систем. И здесь также стоит вопрос в сборе баз данных. Одно из направлений нашего центра инфохимии — сбор больших данных с помощью роботизированных химических комплексов. Но прежде всего мы стремимся изучить на молекулярном, на атомном уровне поведение химических систем, процессы, протекающие на межфазных границах.

— Что сейчас ожидают от инфохимика?

— Что он понимает в вычислительных методах, которые есть в химии, умеет программировать, понимает много чего в IT и, конечно, знает химию. У ребят очень сложная программа, но они понимают, что это их сделает теми специалистами, которые смогут решать задачи на новом уровне. Здесь можно привести пример импрессионистов: сначала они научились хорошо рисовать, а потом уже нашли свой стиль.

— А что нового и интересного в инфохимии появилось за последнее десятилетие-другое?

— Среди программ можно отметить AlphaFold — для предсказания пространственной структуры белков, так называемого фолдинга. Возможность предсказывать структуру белка стала большим прорывом в биохимии. Но, к сожалению, эта программа ничего не может сказать о динамике процесса: вы предсказываете структуру, но не понимаете, как в действительности происходит этот фолдинг, как белок «сворачивается». Формирование таких сложных структур — это отдельная большая проблема.

Нам интересны разработки команды член-корреспондента РАН Максима Фёдорова по использованию платформ искусственного интеллекта для изучения химического пространства и прогнозирования свойств органических соединений с использованием пакета SYNTELLY. Смотрим, какие модули от наших команд можем интегрировать.

Кроме использования элементов машинного обучения в расчётах, появились возможности строить гибридные модели, смотреть, как на каждом уровне можно использовать преимущества разных методов и подходов, как эти «мостики» между ними настроить.

Много интересных вещей есть и в Сколтехе. Например, Артём Оганов благодаря своей программе «USPEX» предсказывает структуры больших систем в твёрдой фазе. При этом важной становится возможность использовать методы машинного обучения для предсказания поведения таких сложных систем. Например, в нашей лаборатории мы реализуем подобный подход относительно электрохимических систем и методов, пытаемся их «скрестить» с вычислительными методами, чтобы анализировать гибридные данные.

Среди интересных направлений можно отметить ещё, например, разработку химического перцептрона — химической платформы, способной хранить и обрабатывать информацию, своего рода аналог физической нейросети. Также отмечается интерес к нейроморфным вычислениям и материалам, которые позволяют реализовать разные архитектуры.

— Насколько близко или далеко мы сейчас находимся от того, чтобы понять, как устроена жизнь? Может быть, мы быстрее смоделируем жизнь на компьютере, создадим такой «виртуальный перцептрон», чем создадим её, условно говоря, в пробирке?

— Уже сейчас многие системы, с которыми мы работаем, ведут себя подобно живым системам. Рассматривая что-то под микроскопом вам будет казаться, что система живая и меняется во времени, но при этом на самом деле она неживая.

В прошлом году отмечали юбилей известной работы Алана Тьюринга, которая говорила о том, как появляются различные химические паттерны, в том числе объясняющие поведение биологических систем. Можно отметить и работы фон Неймана по теории игр и размножению организмов. Да, математический аппарат для описания сложных систем постепенно появляется, но также важно иметь для него экспериментальные системы, на которых вы проверяете то, что моделируете.

Что касается описания процессов, протекающих в клетке, то здесь уже многое известно. Понятно, что не до конца, но про самые важные химические циклы мы знаем. Можно подумать, как запускать эти циклы, где будет происходить обмен продуктами разных реакций — они в свою очередь будут играть роль прекурсоров для другой реакции и так далее.

Существуют группы исследователей, которые пытаются у живой клетки убрать некоторые функции, минимизировать их: то есть они идут как бы сверху вниз, упрощая то, что уже сделала природа. Другие исследователи, наоборот, пытаются сделать что-то живое, идя снизу вверх: собирают блоки и смотрят, как эти блоки друг с другом коррелируют.

Используя методы моделирования путей реакции можно сегодня предсказывать и впоследствии создавать материалы, которые на самом деле ведут себя подобно живым системам. Здесь к тому же поднимаются философские вопросы — а что такое живое и не живое? А эмбрион живой или не живой? А вирус? При поиске жизни на других планетах мы, конечно, используем определение, когда химические системы способны к дарвиновской эволюции и к самовоспроизводству. Компьютерный вирус не будет считаться за жизнь в таком случае. Но если кто-то такую химическую систему сделает, вы можете убедить нас, что вы сделали искусственную жизнь!

— Сейчас часто говорят о пользе игр, в том числе и виртуальных, в обучении. А есть ли место химии в виртуальной реальности и наоборот, играм в обучении химии?

— Всё, что связано в образовании с игровыми методиками, это, на мой взгляд, хорошо и может быть полезным в разных аспектах. В детских образовательных проектах, например, на выставке-игре «Капитаны будущего: Terra Futura» была воплощена идея знакомства детей и их родителей с научными фактами через игру. Важно, чтобы предлагаемые системы были основаны на современных технологиях. Интересна, например, идея про умный браслет с возможностью мониторинга состояния организма, что соответствует тренду персонализированной диагностики.

Метод игры в познании был применён на выставке в разных форматах: юные капитаны «вдыхали» молекулярную пищу из стеклянной колбы, изучали бургер, «приготовленный» в 3D-принтере, и сами развивали идею возможности питания в будущем с помощью пластыря, который самостоятельно будет рассчитывать набор необходимых человеку питательных веществ и вводить их в организм. Также в каждом зале выставки с помощью умного браслета путешественники могли пройти увлекательный тест на интерактивных панелях: по итогам всех тестов в конце выставки браслет определял идеальную планету для жизни юного исследователя.

Что касается наших разработок, то совместно с Артёмом Смолиным мы делаем один из проектов по VR-технологиям как раз для того, чтобы собирать большие данные по процессам диффузионного роста гидроксиапатитных структур.

Или вот появилось какое-то время назад химическое обновление в Minecraft. Сейчас оно годится скорее для того, чтоб заинтересовать химией, а хотелось бы видеть его более правдоподобным. Например, там есть такая функция, что когда вы получили ацетат натрия и затем бросаете его в воду, у вас образуется лёд, по которому вы можете идти — однако это всё-таки противоречит действительности.

— Артём, возвращаясь к теме образования в виртуальной реальности. Нет ли тут опасности, что изучение науки, как способа познания реальности, превратится в изучение пусть и красивой, но компьютерной программы?

— И опять я с вами не соглашусь, поскольку никто не пытается заменить виртуальными образовательными средами реальные лаборатории. Виртуальные среды это хорошая подготовка к реальным лабораторным условиям или вынужденная замена в определённых ситуациях, но никак не их полноценная замена. Нам будут не нужны реальные локации, когда мы полностью перейдём существовать в цифровое пространство, отказавшись от своей материальной оболочки. А до тех пор, это будет достойным и качественным дополнением.

— Екатерина, а как именно может дополнять виртуальная реальность образовательный процесс на конкретном примере в вашем университете?

— Сейчас мы активно работаем над тем, чтобы для магистратуры сделать виртуальную среду и инфохимическую «сеть» (infochemistry web), из которой преподаватели смогут  брать химические кейсы и работать с ними, задействовав знания химии и IT. Такие кейсы хороши для магистратуры, но в бакалавриате понятно, что сначала нужно всё изучить, «потрогать», чтобы хорошо разбираться в предметах.

— А как вы думаете, абитуриентам, будущим учёным сейчас лучше сразу смотреть на какие-то междисциплинарные программы обучения или всё-таки сначала получить одно базовое образование, а уже потом добирать дополнительными курсами?

— С моей точки зрения, каждому надо выбрать то, что ему комфортно — здесь мы все индивидуальны. Если бы я сегодня выбирала для себя, то выбрала и первое и второе, потому что когда мы говорим про инфохимию в образовательном треке, то это и химия, и IT. Учиться тяжело, зато за 4 года вы освоите и одно и второе. Главное быть готовым работать больше и усерднее, чем работают остальные ребята. Если после основного курса химии вы добираете дополнительные, то основная рекомендация — не забыть, что вы химик.

Мы сейчас предлагаем единственную программу онлайн для магистратуры — химический soft. Она нацелена как раз на то, чтобы те, кто уже получил химическое образование, не забыли, что они химики и одновременно развивались в IT и на конкретных химических кейсах посмотрели, для чего это нужно. Например, человек знает химию, но хочет научиться делать VR-образовательные проекты, он сможет выучить Python, а потом уйти в C Sharp и сделать игру для химии вместе со мной и Артёмом, а дальше — сделать компанию, которая будет правильно двигать химическое образование.

Когда у нас выходит новая научная статья, то мы организуем вокруг неё своего рода инфохимическую сеть, чтобы уже из неё был выход на образование, пытаемся подумать, как это использовать в игровых технологиях, делаем VR-лабораторную работу.

Изучать параллельно можно много чего, но нужно понимать, как использовать это для своей профессии. С моей точки зрения, будет появляться ещё больше таких программ, нацеленных на использование IT-инструментов в химии, физике, биологии и других науках.

— Кого бы вы пригласили работать в свою лабораторию: условных десять универсальных биофизхимиков-айтишников, которые умеют всё понемногу, или десять узкопрофильных специалистов?

— Я бы пригласила своих выпускников, которых мы сейчас воспитываем. А пока приходится набирать команду, которая умеет взаимодействовать друг с другом. В этом случае если один человек имеет несколько навыков, он может больше сделать именно сам, но дальше даже он — один в поле не воин, и нужна команда, каждый из членов которой поможет в решении определенных задач.

— Артём, а есть ли научные исследования эффективности VR в образовании?

— Конечно, есть и достаточно много. И данные исследования демонстрируют эффективность использования подобных технологий в образовательных учреждениях. Здесь важно подчеркнуть именно алгоритм использования данных технологий и их качественного внедрения в образовательный процесс. Если преподаватель пришёл в класс и сказал: «Дети, все надели VR-шлемы и проходим урок», а сам при этом занимается своими делами это одно. А если данные технологии качественно дополняют работу преподавателя на уроке, это уже совсем другое. Тут нужна компетентная методология использования, качественный контент, техника безопасности и много чего ещё. В этой области мы только в начале пути качественного внедрения технологий расширенной реальности в образовательный процесс.