Как томография помогает промышленности? — все самое интересное на ПостНауке
20 апреля 2024, 02:19
Машинное обучение, или ML — новая и динамичная область, и зачастую исследования в этой сфере проводятся не обособлено учеными, а совместно с крупными технологическими компаниями — партнерами могут быть, например, Microsoft, Google или Amazon. Среди российских игроков на этом поле самый заметный — Яндекс. Поэтому о значимых результатах исследований в ML, корпорациях как производителях научного знания и этических проблемах, связанных с ИИ, ПостНаука поговорила со специалистом в области машинного обучения и квантовых вычислений Станиславом Протасовым и руководителем исследовательского отдела Яндекса в области искусственного интеллекта Yandex Research Артемом Бабенко. С чего все начиналось: знаковые исследования в машинном обучении
В конце 1950-х, с примерным пониманием того, как работают нейроны, начались попытки использовать этот механизм в вычислениях. И они увенчались успехом — в 1960 году ученый Фрэнк Розенблатт представил первый нейрокомпьютер "Марк-1", который умел распознавать цифры на изображениях. Тогда это был прорыв — казалось, что скоро станет возможно повторить все когнитивные функции мозга, увеличивая число искусственных нейронов.
Однако подбор параметров (весов) в нейронных сетях — нелинейная задача оптимизации. С увеличением размерности входных данных (например, размера изображений) и увеличением числа слоёв, растет и сложность поиска. Если использовать тривиальные методы, даже самые незамысловатые модели можно тренировать очень долго. Поэтому большим открытием для машинного обучения был
алгоритм обратного распространения ошибки, независимо открытый в 1970–80-е годы несколькими группами ученых.
Следующее большое открытие, которое привело ML к его современному виду, —
сверточные нейронные сети (convolutional neural networks). Они также были вдохновлены природой, а точнее, строением зрительной коры мозга. Ключевой особенностью сверточных нейронных сетей является использование простых и локальных математических операций — свёрток — которые эффективно извлекают важные признаки из входных данных, например изображений, видео, рентгеновских снимков или компьютерной томографии. За открытие сверточных нейронных сетей Ян Лекун в 2018 году получил самую престижную премию в области информатики — премию Тьюринга.
Уже в конце 90-х годов, с помощью рекуррентных нейронных сетей (например, модели
LSTM), появилась возможность классифицировать и генерировать последовательности данных, такие как аудио, тексты и числовые ряды. До этого существовали модели попроще, например, "марковские цепи", но именно рекуррентные нейронные сети добавили новые возможности в область искусственного интеллекта.
Следующее достижение, вероятно, является ключевым для работы с текстами, — это архитектура нейронных сетей, называемых "трансформерами". Впервые она была представлена в 2017 году в
статье "Attention Is All You Need". Это, наверное, главная работа в области машинного обучения за последние годы.
В этой работе предложен механизм "внимания" (attention), который позволяет улавливать связи и иерархии между словами одного предложения. Оказалось, что для работы с текстом такая архитектура подходит очень хорошо. Широко известная аббревиатура GPT расшифровывается как Generative Pre-trained Transformer.
Но это что касается текста (а он компактен). Изображения требуют гораздо больше параметров, и, соответственно, примеров для обучения. Для решения этой проблемы Ян Гудфеллоу (американский ученый, специалист в области искусственного интеллекта и машинного обучения) и его коллеги
предложили модель Generative Adversarial Networks (GAN). По-русски это называется генеративно-состязательными сетями. Цель проекта — заставить одну сеть научиться распознавать что-то, а другую — подделывать, то есть создавать нечто похожее на оригинал. В этом состязании одна сеть научилась хорошо определять подделки, а вторая — создавать нечто похожее на то, что создают люди. И сейчас все, что связано с генерацией изображений, во многом наследует эту работу 2014-го года.
Сегодня исследования в области ML проводятся в крупных интернет-компаниях постоянно. В Яндекс, Google или Amazon, есть свои исследовательские отделы, которые могут быть гораздо мощнее, чем университетские лаборатории, превосходя их по финансированию, вычислительным возможностям и даже командировочным расходам.
Помимо нейросетей в 1990-х был разработан алгоритм градиентного бустинга, нашедший применение в областях рекомендаций или поиска. Это способ обучения множества простых моделей, когда каждая следующая модель пытается научиться исправлять ошибки предыдущей. То есть, вы сначала обучаете одну модель "грубо" и говорите: вот примерно так оно работает. Затем, на ошибках этой модели вы тренируете следующую. Таких моделей в цепочке могут быть тысячи: все они очень простые, быстрые, и каждая исправляет ошибку за предыдущими. Далее вы можете выбрать, сколько маленьких моделей вам нужно, чтобы удовлетворить одновременно требования и к скорости, и к точности их работы.
Из метода градиентного бустинга родились библиотеки Яндекса. Сначала была создана внутренняя библиотека, которая называлась Матрикснет. Затем — общедоступная библиотека CatBoost, которая используется для решения задач рекомендаций и поиска.
Артем Бабенко, руководитель Yandex Research — об актуальных задачах в ML На данный момент задач несколько. Первая — создать возможности для для легкого и быстрого использования больших языков моделей, так называемых Large Language Models (LLM). Это интересный инструмент для множества приложений, однако он требует больших затрат на обучение, подготовку и применение.
Вторая задача — генерация изображения на основе текстового запроса. Например, приложение Шедеврум, созданное Яндексом, использует модель, которая может выполнять эту задачу благодаря исследованиям Yandex Research. Эта модель популярна, но чтобы обрабатывать многочисленные запросы, требуются большие вычислительные мощности. Это дорого, поэтому мы активно работаем над ускорением и удешевлением процесса.
Третий пример — графовые нейронные сети. На первый взгляд кажется, что их было бы логично применять в ряде задач, в которых данные представлены в виде графа. Однако большинство опубликованных научных работ посвящены графовым нейросетям на небольшом объеме данных, что далеко от практики. Наша исследовательская задача — сделать способными такие нейросети быстро работать с большими данными.
Между академией и корпорацией
Станислав Протасов, специалист в области машинного обучения и квантовых вычислений В машинном обучении и информатике объектом обработки является информация: доступная и ничего не весящая. Поэтому в IT время от научного открытия до внедрения технологий очень маленькое.
Сейчас в стандартах современных публикаций даже появилось понятие "воспроизводимость". В IT под этим понимается код проекта, который хорошо оформлен и выложен в виде репозитория на GitHub. Если этот репозиторий приемлемого качества, то он может стать чьим-нибудь индустриальным решением в течение нескольких дней.
В настоящее время крупнейшими производителями научного знания в области машинного обучения являются компании Google, Microsoft, Amazon, DeepMind (которая является подразделением Google) и OpenAI. Поэтому можно сказать, что наука в области ML уже лежит в плоскости бизнеса.
Артем Бабенко, руководитель Yandex Research — о разнице подходов корпораций и академии Машинное обучение — это практическая область, поэтому логичнее заниматься ей бок о бок с практиками. Да, мы ездим на те же конференции, публикуем статьи в тех же журналах и в каком-то смысле конкурируем с людьми, которые работают в академии. Однако мы не теоретики — исследователей ML в корпорациях интересуют в первую очередь результаты, напрямую связанные с практикой.
Наши наработки гораздо быстрее оказываются в сервисах. Приведу пример из жизни. Несколько лет назад я написал статью, а на следующий день послал свой исследовательский код разработчикам. Они посмотрели: "Забираем, внедрим". Типичный ученый из университета редко ожидает, что его наработки окажутся реализованы так быстро.
У корпораций гораздо больше возможностей для вычислений. Это высокая мощность вычислительных серверов и доступ к огромному количеству данных — ресурсы, которых, как правило, нет в академии в нужных объемах.
Этические вызовы машинного обучения
Этические проблемы использования искусственного интеллекта возникают, когда модель машинного обучения помогает человеку в принятий решений. Например, современные модели ИИ могут распознавать разные патологии на снимках (например, туберкулез или рак), и специалист, знающий об этом, может захотеть отказаться от самостоятельного решения. И это неверный подход в сферах с высокой ценой ошибки: цель работы ИИ в медицине — второе, а не единственное мнение. Появляется вопрос, как подтолкнуть человека не перекладывать ответственность на ИИ.
Станислав Протасов, специалист в области машинного обучения и квантовых вычислений Сейчас ведется множество дискуссий об этических и правовых аспектах того, что создаёт генеративная модель. Она может транслировать радикальные позиции и генерировать контент, который не соответствует чьим-то нормам. Это может произойти из-за того, что специфики данных, на которых модель обучалась, например, предвзятый контент.
Когда в 2016 Microsoft запустил генеративную модель в Твиттере, чтобы та общалась как обычный человек, довольно быстро она начала исповедовать радикальные взгляды под влиянием комментариев. Так случилось потому что данные, на которых обучалась модель, не были тщательно проверены.
Сегодня существуют исследования, направленные на борьбу с предвзятостью в исходных данных или, например, исследования по анализу hate speech. Для этого собираются специальные датасеты, в которых люди указывают, является ли комментарий сарказмом, оскорблением, или бранной речью. Такие исследования позволяют научиться обрабатывать данные до того, как они попадут в публичное пространство или в новые модели, которые будут обучаться на этих данных.
Этические вопросы, связанные с ИИ и машинным обучением, во многом обусловлены изменением подхода к работе с данными. Если раньше информация была ценностью сама по себе и хранилась в одном месте, то теперь она в большей степени перемещается, чем хранится. Данные постоянно находятся в движении, проходя через публичные сети и другие уязвимые каналы. Мы постоянно оставляем за собой цифровые следы, к которым редко возвращаемся, но которые могут повлиять на нас в будущем. Именно поэтому вопросы безопасности становятся все более важными.
Роль инновационного мышления в машинном обучении
Исследовательские отделы корпораций не всегда занимаются проектами непосредственно вытекающими из задач компании. Иногда нужно разобраться с устройством проблемы, которая не решает сиюминутные потребности бизнеса — например, как заставить какой-то метод ML работать сильно быстрее. Есть вещи, которые имеют накопительный эффект или в перспективе могут оптимизировать рутинные процессы. И такие задачи тоже нужно решать.
Артем Бабенко, руководитель Yandex Research — о разнице подходов корпораций и академии Потребности бизнеса, безусловно, не единственный источник научных открытий. Человеку может прийти какая-то красивая, но далекая от практики идея, в которой пока никто не видит потенциала.Такой, например, была первая статья о диффузионных моделях. Потребовалось несколько лет, чтобы эта линия исследований развивалась и зарекомендовала себя как-то, что может быть полезно в приложениях. Сегодня мы пониманием, насколько это передовая технология.
В первую очередь действительно важен только исследовательский азарт.