В эксклюзивном интервью, предшествующем 10-летию лаборатории искусственного интеллекта Meta, ЛеКун размышляет о буме искусственного интеллекта, в то время как технологический гигант представляет новые инструменты для генерации аудио, исследования видео и выявления предвзятостей в моделях языка.
Янн ЛеКун, главный ученый Meta, вспоминает свою реакцию, когда OpenAI, тогда менее известный конкурент, выпустила ChatGPT в прошлом ноябре. Чат-бот, который может генерировать сопроводительные письма, шутки, сценарии и практически любой другой вид текста, вывел искусственный интеллект в массы, начав новую моду в Кремниевой долине.
Но для ЛеКуна, который десять лет назад запустил лабораторию исследований искусственного интеллекта Meta, шок не пришел от самой технологии — Meta годами работала над так называемыми большими языковыми моделями, базовой технологией ChatGPT. Всего несколько недель до этого Meta выпустила похожего чат-бота под названием Galactica, предназначенного специально для написания научных работ. Программное обеспечение было раскритиковано на X, бывшем Twitter. Поэтому, когда ChatGPT был встречен как "второе пришествие мессии", как описал это ЛеКун Forbes, он был сбит с толку.
"Сюрпризом было то, что если вы дадите этот инструмент людям, и если он не исходит от крупной технологической компании, то люди действительно впечатляются им. Они начинают его использовать", - сказал ЛеКун. "И влияние, которое это оказало на общественное пространство и общественное восприятие, я думаю, что это было большим сюрпризом - для всех, включая OpenAI".
Такого рода проблемы крупной компании могут быть профессиональным риском, когда вы работаете на Meta, материнскую компанию Facebook. На протяжении многих лет компания сталкивалась с различными скандалами — вмешательство в выборы, дезинформация, вред психическому здоровью подростков. Скандалы сделали Meta любимой целью политиков и регуляторов в Вашингтоне и подорвали доверие многих пользователей её платформ. Влияло ли это на общественное восприятие исследований Meta также?
"Нет, я думаю — то есть — да", - признал ЛеКун, прерывая себя посреди фразы. "Meta медленно восстанавливается после проблем с имиджем", - сказал он, смеясь. "И, знаете, становится лучше. Определенно есть немного негативного отношения".
Так или иначе, гонка вооружений в области ИИ, спровоцированная ChatGPT, начала новую эру для лаборатории FAIR Meta. Запущенная как Исследования Facebook в области ИИ в 2013 году (буква F позже была изменена на "Fundamental" после того, как компания была переименована в Meta два года назад), эта единица ставила своей целью стать пионером научных прорывов в области искусственного интеллекта. Спустя десять лет, когда ИИ стал самой горячей технологией в индустрии, лаборатория стала одним из самых важных подразделений одной из самых могущественных компаний в мире.
"Сюрприз был в том, что если вы дадите этот инструмент людям, и если он не исходит от крупной технологической компании, то люди действительно впечатляются им."
© Янн ЛеКун
В течение последнего года в Meta происходил переход к использованию ИИ как "основы" новых продуктов, а не просто в качестве поддержки за кулисами, сказал ЛеКун. В то время как ранние работы лаборатории сосредоточивались на задачах, таких как распознавание изображений, бум генеративного ИИ повлиял на направление исследований. В феврале Meta выпустила LLaMA, большую языковую модель, конкурирующую с GPT от OpenAI, которая пока использовалась для питания ИИ-инструментов Shopify и DoorDash. На протяжении всего этого времени FAIR стала ярым сторонником исследований с открытым исходным кодом, вопрос, который вызывает споры в индустрии из-за компромиссов между безопасностью ИИ и потенциальным прогрессом, который приходит с открытым сотрудничеством. Если все пойдет по плану, скоро последуют и другие продукты, особенно когда речь идет о многомиллиардных инвестициях генерального директора Марка Цукерберга в метавселенную.
"Есть много доказательств того, что метавселенная является конечным, погружающим, генеративным опытом", - сказала Джоэлл Пайно, вице-президент Meta по исследованиям в области ИИ. Она описывает цифровые миры, наполненные персонажами, созданными ИИ, их диалоги созданы LLM, а погружающие среды спроектированы с помощью анимации, созданной ИИ.
Цукерберг также неоднократно пропагандировал это будущее. Но генеральный директор Meta также сказал, что оно может быть на десять лет впереди. И в своем текущем воплощении метавселенная неустанно высмеивается, оплакивается и объявляется провалом. "Марк все еще является большим сторонником этого долгосрочного видения, и он видит потенциал ИИ", - сказала Пайно.
Знак важности
Цукерберг и бывший главный технический директор Facebook Майк Шрепфер запустили FAIR в декабре 2013 года, выбрав Янна ЛеКуна, профессора компьютерных наук в Нью-Йоркском университете, для руководства проектом. Новая лаборатория имела "амбициозную долгосрочную цель достичь крупных прорывов в области искусственного интеллекта", написал ЛеКун при запуске. Цукерберг и Шрепфер увидели потенциал в ИИ в то время, благодаря недавним прорывам, таким как AlexNet, фундаментальная архитектура нейронной сети компьютерного ученого Алекса Крижевского, использованная для распознавания и классификации изображений.
В те ранние дни команда ИИ компании сидела рядом с Цукербергом в здании 16 главного офиса Facebook. "Расположение не случайно", - говорит Шрепфер, который ушел с поста главного технического директора в 2022 году, Forbes. "Это был знак того, насколько важен ИИ для будущего компании". (Другие филиалы FAIR находятся в Нью-Йорке, где базируется ЛеКун, Монреале, Тель-Авиве и Лондоне.)
На протяжении годов FAIR совершил ряд прорывов. PyTorch, фреймворк машинного обучения, выпущенный в 2016 году, помог разработчикам создавать модели генеративного ИИ. Технология под названием FastMRI, как следует из названия, использовала ИИ для ускорения МРТ до 10 раз. Другая система под названием Few-Shot Learner нацелена на устранение вредного контента Facebook, такого как дезинформация о вакцинах, в течение нескольких недель, а не месяцев.
У вас есть информация о Meta, которую должна знать общественность? Обратитесь конфиденциально к репортеру Ричарду Ниеве в Signal по номеру 510.589.4118 или на richardnieva@protonmail.com.
Одним из самых заметных проектов FAIR была ранняя разработка чат-бота под названием M. В августе 2015 года Facebook с большим ажиотажем выпустила эксклюзивную услугу примерно для 2000 человек в Калифорнии. Её рекламировали как чудо-ассистента, который мог выполнить практически любую задачу за вас, например, заказать доставку цветов вашей маме или забронировать столик в ресторане.
"Марк все еще является большим сторонником этого долгосрочного видения, и он видит потенциал ИИ."
- Джоэлл Пайно
Если программное обеспечение казалось слишком хорошим, чтобы быть правдой в то время, то это действительно так и было. Алгоритмы искусственного интеллекта Facebook обрабатывали небольшое количество запросов пользователей, но подавляющее большинство задач выполнялись человеческими подрядчиками традиционным способом — звонком в цветочный магазин для доставки цветов или вручную через веб-сайт ресторана для бронирования столика. "Есть обычная история о том, что, возможно, [программное обеспечение] может сделать 80% того, что хотят люди. И это последние 20%, которые действительно будут стоить вам дорого", - сказал ЛеКун Forbes. "Так не было. Было хуже".
Целью M, как заявляла Facebook, было проведение сложного эксперимента, чтобы узнать, что люди будут запрашивать у чат-ботов. Но компания официально прекратила проект в 2018 году, и в эпоху ChatGPT проект звучит устаревшим.
M был ранним примером пересечения исследований и создания продукта, что было важным моментом для лаборатории с самого начала, сказал Шрепфер, добавив, что его самым большим сожалением, связанным с ИИ в качестве главного технического директора, было недостаточное использование GPU-чипов для обучающих данных.
На мероприятии, посвященном 10-летию в четверг, FAIR сфокусировалась на новых продуктах и инструментах, таких как Audiobox, который позволяет пользователям вводить голосовую или текстовую подсказку в систему и создает соответствующий звуковой клип на основе ваших предпочтений голоса (например, человек с глубоким голосом, звучащим взволнованно). Компания также представляет новый набор моделей перевода языка
FAIR также объявляет о новом открытом наборе данных видео, снятого с разных точек зрения. Одно из применений данных может быть создание инструкционных видео ИИ, которые включают множество перспектив. Проект является совместной работой Meta и нескольких университетов, включая Карнеги-Меллон и Пенсильванский университет.
Наконец, компания выпускает инструмент под названием ROBBIE для обнаружения предвзятости в генеративных языковых моделях — проблеме, которая широко беспокоит других исследователей и академиков. Инструмент сравнивает сгенерированные ИИ ответы от пяти разных LLM и ищет предвзятость по категориям, таким как раса, тип телосложения и политическая идеология. Идея состоит в том, чтобы разработчики могли оценить потенциальный вред инструментов и "сбалансировать любые компромиссы", - написали исследователи в статье.
'Грязные вещи в вашем шкафу'
Одним из крупнейших запусков FAIR стал выпуск в феврале LLaMA, мощной языковой модели, предназначенной для конкуренции с GPT от OpenAI и моделями LaMDA и PaLM от Google. Однако в отличие от своих конкурентов, LLaMA 2, следующее поколение модели, является открытым исходным кодом. Решение было принято непосредственно Цукербергом, сказал ЛеКун, после "большого внутреннего дебата".
Это решение позиционирует Meta и FAIR как одного из самых громких сторонников подхода к исследованиям с открытым исходным кодом, при котором компания публикует свой код и делает его доступным для пользователей и внешних исследователей. "Подход заключается в том, что вы начинаете каждый проект с намерением открыть исходный код", - сказала Пайно. "Если вы держите вещи закрытыми, легко сохранить много грязных вещей в своем шкафу". Но, несмотря на то что открытый исходный код является ключевой составляющей FAIR, она добавляет, что это не "религия", и компания решает свой подход в зависимости от проекта. Например, новая модель Audiobox Meta доступна только ограниченному числу исследователей, подавших заявку на её использование.
В технологической индустрии дискуссия об открытом исходном коде набрала остроты. С одной стороны, компании, такие как Meta, Hugging Face и Mistral, проповедуют прозрачность во имя научного сотрудничества и прогресса, а также предотвращения создания систем "чёрного ящика", окутанных тайной. С другой стороны находятся компании, включая OpenAI (несмотря на её название) и DeepMind от Google. Аргументация закрытой системы основана на смягчении рисков безопасности, предотвращении злоупотреблений со стороны недобросовестных действующих лиц, которые могут получить доступ к коду. Белый дом, например, предупреждал об открытых моделях ИИ, способствующих синтетической биологии, которая могла бы создать следующую пандемию. (Головокружительный переворот в совете директоров OpenAI на прошлой неделе, в ходе которого генеральный директор Сэм Альтман был отстранен, а затем восстановлен за всего пять дней, частично был вызван предполагаемыми проблемами безопасности, поднятыми главным ученым OpenAI Ильей Суцкевером.)
"В отличие, возможно, от других, которые могут иметь комплекс превосходства, мы не думаем, что у нас монополия на хорошие идеи."
- Янн ЛеКун
Коннор Лихи, генеральный директор лондонского стартапа в области безопасности ИИ Conjecture, считает, что Meta является самой безответственной из крупных игроков в области ИИ из-за её широко открытого подхода. "Должны ли мы быть прозрачными в отношении конструкции ядерного оружия?" - сказал он.
ЛеКун отмахивается от такой критики. "Системы, которые у нас есть, все еще чрезвычайно примитивны", - сказал он. "Так что я думаю, что преимущества намного, намного перевешивают риски, связанные с открытым исходным кодом."
В отличие от этого, Google DeepMind более сдержан в отношении своего кода и исследований. ЛеКун вступал в спор с основателем DeepMind Демисом Хассабисом на X, обвиняя его в "разжигании страха" в его призывах к регулированию ИИ. Хассабис возражал ЛеКуну, заявляя, что компаниям нужно управлять рисками до того, как системы станут опасными. Отвечая на вопрос о подходе DeepMind, ЛеКун утвердительно сказал: "Они становятся все менее и менее открытыми", - критика, с которой DeepMind столкнулась, поскольку Google более тесно интегрировала лабораторию с остальной частью компании. "Я думаю, это замедлит прогресс во всей области. Так что я не слишком рад этому".
В то время как FAIR проповедует открытый исходный код, некоторые критики утверждают, что Meta заботится только о своих собственных бизнес-интересах, намеренно нанося удары по Google и OpenAI. Отвечая на эту теорию, ЛеКун сказал решительно: "Нет."
"Это не мотивация. Мотивация заключается в том, что нам нужен прогресс. И нам нужно, чтобы весь исследовательский сообщество внесло свой вклад в это", - сказал он. "В отличие, возможно, от других, которые могут иметь комплекс превосходства, мы не думаем, что у нас монополия на хорошие идеи".
Представитель Google DeepMind Аманда Карл защищала вклад лаборатории в сообщество с открытым исходным кодом, указывая на инфраструктуру и инструменты для разработчиков, включая трансформер, технологию, лежащую в основе LLM, и TensorFlow, платформу машинного обучения. "Наша история с открытым исходным кодом говорит сама за себя", - сказала Карл в заявлении.
Для Meta новый ландшафт ИИ может выделить старые проблемы, сказал один бывший сотрудник Facebook, работавший с командой FAIR. "ИИ - это просто новая рамка для тех же вызовов и опасений вокруг безопасности, модерации контента и благополучия",
- сказал сотрудник, который попросил оставаться анонимным, чтобы защитить свои карьерные интересы в индустрии, Forbes. "Все это будет продолжать усиливаться с ИИ."
Тем временем роль ИИ в Meta продолжает расти, и это волнение привлекло внимание Цукерберга. "Он был очень, очень вовлечен в создание FAIR 10 лет назад", - сказала Пайно. "Затем он был гораздо менее вовлечен на протяжении многих лет. И теперь он снова очень вовлечен."
Я - технологический репортер и старший писатель Forbes, базирующийся в Сан-Франциско. Пишите мне на rnieva@forbes.com или richardnieva@protonmail.com.
Перевел Pavel Valentov