Фото автора

Михаил Ким

Куратор рубрики «Глоссарий», автор

Обучаю машины (NLP, CV), пью чай, читаю книжки

Автор статей
Как это работает

Как работает большая языковая модель: перцептроны в черном ящике

Несмотря на стремительное развитие больших языковых моделей, исследователи до сих пор плохо понимают, как и почему нейросети выдают тот или иной ответ. Однако изучение этих проблем находится на переднем крае компьютерных наук. В нашем новом материале рассказываем о механизмах работы языковых моделей. В первой части мы объясняем, почему нейросети работают, как «чёрные коробки», что такое интерпретируемость в контексте машинного обучения и как компьютеры моделируют работу нейрона.
NLP, Дайджест

Новая модель для дизайна белков, скорый выход самой большой LLama и FlashAttention 3

Llama 3 с 405 миллиардами параметров выйдет в конце июля. Компания EvolutionaryScale представила большую модель для дизайна белков. В главный блок всех языковых моделей на трансформерной архитектуре — блок внимания (attention) — добавили новые оптимизации. Рассказываем, что произошло в мире ИИ за последние две недели.
NLP, Дайджест

Новый лидер среди LLM, «безопасный сверхинтеллект» от бывшего топ-исследователя OpenAI и конкуренты Sora

Большая языковая модель от Anthropic обходит последнюю GPT, компания бывшего ведущего исследователя OpenAI обещает «безопасный сверхинтеллект», у Sora появились новые конкуренты в генерации видео. Рассказываем, что произошло в мире ИИ за последние две недели.
NLP, Дайджест

Новые открытые языковые модели, критика OpenAI от бывшего сотрудника и большой отчёт об опасностях общего ИИ

Новые открытые языковые модели, бывший сотрудник OpenAI раскритиковал компанию за безответственный подход к разработке, детальный отчёт о будущем общего ИИ и последствиях его появления. Рассказываем, что произошло в мире ИИ за прошедшие две недели.
NLP, Дайджест

Google встраивает языковую модель в поиск, Скарлетт Йоханссон обвиняет OpenAI, исследователи стали лучше понимать и контролировать ИИ

Google начала использовать свою языковую модель Gemini для суммаризации информации из поисковой выдачи. OpenAI подозревают в несанкционированном использовании голоса актрисы Скарлетт Йоханссон. Anthropic выпустили большое исследование интерпретируемости нейронных сетей. Рассказываем, что произошло в мире ИИ за прошедшие две недели.
NLP, Дайджест

GPT-4o научилась смеяться и петь, LSTM-нейросети наносят ответный удар, ChatGPT встроят в iPhone: дайджест ИИ-новостей

OpenAI выпустила новую версию GPT-4. Apple и OpenAI завершают сделку о сотрудничестве. Авторы архитектуры LSTM выпустили её обновление, которое не хуже Transformer. Google DeepMind анонсировала AlphaFold 3 — нейросеть, способную моделировать широкий спектр биомолекул. Рассказываем, что произошло в мире ИИ за прошедшие две недели.
Глоссарий

Что такое RAG?

Что значит «языковая модель галлюцинирует»? Как сделать её ответы более точными и фактологически верными? Умеет ли нейросеть гуглить? Может ли нейросеть выдумывать несуществующие факты? Отвечаем в нашем материале о RAG (Retrieval Augmented Generation) — методе, позволяющем «подключать» языковые модели к внешним источникам информации.
Разное

Две новых языковых модели и обучающая выборка в 15 триллионов токенов: дайджест новостей из мира ИИ

Компания Snowflake выпустила самую большую языковую модель, открытую для коммерческого использования. Разработчикам доступная новая обучающая выборка из 15 триллионов токенов. Microsoft представила новое поколение компактной модели Phi. Рассказываем, что произошло в мире ИИ на прошлой неделе.
NLP, Дайджест

Новая открытая языковая модель, обновление GPT-4 и скорый выход LLaMa 3: дайджест новостей из мира ИИ

Метеорологи обещали осадки в виде LLM: новая открытая языковая модель, обновление GPT-4 и скорый выход LLaMa 3.
Глоссарий

Что такое лемматизация?

Как компьютеры понимают, что зло, зла и (из двух) зол — формы одного и того же слова? Рассказываем про лемматизацию — один из основных методов предобработки текстов, который помогает компьютеру лучше их понимать.
Глоссарий

Что такое тест Тьюринга?

Тест Тьюринга появился в середине XX века и должен был определить, может ли компьютер думать. Рассмотрим подробнее, что такое тест Тьюринга: как он появился, в чём заключается и смогла ли ChatGPT его пройти?
NLP, Дайджест

GPT-4 больше не лучшая языковая модель, суперкомпьютер за 100 млрд долларов и новые открытые модели

OpenAI и Microsoft строят суперкомпьютер для нейросетей, модель Claude 3 Opus от Anthropic обошла GPT-4 в одном из основных рейтингов, Илон Маск опубликовал свою большую языковую модель без цензуры.

Глоссарий

Что такое регулярные выражения

Как найти в тексте все числа из четырех цифр или все email-адреса? Рассказываем о регулярных выражениях — мощном инструменте для анализа и редактирования текстов, который используется программистами, специалистами в NLP и Digital Humanities, а также биоинформатиками. Регулярные выражения — это классика компьютерных методов обработки текстовых данных, они используются гораздо дольше, чем все новомодные методы, связанные с машинным обучением и нейросетями. Но до сих пор многие задачи проще и лучше всего решаются именно регулярками!
NLP, Дайджест

Автономный ИИ-инженер и новое о Sora: дайджест новостей в мире искусственного интеллекта

Создатели Sora рассказали, откуда брали видео для обучения, но кое о чем умолчали. Компания Cohere — один из главных конкурентов OpenAI/ChatGPT — выпустила модель с 35 млрд параметров. Вышла сопоставимая с трансформерами RNN-модель EagleX — неужели рекуррентные нейросети рано хоронить? Рассказываем, что произошло в мире ИИ за прошедшую неделю
Как это работает

Sora: как работает модель для генерации видео по тексту

Недавно компания OpenAI, создавшая модели GPT и сервис ChatGPT, выпустила новую модель Sora, которая генерирует видео по текстовому описанию. Такие модели были и раньше, но здесь произошёл качественный скачок. Во-первых, Sora умеет генерировать реалистичные видео в высоком разрешении (вплоть до FullHD), во-вторых, объекты в видео консистентны в течение всего времени. Рассказываем, как работает Sora, какие у неё есть ограничения и неожиданные особенности.
Глоссарий

Что такое KNN?

Может ли компьютер сравнивать объекты? Как сравнение объектов может быть полезно для решения задач классификации и регрессии (например, предсказания стоимости квартир)? И причём тут «проклятие размерности»? Узнаем в новом материале «Системного Блока»‎.
Как это работает

Что ждёт искусственный интеллект в будущем: прогнозы учёных

Как будет развиваться ИИ в ближайшем будущем? Перспективно ли пытаться научить компьютер думать, как человек? Может ли не хватить данных для обучения искусственного интеллекта? Отвечаем на эти вопросы в нашем материале
Как это работает

Как работают языковые модели

Что такое языковая модель? Что общего между клавиатурой вашего телефона и GPT? Почему языковые модели умеют не только моделировать язык? Можно ли предсказать точность модели до её обучения? Отвечаем на все эти вопросы в нашем материале.
Новости

Что умеет GPT-4 — новая и самая совершенная языковая модель от OpenAI

Новая нейросеть семейства GPT не только точнее, надёжнее и безопаснее GPT-3 и ChatGPT. Еще она умеет работать с изображениями. Благодаря этому GPT-4 лучше понимает окружающий мир, а самое главное — способна объяснять мемы ¯\_(ツ)_/¯
Модели

Kandinsky 2.1

Мультиязычная модель для генерации изображений по текстовому описанию
Глоссарий

Что такое визуализация данных?

Зачастую данные содержат полезную информацию — от цен на «Биг Мак» в разных странах, по которым можно оценить стоимость валюты, до коррупционных схем высших должностных лиц и свидетельств военных преступлений. Поэтому существует множество способов извлечения важной информации из большого и сложно устроенного массива данных. В этом материале мы расскажем об одном из таких методов — о визуализации данных.

,
NLP, Как это работает

Большие языковые модели умеют рассуждать

Модель психики «Думай медленно… решай быстро» оказалась верна не только для людей, но и для больших нейросетей. Вслед за интуитивными навыками они приобретают и аналитические. Рассказываем, как языковые модели решают математические и логические задачи, если немного «подумают».
Глоссарий

Что такое глубинное обучение?

Как связаны глубинное обучение и машинное обучение? На что влияет «глубина» нейронной сети? Рассказываем о важнейшей области машинного обучения.
Глоссарий

Что такое машинное обучение?

Отвечаем на все вопросы о машинном обучении, которые вы боялись задать

Глоссарий

Что такое линейная регрессия?

Рассказываем об одной из классических моделей машинного обучения – линейной регрессии
Модели

Midjourney

Самая известная модель для генерации изображений по текстовому описанию
Модели

DALL-E 2

Улучшение модели DALL-E, генерирующей изображения по текстовому описанию
Модели

Stable Diffusion

Одна из самых популярных открытых моделей для генерации изображений по текстовому описанию
Модели

DALL-E

Одна из первых моделей, генерирующих качественные изображения по текстовому описанию
Модели

CLIP

Мультимодальная модель, способная строить векторные представления текстов и изображений
Как это работает, Лингвистика

В пространстве текстов: детоксикация комментариев, подделка отзывов и нейроцензура

Как работают современные методы переноса стиля? Могут ли они быть полезны или опасны? И при чём здесь «бутылочное горлышко» нейросети?
Модели

ViT

Модель с архитектурой Transformer для работы с изображениями