Ищем смыслы: как сделать тематическое моделирование корпуса текстов
Тематическое моделирование — легкий способ понять смысловой состав большой коллекции текстов, которую невозможно быстро прочесть глазами. Пользоваться инструментами тематического моделирования может каждый — а научиться можно в нашем тьюториале. Здесь вы найдете пошаговое руководство с решением основных технических трудностей
Как скрыть свои большие данные: не дай создать цифровую копию себя
Чего стоит анонимность в эпоху стеклянного мира, можно ли спрятаться от Гугла и Амазона, кто следит за нами особенно пристально и… нужно ли вообще скрываться
Скажи мне, какой у тебя индекс Хирша, и я скажу, кто ты
Разбираемся, можно ли измерить вклад учёного в науку и стоит ли это делать
Как начать свой путь в NLP (не путать с НЛП)
Хотите разобраться в автоматической обработке языка и стать NLP-инженером? Вам сюда
Черных — в тюрьму, женщин — в секретарши: этика в эпоху искусственного интеллекта
Если мы не знаем наверняка, как именно ИИ принимает решения, можем ли мы доверять этим решениям?
Кто и откуда постит фото в Твиттер
Масштабное исследование фотографий в Твиттере от Cultural Analytics Lab Льва Мановича
Машинное обучение поможет подготовиться к катастрофам
Компьютерные модели научились предсказывать стихийные бедствия. Иногда это уже помогает предупредить опасность
Кто это сказал? Разбирается Google AI
Как работает новый инструмент распознавания речи и автоматического определения говорящего
Роботы вступают в гонку вооружений: военные применения ИИ
Военные используют искусственный интеллект с момента его появления. Самонаводящиеся ракеты с компьютерным зрением поступили на вооружение еще в разгар Холодной войны, с начала 2000-х активно применяются беспилотные ударные дроны, обретающие все больше самостоятельности в решении вопросов жизни и смерти… Что дальше?
Baby ex machina: как алгоритмы понимают младенцев
Молодые родители учатся понимать новорожденного ценой нервов и бессонных ночей. Но скоро им на помощь могут прийти системы автоматического распознавания младенческого плача
Разбираем нейросети по частям: как работает градиентный спуск
Градиентный спуск — это способ поиска точек минимума или максимума в сложных функциях. Рассказываем, почему это так важно для обучения нейросетей
Судить журнал по обложке: 65 лет советской фотографии
Что может объединять мать художника-авангардиста Александра Родченко, Сталина и полуобнаженную девушку в джинсах? Все они в разное время появлялись на обложке журнала «Советское фото»
Порноренеcсанс: как секс-индустрия изменила нашу жизнь
Влияют ли порносайты на наши предпочтения в сексе? Чем опасны для людей порно-мемы? И при чем тут крысы, которых научили возбуждаться от запаха смерти?
Разбираемся с причинами и последствиями эволюции вкусов зрителей порно в цифровую эпоху.
YouTube на русском, зулусском и урду: как тестируют перевод интерфейсов
Видеохостинг YouTube имеет локализации в 100 с лишним странах — это значит, что для них есть специальная локальная версия сайта (а то и не одна). Например, когда вы заходите в YouTube из России, вы видите меню на русском языке. Такие же меню есть не только на языках-гигантах вроде английского, испанского или китайского, но и, к примеру, на суахили, эстонском, зулусском, урду, африкаансе, узбекском… А как оценивать качество перевода всех этих кнопочек в меню и их понятность для пользователей?
Как находить похожие слова с помощью расстояния Левенштейна?
Когда в начале XX века в газетной статье «Пребывание вдовствующей императрицы Марии Федоровны в Финляндии» опечатались в первом слове, заменив «р» на «о», вышел жуткий скандал. А как находить такие близкие по написанию слова автоматически? Разбираемся с помощью питона и расстояния Левенштейна
Разбираем по частям научно-популярные ресурсы
Научпоп стремительно обзаводится почитателями по всему миру. Какие ученые хотят рассказать о своей работе больше всего, что ресурсы и паблики для этого делают и какими характеристиками обладает типичный научно-популярный текст?
Большие данные о языках в справочнике Ethnologue
Обзор самого известного онлайн-ресурса о языках мира: что можно узнать и кому это пригодится?
Соцсети русской драмы, часть II Ревизор vs. Городничий: кто же главный герой?
Как, сколько и с кем общаться, чтобы стать по-настоящему главным героем пьесы — отвечает математика
Алгоритм машинного обучения научили искать плохую еду
Создатели надеются, что нейросеть поможет быстрее обнаруживать некачественные или просроченные продукты
Семантические сети: как представить значения слов в виде графа
Компьютерные лингвисты из Вышки, университета Тренто и университета Осло разработали vec2graph — инструмент для визуализации семантической близости слов в виде сети. Воспользоваться vec2graph может любой желающий. Рассказываем, как это работает и зачем нужно
Акцентуаторы. Памяти А.А. Зализняка. Часть III
Великое, могучее, свободное, подвижное. От праславянской акцентуации к нейросетевым программам автоматической расстановки ударений
Когнитивная стилистика и образование речи
Никогда не задумывались, как мы строим предложения? Конечно, нет, это невозможно. Молодая наука когнитивная стилистика объясняет, почему
Цветокоррекции в стихах Сергея Есенина
Поэзия — цветной вид искусства. В отличие от фотографии и кино, она никогда не была черно-белой. Поэты в своем творчестве окрашивают не только физические объекты, но и запахи, звуки, тактильные ощущения… А можно ли исследовать цветовую картину мира отдельного поэта с помощью цифровых методов?
Как я перестал беспокоиться и полюбил СССР: операция Барбаросса на карте США
Карта времен Второй Мировой войны показала американцам масштабы военных действий и помогла ленд-лизу
Зачем нужна карта метафор?
На литературе в школе нас учили, что метафора — это что-то такое из стихов Пушкина. Помните, как учительница затирала про «образное сравнение»? Но на самом деле метафорами пронизан весь наш язык (даже эта фраза), и их исследование может многое сказать о том, как мы говорим и мыслим. А зачем нужна цифровая карта метафор?
Нейросеть-предатель: алгоритм обучили выявлять тексты-подделки
Нейросети научились неплохо подражать человеку в написании текста. Но теперь есть симметричный ответ: системы обнаружения текста, порожденного нейросетями. Запасаемся попкорном и следим за битвой брони и снаряда в искусственном интеллекте
Чем фрейдовский банан отличается от огурца: большие данные в психологии
Что можно узнать о пользователях интернета, зачем психологам истории поиска в Гугле и почему утверждение «все врут» больше не работает
Перенос стиля нейросетями: Дрейк, Летов, Оксимирон
Авторский стиль тяжело определить формально — это целый комплекс деталей, которые заметны человеческому глазу, но могут ускользнуть от компьютера. Указать на характерный выбор слов, конструкций, моделей легко, но как рассказать алгоритму про метафоры или научить его распознавать другие тонкие материи?
Разделяй и определяй, или Кто автор «Сна в красном тереме»
Как метод Дельты Бёрроуза и тематическое моделирование помогают решить проблему атрибуции текста
Отдай работу роботу
В случае увольнения люди охотнее согласятся уступить рабочее место машине, но не человеку
Я/МЫ НКРЯ: что происходит с национальным корпусом
…зачем в этом разбираться и почему мы волнуемся за НКРЯ
Соцсети русской драмы, часть I: основы сетевого анализа
Сегодня модно исследовать художественную литературу методами анализа социальных сетей. Мы начинаем серию постов по сетевому анализу русской драматургии. В первом посте мы расскажем, как сетевой анализ позволяет посчитать «влиятельность» литературного героя
CAT-системы и будущее перевода
Все любят котиков… особенно переводчики. Рассказываем о CAT-системах: чем и как сегодня переводят
Компьютерные языки музыки, часть II
Мы продолжаем цикл постов о компьютерных языках, используемых для передачи музыки. Сегодня рассказываем о принципиальных отличиях музыки от других видов данных и об особенностях компьютерной разметки, используемой для отображения музыкальных данных
Пусти пожить болельщика: чемпионат в Москве и рынок Airbnb
Как мегасобытия вроде Чемпионата мира влияют на рынок краткосрочной аренды жилья в Москве? Разбираемся с помощью статистики Airbnb и визуализации этих данных на карте столицы
Музей оцифрованный: как выжить в век промышленного производства медианарративов
Как сделать музей по-настоящему цифровым, какие существуют инструменты для создания интерактивного пространства и что предстоит изменить в российском музейном деле
Красота и божественная слава: статистический анализ Корана
Исследование священных текстов с помощью методов автоматической обработки языка и статистики — то, с чего начались современные Digital Humanities. Сегодня статистика применяется для анализа священных тексты разных религиозных традиций, в том числе исламской. Публикуем перевод недавней работы, где анализируется соотношение божественных черт в Коране
Начало всего виртуального сущего
Виртуальная реальность — еще одно измерение человеческой культуры, появившееся благодаря цифровым технологиям. Компьютерные игры в масштабных 3D-вселенных, виртуальные выставки, обучающий VR с его возможностью получения «удаленного» опыта… Как все это осмысляют гуманитарии?
Чат-бот подбирает парфюм
Как подобрать духи, если не смыслишь в парфюмерии, и чем пахнет Digital Humanities
Картинка вместо тысячи слов: 10 визуализаций, нужных каждому ученому
Археологам часто приходится подолгу исследовать густые джунгли или бескрайние леса. Но вот они находят руины древних построек, и наступает Момент Истины: становятся доступными новые знания. Анализировать информацию ничуть не легче, чем искать древние артефакты. Грамотная визуализация помогает по-новому взглянуть на данные, выдвинуть гипотезу или вывести проект на новый уровень
Бабочки, сканеры и льнянка-мутант: как оцифровка гербариев помогает ботаникам по всему миру
Цифровыми библиотеками и цифровыми музеями уже никого не удивишь — но как насчет цифровых гербариев? Огромные коллекции растений уже доступны в сети — и это важно не только для ученых, но и для всех, интересующихся живой природой. Как поучаствовать в биологическом краудсорсинге, зачем нужен новый «Ковчег» и кому сегодня может понадобиться лютик из середины ХХ века?
Биты или манускрипт: кто выживет в борьбе со временем?
Так ли просто сохранять цифровые объекты? Как это делают сейчас? Чем озадачены ученые всего мира? Немного простых ответов на сложные вопросы современности
Оцифровать Французскую революцию: Парламентские архивы
Оцифровка документов Французской революции — процесс, корни которого уходят в XIX век. Как, кто и зачем делает источники доступнее: разбираемся на примере Парламентских архивов
Знакомый почерк: цифровые технологии для юристов
Любой текст, написанный от руки, имеет много особенностей: форма, размер и расположение букв, даже сила, с которой ручка отпечаталась на бумаге. Усталость пишущего, количество доступного места — это тоже влияет на почерк. Эти и другие признаки выделяют юристы, когда проводят почерковедческую экспертизу. Главная задача экспертизы — установление автора рукописи. Можно ли использовать для этого цифровые технологии?
Тест Тьюринга для киберпоэтов
Как обычный «слепой тест» по отделению машинной поэзии от той, что написана людьми, приводит ученых к философскому спору об относительности понятия «человека» в искусстве
Кошки-мышки с системой: как власти в Гонконге используют технологии, чтобы найти протестующих, а протестующие — чтобы спрятаться от властей
Хотите как в Гонконге? Уже третий месяц специальный административный район Китая выглядит одновременно как поле битвы за демократию и полигон для испытания новейших технологий поиска и утаивания информации. Что происходит, почему в XXI веке можно обойтись без пламенных революционеров, ведущих за собой толпу, и зачем протестующим лазерные указки?
Очумелые ручки: ученые из MIT придумали умную перчатку
Исследователи из Массачусетского университета разрабатывают сенсорную перчатку, с помощью которой можно идентифицировать и обрабатывать тактильную информацию. А ее себестоимость составляет всего 10 долларов
Теперь с перламутровыми пуговицами: как алгоритмы работают в модной индустрии
Мода, с одной стороны, довольно консервативна — сложно придумать альтернативу рубашке, джинсам и платью, а с другой — крайне продвинута: новые ткани, новые способы их обработки и новые модели появляются каждые несколько месяцев. Если ли в этой индустрии место для цифровых технологий? Оказывается, да
«Слово о полку Игореве» как улика. Памяти А.А. Зализняка. Часть II
Почему «Слово о полку Игореве» не смогли бы создать инопланетяне или нейросеть, и при чем тут берестяные грамоты?
VR в образовании: от Древнего Египта до высадки на Луну
Дополненная, виртуальная и смешанная реальность в образовании — давно не фантастика. С каждым годом AR, VR и XR завоевывают новые позиции в школах, университетах и музеях. «Системный Блокъ» перевел статью эксперта Стива Бембери о лучших образовательных VR-новинках прошлого года
Учат в школе… Чему?
Чему учат в современной началке? Могут ли современные количественные методы помочь в поиске объективных ответов на методические вопросы? Специально ко Дню Знаний мы проанализировали более 20 тыс. заданий в учебниках по русскому языку 1-4 классов и постарались разобраться, чему же чаще всего учат в начальной школе
Накануне войны: что можно увидеть в сети родства монархов Европы 1914 года
Как соотносятся семейные связи европейских монархов начала XX века с их вероисповеданием? Сказалось ли родство на выборе стороны в Первой мировой? Историк Михаил Щегольков построил сеть монархических родственных связей в Европе 1914 года — и рассказал «Системному Блоку», что в ней можно разглядеть
Что случилось с самыми унылыми стихотворениями XIX века
Элегия — ключевой поэтический жанр «золотого века» русской поэзии. Что можно узнать о нем, используя количественные методы, такие как подсчет статистики словоупотреблений, тематическое моделирование, регрессионный анализ длины стихотворений? Рассказывает филолог Тоня Мартыненко (Тартуский университет)
«Объединить классических филологов и специалистов по цифре»
Какие возможности даёт историческому лингвисту программирование? Об этом в интервью Системному Блоку рассказал Йоханн-Маттис Лист — исследователь в области исторической лингвистики и разработчик цифровых методов для сравнительного анализа языков
Word2Vec: покажи мне свой контекст, и я скажу, кто ты
Разбираемся, как компьютеры понимают смысл наших текстов
Как технологии помогают жителям менять свои города
Если вы не архитектор и не урбанист, то построить город вы можете только в своих мечтах, Майнкрафт или СимСити. Или всё-таки нет?
Порно с большими данными
Эпоха порнофильмов на родительских кассетах осталась в прошлом. На смену видеопроигрывателям пришли порнотьюбы. И теперь вся порноиндустрия думает только об одном — о пользовательских данных
Нейросеть расшифровала древние надписи
Исследователи из MIT и Google Brain объединились для создания алгоритма, который имеет шанс повторить подвиг Майкла Вентриса — он в 1950-е годы расшифровал одну из древних форм критского письма. Пока что нейросеть научилась читать угаритский, копируя типичные действия ученых-дешифровщиков
Вся наша жизнь — интернет, а мы в нём вещи
Вы когда-нибудь задумывались, откуда вам приходит спам? Вполне возможно, что от холодильника (умного, само собой). Все больше вещей вокруг нас имеют доступ к самой разной информации, в том числе и личной. Даже у утюга могут быть уши, а то и «рот», которым он расскажет всё о вас другому утюгу из Китая, ведь они связаны. Но как?