Datalytics

⚡ А вы полагаетесь на случайность при делении на тест-контроль? В среднем рандом должен дать идеальный баланс по всем — даже ненаблюдаемым — признакам между тестовой и контрольной группой. Но конкретный АБ-тест — это конкретные тест и контроль. Поэтому случайное распределение на группы наверняка окажется несбалансированным, что приведёт к проблемам с интерпретацией результатов теста. Итог — неверные бизнес-решения. Андрей Романов, тимлид команды аналитики Sales Tech, преподаватель и ментор по AБ-тестам, расскажет: 🔸 почему случайное деление на группы — это не лучшая стратегия; 🔸 по каким метрикам балансировать группы и каким алгоритмом это можно сделать; 🔸 как балансировка влияет на чувствительность тестов. И всё это — на реальных примерах и цифрах из эксперимента, где рандом дал дисбаланс. Это новый выпуск «Диванной аналитики» — серии видео, в которых аналитики рассказывают об опыте Авито. Смотреть: VK YouTube

Как по всему GPT расползись гоблины В общем, у чатагпт есть разные настройки личности. Одна из таких личностей — это «Nerdy». По-нашему, ботан. Модель в этом режиме становится излишне занудной, но при этом такой а ля глубокой и игривой. Её ключевая фишка в том, чтобы пользователь посмотрел на мир с немного странноватой и несерьезной точки зрения Когда обучают модели, то используют разметку — либо автоматическую, либо ручную. Как оказалось, на этапе разметки датасета для личности «Nerdy» хорошие оценки ставили таким ответам, в которых есть какие-то фантастические твари типа гоблинов, единорогов и троллей. Это не то, чтобы специально произошло, то есть в инструкции не было явно указано: если ответ содержит «гоблина» — ставь лайк. Но по какому-то стечению обстоятельств именно такие ответы больше цепляли разметчиков Как итог режим «Nerdy» стал питать исключительную слабость к сказочным долбаебам существам. Проблема тут в том, что модели не обучают под каждый режим отдельно — есть единая «тушка», которую обучают под все режимы сразу. Слишком дорого было бы обучать под каждый профиль отдельную модель. Потом системный промпт задаёт контекст, который смещает вероятности следующих токенов, нужных для качественной работы в стиле «ботана» Отдельно стоит заметить про техническую особенность обучения, которая сделала эффект таким сильным. Когда модель обучают, то часто используют так называемые rollouts. Это процесс, при котором модель генерирует примеры, которые дальше размечаются и идут в обучение. И вот тут самый цимес: модель «инфицированная» гоблинами начинает чуть чаще создавать генерации с гоблинами → эти ответы проходят оценку и получают балл выше по каким-то другим причинам (например, структура и детальность ответа) → попадают в обучающие данные → модель начинает вставлять гоблинов ещё чаще. И дальше по кругу: в rollouts гоблины встречаются ещё чаще В результате этого обычная GPT 5-1 (без включенного режима «ботана») начала выдавать слово «гоблин» сильно чаще чем это нужно: использование слова «goblin» выросло на 175% (а «gremlin» — на 52%, какая-то незаслуженная дискриминация гремлинов). Это при том, что доля ответов ChatGPT с помощью личности «Nerdy» составляла всего 2,5% и давал 66% всех упоминаний слова «гоблин» по всем диалогам чатагпт Как финал «гремлинов» и «гоблинов» почистили (и заменили на марсиан и рептилоидов) — саму личность «Nerdy» убрали, а обучающие данные отфильтровали. Ещё при анализе в GPT-5.5 нашли целый зоопарк — еноты, тролли, орки и голуби (в чем магия голубей не знаю). В OpenAI признают, что GPT 5.5 обучался всё ещё на этом зоопарке, поэтому пришлось запилить отдельную инструкцию, которая подавляла бы гоблинов и прочую живность Мораль сей басни в том, что этот механизм может проявится не только в виде «гоблинов». Опаснее, когда у нас появляется устойчивая предвзятость, которую не так просто обнаружить, например, какой-то не очень полезный совет в рамках ответов на медицинские вопросы пользователей. И для меня эта история — сильная иллюстрация того, что любые модели искусственного интеллекта — это прежде всего набор статистических закономерностей. Они не «понимают», они оптимизируют то, что им явно указали, но при этом «схватывают» и неявное, а объяснить что именно «схватили» — не могут. И получается, что от качества обучающих выборок и процесса дальнейшей валидации на стороне провайдера (в данном случае OpenAI) будет зависеть будет ли ответ на важный для вас вопрос, сделанный с помощью ChatGPT, пестрить гоблинами, павлинами и прочими дивностями или даже вредными советами

Отличная возможность ворваться в аналитику уже в 2026 году Ребята, если вы давно смотрите в сторону аналитики или хотите прокачаться как специалист, для вас есть классная новость: сейчас ваше время сделать первый шаг! Данных вокруг всё больше, бизнесу нужны люди, которые умеют превращать цифры в решения. И именно этим занимаются аналитики данных - профессия, которая стабильно востребована уже много лет и не собирается сдавать позиции. Курс-симулятор «Аналитик данных» от Simulative Что внутри: ➖12 модулей: SQL, Python, BI, статистика, продуктовые метрики и не только; ➖Практика на реальных кейсах, которые помогут нарастить ваше портфолио; ➖Свободный формат, можно легко совмещать с другой учебой или работой; ➖Наставники, которые реально помогают и ведут за руку; ➖Рекомендации по составлению резюме и поиску работы; ➖Дополнительная возможность трудоустройства сразу после курса. Кому будет полезно: 1. Тем, кто хочет войти в аналитику с нуля; 2. Тем, кто устал от своей текущей работы и хочет получить новую профессию; 3. Тем, кто начал учиться самостоятельно, но нуждается в системном обучении. Simulative сейчас дают возможность получить грант на обучение, а если оставите заявку до конца недели - получите модуль по Excel в подарок! 🔗 ПОЛУЧИТЬ ГРАНТ НА ОБУЧЕНИЕ

Эйчары больше не спрашивают, владеете ли вы ИИ Использование ИИ-инструментов стало базовым навыком любого сотрудника, независимо от сферы деятельности. Не умеешь? До свидания. Крупные компании на наших глазах массово сокращают штат. Пинтерест, Амазон и многие наши корпорации заменяют старые позиции на новые, а многие рутинные задачи уже выполняются ИИ-агентами. С чего начать, и как обучить ИИ-инструментам своих сотрудников? Не нужно бесконечно листать новости и тестить приложения очередных стартапов. Многие ответы уже собраны в одном месте — в книге «Синергия интеллектов. Как внедрить ИИ в бизнес-процессы». Здесь описаны крупнейшие ИИ-инструменты, которые доказали свою эффективно не просто в течение месяцев, а нескольких нет, и заняли прочные позиции на рынке. Авторы книги внедрили ИИ-инструменты в свой бизнес, и готовы поделиться практиками, которые сработали. Книжка будет особенно полезна топ-менеджерам, руководителям, предпринимателям и всем энтузиастам, кто хочет перейти на новый уровень и воплощать свои идеи быстрее. 🔗 Читайте книгу на Литрес по ссылке.