Machinelearning

🌟 Mixture-of-Recursions: концепция селективного ризонинга.Архитектура Mixture-of-Recursions (MoR), предложенная Google в соавторстве с KAIST AI объединяет в едином фреймворке традиционные подходы разделения параметров и адаптивные вычисления, заставляя модель думать над каждым токеном с разной глубиной.Под капотом MoR - рекурсивный трансформер, который прогоняет входные данные через один и тот же блок слоев несколько раз. Но главная фишка в том, что количество этих прогонов, или глубина рекурсии, не фиксированное, а динамическое и определяется для каждого токена индивидуально.Легковесный обучаемый роутер анализирует токен и решает, сколько вычислительных усилий на него потратить. Простые слова могут пройти всего один цикл рекурсии, в то время как семантически нагруженные термины отправятся на более глубокую обработку из нескольких циклов.Это дает два главных преимущества:🟢Во-первых, модель тратит вычислительные ресурсы только на те токены, которые все еще активны на данной глубине рекурсии. Токены, которые вышли раньше, в дальнейших вычислениях не участвуют. Это уже само по себе сокращает объем вычислений.🟢Во-вторых, что самое интересное для инженеров, MoR позволяет реализовать очень эффективное KV caching. Вместо того чтобы хранить в памяти огромный кеш для каждого виртуального слоя, модель кеширует KV-пары только для активных в данном цикле рекурсии токенов. Это кардинально снижает требования к памяти и ускоряет инференс, решая одну из главных головных болей при развертывании LLM.При одинаковом бюджете на обучение (в FLOPs) и меньшем размере самой модели MoR показывает более низкую перплексию и лучшие результаты в few-shot задачах, чем стандартные и рекурсивные аналоги.▶️ Попробовать MoR можно на практике - код для трейна и оценки доступен в репозитории проекта на Github.📌Лицензирование: Apache 2.0 License.🟡Arxiv🖥GitHub@ai_machinelearning_big_data#AI #ML #LLM #Architecture #MoR

🚀 Qwen3-Coder — новая мощная open-source модель от Alibaba для кодингаМодель с архитектурой MoE:- 480B параметров в общей сложности- 35B активных параметров- Контекст 256k, но легко масштабируется до 1M токенов📈 Производительность:- На уровне Claude 4 Sonnet- Лучше или на уровне GPT-4.1 на многих задачах- Обходит Kimi K2, DeepSeek V3 на ряде бенчмарков🧩 Модель уже доступна:- На HuggingFace — можно скачать и запускать- В OpenRouter — $1/M токенов вход, $5/M выход (в 3 раза дешевле Claude Sonnet: $3 и $15)💬 Попробовать бесплатно можно:- Через чат: ttps://chat.qwen.ai/)- GitHub link: https://github.com/QwenLM/qwen-codeQwen3-Coder — это просто одна из лучших моделей для программирования, которые мы когда-либо видели.#qwen #ml #ai #llm #Alibaba@data_analysis_ml

Как уменьшить расходы на КХД в 7 раз и не отстать от AI гонки? Нужно использовать КХД на архитектуре Lakehouse. 74% западных корпораций уже мигрировали на архитектуру Lakehouse, которая объединяет сильные стороны DWH и Data Lake, а также служит фундаментом для быстрого внедрения AI-инициатив.Протестируйте VK Data Lakehouse — КХД нового поколения для уменьшения стоимости хранения данных и ускорения аналитики до 10 раз.→ Дешевое хранение данных в S3-хранилище. Стоимость хранения 1 ГБ с репликацией в облаке уменьшается в 10 раз — с 30 до 3 рублей по сравнению с DWH.→ Транзакционность для данных в S3-хранилище. Табличный формат поверх S3 обеспечивает ACID и полноценную работу в сценариях DWH.→ Ускорение аналитики. MPP SQL-движок для параллельной работы с данными из разных источников без тяжелого ETL.→ Уменьшение расходов за счет разделения compute и storage. Платите только за то, что используете. Нет затрат на простаивающие ресурсы. → Линейный рост затрат вместо экспоненциального при масштабировании.→ Не нужно содержать отдельные команды под DWH и Data Lake.→ Универсальное решение для работы с любым объемом данных. От гигабайт до сотен петабайт. Без сложного масштабирования и миграций. → Работа с ML становится быстрее без рисков уронить DWH. DS команда может экспериментировать с ad hoc запросами без опаски уронить DWH и BI. Чтобы получить до 150 000 бонусных рублей для тестирования VK Data Lakehouse в VK Cloud с поддержкой архитекторов:👉Оставляйте заявкуБудем рядом на всех этапах пилота и поможем довести MVP до результата.

✔️ Anthropic пойдет за инвестициями в страны Персидского залива.CEO Anthropic Дарио Амодеи в служебной записке для сотрудников объявил о планах компании привлекать инвестиции из ОАЭ и Катара. Это серьезный разворот в их политике, ранее Anthropic отказывался от денег из Саудовской Аравии по соображениям нацбезопасности.Амодеи признал, что это решение обогатит "диктаторов", но назвал доступ к огромному капиталу региона (по его оценкам, более $100 млрд) критически важным для сохранения лидерства в ИИ-гонке. Он сослался на то, что конкуренты уже активно сотрудничают с Ближним Востоком, ставя Anthropic в невыгодное положение.Глава компании подчеркнул, что речь идет о чисто финансовых вложениях без передачи контроля, однако признал риск "мягкой силы" со стороны инвесторов. Он также приготовил сотрудников к критике в СМИ, назвав обвинения в лицемерии неизбежными.wired.com✔️ Gemini взяла золото на Международной математической олимпиаде.Усовершенствованная версия Gemini с технологией Deep Think успешно решила 5 из 6 сложнейших задач на IMO, набрав 35 баллов и показав результат, соответствующий золотой медали. Модель работала полностью в естественном языке, самостоятельно генерируя математические доказательства из текстового описания задач, уложившись в рамки стандартного 4.5-часового лимита олимпиады.Для сравнения, в прошлом году системам AlphaGeometry и AlphaProof требовалась помощь экспертов для перевода задач на формальные языки и несколько дней вычислений. Такого результата удалось достичь благодаря режиму Deep Think, который позволяет модели одновременно исследовать несколько путей решения, а также дообучению на массиве математических задач и решений.deepmind.google✔️ Microsoft переманила более 20 ключевых ИИ-специалистов из Google DeepMind.Microsoft активно нанимает ведущих инженеров и исследователей из Google DeepMind, усиливая свои позиции в гонке за таланты. Последним заметным переходом стал Амар Субраманья, бывший глава разработки чат-бота Gemini, который занял пост вице-президента по ИИ в Microsoft. За последние полгода к нему присоединились еще как минимум 23 бывших сотрудника DeepMind.Ключевую роль в этой охоте за головами играет Мустафа Сулейман, сооснователь DeepMind, который теперь возглавляет потребительское ИИ-направление в Microsoft. Он активно привлекает своих бывших коллег для создания новых продуктов. В Google признают отток, но утверждают, что их текучесть кадров ниже средней по отрасли.ft.com✔️ В Gemini 2.5 появилась функция диалоговой сегментации изображений.Новая возможность позволяет анализировать и выделять объекты на изображениях с помощью запросов на естественном языке. Эта функция выходит за рамки традиционных методов, способных распознавать только фиксированные категории, например, "собака" или "машина".C диалоговой сегментацией модель может выделить "человека с зонтом", "всех, кто не сидит" или даже такие понятия, как "беспорядок" и "повреждения", у которых нет четких визуальных контуров. Функция также распознает текст на изображениях и поддерживает многоязычные запросы. Доступ к функции открыт через Gemini API, а попробовать ее можно в Google AI Studio или Google Colab.developers.googleblog.com✔️ Пользователи ChatGPT ежедневно отправляют 2.5 миллиарда запросов.OpenAI раскрыла статистику использования своего флагманского продукта: каждый день пользователи по всему миру отправляют в ChatGPT 2.5 миллиарда запросов, из которых около 330 миллионов приходятся на США. Еще в декабре прошлого года Сэм Альтман говорил о миллиарде запросов в день, что означает более чем двукратное увеличение за 8 месяцев.Для сравнения, Google, по разным оценкам, обрабатывает от 14 до 16.4 миллиардов поисковых запросов в день. Хотя ChatGPT пока уступает гиганту поиска по абсолютным цифрам, темпы его роста наглядно показывают, насколько быстро ИИ становится неотъемлемой частью повседневной цифровой жизни.techcrunch.com@ai_machinelearning_big_data#news #ai #ml

🚨 Oracle официально согласилась поставить OpenAI 2 МИЛЛИОНА AI-чиповЧто это значит?OpenAI строит новый дата-центр под *чудовищную* нагрузку:— 4.5 ГВт вычислений (это больше, чем у некоторых стран)— стоимость — $30 млрд в год 😳💸 SoftBank? Больше не при делах:— «SoftBank не участвует в финансировании»— переговоры по деньгам сорвались ещё в январеOracle теперь главный поставщик чипов для OpenAI.4,5 гигаватта — этого достаточно, чтобы обеспечить электричеством 3,4 миллиона домов.OpenAI буквально строит инфраструктуру с потреблением энергии на уровне города — только ради обучения ИИ.🔜 Новость@ai_machinelearning_big_data#openai #news #ml #ai