Языковая модель с нуля на одной RTX 4060: dpp-gpt 2.2 Pro (260M), претрейн, SFT и RL
Обучил с нуля языковую модель на 260M параметров на одной домашней видеокарте: претрейн на 31 млрд токенов, SFT и RL. Рассказываю, как она устроена,…
ЧитатьВсе статьи категории
Обучил с нуля языковую модель на 260M параметров на одной домашней видеокарте: претрейн на 31 млрд токенов, SFT и RL. Рассказываю, как она устроена,…
Читать
NVIDIA рассказала о четырёх специализированных моделях Cosmos 3, предназначенных для создания синтетических данных и интерактивных сред. Две из них …
Читать
JetBrains обновила заставки IDE: теперь там мужик с лазером, драгоценным камнем и подписью powered with air. В обсуждениях уже требуют вернуть старо…
ЧитатьПредставьте металлобазу на окраине областного центра. Работает с девяностых, все снабженцы в городе знают телефон менеджера, крупные клиенты звонят д…
Читать
Рынок сейчас охвачен одной светлой надеждой: купить подписку на нейросеть и наутро обнаружить, что команда стала работать вдвое быстрее. Надежда пон…
Читать
В предыдущих частях открытого письма (часть I, часть II) мы сформулировали «Аксиому о Разуме» и разобрали ключевые аргументы нейробиологии — от п…
Читать
В первой части я показал, как js-движок dub помогает ученику преодолеть трудность восприятия английской речи на слух: js-движок переводит структуру …
ЧитатьНа консультацию осталось одно место, а кнопку «Оплатить» нажали двое. Покажу, как зарезервировать слот до оплаты в Telegram Stars, проверить блокиров…
Читать
Раскрыта информацию о критической уязвимости Terminal2Shell, которая присутствующая во всех операционных системах начиная с 1971 года. Баг позволяет…
Читать
От корпоративного монстра к своему решению: как я ушел из вендора по импортозамещению и написал свой контроллер домена "Рынок импортозамещения в Рос…
Читать
Еще недавно вопрос о том, какой метод использовать для обработки коллекции, мог отправить разработчика в документацию, на Stack Overflow или обсужде…
Читать
Представлен сайт foldableflight, где собраны 109 бумажных самолётиков с инструкциями и видео — у каждой модели есть рейтинг по скорости, дальности п…
Читать
Многие владельцы сайтов ставят в robots.txt Disallow для GPTBot и считают, что закрыли свои тексты от ChatGPT. Гари Ильес из Google напомнил: файл р…
Читать
У вас в компьютере может стоять видеокарта, которая считает вдвое медленнее, чем могла бы — просто потому, что производитель так решил в прошивке. П…
Читать
Инфраструктура почти всегда строится под вчерашние задачи. Unix проектировали для машин с разделением времени, TCP/IP — для сети, которая должна пер…
Читать
Прогнозирование спроса, планирование закупок и управление запасами напрямую влияют на финансовые результаты компании, но на практике эти процессы не…
Читать
При выборе облака для размещения сервисов и приложений обычно изучают доступную информацию о том, как устроена инфраструктура провайдера. Дублирован…
Читать
В Telegram появились HTMLBubbles: бот присылает сообщение, внутри которого работает крошечная веб-страница со скриптом. Игра, опрос или калькулятор …
Читать
Тестировщики отдают документацию языковой модели Claude от Anthropic и получают из неё тест-кейсы и автотесты. Это работает, если документация точна…
Читать
Юнит-тесты могут удвоить объём кодовой базы, но при этом пропустить баги, которые возникают на стыке компонентов или проявляются при необычных входн…
Читать