Skip to main content

Google выпустили открытую диффузионную языковую модель DiffusionGemmaГод назад они релизили Gemini Diffusion, но тогда попробовать необычную модель можно было только по запросу. Сейчас же – совсем другое дело, копайтесь на здоровье кто угодно. Лицензия Apache 2.0. Фишка модели в том, что вместо генерации токенов один за одним, как абсолютно во всех других LLM, здесь они генерируются в произвольном порядке целыми блоками. Модель начинает с шума и итеративно уточняет весь текст параллельно. Другими словами, расшумляет, как в диффузионных генераторах картинок: отсюда и название.Во-первых, для многих доменов это теоретически более правильный подход. Например, написание кода – вещь нелинейная. А тут внутри двунаправленный механизм внимания, и кусочки последовательности можно генерировать в логическом порядке, а не просто слева направо. К тому же модель способна итеративно корректировать сама себя прямо во время генерации. Во-вторых, за счет параллельной генерации модель обеспечивает существенное ускорение. Google пишут об x4 на стандартных видеокартах: моделька летит 1000+ токенов в секунду на одной NVIDIA H100. По наполнению это MoE 26B c активными 3.8B, должна помещаться в 18GB VRAM с квантованием. – Блогпост – Веса – Гайд для разработчиковGoogle выпустили открытую диффузионную языковую модель DiffusionGemmaГод назад они релизили Gemini Diffusion, но тогда попробовать необычную модель можно было только по запросу. Сейчас же – совсем другое дело, копайтесь на здоровье кто угодно. Лицензия Apache 2.0. Фишка модели в том, что вместо генерации токенов один за одним, как абсолютно во всех других LLM, здесь они генерируются в произвольном порядке целыми блоками. Модель начинает с шума и итеративно уточняет весь текст параллельно. Другими словами, расшумляет, как в диффузионных генераторах картинок: отсюда и название.Во-первых, для многих доменов это теоретически более правильный подход. Например, написание кода – вещь нелинейная. А тут внутри двунаправленный механизм внимания, и кусочки последовательности можно генерировать в логическом порядке, а не просто слева направо. К тому же модель способна итеративно корректировать сама себя прямо во время генерации. Во-вторых, за счет параллельной генерации модель обеспечивает существенное ускорение. Google пишут об x4 на стандартных видеокартах: моделька летит 1000+ токенов в секунду на одной NVIDIA H100. По наполнению это MoE 26B c активными 3.8B, должна помещаться в 18GB VRAM с квантованием. – Блогпост – Веса – Гайд для разработчиков

  1. @data_secrets TG

    Data Secrets
    Еще один очень занятный релиз от Google – диффузионная языковая модель Gemini Diffusion Кратко, в чем суть: вместо генерации токенов один за одним здесь они генерируются в произвольном порядке. То есть берется исходная последовательность текста, затем токены…
    Google выпустили открытую диффузионную языковую модель DiffusionGemma

    Год назад они релизили Gemini Diffusion, но тогда попробовать необычную модель можно было только по запросу. Сейчас же – совсем другое дело, копайтесь на здоровье кто угодно. Лицензия Apache 2.0.

    Фишка модели в том, что вместо генерации токенов один за одним, как абсолютно во всех других LLM, здесь они генерируются в произвольном порядке целыми блоками. Модель начинает с шума и итеративно уточняет весь текст параллельно. Другими словами, расшумляет, как в диффузионных генераторах картинок: отсюда и название.

    Во-первых, для многих доменов это теоретически более правильный подход. Например, написание кода – вещь нелинейная. А тут внутри двунаправленный механизм внимания, и кусочки последовательности можно генерировать в логическом порядке, а не просто слева направо. К тому же модель способна итеративно корректировать сама себя прямо во время генерации.

    Во-вторых, за счет параллельной генерации модель обеспечивает существенное ускорение. Google пишут об x4 на стандартных видеокартах: моделька летит 1000+ токенов в секунду на одной NVIDIA H100.

    По наполнению это MoE 26B c активными 3.8B, должна помещаться в 18GB VRAM с квантованием.

    – Блогпост
    –     Веса
    –     Гайд для разработчиков
    ⭐ 1 ⚡ 117 ❤️ 49 🔥 27 👍 8 ☃ 1