Samsung LPDDR5X-PIM: Memory Calculates to Boost AI by 3x

Технически новый модуль базируется на архитектуре LPDDR5X, но использует пакетную структуру с 561 контактом и двумя 64-битными рангами, в общей сложности задействуя восемь чипов памяти. Ключевое отличие от стандартного LPDDR5X-9600 заключается не в скорости передачи данных по шине, а в способности выполнять вычисления внутри самого пакета. При этом внешняя пропускная способность не увеличивается физически в восемь раз; вместо этого данные остаются внутри DRAM для простых операций, что снижает нагрузку на каналы связи с CPU или GPU.

В тестах с искусственным интеллектом преимущества технологии проявились ярко: время выполнения модели сократилось в 2,28 раза, а количество генерируемых токенов выросло до 3,01 раз. Это достигается за счет переноса миллионов и миллиардов операций MAC (Multiply-Accumulate) — фундаментальных для нейросетей — внутрь памяти. Такой подход критически важен для снижения стоимости современных AI-систем, где память часто становится самым дорогим компонентом после HBM.

Разработчики видят в LPDDR5X-PIM не просто эксперимент, а основу для будущих стандартов совместно с JEDEC. Технология особенно актуальна для локальных AI-систем, ноутбуков и мини-ПК, работающих на грани (Edge), где важна энергоэффективность. Несмотря на то что добавленная логика потребляет энергию, общий расход системы не растет, так как экономия на передаче данных перекрывает затраты на вычисления.

Следующим шагом Samsung является разработка аналогичной технологии для LPDDR6X, которая уже находится в разработке. Это открывает перспективы для массового внедрения PIM-архитектуры, превращая память из пассивного хранилища в активный вычислительный элемент без необходимости переоснащения всей системы охлаждения или питания.