RAM починає рахувати сама: як Samsung LPDDR5X-PIM переносить AI-обчислення прямо в пам’ять

У комп’ютерах десятиліттями діє майже незмінна схема: процесор рахує, пам’ять зберігає, а дані постійно їздять між ними. Для звичайних програм це працює добре, але з AI така архітектура дедалі частіше впирається не в арифметику, а в те, як швидко можна підвезти моделі потрібні ваги й активації. На Hot Chips 2026 Samsung показала LPDDR5X-PIM — пам’ять, у якій частина простих обчислень виконується прямо біля банків DRAM. Це не «процесор усередині RAM» у звичному сенсі, але це вже реальний крок до систем, де пам’ять перестає бути пасивним складом даних.

За даними Samsung, звичайна LPDDR5X-9600 у показаній конфігурації має пікову зовнішню пропускну здатність близько 76,8 GB/s. У режимі PIM сумарна локальна смуга всередині пам’яті сягає приблизно 614 GB/s — тобто вісім разів більше. У попередньому тесті Llama 3.1 8B компанія показала 2,28× скорочення часу виконання та до 3,01× більше tokens per second. Цифри виглядають гучно, але найцікавіше тут не саме прискорення, а зміна місця, де відбувається робота.

Головна проблема AI — дані потрібно постійно рухати

Матричні прискорювачі сьогодні неймовірно швидкі. GPU та NPU можуть виконувати величезну кількість multiply-accumulate операцій за секунду. Але кожна така операція потребує даних. Якщо арифметичні блоки простоюють, чекаючи, доки черговий шматок ваг приїде з пам’яті, додавати ще обчислювальні ядра не завжди має сенс.

Це часто називають memory wall. Різні рівні кешу, ширші шини, HBM і дедалі складніші пакування намагаються скоротити відстань між даними та логікою. HBM робить це дуже ефективно, але коштує дорого, потребує складного advanced packaging і має власні проблеми з енергоспоживанням та теплом. LPDDR, навпаки, давно оптимізована під низьке споживання й масові пристрої.

PIM — Processing-in-Memory — пропонує інший хід: якщо певну просту математику все одно потрібно виконати над великим масивом даних, навіщо спочатку виводити цей масив із DRAM до центрального прискорювача? Частину операцій можна виконати поруч із самими комірками, а назовні віддати вже результат.

Як Samsung вбудувала логіку в LPDDR5X

У показаній реалізації кожен банк пам’яті отримує власний PIM-блок. Він працює з register files і паралельними MAC-деревами — структурами для множення та додавання, які лежать в основі нейромережевих workload. Пам’ять може перемикатися між звичайним single-bank режимом і multi-bank PIM-режимом.

Ідея важлива ще й тому, що Samsung намагається не ламати всю екосистему контролерів. Модуль зберігає знайому форму LPDDR5X, використовує стандартний 561-ball package, два 64-бітні ranks і 16 GB ємності в продемонстрованій конфігурації. Тобто виробник не пропонує екзотичний accelerator card, який існує окремо від звичайної пам’яті.

Підтримуються формати FP16, FP8 та integer-операції різної розрядності. Це натякає на головний клас задач: не універсальна заміна CPU, а масово-паралельні операції, де одні й ті самі математичні шаблони застосовуються до великих блоків даних.

Звідки береться «8× bandwidth»

Тут легко неправильно зрозуміти цифру. Samsung не перетворила зовнішній LPDDR5X-інтерфейс на шину 614 GB/s. Вісімкратне число стосується сумарної локальної смуги, доступної PIM-логіці всередині банків. Саме в цьому сенс: дані не обов’язково мають проходити через вузький зовнішній канал, якщо операція виконується там, де вони вже лежать.

Для AI inference це може бути особливо корисно, бо модель багато разів читає великі масиви ваг. Чим більше роботи можна виконати локально, тим менше енергії й часу витрачається на переміщення інформації. У сучасних AI-системах саме data movement часто споживає непропорційно велику частину енергобюджету.

Що показав тест Llama 3.1 8B

Samsung тестувала LPDDR5X-PIM із Llama 3.1 8B на edge AI accelerator. За попередніми результатами, runtime покращився у 2,28 раза, а швидкість генерації — до 3,01 раза за tokens per second. Це саме результати виробника, а не незалежний benchmark.

Є ще важливіше застереження: на слайді Hot Chips вихід моделі відрізнявся від baseline. На запитання аудиторії Samsung відповіла, що оптимізація точності ще триває. Тому цифру 3,01× не варто читати як «та сама якість відповіді, але утричі швидше» — принаймні поки немає ширших незалежних тестів.

Це нормальна стадія для нової архітектури. Коли обчислення переносять у пам’ять, змінюються precision, порядок операцій, компіляторний стек і оптимізація kernel. Остаточний успіх PIM залежатиме не від одного красивого demo, а від того, чи вдасться отримувати стабільний виграш без небажаного падіння якості.

Чому Samsung не просто використовує HBM

HBM залишається незамінною для найпотужніших GPU й AI accelerators. Вона дає терабайти на секунду пропускної здатності й фізично розміщується максимально близько до compute die. Але HBM — дорогий ресурс, а попит на неї через AI росте швидше, ніж виробники встигають нарощувати packaging capacity.

LPDDR5X-PIM не конкурує з HBM лоб у лоб. Її цікавіша ніша — edge AI, клієнтські пристрої, компактні inference-системи та сервери, де не потрібна максимальна HBM-смуга, але важливі ціна й енергоефективність. Samsung прямо називає server, client і mobile серед цільових сегментів.

Це також збігається з ширшим трендом. LPDDR уже виходить за межі смартфонів: Nvidia використовує LPDDR5X у serviceable SOCAMM2-модулях для Vera CPU, Intel — у нових AI-рішеннях. Низьковольтна мобільна пам’ять поступово стає частиною серверної архітектури.

Енергоспоживання: локальна логіка теж не безкоштовна

Додати MAC-блоки в DRAM означає додати споживання. Samsung визнає, що пікові стрибки потужності в PIM-режимі можуть бути значно вищими. Розрахунок полягає в іншому: локальна арифметика має прибрати достатньо зовнішніх reads/writes, щоб сумарна енергія системи знизилася.

Це один із ключових параметрів, які потребують незалежного тестування. Для ноутбука чи смартфона середнє енергоспоживання важливе, але не менш важливі піки, нагрівання package та throttling. У сервері додатково з’являється питання щільності пам’яті, cooling і поведінки сотень модулів одночасно.

Чому PIM роками не ставав масовим

Ідея processing-in-memory не нова. Дослідники говорять про неї десятиліттями, а Samsung демонструвала HBM-PIM ще кілька років тому. Головна складність — не зробити логіку поруч із DRAM, а змусити програмне забезпечення реально нею користуватися.

Звичайна програма очікує, що пам’ять просто читає й записує байти. PIM потребує compiler/runtime, який розуміє, які операції варто переносити в пам’ять, як синхронізувати дані, що робити з cache coherency і як не витратити виграш на orchestration overhead. Якщо розробнику доведеться переписувати кожну модель вручну під конкретний DRAM-чип, масового ринку не буде.

Тому найбільш показовою подією стане не ще один benchmark, а поява стандартних API, підтримки в компіляторах і JEDEC-специфікацій. Samsung уже говорить про подальший LPDDR6X-PIM і роботу над стандартизацією.

Що це може змінити у звичайному ноутбуці

Уявім AI-PC, який локально запускає 8–20B модель. Сьогодні NPU може бути достатньо швидким, але пропускна здатність пам’яті обмежує generation speed. Якщо частину matrix-vector операцій виконувати в LPDDR, виробнику не потрібно ставити дорожчу пам’ять чи суттєво розширювати зовнішню шину.

Теоретично це означає швидших локальних асистентів, менше енергоспоживання на inference і вищу продуктивність при тому самому TDP. Але практична користь залежатиме від того, який відсоток моделі реально можна offload у PIM. Якщо прискорюється лише вузька операція, загальний виграш може бути скромнішим, ніж на демонстраційному тесті.

Пам’ять більше не буде «тупою»

Найцікавіша частина LPDDR5X-PIM — не конкретний продукт 2026 року. Це сигнал, що традиційний поділ «CPU/GPU рахує, RAM зберігає» стає занадто дорогим для епохи AI. HBM, chiplets, compute-near-memory, CXL і PIM усі вирішують одну проблему: обчислення ростуть швидше, ніж наша здатність дешево рухати дані.

Samsung ще має довести точність, енергоефективність і реальну економіку LPDDR5X-PIM у масових системах. Але сам напрям виглядає логічним. Коли переміщення одного біта інколи коштує більше енергії, ніж проста операція над ним, наступний крок — перестати возити цей біт без потреби.

↗

↗