Дизајн мреже кластера АИ: Спине-Леаф, РоЦЕ & НИЦ

Дизајн мреже кластера са вештачком интелигенцијом је процес одређивања величине НИЦ-а ГПУ сервера, пропусног опсега{0}}леаф, односа прекомерне претплате, РоЦЕ подешавања, оптике и каблова, тако да дистрибуирани саобраћај за обуку остаје предвидљив како се кластер повећава. Погрешите било шта од овога и мрежа - а не ГПУ - постаје уско грло.

Зашто је АИ Цлустер Нетворкинг другачије

У традиционалном центру података предузећа, мрежа управља мешавином саобраћаја корисника са севера{0}}југа, приступа складишту, виртуелизације и управљања. Источни-западни саобраћај постоји, али је ретко доминантно оптерећење. У АИ кластеру, ситуација се преокреће. ГПУ сервери који покрећу дистрибуирану обуку размењују градијенте и синхронизују параметре током сваког корака посла. Ова комуникација је део рачунања, а не његов споредни ефекат.

Ако ГПУ од 30.000 УСД потроши 30% свог времена чекајући на мрежи током свих-операција смањења, кластер ефективно плаћа за 30% свог рачунарског капацитета да не ради. То је економски разлог зашто умрежавање вештачке интелигенције добија толико пажње.

Три карактеристике оптерећења покрећу дизајн:

• Буран саобраћај на истоку-западу.Колективне комуникационе операције као што су све{0}}смањење, све-сакупљање и смањење-разбацаја производе синхронизоване рафале на више чворова истовремено.
• Осетљивост репа{0}}о кашњења.Један спори чвор одлаже цео корак обуке. Предвидљива латенција је важнија од просечне латенције.
• Смањите{0}}раст.Кластери који почињу са 32 ГПУ-а често нарасту на 256 или 1.024 у року од 18 месеци. Тканина мора бити скалирана без редизајна.

Зашто Спине{0}}Леаф одговара АИ кластерима

Спине{0}}леаф је стандардна структура за хиперскаларне центре података јер сваком серверу-до-путања даје исти број скокова и исту теоријску пропусност. За оптерећења вештачке интелигенције, ова униформност се директно претвара у предвидљивија времена корака обуке.

У топологији спине{0}}листа, ГПУ сервери се повезују са прекидачима листа, а сваки лист се повезује са сваким кичмом. Свака комуникација између ГПУ-а-на-ГПУ-а прелази тачно један лист, једну кичму и још један лист. Не постоје слојеви агрегације који уводе варијабилну латенцију или тачке пригушења.

Предвидљива латенција

Рутирање са једнаким{0}}више-путевима (ЕЦМП) шири токове преко кичмених прекидача. Када се правилно конфигурише са адаптивним рутирањем или динамичким балансирањем оптерећења, ово спречава хеш колизије које узрокују да неки токови буду много спорији од других - што је познати проблем у статичким ЕЦМП тканинама које носе мало, али велике токове, што је управо оно што АИ тренинг генерише.

Високи бисекциони пропусни опсег

Бисекциони пропусни опсег је пропусна моћ доступна између било које две једнаке половине кластера. Обука вештачке интелигенције има користи од дизајна без{1}}блокирања или скоро{2}}неблокирања{3}}при чему је капацитет узлазне везе између листа{4}}до-од листа једнак или је скоро једнак капацитету довнлинк-а према серверима. ИЕТФ дефинише и разматра ове концепте уРФЦ 7938, који покрива БГП{0}}усмерене Цлос структуре које се широко користе у великим-центрима података.

Лакше скалирање{0}}

Додајте још листова да бисте додали још сервера. Додајте више спинова да бисте додали више пропусног опсега за бисекцију. За кластере преко неколико хиљада ГПУ-а, супер-кичма (5-степена Цлос) или топологија оптимизована за шину проширује исти принцип још један слој даље.

Основне компоненте мреже кластера вештачке интелигенције

ГПУ сервери и НИЦ-ови

НИЦ је место где се тканина сусреће са домаћином. У АИ кластерима, избор НИЦ-а покреће све низводно - брзину порта прекидача, избор оптике и густину каблова.

Критеријуми избора за АИ радна оптерећења:

• Брзина порта:200Г, 400Г или 800Г по порту. Усклађивање са ГПУ генерацијом и ПЦИе пропусним опсегом.
• ПЦИе генерација:400Г НИЦ-у је потребан ПЦИе Ген5 к16 да би се избегло пригушивање{3}}на страни хоста. ПЦИе Ген4 к16 ограничење на ~256 Гбпс употребљиво.
• РДМА и РоЦЕв2 подршка:Потребно за језгро{0}}заобилазећи ГПУ комуникационе библиотеке као што је НЦЦЛ.
• ГПУдирецт РДМА:Омогућава директно ГПУ-на-НИЦ ДМА, уклањајући копије меморије хоста.
• Могућност више{0}}шина:Многи АИ сервери користе 4 или 8 НИЦ-а по чвору, једну по пару ГПУ-а, за топологије-оптимизоване за шину.

Типичан 8-ГПУ сервер данас користи или 4× 400Г НИЦ-а (један на два ГПУ-а) или 8× 400Г НИЦ-а (један по ГПУ-у) у зависности од оптерећења и буџета. Референтне архитектуре изНВИДИА мрежна документацијадетаљно покријте компромисе у дизајну.

Прекидачи за листове и кичму

Критеријуми за избор прекидача за АИ тканине се разликују од избора предузећа. Величина бафера, понашање контроле загушења и телеметрија важнији су од ширине функције.

• По-брзини и радиксу порта:АСИЦ прекидач од 51,2 Тбпс испоручује 64 × 800Г портова или 128 × 400Г портова. Радик одређује колико равна тканина може бити.
• Архитектура бафера:Дубоки бафери апсорбују инцаст рафале, али додају кашњење. Плитки бафери смањују кашњење, али захтевају прецизну контролу загушења.
• РоЦЕ скуп функција:ЕЦН означавање, ПФЦ, ДЦКЦН или еквивалентна контрола загушења и правилно руковање приоритетним редовима од-до-краја.
• телеметрија:Унутарња мрежна телеметрија (ИНТ), по-извештавање о дубини реда и микросекундни-бројачи резолуције за ЕЦН ознаке и ПФЦ паузе.

Оптика, ДАЦ и АОЦ каблови

На 400Г и 800Г, постројење за постављање каблова постаје прави инжењерски проблем. Фактори облика, буџети веза и конфигурације раздвајања захтевају рано планирање.

• ДАЦ (бакар за директно прикључивање):До ~3 метра за 400Г, најнижа цена и најмања снага. Тежак и гломазан у обиму.
• АОЦ (активни оптички кабл):До ~30 метара, тањи од ДАЦ-а, али фиксне-дужине и троши оптичку снагу на оба краја.
• Прикључна оптика:Обавезно изнад АОЦ удаљености. КСФП-ДД и ОСФП фактори облика доминирају у 400Г/800Г. МПО/МТП склопови влакана управљају паралелним-везама влакана.

За везе између{0}}рекова и структурисане каблове на 400Г/800Г, паралелна оптика преко МПО завршетака је сада стандардна. Избор између магистралних каблова и склопова за раздвајање зависи од алокације портова комутатора - погледајте нашеМПО водич кабла за разбијањеза практичну логику селекције, и ширеПоређење МПО трупа и пробојакада планирате кретање од-до-кичме.

РоЦЕ и Етхернет без губитака у АИ Фабрицс

РоЦЕв2 (РДМА овер Цонвергед Етхернет в2) је доминантни Етхернет транспорт за АИ радна оптерећења. Омогућава мрежним картицама да премештају податке директно између ГПУ меморијских региона без учешћа кернела на оба краја. НЦЦЛ, ГПУ комуникациона библиотека која лежи у основи скоро свих дистрибуираних оквира за обуку, користи РоЦЕв2 када ИнфиниБанд није доступан.

РоЦЕ добро функционише када је правилно конфигурисан. Ружно не успева када је погрешно конфигурисан. ТхеИнфиниБанд Траде Ассоциатионобјављује РоЦЕ спецификације, а већина добављача НИЦ-а и прекидача објављује детаљне водиче за конфигурацију које треба пратити од-до-краја.

Зашто је важно понашање без губитака

РДМА је дизајниран под претпоставком транспорта без губитака. Када пакети падну, РДМА опоравак је скуп - врати се-назад-Н поновни пренос може да одложи корак обуке за милисекунде, што је огромно у односу на РДМА буџет-скале микросекунде.

Да би се приближило понашање без губитака на Етернету, тканина користи два механизма који раде заједно:

• ПФЦ (приоритетна контрола тока, ИЕЕЕ 802.1Кбб):Прекидач паузира долазни саобраћај на одређеном реду приоритета када се његов бафер попуни. Ово је -механизам последњег уточишта.
• ЕЦН (експлицитно обавештење о загушењу, РФЦ 3168):Прекидачи означавају пакете када се редови приближавају прагу. НИЦ смањује брзину слања пре него што се бафери заиста попуне, идеално избегавајући ПФЦ у потпуности.

Циљ је да ЕЦН уради скоро све управљање загушењима, са ПФЦ-ом као сигурносном мрежом. Ако видите честе ПФЦ паузе у стабилном-саобраћају, ваши ЕЦН прагови су погрешни или је ваша тканина премала.

Уобичајени неуспеси при примени РоЦЕ-а

Како дизајнирати мрежу кластера вештачке интелигенције: радни оквир

Ово је одељак који већина чланака о „АИ умрежавању“ прескаче. Седам корака у наставку вам даје конкретне улазе и излазе у свакој фази.

Корак 1: Дефинишите радно оптерећење и размеру

Улази:Тип радног оптерећења (претходна обука, фино{0}}подешавање, закључивање, мешано), циљни број ГПУ-а данас, циљни број ГПУ-а за 18 месеци, опсег величина модела.

Излаз:Профил радног оптерећења који информише брзину НИЦ-а и толеранцију прекомерне претплате. Велика предтренинг граничних модела захтева -неблокирајуће 400Г+ тканине. Радна оптерећења за фино{5}}подешавање могу толерисати прекомерну претплату 2:1. Кластерима закључивања често је потребан мањи пропусни опсег, али ниже кашњење репа.

Корак 2: Одаберите брзину и број НИЦ-а по серверу

Логика одлуке:

• Претходна обука великих модела, сервери са 8 ГПУ → 4–8× 400Г НИЦ-а по серверу, или 4× 800Г
• Обука средњег{0}}размера, сервери са 8 ГПУ → 2–4× 400Г НИЦ-а по серверу
• Послуживање закључака → 1–2× 200Г или 400Г НИЦ-а по серверу, у зависности од паралелизма модела

Проверите ПЦИе пропусни опсег на хосту. Један 400Г порт захтева да ПЦИе Ген5 к16 ради на линијској брзини; удвостручење на 800Г захтева Ген6 или поделу на два слота.

Корак 3: Одредите величину слоја листа

Радни пример - 32-кластера чворова, 8 ГПУ-а по чвору, 4× 400Г НИЦ-а по чвору:

• Укупно потребни портови{0}}суочени са сервером: 32 × 4=128 порта на 400Г
• Пропусни опсег везе према чвору: 4 × 400=1.6 Тбпс
• Укупни пропусни опсег за довнлинк кластера: 32 × 1.6=51.2 Тбпс

Користећи 400Г леаф свитцх са 64 порта (укупни капацитет 25,6 Тбпс), сваки лист може повезати 32 серверска порта и користити преостала 32 порта као уплинк-е. Са 4 листа покривате свих 128 серверских портова. Сваки лист доприноси 32 × 400Г=12.8 Тбпс уплинк-а према кичми.

Корак 4: Одредите величину слоја кичме

За дизајн без{0}}блокирања (1:1), укупан капацитет узлазне везе мора да буде једнак укупном капацитету одлазне везе. Од корака 3:

• Потребна је укупна веза узлазног листа: 4 листа × 12,8 Тбпс=51.2 Тбпс
• Ако свака кичма има 32× 400Г порта=12.8 Тбпс, ​​потребне су вам 4 бодље
• Сваки лист се повезује са све 4 бодље користећи 8 узлазних веза по стубу (8 × 400Г × 4=12.8 Тбпс по листу - одговара)

Ако користите 400Г прекидаче за кичму са 64 порта, свака кичма има резервни капацитет за раст кластера, што је корисно за 18-месечни план из 1. корака.

Корак 5: Подесите однос прекомерне претплате

Корак 6: Одвојите рачунарски, меморијски и управљачки саобраћај

Три опције, по редоследу повећања изолације:

• Дељена тканина са КоС класама:Рачунање, складиштење и управљање на одвојеним ДСЦП приоритетима. Најнижа цена; захтева пажљиву конфигурацију КоС-а.
• Логички одвојени ВЛАН/ВРФ-ови:Исти хардвер, одвојени контролни равни. Корисно за више-кластере закупаца.
• Физички одвојене тканине:Наменске НИЦ-ове, прекидачи и каблови за рачунаре у односу на складиштење. Највиша цена; уобичајено у групама граничних-модела где је било каква расправа неприхватљива.

Саобраћај складиштења за АИ је сам по себи тежак - контролне тачке уписивања за велики модел могу да помере стотине гигабајта у кратким рафалима. Планирајте то експлицитно. Постројење са структурираним кабловима велике густине-које користиМПО/МТП трунк кабловипоједностављује покретање паралелних тканина у истој физичкој инфраструктури.

Корак 7: Потврдите пре производње

Тестови на{0}}мрежном нивоу откривају неке проблеме. Тестови{2}}нивоа радног оптерећења покривају остало.

• пропусни опсег:иперф3 или иб_сенд_бв између сваког пара чворова; требало би да достигне 90%+ од стопе НИЦ линије.
• Латенција:иб_реад_лат или слично; проверите дистрибуцију, а не само просечну. П99.9 је више важан од просека.
• Губитак пакета:Покрените 24-тест намакања под оптерећењем; сваки губитак који није нула у РоЦЕ саобраћајној класи је проблем.
• Понашање ЕЦН ознаке:Проверите да се ознаке појављују пре него што се ПФЦ активира; ако су ПФЦ паузе честе у стабилном стању, поново подесите.
• Колективна комуникација:Покрените НЦЦЛ тестове (алл_редуце_перф, алл_гатхер_перф) у пуној величини кластера. Упоредите са референтним бројевима добављача.
• Тест{0}}нивоа посла:Водите репрезентативан посао обуке у трајању од 4–6 сати. Гледајте да искоришћење ГПУ-а - одржава вредности испод 50% на моделу одговарајуће{5}}величине обично указује на проблем са мрежом.

Традиционална мрежа центара података у односу на АИ кичму-Леаф Фабриц

Етхернет РоЦЕ вс ИнфиниБанд: Водич за брзу одлуку

Питање се појављује у скоро сваком пројекту кластера АИ. Оба раде. Избор се обично своди на оперативно уклапање, а не на чисту перформансу.

• Изаберите ИнфиниБанд ако:Ваш тим већ користи ИнфиниБанд тканине, желите најједноставнији пут до транспорта без губитака или купујете потпуно-интегрисану референтну архитектуру добављача.
• Изаберите Етхернет РоЦЕ ако:Ваш оперативни тим је етернет{0}}матичан, желите опције за пребацивање са више-произвођача, потребно је да интегришете АИ тканину са постојећим мрежама центара података или очекујете скалирање изнад онога што тренутне ИнфиниБанд топологије подржавају чисто.

Ултра Етхернет конзорцијум, формиран 2023. године, активно ради на стандардизацији Етхернет побољшања посебно за АИ радна оптерећења. За већину нових кластера у 2026., Етхернет РоЦЕ је одбрањива подразумевана вредност, осим ако не постоји посебан разлог да се изабере другачије.

Уобичајене грешке које треба избегавати

Надоградња прекидача без провере НИЦ-а

800Г свитцх фабриц не чини ништа за вас ако ваши НИЦ-ови раде на 400Г или ваш хост ПЦИе остане без пропусног опсега. Прво дизајнирајте страну домаћина, а затим страну прекидача. ПЦИе Ген5 к16 ограничава један порт на око 504 Гбпс стварног-светског протока - што је удобно за 400Г, маргинално за 800Г.

Оптимизација брзине порта, али игнорисање густине каблова

На 64-порту 400Г излази, каблови испод сваког прекидача могу постати физички неуправљиви без планирања. Користите каблове за раздвајање где је то прикладно, усмерите влакна кроз структурисане путеве и стандардизујте типове конектора. Квалитет конектора и завршетак су важни при великим брзинама - нашводич за типове оптичких конекторапокрива компромисе између ЛЦ, МПО и новонасталих фактора облика-високе густине.

Третирање РоЦЕ-а као Плуг-анд-Плаи

Највећа грешка у дизајну у правим АИ кластерима није одабир погрешног прекидача - већ потцењивање колико је потребно крајњег-до-конфигурисања РоЦЕ рада. Буџетско време за подешавање ЕЦН прагова, ПФЦ приоритета и МТУ конзистентности. Планирајте наменску фазу валидације пре покретања било каквог радног оптерећења.

Мешање целокупног саобраћаја на једној тканини без КоС-а

Репликација складишта, агенти за праћење и управљање саобраћајем могу уништити време корака обуке ако деле бафере са рачунарским саобраћајем. Или их физички раздвојите или примените строге КоС класе са засебним приоритетима и ЕЦН конфигурацијом.

Зграда само за данашњи кластер

Већина кластера вештачке интелигенције расте 4–8× у року од две године од почетног постављања. Изаберите капацитет за пребацивање радикса и кичме који омогућава проширење без-ометања. Повлачење каблова у живом АИ центру података је скупо; планирање капацитета водова и закрпа у време примене је јефтино.

Када повећати са 400Г на 800Г

800Г НИЦ и свичеви су доступни, али су скупљи по порту. Размислите о појачавању када:

• По-ГПУ потребе за пропусним опсегом премашују оно што 400Г може да обезбеди -, на пример, Х100 и новији ГПУ-ови са НВЛинк 5 очекују већи спољни пропусни опсег
• НЦЦЛ све-смањује временску скалу лоше са величином кластера, што указује на засићеност мреже
• Густина каблова на 400Г постаје физички неуправљива - мање 800Г портова може заменити више 400Г портова
• Очекује се да ће следећа генерација ГПУ-а у вашој мапи пута бити потребна у оквиру периода амортизације кластера
• Градите гранични{0}}моделски кластер за обуку где било које израчунавање времена мировања кошта знатно више од надоградње оптике

За већину производних кластера у 2026. години, 400Г остаје прави баланс трошкова, зрелости екосистема и способности. 800Г има смисла на високом нивоу и као унапред улагање за кластере који се данас граде и очекује се да ће радити 4–5 година.

Закључак

Најјача АИ кластер мрежа није она са најбржим прекидачима. То је онај где избор НИЦ-а, величина листа/кичме, прекомерна претплата, РоЦЕ конфигурација, раздвајање саобраћаја и физичко каблирање подржавају једни друге и радно оптерећење за које су изабрани.

Почните од обима посла и 18-месечног плана раста. Израчунајте потребе за пропусним опсегом на сваком слоју користећи реалне бројеве, а не само правила. Конфигуришите РоЦЕ енд-то-енд и потврдите са стварним референтним вредностима за колективну комуникацију. Буџет за постројење за каблирање - на 400Г и 800Г, физички слој више није тривијалан.

Кластер који држи своје ГПУ заузете при 95%+ искоришћености кроз сваки корак обуке је онај који је обратио пажњу на све ове слојеве. Група која се испоручује са бржим прекидачем и споријом структуром ће потрошити године објашњавајући зашто ГПУ-ови мирују.

Даље читање

• РФЦ 7938 - БГП у великим-центрима података
• ИнфиниБанд Траде Ассоциатион - РоЦЕ спецификације
• НВИДИА мрежна документација
• Упутство за инсталацију оптичког кабла
• Објашњење губитка уметања у односу на губитак поврата