Soluția „Micro Burst” în scenariul aplicației Bypass Network Traffic Capture

În scenariul tipic al aplicației NPB, cea mai deranjantă problemă pentru administratori este pierderea de pachete cauzată de congestionarea pachetelor în oglindă și a rețelelor NPB. Pierderea pachetelor în NPB poate provoca următoarele simptome tipice în instrumentele de analiză back-end:

- O alarmă este generată atunci când indicatorul de monitorizare a performanței serviciului APM scade, iar rata de succes a tranzacției scade

- Se generează alarma de excepție a indicatorului de monitorizare a performanței rețelei NPM

- Sistemul de monitorizare a securității nu reușește să detecteze atacurile de rețea din cauza omiterii evenimentului

- Pierderea evenimentelor de audit al comportamentului serviciului generate de sistemul de audit al serviciului

......

Ca sistem centralizat de captare și distribuție pentru monitorizarea Bypass, importanța NPB este de la sine înțeleasă. În același timp, modul în care procesează traficul de pachete de date este destul de diferit de comutatorul tradițional de rețea live, iar tehnologia de control al congestiei traficului a multor rețele de servicii live nu este aplicabilă NPB. Cum să rezolvăm pierderea de pachete NPB, să începem de la analiza cauzei principale a pierderii de pachete pentru a o vedea!

Analiza cauzei rădăcină a congestionării pierderii pachetelor NPB/TAP

În primul rând, analizăm traseul real de trafic și relația de cartografiere dintre sistem și intrarea și ieșirea rețelei NPB de nivel 1 sau de nivel. Indiferent ce tip de topologie de rețea se formează NPB, ca sistem de colectare, există o relație de intrare și ieșire a traficului de la mulți la mulți între „acces” și „ieșire” a întregului sistem.

Micro Burst 1

Apoi ne uităm la modelul de afaceri al NPB din perspectiva cipurilor ASIC pe un singur dispozitiv:

Micro Burst 2

Caracteristica 1: „Traficul” și „rata interfeței fizice” a interfețelor de intrare și de ieșire sunt asimetrice, rezultând un număr mare de micro-rafale este un rezultat inevitabil. În scenariile tipice de agregare a traficului multi-la-unu sau multi-la-mulți, rata fizică a interfeței de ieșire este de obicei mai mică decât rata fizică totală a interfeței de intrare. De exemplu, 10 canale de colecție 10G și 1 canal de ieșire 10G; Într-un scenariu de implementare pe mai multe niveluri, toate NPBBS pot fi văzute ca un întreg.

Caracteristica 2: Resursele cache cu cip ASIC sunt foarte limitate. În ceea ce privește cipul ASIC utilizat în mod obișnuit, cipul cu capacitate de schimb de 640Gbps are un cache de 3-10Mbytes; Un cip cu capacitate de 3,2 Tbps are o memorie cache de 20-50 MB. Inclusiv BroadCom, Barefoot, CTC, Marvell și alți producători de cipuri ASIC.

Caracteristica 3: Mecanismul convențional de control al fluxului PFC de la capăt la capăt nu este aplicabil serviciilor NPB. Miezul mecanismului de control al fluxului PFC este de a obține un feedback de suprimare a traficului de la capăt la capăt și, în cele din urmă, de a reduce trimiterea de pachete către stiva de protocoale a punctului final de comunicație pentru a atenua congestia. Cu toate acestea, sursa de pachete a serviciilor NPB sunt pachete în oglindă, astfel încât strategia de procesare a congestiei poate fi doar aruncată sau stocată în cache.

Următorul este aspectul unei micro-explozii tipice pe curba de curgere:

Micro Burst 3

Luând ca exemplu interfața 10G, în diagrama de analiză a tendinței de trafic de nivel al doilea, rata de trafic este menținută la aproximativ 3Gbps pentru o perioadă lungă de timp. Pe diagrama de analiză a tendințelor micro milisecunde, creșterea traficului (MicroBurst) a depășit cu mult rata fizică a interfeței 10G.

Tehnici cheie pentru atenuarea microexploziei NPB

Reduceți impactul nepotrivirii ratei interfeței fizice asimetrice- Când proiectați o rețea, reduceți cât mai mult posibil ratele asimetrice ale interfeței fizice de intrare și ieșire. O metodă tipică este utilizarea unei legături de interfață uplink cu viteză mai mare și evitarea ratelor de interfață fizică asimetrice (de exemplu, copierea traficului de 1 Gbit/s și 10 Gbit/s în același timp).

Optimizați politica de gestionare a memoriei cache a serviciului NPB- Politica comună de gestionare a memoriei cache aplicabilă serviciului de comutare nu este aplicabilă serviciului de redirecționare a serviciului NPB. Politica de gestionare a cache-ului de garanție statică + partajare dinamică ar trebui implementată pe baza caracteristicilor serviciului NPB. Pentru a minimiza impactul microburst-ului NPB sub limitarea actuală a mediului hardware cu cip.

Implementați managementul ingineriei de trafic clasificat- Implementați managementul clasificării serviciului de inginerie de trafic prioritar pe baza clasificării traficului. Asigurați calitatea serviciului pentru diferite cozi prioritare pe baza lățimii de bandă a cozii de categorie și asigurați-vă că pachetele de trafic de servicii sensibile ale utilizatorului pot fi redirecționate fără pierderi de pachete.

O soluție rezonabilă de sistem îmbunătățește capacitatea de stocare în cache a pachetelor și capacitatea de modelare a traficului- Integrează soluția prin diferite mijloace tehnice pentru a extinde capacitatea de stocare în cache a pachetelor a cipul ASIC. Prin modelarea fluxului în diferite locații, micro-explozia devine curbă de curgere micro-uniformă după modelare.

Soluție de gestionare a traficului Mylinking™ Micro Burst

Schema 1 - Strategia de gestionare a memoriei cache optimizată pentru rețea + managementul priorităților de calitate a serviciilor clasificate la nivelul întregii rețele

Strategie de gestionare a memoriei cache optimizată pentru întreaga rețea

Pe baza înțelegerii aprofundate a caracteristicilor serviciului NPB și a scenariilor practice de afaceri ale unui număr mare de clienți, produsele Mylinking™ de colectare a traficului implementează un set de strategie de gestionare a memoriei cache NPB „asigurare statică + partajare dinamică” pentru întreaga rețea, care are un efect bun asupra gestionării cache-ului de trafic în cazul unui număr mare de interfețe de intrare și ieșire asimetrice. Toleranța la microburst este realizată la maximum atunci când memoria cache a cipului ASIC este fixată.

Tehnologie de procesare Microburst - Management bazat pe prioritățile de afaceri

Micro Burst 4

Atunci când unitatea de captare a traficului este implementată independent, aceasta poate fi, de asemenea, prioritizată în funcție de importanța instrumentului de analiză back-end sau de importanța datelor de serviciu în sine. De exemplu, printre multe instrumente de analiză, APM/BPC are o prioritate mai mare decât instrumentele de analiză a securității/monitorizare a securității deoarece implică monitorizarea și analiza diferitelor date indicator ale sistemelor importante de afaceri. Prin urmare, pentru acest scenariu, datele solicitate de APM/BPC pot fi definite ca prioritate ridicată, datele solicitate de instrumentele de monitorizare/analiza securității pot fi definite ca prioritate medie, iar datele solicitate de alte instrumente de analiză pot fi definite ca fiind scăzute. prioritate. Când pachetele de date colectate intră în portul de intrare, prioritățile sunt definite în funcție de importanța pachetelor. Pachetele cu priorități mai mari sunt redirecționate de preferință după ce pachetele cu priorități mai mari sunt transmise, iar pachetele cu alte priorități sunt transmise după ce pachetele cu priorități mai mari sunt transmise. Dacă pachetele cu priorități mai mari continuă să sosească, pachetele cu priorități mai mari sunt transmise de preferință. Dacă datele de intrare depășesc capacitatea de redirecționare a portului de ieșire pentru o perioadă lungă de timp, datele în exces sunt stocate în memoria cache a dispozitivului. Dacă memoria cache este plină, dispozitivul aruncă de preferință pachetele de ordin inferior. Acest mecanism de management prioritizat asigură că instrumentele cheie de analiză pot obține în mod eficient datele de trafic originale necesare analizei în timp real.

Tehnologia de procesare Microburst - mecanism de clasificare de garantare a calității întregii rețele a serviciului

Micro Burst 5

După cum se arată în figura de mai sus, tehnologia de clasificare a traficului este utilizată pentru a distinge diferite servicii pe toate dispozitivele la nivelul de acces, la nivelul de agregare/nucleu și la nivelul de ieșire, iar prioritățile pachetelor capturate sunt remarcate. Controlerul SDN furnizează politica de prioritate a traficului într-o manieră centralizată și o aplică dispozitivelor de redirecționare. Toate dispozitivele care participă la rețea sunt mapate la diferite cozi de prioritate în funcție de prioritățile transportate de pachete. În acest fel, pachetele cu prioritate avansată cu trafic mic pot atinge pierderi de pachete zero. Rezolvați eficient problema pierderii de pachete a monitorizării APM și a serviciilor speciale de auditare a serviciilor de trafic de ocolire.

Soluția 2 - Cache-ul sistemului de expansiune la nivel GB + Schema de modelare a traficului
Cache extinsă a sistemului de nivel GB
Atunci când dispozitivul unității noastre de achiziție a traficului are capabilități avansate de procesare funcțională, poate deschide o anumită cantitate de spațiu în memoria (RAM) a dispozitivului ca Buffer global al dispozitivului, ceea ce îmbunătățește foarte mult capacitatea Buffer-ului dispozitivului. Pentru un singur dispozitiv de achiziție, capacitatea de cel puțin GB poate fi furnizată ca spațiu cache al dispozitivului de achiziție. Această tehnologie face ca capacitatea tampon a dispozitivului nostru de achiziție a traficului să fie de sute de ori mai mare decât cea a dispozitivului tradițional de achiziție. La aceeași rată de redirecționare, durata maximă a micro-exploziei a dispozitivului unității noastre de achiziție de trafic devine mai lungă. Nivelul de milisecunde susținut de echipamentele tradiționale de achiziție a fost actualizat la al doilea nivel, iar timpul de micro-explozie care poate fi suportat a fost mărit de mii de ori.

Capacitate de modelare a traficului cu mai multe cozi

Tehnologia de procesare Microburst - o soluție bazată pe Buffer Caching + Traffic Shaping

Micro Burst 6

Cu o capacitate de buffer foarte mare, datele de trafic generate de micro-burst sunt stocate în cache, iar tehnologia de modelare a traficului este utilizată în interfața de ieșire pentru a obține o ieșire lină a pachetelor către instrumentul de analiză. Prin aplicarea acestei tehnologii, fenomenul de pierdere a pachetelor cauzat de micro-burst este rezolvat fundamental.


Ora postării: 27-feb-2024