TEST OBCIĄŻENIOWY SIECI WI-FI DLA PRZEDSIĘBIORSTW
Punkty dostępowe 802.11ax (Wi-Fi 6) zarządzane w chmurze
STRESZCZENIE
Działalność w chmurze znacząco wpłynęła na pracę przedsiębiorstw. Wi-Fi wkracza na strategiczną pozycję. Wydajność sieci staje się ważniejsza niż kiedykolwiek. Sektor IT musi sprostać stale rosnącym wymaganiom, zwłaszcza tym z zakresu priorytetyzacji ruchu głosowego i wideo. Wiele organizacji skłania się również do wykorzystywania sztucznej inteligencji AI (ang. Artificial Intelligence) i uczenia maszynowego ML (ang. Machine Learing) do oceny doświadczeń użytkownika końcowego oraz wydajności sieci Wi-Fi.
W tym raporcie przedstawimy szczegółowe informacje na temat atrybutów wydajności punktów dostępowych 802.11ax (Wi-Fi 6) zarządzanych w chmurze w środowisku o dużej gęstości i dużej przepustowości, w którym występuje mieszanka ruchu: wideo, VoIP i danych.
Celem jest przetestowanie wydajności AP przedsiębiorstw zarządzanych w chmurze w warunkach rzeczywistych, które są istotne dla większości współczesnych sieci przedsiębiorstw.
Według raportu ”Global Economic Value of Wi-Fi” Wi-Fi Alliance szacuje się wartości sieci Wi-Fi na 3.3 bilionów $ w 2021 roku. Przedsiębiorstwa wykorzystują sieci Wi-Fi do obsługi nowych i innowacyjnych przypadków użycia, podczas gdy Wi-Fi 6 w szybkim tempie przyjmuje się na rynku.
Aplikacje wideo i inne usługi multimedialne będą największymi konsumentami pasma w sieciach Wi-Fi. W ankiecie przeprowadzonej przez Education Week Research Center, 71% nauczycieli uznało Wi-Fi za innowację technologiczną znacząco poprawiającą nauczanie i uczenie się.
Firma Commscope RUCKUS była sponsorem testów przeprowadzonych z udziałem niezależnego specjalisty, który sprawdził poprawność konfiguracji i zapewnił równe szanse każdemu z producentów. Utrzymywano uczciwe i neutralne środowisko testowe zgodnie z wymaganiami powstania niniejszego raportu.
METODOLOGIA TESTU – dlaczego jest on tak ważny?
Sieć Wi-Fi jest nadal najczęściej używaną metodą łączności z siecią dostępową. Przedsiębiorstwa wykorzystują urządzenia mobilne z aplikacjami działającymi w czasie rzeczywistym i wymagającymi małych opóźnień. Używane aplikacje o znaczeniu krytycznym potrzebują niezawodnej i wydajnej sieci Wi-Fi. W hotelach, goście dołączają do wideokonferencji w swoich pokojach i chcą mieć możliwość korzystania ze stabilnej sieci Wi-Fi. W salach lekcyjnych zaś laptopy i tablety wykorzystują multimedia do celów szkoleniowych.
Wykorzystanie wideo i natężenie ruchu związanego z tą usługą rośnie wraz z przesyłanymi danymi i VoIP. Konieczne jest w tym miejscu zrozumienie wpływu obciążenia sieci na wrażenia użytkownika końcowego z korzystania z wszystkich tych możliwości.
Test był złożony z badań w dwóch aspektach:
- Ustalenie poziomu wydajności punktu dostępowego (AP) każdego producenta.
- Ocena, w jakim stopniu odpowiednie rozwiązanie chmurowe producenta może pomóc działowi IT skrócić średni czas identyfikacji MTTI (ang. Mean Time To Identify).
Pomiary zostały przeprowadzone w środowisku o dużym zagęszczeniu i dużej przepustowości, w którym punkty dostępowe przedsiębiorstwa zarządzane w chmurze muszą zapewnić niezawodne działanie usług dla powiązanych urządzeń. W przypadku dowolnej awarii sieci, operatorzy powinni być w stanie szybko i sprawnie zidentyfikować przyczynę.
Wiele organizacji odchodzi od korzystania z lokalnych urządzeń kontrolnych na rzecz rozwiązań, pozwalających na monitorowanie i zarządzanie w chmurze publicznej. Test pokazuje, jak poszczególne narzędzia chmurowe radzą sobie z dzisiejszymi wymaganiami.
O TEŚCIE
Wyniki przedstawione w niniejszym raporcie pochodzą z dwóch testów – jednego mierzącego wydajność AP oraz drugiego oceniającego możliwości rozwiązywania problemów i analizy przez platformę korporacyjną działającą w chmurze. Wybrano szereg punktów dostępowych Wi-Fi 6 o konfiguracji 4×4:4, które przetestowano w środowisku podobnym do rzeczywistych instalacji.
W jednym pomieszczeniu rozmieszczono trzydzieści laptopów Dell Latitude 5400 z obsługą Wi-Fi 6 i wykorzystano do odtwarzania filmu w wysokiej rozdzielczości (1080p HD). Laptopy Dell wyposażono w kartę sieciową Intel Wi-Fi AX200. Każdy laptop odtwarzał strumień wideo HD w trybie unicast, w trakcie i po zakończeniu testu.
Transmisja unicast zakłada przesyłanie danych w tym wypadku wideo ”od jednego do jednego”. Niezależnie od lokalizacji nadawanego strumienia, żądanie może zostać wygenerowane tylko przez jednego użytkownika. Następnie wideo dopasowane do możliwości urządzenia końcowego zostaje do niego dostarczone. W przypadku sprzętu starszego typu pojawia się problem z wahaniami i ograniczeniem przepustowości, przez co wrażenia użytkownika nie są zadawalające. Istnieją jednak sposoby radzenia sobie z nieprzewidywalnością Internetu – przesyłanie strumieniowe z adaptacyjną szybkością transmisji ABR (ang. Adaptive Bit-Rate) czy wykorzystanie usługi CDN (ang. Content Distribution Network). Dodatkową zaletą unicast jest możliwość zbierania informacji o odbiorcach w celu personalizacji udogodnień i reklam.
Transmisja multicast działa w trybie ”od jednego do wielu”. Pozwala przewidzieć z wyprzedzeniem wykorzystanie pasma, umożliwiając jego lepsze wykorzystanie i zarządzanie. Ilość osób odbierających dany strumień nie wpływa na obciążenie pasma, każdy użytkownik ma do niego dostęp. Nie ma potrzeby tworzenia oddzielnych sesji czy łączy. Jedynym wymogiem jest posiadanie prywatnej oraz zarządzalnej sieci (LAN/ WAN) w przedsiębiorstwie. Multicast traktuje wszystkich odbiorców tak samo, co utrudnia skalowanie i dopasowywanie się do możliwości urządzeń końcowych.
Oprócz laptopów Dell do testów użyto pięć iPadów Apple. Z ich wykorzystaniem przeprowadzono dwukierunkowy test. Na iPad’ach zainstalowano klienta IxChariot, skonfigurowanego z kodekiem głosowym G.711u – jednym z najczęściej używanych we wdrożeniach VoIP. IxChariot odgrywał rolę narzędzia testowego do symulacji rzeczywistej telefonii VoIP, by móc przewidzieć wydajność punktów dostępowych w warunkach obciążeniowych.
W sąsiednim pomieszczeniu znajdowało się dwadzieścia komputerów Apple MacBook Pros z uruchomionym klientem IxChariot, połączonych z tym samym punktem dostępowych. Do symulacji losowego pobierania danych, takich jak przeglądanie stron internetowych, korzystanie z poczty elektronicznej i przesyłanie plików, wykorzystano usługę UDP (ang. User Datagram Protocol).
Sygnał docierał przez sufit podwieszany i dwie ściany składające się z drewnianego szkieletu oraz ok. 13 mm płyty gipsowo-kartonowej.
Każdy AP został przetestowany pod kątem przepustowości i innych parametrów wydajności przy użyciu kanału o szerokości 80 MHz. Chociaż taki kanał nie był zalecany do przeprowadzenia testów, użyto go, by uzyskać maksymalne możliwości AP.
Tabela podsumowująca typy ruchu sieciowego w teście dotyczącym wydajności AP
TESTOWANE PUNKTY DOSTĘPOWE
W teście wydajności oceniono punkty dostępowe 802.11ax (Wi-Fi 6) zarządzane w chmurze następujących firm: HPE Aruba (“Aruba”), Extreme Networks (“Extreme”), Juniper Mist (“Mist”), Cisco Meraki (“Meraki”) oraz RUCKUS. Każdy AP ma podobną specyfikację sprzętową i jest przeznaczony do obsługi środowisk o dużej gęstości.
Testowane punkty dostępowe
ŚRODOWISKO TESTOWE
Schemat sieci i przepływu danych
TYPY KLIENTÓW
W każdym teście wykorzystano klientów wymienionych w tabeli poniżej. Taki dobór miał na celu zasymulować rzeczywiste środowisko składającego się z: Wi-Fi 6, Wi-Fi 5 oraz urządzeń mobilnych. W sumie użyto 60 odbiorców.
Typy klientów używanych do testów
Środowisko pomiarowe
KONFIGURACJA WLAN
Dla każdego punktu dostępowego użyto ustawień fabrycznych. Testy zostały przeprowadzone w paśmie 5 GHz w zakresie UNII-3, aby zapewnić spójne wyniki. W pierwszym teście skonfigurowano pojedynczy identyfikator SSID (ang. Service Set Identifier) z wykorzystaniem szyfrowania WPA2-PSK, a w drugim teście – trzy identifikatory SSID: dwa używające współdzielonego klucza PSK (ang. Pre-Shared Key), a jeden standardu 802.1X.
Każdy nazwa sieci Wi-Fi została utworzona dla kanału o szerokości 80 MHz.
KONFIGURACJA PRZEŁĄCZNIKA
Zastosowano przełącznik RUCKUS ICX 7650-48ZP, zapewniający zasilanie PoE (ang. Power over Ethernet) dla punktów dostępowych. AP zostały połączone ze switch’em z wykorzystaniem portów Multi-Gigabit Ethernet i funkcją automatycznej negocjacji szybkości połączeń. Do każdego AP dostarczono wymaganą moc. Wszystkie urządzenia objęto jedną siecią WLAN, eliminując konieczność routingu.
Lista dostępu do adresów IP dla kodera wideo została skonfigurowana dla sieci VLAN, aby oznaczyć strumień wideo z użyciem usługi DSCP (ang. Differentiated Services Code Point) na 40 punktów.
KONFIGURACJA STRUMIENIA WIDEO
W celu przetestowania wideo w jakości HD odtwarzacz DVD został podłączony do kodera wideo, wykorzystując protokół HTTP Live Stream (HLS) do przesyłania danych do odbiorców (laptopów Dell). Dzięki czemu każdy klient miał dostęp do indywidualnego strumienia wideo HD w trybie unicast.
Ustawienia kodera wideo
TEST 1 – MULTIMEDIA
Celem pierwszego testu było zbadanie, jak poszczególne AP radzą sobie w środowisku o wysokim zagęszczeniu i przepustowości. W jednym z pomieszczeń znajdowało się 30 laptopów Dell Latitude 5400 odtwarzających wideo w jakości HD oraz 10 iPad’ów – 5 prowadzących dwukierunkowe połączenie VoIP i 5 pobierających dane UDP. Punkt dostępowy został zamontowany w suficie podwieszanym w tylnej części pokoju, aby zmaksymalizować zasięg w obu pomieszczeniach. Pobieranie strumienia wideo rozpoczęto przed rozpoczęciem pomiarów i było kontynuowane przez cały czas ich trwania.
W drugim pomieszczeniu 20 komputerów Apple MacBook Pros pobierało dane UDP, składające się z pakietów o długości 64, 256, 512 i 1460 bajtów, co miało odpowiadać różnym rodzajom ruchu danych w sieci.
Przeprowadzono dwa testy trwające po 3 minuty każdy.
Opis przeprowadzanych testów
Utrzymanie oczekiwanej jakości usług QoS (ang. Quality of Service) jest ważnym kryterium w tym teście. Ruch wideo z kodera został oznaczony na porcie przełącznika jako DSCP 40. Ruch VoIP z serwera IxChariot i klientów IxChariot (iPadów) został oznaczony jako DSCP 46. Powodem zastosowania oznaczeń DSCP jest chęć zapewnienia prawidłowego przekierowania szczególnie ruchu wrażliwego na opóźnienia, spadki oraz odchylenia. Dzięki temu każdy producent miał możliwość nadawania priorytetów ruchowi w oparciu o oznaczenia QoS. W sieci WLAN nie zostały skonfigurowane żadne parametry QoS.
KRYTERIA POWODZENIA
Przed rozpoczęciem testu każdy punkt dostępowy musi pomyślnie dostarczyć wolny od zacięć strumień wideo do wszystkich 30 laptopów Dell. W przypadku pojawienia się ociągnięć odtwarzanie jest odświeżane a zdarzenie dokumentowane w przypadku powtarzalności. W trakcie pomiarów punkt dostępowy musi jednocześnie dostarczyć wysokiej jakości wideo, dane i VoIP do wszystkich klientów.
Domniemane wrażenia z użytkowania klientów wideo zostały oszacowane na podstawie testu sprawdzającego ciągłość wizualną filmu i wychwycenia martwym punktów trwających 20 sekund i dłużej. Jest to zachowawczy sposób na ocenę domniemanego doświadczenia użytkownika, ale łatwy do przeprowadzenia i analizy. Pomiary związane z pobieranymi danymi i VoIP są zbierane przez IxChariot. Całkowita przepustowość jest mierzona dla klientów. Subiektywny współczynnik jakości dźwięku MOS (ang. Mean Opinion Score) jest określany na podstawie odchyleń, opóźnień i utraty pakietów pojawiających się u klientów telefonii VoIP. Wykorzystanie czasu antenowego (ang. airtime) jest odnotowywane za pomocą aplikacji Wi-Fi Explorer.
Dla każdego AP porównano średnią przepustowość, MOC i ilość odbiorców z płynnym strumieniem wideo.
TEST 1 – WYNIKI
PRZEPUSTOWOŚĆ
Przepustowość jest często wskaźnikiem używanym do oceny wydajności punktów dostępowych. Podczas testu zmierzyliśmy i uśredniliśmy przepustowość dla klientów danych, używając IxChariot i dla klientów wideo, mierzoną na porcie przełącznika, do którego podłączony jest koder wideo. Przeprowadzono dwa testy.
Wykres przedstawiający sumę wartości zmierzonych przepustowości, uśrednioną z dwóch przeprowadzonych testów dla klientów wideo i danych
Generalnie, wyższa przepustowość jest lepsza pod warunkiem, że dane nie są faworyzowane kosztem ruchu o wyższym priorytecie (głos i wideo).
RUCKUS R750 znacząco przewyższył wszystkie inne AP w teście przepustowości.
MOS – miara jakości połączeń VoIP
Niska wartość współczynnik MOS może oznaczać niską jakość połączenia. Punkt dostępowy z dużym obciążeniem sieci lub nieprawidłowo nadający priorytety dla ruchu głosowego może nie być w stanie utrzymać zadowalającego poziomu MOS. Wskaźnik ten jest funkcją odchyleń, opóźnień i utraty pakietów.
Tabela przedstawiająca powszechne indeksowanie wskaźnika MOS w odniesieniu do jakości głosu odbieranego przez użytkowników
Wyniki wskaźnika MOS
Urządzenie RUCKUS R750 przewyższył wszystkie inne AP w teście MOS, zapewniając znacznie wyższą jakość połączeń przy dużym obciążeniu sieci. Mówiąc dokładniej, żaden inny AP nie osiągnął wartości MOS, spełniającej typowe umowy o gwarantowanym poziomie świadczenia usług SLA (ang. Service Level Agreement), wymagające ”dobrej” jakości głosu.
PRZESYŁANY STRUMIEŃ WIDEO
Wideo jest jednym z najczęściej używanych formatów multimedialnych przesyłanych przez sieć Wi-Fi. Punkty dostępowe mogą obsługiwać jednocześnie wielu klientów, rozsyłając różne pliki multimedialne. Usługa HTTP Live Streaming umożliwia odbiorcom buforowanie w ciągu maksymalnie 10 sekund.
Na początku testu sprawdzono ciągłość w odtwarzaniu strumienia wideo na komputerach klienckich. W przypadku pojawienia się przestoi połączenie odświeżono. Działanie to podjęto, by zapewnić każdemu dostawcy możliwość uruchomienia wszystkich strumieni wideo przed rozpoczęciem właściwych pomiarów. Nie udało się jednak osiągnąć tego stanu wyjściowego przez producenta Mist.
Tabela przedstawiająca liczbę płynnych strumieni wideo dla każdego AP przed, w trakcie i po teście
Niższa liczba płynnych strumieni wskazuje na większą liczbę tych zatrzymanych, co przekłada się na gorsze wrażenia użytkownika końcowego.
RUCKUS R750 przewyższył wszystkie inne AP, dostarczając nieprzerwany strumień wideo w jakości HD do każdego odbiorcy przed, w trakcie i po zakończeniu testu.
Mist AP43 rozpoczął pracę z zaledwie 24 strumieniami. Prowadzący próbowali je odświeżyć, ale ostatecznie nie udało się wznowić wszystkich wstrzymanych połączeń przed rozpoczęciem testu.
WYKORZYSTANIE CZASU ANTENOWEGO
Określenie wydajności AP pod kątem wykorzystania czasu antenowego nie było celem testu, jednak jest to użyteczny wskaźnik, pozwalający lepiej zrozumieć wpływ częstotliwości radiowej RF (ang. Radio Frequency) na wrażenia użytkownika końcowego.
Niższe wykorzystanie czasu antenowego jest lepsze, ponieważ pozwala AP na lepszą adaptację w zmieniających się warunkach – dodatkowe urządzenia i ruch. Wszystko przy założeniu, że AP bezproblemowo radzi sobie z obsługą ruchu (głos, wideo, dane) w punkcie wyjściowym.
Wykorzystanie czasu antenowego podczas testu
Mist AP43 wykazał niższe niż pozostałe AP wykorzystanie czasu antenowego. Wywnioskowano, że na taki wynik wpłynęła duża liczba odbiorców wideo, którzy utknęli w martwym punkcie w trakcie przeprowadzania testu. Klienci, którzy nie odtwarzają wideo, nie generują ruchu w sieci.
Korelacja pomiędzy liczbą odbiorców z płynnym strumieniem wideo i wykorzystaniem czasu antenowego w trakcie testu
W przeciwieństwie do Mist AP43 RUCKUS R750 wykazał się drugą najniższą wartością wykorzystania czasu antenowego. Nie odnotowano również zacięć wideo podczas przeprowadzania testu. Można by się zatem spodziewać, że dla AP R750 powinna być odnotowana zatem najwyższa wartość spośród badanych punktów dostępowych. Wynik okazał się jednak inny, co świadczy o efektywniejszym wykorzystaniu dostępnego czasu antenowego niż pozostałe AP.
TEST 1 – WNIOSKI
RUCKUS R750 uzyskał znacznie lepsze wyniki w każdym badanym aspekcie niż pozostałe AP. Spełnił wszystkie założone kryteria: utrzymanie MOS na poziomie ”good”, jednocześnie dostarczając wolny od zacięć strumień wideo w jakości HD do 30 klientów; uzyskanie wysokiej przepustowości dla wszystkich odbiorców danych.
Aruba AP535 okazał się kolejnym urządzeniem, które poradziło sobie z obciążeniem sieci. W trakcie testu połowa klientów doświadczyła przerwania w odtwarzaniu, ale udało się przywrócić transmisję. Niestety AP535 wykazał MOS na poziomie ”poor”.
Extreme AP650 utrzymał drugą co do poziomu wysoką przepustowość. Podczas testu 25 klientom zerwał się strumień wideo, a MOS był na poziomie ”poor”. Można wnioskować, że AP650 nie użył żadnych usług QoS do zarządzania ruchem w sieci.
Meraki MR46 uzyskał przepustowość o wartości 250 Mbps i najniższy poziom współczynnika MOS. AP był w stanie obsłużyć płynnie tylko 11 klientów wideo. Po teście tylko 3 odbiorcom nie udało się przywrócić strumienia danych.
Mist AP43 wykazał się najsłabszą wydajnością spośród wszystkich badanych AP. Udało się mu nadać tylko 24 strumienie wideo przed testem i 2 w trakcie jego trwania. Wykazał się najniższą przepustowością oraz poziomem MOS wzrastającym prawie do ”fair”. Otrzymane wyniki wynikają zapewne z uznania telefonii VoIP najwyższy priorytet ruchu.
Podsumowując, RUCKUS R750 wyróżnił się na tle pozostałych punktów dostępowych dostarczeniem pozytywnych wrażeń z użytkowania dla klientów oraz spełnieniem umowy SLA. R750 wykazał się wysoką jakością usługi QoS, bez potrzeby dodatkowej konfiguracji. Otrzymany rezultat może być zasługą funkcji SmartCast, która nadaje właściwe priorytety generowanemu ruchu w sieci.
TEST 2 – ROZWIĄZYWANIE PROBLEMÓW/ ANALITYKA
Zarządzanie w chmurze siecią bezprzewodową zapewnia wysoką wygodę dla administratorów sieci. Oferuje wgląd na bieżąco w jej zmieniającą się architekturę. Ponadto punkty dostępowe mogą wykorzystywać dostępne w chmurze zasoby, aby dostarczyć szczegółowych analiz sieciowych oraz ulepszonych narzędzi, rozwiązujących pojawiające się problemy. Analitykę sieciową, zwłaszcza tę opartą na sztucznej inteligencji AI i uczeniu maszynowym ML, realizowaną w chmurze charakteryzuje dostęp do dużych zasobów obliczeniowych oraz danych, których obsługa jest niezbędna dla danego przedsiębiorstwa.
W przypadku pojawienia się problemów z dostępem do sieci Wi-Fi przed administratorami IT pojawia się wyzwanie, by znaleźć ich przyczynę i rozwiązanie. W tym teście wprowadzono nieprawidłowości w pracy sieci, które mają zostać zdiagnozowane przez system: niewłaściwy klucz współdzielony, niedostępność DHCP oraz serwera RADIUS (802.1X). Celem jest wystawienie urządzeń poszczególnych producentów na próbę zweryfikowania problemów oraz zbadanie szybkości wykrycia i poziomu wsparcia dla obsługi sieci.
Specjalista stanął przed trzema różnymi przypadkami, gdzie zaznajomiony z urządzeniami oraz interfejsem w środowisku chmurowym, musiał ocenić z jednej strony łatwość użycia dostępnych narzędzi oraz szczegółowość prezentowanych informacji, a z drugiej skuteczność i przydatność przy rozwiązywaniu problemów. Przygotowany scenariusz miał odzwierciedlać typowe zadanie inżyniera IT, zlecone przez użytkownika końcowego, który odkrył dysfunkcję w pracy