Responsive spectrum management for wireless local area networks: from heuristic-based policies to model-free reinforcement learning

dc.contributor
Universitat Pompeu Fabra. Departament de Tecnologies de la Informació i les Comunicacions
dc.contributor.author
Barrachina Muñoz, Sergio
dc.date.accessioned
2021-02-15T13:53:51Z
dc.date.available
2021-02-15T13:53:51Z
dc.date.issued
2021-01-19
dc.identifier.uri
http://hdl.handle.net/10803/670782
dc.description.abstract
In this thesis, we focus on the so-called spectrum management's joint problem: efficient allocation of primary and secondary channels in channel bonding wireless local area networks (WLANs). From IEEE 802.11n to more recent standards like 802.11ax and 802.11be, bonding channels together is permitted to increase transmissions' bandwidth. While such an increase favors the potential network capacity and the activation of higher transmission rates, it comes at the price of reduced power per Hertz and accentuated issues on contention and interference with neighboring nodes. So, if WLANs were per se complex deployments, they are becoming even more complicated due to the increasing node density and the new technical features required by novel highly bandwidth-demanding applications. This dissertation provides an in-depth study of channel allocation and channel bonding in WLANs and discusses the suitability of solutions ranging from heuristic-based to reinforcement learning (RL)-based. To characterize channel bonding in saturated WLANs, we first propose an analytical model based on continuous-time Markov networks (CTMNs). This model relies on a novel, purpose-designed algorithm that generates CTMNs from spatially distributed scenarios, where nodes are not required to be within the carrier sense range of each other. We identify the key factors affecting the throughput and fairness of different channel bonding policies and expose critical interrelations among nodes in the spatial domain. By extending the analytical model to support unsaturated regimes, we highlight the benefits of allocating channels as wide as possible all together with adaptive policies to cope with unfair situations. Apart from the analytical model, this thesis relies on simulations to generalize channel bonding in dense scenarios while avoiding costly, sometimes unfeasible, experimental testbeds. Unfortunately, existing wireless network simulators tend to be too simplistic or too computational demanding. That is why we develop the Komondor wireless network simulator, with the essential advantage over other well-known simulators lying in its high event processing rate. We then deviate from analytical models and simulations and tackle real measurements through the Wi-Fi All-Channel Analyzer (WACA), the first system specifically designed to simultaneously measure the energy in all the 24 bondable Wi-Fi channels at the 5 GHz band. With WACA, we perform a first-of-its-kind spectrum measurement in areas including urban hotspots, residential neighborhoods, universities, and even a football match in Futbol Club Barcelona’s Camp Nou stadium. Our experimental findings reveal the underpinning factors controlling throughput gain, from which we highlight the inter-channel correlation. %We show the significance of the gathered dataset for finding new insights, which would not be possible otherwise, given that simple channel occupancy models severely underestimate the potential gains. As for solution proposals, we first cover heuristic-based approaches to find satisfactory configurations quickly. In this regard, we propose dynamic-wise (DyWi), a lightweight, decentralized, online primary channel selection algorithm for dynamic channel bonding. DyWi improves the expected WLAN throughput by considering not only the occupancy of the target primary channel but also the activity in the secondary channels. Even when assuming significant delays due to primary channel switching, simulations reveal important throughput and delay improvements. Finally, we identify machine learning (ML) approaches applicable to the spectrum management problem in WLANs and justify why model-free RL suits it the most. In particular, we put the focus on the adequate performance of stateless variations of RL and anticipate multi-armed bandits as the right solution since i) we need fast adaptability to suit user experience in dynamic Wi-Fi scenarios and ii) the number of multichannel configurations a network can adopt is limited; thus, agents can fully explore the action space in a reasonable time.
en_US
dc.description.abstract
En aquesta tesi ens centrem en el problema conjunt de la gestió de l'espectre: assignació de canals primaris i secundaris a xarxes d'àrea local sense fils (WLAN) amb channel bonding. Des de l'estàndard IEEE 802.11n fins a estàndards més recents com el 802.11ac, el 802.11ax i el 802.11be, s'han anat proposant amplades de banda més grans per permetre agrupar canals, augmentant així l'amplada de banda total per transmissió. Tot i que aquest augment en l'amplada de banda afavoreix la capacitat potencial de les xarxes, suportant així els requeriments de les noves aplicacions Wi-Fi, també redueix la potència per Hertz i accentua els problemes de contenció i interferència entre nodes veïns. En resum, si les xarxes WLANs ja eren complexes per se, s'estan tornant encara més complexes a causa de l'augment de la densitat de nodes i de les noves prestacions incloses als darrers estàndards. Primer proposem un model analític basat en xarxes Markov en temps continu (CTMN) per caracteritzar channel bonding en WLANs saturades. Aquest model es basa en un nou algorisme que genera CTMNs a partir d'escenaris distribuïts espaialment, on no és necessari que els nodes estiguin dins del rang de contenció de la resta. Identifiquem els factors claus que afecten el rendiment i l'equitat de les diferents polítiques de channel bonding i mostrem l'existència d'interrelacions crítiques entre nodes en forma de reacció en cadena. D'això se'n desprèn que no hi ha una política channel bonding òptima única per a cada escenari. En ampliar el model analític per donar suport a règims no saturats, destaquem els avantatges d'assignar els canals tan amplis com sigui possible a les WLAN i implementar polítiques d'accés adaptatiu per fer front a les situacions que poden aparèixer tant en termes de rendiment com d'equitat. A part dels models analítics, aquesta tesi es basa en simulacions per generalitzar escenaris evitant costosos bancs de proves experimentals, de vegades inviables. Malauradament, els simuladors de xarxes sense fils existents solen ser massa simplistes o molt costosos computacionalment. És per això que desenvolupem el simulador de xarxes sense fils Komondor, concebut com una eina de codi obert accessible (llesta per utilitzar) per a la investigació de xarxes sense fils. L’avantatge essencial de Komondor respecte d’altres simuladors sense fils coneguts rau en la seva elevada velocitat de processament d’esdeveniments. A continuació ens desviem de models analítics i simulacions i abordem mesures reals a través del Wi-Fi All-Channel Analyzer (WACA), el primer sistema que mesura simultàniament l'energia de tots els 24 canals que permeten channel bonding a la banda Wi-Fi dels 5 GHz. Amb WACA, realitzem un estudi únic de localitzacions que inclouen nuclis urbans, barris residencials, universitats i fins i tot un partit a al Camp Nou, un estadi ple amb 98.000 aficionats i 12.000 connexions Wi-Fi simultànies. Les dades experimentals revelen els factors fonamentals que controlen el guany de rendiment, a partir dels quals ressaltem la correlació entre canals. També mostrem la importància del conjunt de dades recopilades per trobar nous factors claus, que d'una altra manera no seria possible, atès que els models d'ocupació de canals simples subestimen els guanys potencials. Pel que fa a solucions, primer discutim propostes basades en heurístiques per trobar configuracions satisfactòries ràpidament. En aquest sentit, proposem dinàmicament (DyWi), un algorisme de selecció de canal primari en línia, descentralitzat i eficient per xarxes channel bonding. DyWi millora el rendiment esperat tenint en compte no només l’ocupació del canal primari objectiu, sinó també l’activitat dels canals secundaris. Fins i tot quan suposem retards significatius a causa del canvi de canal primari, observem millores importants en termes de rendiment i retard. Finalment, identifiquem els enfocaments d’aprenentatge automàtic (o machine learning) aplicables al problema de la gestió de l’espectre a les WLAN i justifiquem per què l'aprenentatge del tipus reinforcement learning (RL) és el més adient. En particular, ens centrem en el rendiment adequat de les variacions d'RL sense estats i proposem multi-armed bandits com la solució adequada, ja que i) necessitem una adaptabilitat ràpida per millorar l’experiència d’usuari en escenaris Wi-Fi dinàmics i ii) el nombre de configuracions multicanal que una xarxa pot adoptar és limitat; per tant, els agents poden explorar completament l’espai d’acció en un temps raonable.
en_US
dc.format.extent
210 p.
en_US
dc.format.mimetype
application/pdf
dc.language.iso
eng
en_US
dc.publisher
Universitat Pompeu Fabra
dc.rights.license
ADVERTIMENT. Tots els drets reservats. L'accés als continguts d'aquesta tesi doctoral i la seva utilització ha de respectar els drets de la persona autora. Pot ser utilitzada per a consulta o estudi personal, així com en activitats o materials d'investigació i docència en els termes establerts a l'art. 32 del Text Refós de la Llei de Propietat Intel·lectual (RDL 1/1996). Per altres utilitzacions es requereix l'autorització prèvia i expressa de la persona autora. En qualsevol cas, en la utilització dels seus continguts caldrà indicar de forma clara el nom i cognoms de la persona autora i el títol de la tesi doctoral. No s'autoritza la seva reproducció o altres formes d'explotació efectuades amb finalitats de lucre ni la seva comunicació pública des d'un lloc aliè al servei TDX. Tampoc s'autoritza la presentació del seu contingut en una finestra o marc aliè a TDX (framing). Aquesta reserva de drets afecta tant als continguts de la tesi com als seus resums i índexs.
dc.source
TDX (Tesis Doctorals en Xarxa)
dc.subject
Wi-Fi
en_US
dc.subject
WLAN
en_US
dc.subject
Spectrum management
en_US
dc.subject
Channel bonding
en_US
dc.subject
Channel allocation
en_US
dc.subject
Spatial distribution
en_US
dc.subject
Reinforcement learning
en_US
dc.subject
CTMN
en_US
dc.subject
WACA
en_US
dc.subject
Gestió de l’espectre
en_US
dc.subject
Assignació de canals
en_US
dc.subject
Distribució espacial
en_US
dc.subject
Aprenentatge automàtic per reforç
en_US
dc.title
Responsive spectrum management for wireless local area networks: from heuristic-based policies to model-free reinforcement learning
en_US
dc.type
info:eu-repo/semantics/doctoralThesis
dc.type
info:eu-repo/semantics/publishedVersion
dc.subject.udc
62
en_US
dc.contributor.authoremail
sergio.barrachina@upf.edu
en_US
dc.contributor.director
Bellalta, Boris
dc.embargo.terms
cap
en_US
dc.rights.accessLevel
info:eu-repo/semantics/openAccess
dc.description.degree
Programa de doctorat en Tecnologies de la Informació i les Comunicacions


Documents

tsbm.pdf

20.12Mb PDF

This item appears in the following Collection(s)