Communication and Learning in Dynamic Networks

Nowadays, telecommunication systems are essential to numerous fields, enabling revolutionary applications such as industry 4.0, the Internet of Things, virtual reality, and cloud computing. On the other hand, most telecommunication networks still present a rigid architecture that does not lend itself to managing highly dynamic scenarios with heterogeneous characteristics. In order to address the requirements of future technologies, it is necessary to design new solutions that enable the continuous configuration of services and functions without external intervention. The scientific community is putting strong effort toward such a vision, investigating strategies to provide mobile infrastructures, enable the softwarization of network resources, and deploy cognitive algorithms for orchestrating system operations. In this thesis, we address the challenge of defining a dynamic network architecture with all these characteristics and, thus, capable of adapting to various working scenarios. The central point of our idea is to distribute network functions among multiple intelligent units that interact with each other to find the optimal system configuration, maximizing performance while ensuring resilience to local failures. To this end, we organize the thesis into three parts, each investigating a different aspect of dynamic network management. Firstly, we define a tracking framework based on the unscented Kalman filter to map a group of autonomous nodes broadcasting their local status while operating in different application scenarios. Hence, we study how to adapt the communication policy of each node in accordance with the estimate of the overall network status. Then, we exploit the reinforcement learning paradigm and implement a distributed learning architecture to allow the single nodes to cooperate and reach a common goal. In this context, we show that adapting the communication and control policy to each other leads to higher performance than the basic scenario in which communication is pre-determined. Lastly, we investigate new techniques to dynamically manage communication and computational resources in the target scenario, taking advantage of the network slicing and software-defined networking paradigms. To this goal, we distribute the resource allocation tasks among multiple agents, providing a highly flexible architecture that can operate in different contexts without retraining. Our results show that learning algorithms are fundamental for implementing a fully flexible network architecture, capable of detecting changes in the surrounding environment and adapting its functions consequently. At the same time, artificial intelligence requires network designers to devote part of the available resources to support the training of the learning agents managing the network. This competition between immediate performance and innovation capability determines a significant trade-off, to which we devote the last chapter of our research.

Al giorno d'oggi, i sistemi di telecomunicazione sono essenziali in innumerevoli settori e permettono l’utilizzo di tecnologie rivoluzionarie come l’industria 4.0, l’Internet delle cose, la realtà virtuale e il cloud computing. D'altra parte, la maggior parte delle reti di telecomunicazioni presenta ancora un'architettura piuttosto rigida che mal si presta a gestire scenari altamente dinamici con caratteristiche eterogenee. Per far fronte ai requisiti delle tecnologie future, è necessario ideare nuove soluzioni che consentano di riconfigurare servizi e funzioni di rete senza un intervento esterno. La comunità scientifica sta facendo un grande sforzo per realizzare questa visione, studiando strategie per fornire infrastrutture mobili, virtualizzare le risorse disponibili e implementare algoritmi cognitivi che gestiscano autonomamente le funzioni di rete. In questa tesi affronteremo la sfida di definire un'architettura di rete dinamica, avente tutte le caratteristiche descritte e, pertanto, in grado di adattarsi a diversi scenari di lavoro. Il punto centrale della nostra idea è distribuire le funzioni di rete tra più unità intelligenti che interagiscono tra loro per individuare la configurazione ottima del sistema, massimizzando le prestazioni e garantendo al contempo la resilienza a guasti locali. Per raggiungere questo obiettivo, organizzeremo la tesi in tre parti, ciascuna delle quali indaga un diverso aspetto della gestione dinamica delle reti di telecomunicazioni. Nelle prima parte, definiremo un sistema di tracciamento, basato sull'unscented Kalman filter, per mappare un gruppo di nodi autonomi che trasmettono il loro stato locale mentre operano in diversi scenari operativi. In particolare, studieremo come adattare la strategia di comunicazione di ciascun nodo di rete alla stima dello condizioni del sistema nel suo complesso. Dopodiché, sfrutteremo il paradigma di reinforcement learning e implementeremo un'architettura di apprendimento distribuito che consenta alle singole unità di rete di cooperare e raggiungere un obiettivo comune. In questo contesto, dimostreremo che l'adattamento reciproco delle strategie di comunicazione e controllo porta a prestazioni superiori rispetto a uno scenario di base in cui la comunicazione è predeterminata. Nell’ultima parte della tesi, studieremo nuove tecniche per gestire le risorse computazionali e di comunicazione nello scenario descritto, sfruttando i paradigmi di network slicing e di software-defined networking. A tal fine, distribuiremo la gestione delle risorse di rete tra più unità intelligenti, che andranno a costituire un’unica architettura adattabile, capace di operare in contesti diversi senza essere riconfigurata da zero. I nostri risultati mostrano che gli algoritmi di apprendimento sono fondamentali per ottenere un'architettura di rete completamente flessibile, che possa rilevare i cambiamenti nell'ambiente circostante e modificare le proprie funzioni di conseguenza. Allo stesso tempo, l'utilizzo dell’intelligenza artificiale richiede di dedicare parte delle risorse di rete disponibili per l’allenamento degli agenti di apprendimento che gestiscono la rete stessa. Questa competizione tra prestazioni immediate e capacità di innovazione di sistema determina un significativo trade-off, a cui dedicheremo l'ultimo capitolo di questa tesi.