Anomaly-based detection of cyberattacks in smart homes

Abstract

Smart homes with interconnected IoT devices face growing cybersecurity threats, amplified by remote working, which exposes both personal and corporate data. Although anomaly-based intrusion detection systems are showing promise in the identification of unknown attacks, their reliability is hindered by unrepresentative datasets, severe class imbalance, and inconsistent evaluation practices. This doctoral thesis strengthens the foundations for robust detection systems by investigating the impacts of dataset characteristics, class imbalance, hyperparameter optimization, and metric selection on model effectiveness. Through extensive empirical analysis, this research demonstrates that conventional evaluation fails in imbalanced scenarios. The key finding is that optimizing models using metrics suited for imbalance, such as the Matthews Correlation Coefficient (MCC), yields more reliable and generalizable results. The thesis introduces a validated methodological approach for metric selection to improve hyperparameter tuning, providing actionable guidance for developing effective cybersecurity solutions for real-world smart home environments and addressing current limitations in the field.

Los hogares inteligentes, con dispositivos de internet de las cosas (IoT) interconectados, se enfrentan a amenazas de ciberseguridad crecientes amplificadas por el teletrabajo, que expone datos personales y corporativos. Aunque los sistemas de detección de intrusiones basados en anomalías son prometedores para identificar ataques desconocidos, su fiabilidad se ve limitada por datasets no representativos, un desequilibrio de clases severo y prácticas de evaluación inconsistentes. Esta tesis doctoral fortalece las bases para sistemas de detección robustos investigando cómo las características de los datasets, el desequilibrio de clases, la optimización de hiperparámetros y la selección de métricas impactan en la eficacia del modelo. Mediante un análisis empírico extenso, la investigación demuestra que la evaluación convencional falla en escenarios desequilibrados. El hallazgo clave es que optimizar modelos con métricas adecuadas para el desequilibrio, como el coeficiente de correlación de Matthews (MCC), produce resultados más fiables y generalizables. El resultado es la introducción de un enfoque metodológico validado para mejorar la ciberseguridad en hogares inteligentes.

Les llars intel·ligents, amb dispositius d'internet de les coses (IoT) interconnectats, s'enfronten a amenaces de ciberseguretat creixents amplificades pel teletreball, que exposa dades personals i corporatives. Encara que els sistemes de detecció d'intrusions basats en anomalies són prometedors per identificar atacs desconeguts, la seva fiabilitat es veu limitada per datasets no representatius, un desequilibri de classes sever i pràctiques d'avaluació inconsistents. Aquesta tesi doctoral enforteix les bases per a sistemes de detecció robustos investigant com les característiques dels datasets, el desequilibri de classes, l'optimització d'hiperparàmetres i la selecció de mètriques impacten en l'eficàcia del model. Mitjançant una anàlisi empírica extensa, la recerca demostra que l'avaluació convencional falla en escenaris desequilibrats. La troballa clau és que optimitzar models amb mètriques adequades per al desequilibri, com el coeficient de correlació de Matthews (MCC), produeix resultats més fiables i generalitzables. El resultat és la introducció d'un enfocament metodològic validat per millorar la ciberseguretat a les llars intel·ligents.