L’evoluzione dei modelli di Deep Learning richiede hardware sempre più performanti e ottimizzazioni specifiche per garantire l’inferenza in tempo reale. L’obiettivo del lavoro di tesi consiste nel confrontare le performance di tre diverse architetture hardware: NVIDIA Jetson Orin AGX, NVIDIA Jetson Thor AGX e una piattaforma server basata su Intel Xeon + GPU NVIDIA L4. Per la valutazione sarà utilizzato un modello di object detection allo stato dell’arte e computazionalmente oneroso, come YOLOv11x. Tale modello dovrà essere ottimizzato per ciascun hardware di riferimento utilizzando la libreria TensorRT per massimizzare il throughput e minimizzare la latenza.
Le attività previste includono:
Studio delle architetture hardware selezionate e dell’ecosistema software NVIDIA TensorRT.
Ottimizzazione e deployment del modello di object detection sulle tre piattaforme.
Esecuzione di benchmark approfonditi focalizzati sulla variazione del batch size: verranno condotti test con Batch Size = 1 per valutare la latenza pura (scenari real-time) e con Batch Size superiori per misurare il massimo throughput e la scalabilità del sistema.
Analisi comparativa dei risultati (FPS, latenza, consumo energetico) per identificare i punti di forza e i limiti delle configurazioni Edge rispetto a quelle Server.
Argomento principale: Visione Artificiale / Edge AI
Corso di studio e requisiti candidato:
Laurea Magistrale in Ingegneria Informatica, Ingegneria dell’Automazione o discipline affini.
Il candidato ideale dovrebbe possedere buone competenze in Python/C++, conoscenze di Deep Learning e familiarità con l’ambiente Linux.
Sede: Napoli
__________
The evolution of Deep Learning models requires increasingly high-performance hardware and specific optimizations to guarantee real-time inference. The objective of this thesis work is to compare the performance of three different hardware architectures: The NVIDIA Jetson Orin AGX, the NVIDIA Jetson Thor AGX, and a server platform based on Intel Xeon and NVIDIA L4 GPU. For the evaluation, a state-of-the-art and computationally intensive object detection model, such as YOLOv11x, will be used. This model must be optimized for each reference hardware using the TensorRT library to maximize throughput and minimize latency.
The planned activities include:
Study of the selected hardware architectures and the NVIDIA TensorRT software ecosystem.
Optimization and deployment of the object detection model on the three platforms.
Execution of in-depth benchmarks focusing on varying batch sizes: tests will be conducted with batch size = 1 to evaluate pure latency (real-time scenarios) and with higher batch sizes to assess maximum throughput and scalability.
Comparative analysis of the results (FPS, latency, power consumption) to identify the strengths and limitations of Edge vs. Server configurations.
Main Topic: Computer Vision/Edge AI
Course of study and candidate requirements:
Master’s Degree in Computer Engineering, Automation Engineering, or related fields.
The ideal candidate should possess strong skills in Python/C++, knowledge of Deep Learning, and familiarity with the Linux environment.
Location: Naples
