Plant Root Analyzer System

Project Overzicht

Volledig computer vision-systeem ontwikkeld voor de NPEC onderzoeksfaciliteit, waarmee de groei van plantenwortels automatisch wordt gemonitord. Het systeem maakt gebruik van een U-Net deep learning model voor wortelsegmentatie, individuele worteltracking over de tijd, en integratie met een robot voor automatische voeding. Het volledige productieklare systeem omvat een CLI-tool, FastAPI-backend, React-dashboard en Azure cloud-deployment met 24/7 beschikbaarheid. Het project werd uitgevoerd in twee fases: Block B (CV-modelontwikkeling en robotics) en Block D (full-stack systeemontwikkeling in een team van vijf).

Uitdagingen

Het systeem moest wortels met millimeter precisie detecteren voor robotica toepassingen. Individuele wortels scheiden en volgen wanneer ze overlappen of complex verweven zijn, dit was een grote uitdaging. Daarnaast vereiste de volledige systeemengineering, inclusief API, monitoring, CI/CD en cloud deployment, dezelfde aandacht als de modelnauwkeurigheid. Nauwe samenwerking met NPEC-biologen om de betekenis van accurate biologische metingen te begrijpen, was essentieel.

Resultaten

Het U-Net model behaalde een SMAPE-score van 11% voor wortellengte voorspellingen, wat uitzonderlijk accuraat is voor biologische metingen. Het systeem verwerkt vijf planten per beeld met individuele tracking. Er zijn drie deployment-opties beschikbaar: Azure cloud (24/7 multi-location toegang), on-premise GPU voor snelle batchverwerking, en lokale development.

11%

SMAPE Score (accuracy)

5

Planten per beeld

24/7

Cloud Beschikbaarheid

100%

Automated Pipeline

Complete Oplossing

🚀 Van Computer Vision tot Productie

Dit project laat de complete workflow van een ML-systeem zien: van data labeling en model training tot cloud deployment en monitoring. Geen "proof of concept" maar een werkend systeem dat NPEC onderzoekers zouden kunnen gebruiken

Systeem Features

🔬 Nauwkeurige Detectie

U-Net architectuur voor wortel detectie met 11% SMAPE score

📊 Tracking per Wortel

Volg tot 5 planten tegelijk met metingen en groeisnelheid per individuele wortel

🤖 Robot Integratie

Exacte wortel-tip coördinaten voor automatisch voedingssysteem

📈 Groei Analyse

Visualisaties van wortelgroei over tijd met trend analysis per plant

☁️ Cloud Deployment

Azure Container Apps met auto-scaling en 24/7 beschikbaarheid

🔄 Auto-Training

Automatische model updates met nieuwe data via feedback loop

U-Net segmentatie met wortel-tips (blauw)

Individuele wortel groei tracking dashboard

Technische Implementatie

Technology Stack

🧠 U-Net Model

🔥 TensorFlow

⚡ FastAPI

⚛️ React

🐳 Docker

☁️ Azure Cloud

🔄 GitHub Actions

📦 Poetry

System Architectuur

Het systeem bestaat uit meerdere componenten die samen een complete oplossing vormen:

CLI Tool: Command-line tool voor batch processing van plant images
REST API: FastAPI backend voor image upload, predictions en results
Web Dashboard: React frontend met real-time visualisaties en export functionaliteit
Training Pipeline: Automatische retraining met nieuwe data en model updates
Cloud Infrastructure: Azure Container Apps met auto-scaling en monitoring
On-premise Deployment: Docker containers voor lokale inference op NPEC hardware

Deep Learning Pipeline

Model: U-Net met 256x256px input, 4 encoder/decoder layers en skip connections voor detail behoud
Training Data: Handmatig geannoteerde datasets door studenten, inclusief gedetailleerde labeling van wortels, bladeren en zaadjes voor nauwkeurige modeltraining
Performance: 11% SMAPE (Symmetric Mean Absolute Percentage Error) voor wortellengte
Post-processing: Connected components voor wortel identificatie en skeleton extraction voor tip detectie
Output: Segmentatie masker, wortel-tip coördinaten (x,y pixels), lengte metingen (mm) en confidence scores

🎯 Waarom U-Net?

U-Net is speciaal ontwikkeld voor biomedical image segmentation en presteert goed bij beperkte trainingsdata. De skip connections zorgen ervoor dat het model zowel fijne details (precieze randen) als globale context (juiste classificatie) behoudt. Dit maakt U-Net perfect geschikt voor worteldetectoren, waarbij zowel nauwkeurige randen als de algehele wortelstructuur cruciaal zijn.

Deployment & Infrastructure

☁️ Cloud API

Azure Container Apps
Auto-scaling enabled
99.9% uptime SLA

🖥️ Web Interface

React Dashboard
Real-time updates
Interactive charts

🏢 On-Premise

Docker Deployment
GPU support
Local processing

🔄 CI/CD

GitHub Actions
Automated testing
Zero-downtime deploys

Software Engineering

Code Quality: Flake8 linting voor code style en pre-commit hooks
Testing: Unit tests met pytest en integration tests voor API, >80% code coverage
Dependencies: Poetry voor reproduceerbare builds en dependency management
Documentatie: Complete API docs via FastAPI/Swagger en inline code comments
Version Control: Git met feature branches, pull request reviews en semantic versioning
Monitoring: Azure Application Insights voor performance en error tracking

Deployment Opties

Het systeem ondersteunt drie deployment scenarios:

Cloud Productie: Azure Container Apps voor externe toegang, gebruikt door meerdere NPEC locaties
On-premise GPU: Docker containers op lokale machines met GPU voor snellere verwerking van grote batches
Local Development: Development environment met hot-reload voor snelle iteratie tijdens ontwikkeling

Resultaten & Impact

11%

SMAPE Score

5

Planten per beeld

24/7

Beschikbaarheid

100%

Automation

NPEC Feedback & Gebruik

"NPEC was zeer tevreden met de uitwerking van het systeem. Ze waren vooral enthousiast over de mogelijkheid om individuele wortelgroei over tijd te monitoren en visualiseren. De combinatie van nauwkeurige segmentatie en tracking per wortel biedt waardevolle inzichten voor hun onderzoekscontext. Het systeem demonstreert goed hoe computer vision kan worden toegepast binnen plant phenotyping."

Specifieke impact:

Tijdsbesparing: Van handmatige metingen naar geautomatiseerde analyse
Consistentie: Constante metingen zonder variatie tussen verschillende waarnemers
Schaalbaarheid: Mogelijk om honderden planten parallel te volgen
Robotica integratie: Nauwkeurige coördinaten maken automatische voeding mogelijk
Research waarde: Time-series data van individuele wortels opent nieuwe onderzoeksmogelijkheden

Systeem Output per Upload

Voor elke geüploade plant image genereert het systeem:

Segmentatie maskers: Rode overlay die exacte wortel locaties toont
Tip coördinaten: Blauwe markers op wortel-tips met (x,y) pixel coördinaten voor robotica
Lengte metingen: Berekende wortellengte in millimeters per wortel via skeleton path length
Groeisnelheid: Growth rate berekeningen wanneer meerdere timepoints beschikbaar zijn
CSV export: Gestructureerde data export voor statistische analyse in R/Python
Confidence scores: Model zekerheid per wortel voor quality control

Project Evolutie: Van CV naar Complete Systeem

📅 Block B (Januari - Maart 2024): Computer Vision Basis

Ontwikkeling en training van U-Net segmentatie model
Data annotatie pipeline opzetten
Integratie met robotisch voedingssysteem voor tip coördinaten
Wortel-tip detectie algoritme met connected components
Model evaluatie en hyperparameter tuning

📅 Block D (April - Juni 2024): Complete Systeem

React dashboard met interactieve visualisaties
FastAPI backend met RESTful endpoints
Cloud deployment op Azure Container Apps
Automatische training pipeline met feedback loop
CI/CD setup met GitHub Actions voor testing en deployment
Productie monitoring en error tracking

Team Collaboration

👥 Van Solo naar Team Project

Wat begon als een individueel computer vision project in Block B groeide uit tot een volledig team effort in Block D. Met 5 teamleden specialiseerden we ons. Mijn primaire focus lag op de deep learning pipeline, training automation en system architectuur.

Technische Uitdagingen & Lessen

Data kwaliteit is cruciaal: Tijd en zorgvuldigheid bij annotaties betaalt zich terug in betere modelprestaties. Inconsistente labels verminderen de nauwkeurigheid van het model.
U-Net skip connections zijn krachtig: De combinatie van gedetailleerde randen en context maakt U-Net uitermate geschikt voor biologische structuren met variabele vormen.
Productie omvat meer dan het model: Engineering rondom het model, zoals API's, monitoring en CI/CD, is net zo belangrijk voor praktisch gebruik als het model zelf.
Cloud kosten vereisen planning: Azure Container Apps met goede scaling policies houden de kosten beheersbaar, terwijl always-on instances snel duur kunnen worden.
Domeinexpertise is essentieel: Samenwerking met NPEC-biologen was cruciaal om te begrijpen wat "accurate" wortelmetingen betekenen in een onderzoekscontext.
Feedback loops verbeteren modellen: Het systeem laat onderzoekers correcties indienen, waardoor het model continu kan worden verbeterd.

Wat Zou Ik Anders Doen?

Meer tijd investeren in het annotatieproces: betere richtlijnen voor consistente labeling hadden de modelprestaties verder kunnen verbeteren.
Verschillende modelarchitecturen parallel testen: we begonnen vroeg met U-Net, terwijl andere architectures zoals SegNet interessant waren geweest om te vergelijken.
Documentatie tijdens het bouwen schrijven in plaats van achteraf.
Modelversies en experiment tracking vanaf dag één bijhouden: met tools zoals Weights & Biases hadeden we meer overzicht over welke hyperparameters het beste werkten.

Project Overzicht

Uitdagingen

Resultaten

Complete Oplossing

🚀 Van Computer Vision tot Productie

Systeem Features

🔬 Nauwkeurige Detectie

📊 Tracking per Wortel

🤖 Robot Integratie

📈 Groei Analyse

☁️ Cloud Deployment

🔄 Auto-Training

Technische Implementatie

Technology Stack

System Architectuur

Deep Learning Pipeline

🎯 Waarom U-Net?

Deployment & Infrastructure

☁️ Cloud API

🖥️ Web Interface

🏢 On-Premise

🔄 CI/CD

Software Engineering

Deployment Opties

Resultaten & Impact

NPEC Feedback & Gebruik

Systeem Output per Upload

Project Evolutie: Van CV naar Complete Systeem

📅 Block B (Januari - Maart 2024): Computer Vision Basis

📅 Block D (April - Juni 2024): Complete Systeem

Team Collaboration

👥 Van Solo naar Team Project

Technische Uitdagingen & Lessen

Wat Zou Ik Anders Doen?

Bekijk Ook Mijn Andere Projecten