┌─────────────────────────────────────────────────────────────────────────────┐
│                           PROXMOX HYPERVISOR                                 │
│                     (Виртуализация на базе KVM/LXC)                         │
└─────────────────────────────────────────────────────────────────────────────┘
                                    │
        ┌───────────────────────────┼───────────────────────────┐
        │                           │                           │
        ▼                           ▼                           ▼
┌───────────────┐          ┌───────────────┐          ┌───────────────────┐
│   VM: GitLab  │          │  VM: Database │          │ VM: K8s Cluster   │
│  4 CPU, 8GB   │          │  4 CPU, 8GB   │          │ 12 CPU, 16GB      │
└───────────────┘          └───────────────┘          └───────────────────┘
        │                           │                           │
        ▼                           ▼                           ▼
  CI/CD + Registry         PostgreSQL + Redis           Приложения платформы
                              + Minio                    + Лабораторные работы

ksailab/
├── frontend/              # React/Vue приложение
├── backend-platform/      # FastAPI сервис для платформы
├── backend-infrastructure/# FastAPI сервис для K8s управления
├── lab-configs/           # YAML конфигурации лабораторных работ
├── infrastructure/        # Terraform/Helm конфигурации
└── docs/                  # Документация

Git Push → GitLab CI → Build Docker Image → Push to Registry → Deploy to K8s

registry.gitlab.local/ksailab/frontend:latest
registry.gitlab.local/ksailab/backend-platform:v1.2.0
registry.gitlab.local/ksailab/labs/sql-injection:v1.0
registry.gitlab.local/ksailab/labs/network-analysis:v2.1

PostgreSQL Instance
├── ksailab_platform      # Данные платформы
│   ├── users              # Пользователи платформы
│   ├── courses            # Курсы
│   ├── assignments        # Задания
│   ├── student_groups     # Группы студентов
│   └── submissions        # Результаты выполнения
│
├── ksailab_infrastructure # Данные инфраструктуры
│   ├── lab_deployments    # Активные развёртывания лаб
│   ├── lab_configs        # Конфигурации лаб
│   ├── resource_quotas    # Квоты ресурсов
│   └── audit_logs         # Логи операций
│
├── gitlab                 # База данных GitLab
│
└── zitadel                # База данных Zitadel

Redis Instance
├── DB 0: API кэш (TTL: 5-60 минут)
├── DB 1: Пользовательские сессии (TTL: 24 часа)
├── DB 2: Celery tasks (если используется вместо RabbitMQ)
└── DB 3: Rate limiting counters

Minio Instance
├── lab-configs/           # YAML конфигурации лаб
│   ├── sql-injection.yaml
│   ├── network-pentest.yaml
│   └── ...
│
├── lab-volumes/           # Архивы volumes студентов
│   ├── lab-123-student-456.tar.gz
│   └── ...
│
├── static-files/          # Статичные файлы платформы
│   ├── course-images/
│   ├── assignments-files/
│   └── ...
│
└── backups/               # Backup данных
    ├── postgres-dumps/
    └── gitlab-backups/

VM: K8s-All-in-One (12 CPU, 16 GB)
├── Control Plane (2 CPU, 2 GB)
│   ├── kube-apiserver
│   ├── kube-scheduler
│   ├── kube-controller-manager
│   └── etcd
│
└── Worker Node (10 CPU, 14 GB)
    └── Поды приложений

VM-1: K8s-Control-Plane (4 CPU, 4 GB)
├── kube-apiserver
├── kube-scheduler
├── kube-controller-manager
└── etcd

VM-2: K8s-Worker-1 (4 CPU, 6 GB)
└── Поды приложений (платформа, инфраструктура)

VM-3: K8s-Worker-2 (4 CPU, 6 GB)
└── Поды приложений (лабораторные работы)

GET  /api/v1/courses           # Список курсов
POST /api/v1/courses           # Создать курс
GET  /api/v1/labs              # Список лабораторных работ
POST /api/v1/labs/{id}/start   # Запустить лабу (→ Backend Infra)
GET  /api/v1/students/{id}/progress  # Прогресс студента

create_lab_deployment(lab_id, students, config)
  ├── Парсит YAML конфигурацию из Minio
  ├── Создаёт Pods для каждого студента/группы
  ├── Создаёт Services (SSH доступ)
  ├── Создаёт Network Policies (изоляция)
  ├── Создаёт PVC (persistent storage)
  └── Отправляет credentials в RabbitMQ

delete_lab_deployment(lab_id)
  ├── Архивирует volumes в Minio
  ├── Удаляет Pods, Services, Network Policies
  └── Обновляет статус в PostgreSQL

@celery.beat(cron="0 2 * * *")  # Каждую ночь в 2:00
def cleanup_old_labs():
    # Удаление лаб старше 7 дней

@celery.beat(cron="*/5 * * * *")  # Каждые 5 минут
def archive_finished_volumes():
    # Архивация volumes завершённых лаб

Roles:
├── admin           # Полный доступ ко всей платформе
├── teacher         # Создание курсов, управление лабами
├── student         # Просмотр курсов, выполнение лаб
└── viewer          # Только чтение

User → Frontend → Zitadel (логин) → JWT token
Frontend → Backend Platform (запрос + JWT token)
Backend Platform → Zitadel API (валидация токена) → Разрешить/Запретить

RabbitMQ
├── Exchange: lab.events
│   ├── Queue: lab.create      # Создание лабораторных работ
│   ├── Queue: lab.delete      # Удаление лабораторных работ
│   └── Queue: lab.status      # Обновления статусов
│
├── Exchange: notifications
│   ├── Queue: student.notifications  # Уведомления студентам
│   └── Queue: teacher.notifications  # Уведомления преподавателям
│
└── Exchange: celery
    └── Queue: celery.tasks    # Celery worker tasks

labels:
  app: lab
  lab_id: "123"
  student_id: "456"
  course_id: "cybersec-101"
  deployment_mode: "per_student"

ssh student456@<k8s-node-ip> -p 30123
# Или через доменное имя:
ssh student456@labs.ksailab.local -p 30123

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: lab-123-student-456-policy
  namespace: labs
spec:
  podSelector:
    matchLabels:
      lab_id: "123"
      student_id: "456"
  policyTypes:
  - Egress
  egress:
  - to:
    - podSelector: {}  # Только внутри namespace

https://ksailab.local/          → Frontend (namespace: platform)
https://ksailab.local/api/      → Backend Platform (namespace: platform)
https://ksailab.local/auth/     → Zitadel (namespace: auth)
https://ksailab.local/infra/    → Backend Infrastructure (namespace: infrastructure)

Пользователь (HTTPS :443)
    ↓
Nginx (SSL termination)
    ↓
Nginx Ingress Controller (K8s) (HTTP :80)
    ↓
Frontend / Backend / Zitadel

terraform apply
    ↓
Proxmox API
    ↓
Создаёт VMs:
├── VM GitLab (4 CPU, 8 GB, 100 GB disk)
├── VM Database (4 CPU, 8 GB, 200 GB disk)
├── VM K8s-Node-1 (4 CPU, 6 GB, 100 GB disk)
├── VM K8s-Node-2 (4 CPU, 5 GB, 100 GB disk)
└── VM K8s-Node-3 (4 CPU, 5 GB, 100 GB disk)
    ↓
Настраивает сети, firewall

terraform/
├── providers.tf           # Proxmox provider
├── variables.tf           # Переменные (CPU, RAM, IP адреса)
├── vms.tf                 # Определение VMs
├── networks.tf            # Сетевая конфигурация
├── outputs.tf             # Вывод IP адресов после создания
└── environments/
    ├── dev.tfvars         # Dev окружение (минимальные ресурсы)
    ├── stage.tfvars       # Stage окружение
    └── prod.tfvars        # Prod окружение (полные ресурсы)

# Развернуть dev окружение
terraform apply -var-file=environments/dev.tfvars

# Развернуть prod окружение
terraform apply -var-file=environments/prod.tfvars

# Добавление Bitnami репозитория (если данные в K8s)
helm repo add bitnami https://charts.bitnami.com/bitnami

# Установка (если БД внутри K8s - альтернативный вариант)
# Для нашей архитектуры БД на отдельной VM, поэтому не используем

helm/
├── ksailab-platform/     # Chart для platform namespace
│   ├── Chart.yaml
│   ├── values.yaml        # Дефолтные значения
│   ├── values-dev.yaml    # Dev окружение
│   ├── values-prod.yaml   # Prod окружение
│   └── templates/
│       ├── frontend-deployment.yaml
│       ├── backend-platform-deployment.yaml
│       ├── services.yaml
│       └── ingress.yaml
│
├── ksailab-infrastructure/  # Chart для infrastructure namespace
│   └── ...
│
├── zitadel/               # Chart для Zitadel
│   └── ...
│
└── rabbitmq/              # Chart для RabbitMQ
    └── ...

# Установка всех компонентов платформы
helm install ksailab-platform ./helm/ksailab-platform -f values-dev.yaml

# Обновление конфигурации
helm upgrade ksailab-platform ./helm/ksailab-platform -f values-prod.yaml

# Откат при проблемах
helm rollback ksailab-platform 1

Backend Infrastructure (FastAPI)
    ↓
Python Kubernetes Client
    ↓
K8s API Server
    ↓
Создаёт в namespace: labs
├── Pod (lab-123-student-456)
├── Service (SSH доступ)
├── NetworkPolicy (изоляция)
└── PVC (хранилище)

# backend-infrastructure/app/k8s_manager.py
from kubernetes import client, config

def create_student_lab(lab_id: str, student_id: str, lab_config: dict):
    # Загрузка конфигурации K8s
    config.load_incluster_config()

    # Создание API клиента
    v1 = client.CoreV1Api()

    # Создание Pod
    pod = create_pod_manifest(lab_id, student_id, lab_config)
    v1.create_namespaced_pod(namespace="labs", body=pod)

    # Создание Service
    service = create_service_manifest(lab_id, student_id)
    v1.create_namespaced_service(namespace="labs", body=service)

    # Создание NetworkPolicy
    policy = create_network_policy(lab_id, student_id, lab_config)
    networking_v1.create_namespaced_network_policy(namespace="labs", body=policy)

Интернет
    ↓
[DNS: ksailab.local]
    ↓
[Внешний IP сервера]
    ↓
[Nginx VM] :443 (SSL termination)
    ↓
[Nginx Ingress Controller K8s] :80
    ↓
┌──────────────┬──────────────┬──────────────┐
│  Frontend    │  Backend     │  Zitadel     │
│  :3000       │  :8000       │  :8080       │
└──────────────┴──────────────┴──────────────┘

Backend Platform (namespace: platform)
    ↓
├── → PostgreSQL VM :5432 (метаданные платформы)
├── → Redis VM :6379 (кэш, сессии)
├── → Minio VM :9000 (файлы)
├── → Zitadel (namespace: auth) :8080 (валидация токенов)
└── → Backend Infrastructure (namespace: infrastructure) :8000 (запросы на создание лаб)

Backend Infrastructure (namespace: infrastructure)
    ↓
├── → K8s API (создание ресурсов в namespace: labs)
├── → PostgreSQL VM :5432 (метаданные инфраструктуры)
├── → Minio VM :9000 (конфигурации лаб, архивы volumes)
└── → RabbitMQ (namespace: messaging) :5672 (очереди задач)

Celery Worker (namespace: infrastructure)
    ↓
├── → RabbitMQ (namespace: messaging) :5672 (получение задач)
├── → K8s API (выполнение операций)
└── → Minio VM :9000 (архивация volumes)

namespace: labs
├── Lab 1 (SQL Injection)
│   ├── Pod: lab-1-student-alice
│   ├── NetworkPolicy: запрет всех egress кроме localhost
│   └── Изолирован от Lab 2, Lab 3, ...
│
├── Lab 2 (Network Pentest)
│   ├── Pod: lab-2-group-cybersec-101
│   ├── NetworkPolicy: разрешён доступ в интернет
│   └── Изолирован от Lab 1, Lab 3, ...
│
└── Lab 3 (Multi-container)
    ├── Pod: lab-3-student-bob-webapp
    ├── Pod: lab-3-student-bob-database
    ├── Service: internal communication between pods
    ├── NetworkPolicy: запрет доступа из других лаб
    └── Изолирован от Lab 1, Lab 2, ...

1. Преподаватель создаёт конфигурацию лабораторной работы
   ├── Пишет Dockerfile(s) для контейнеров
   ├── Push в GitLab → GitLab CI билдит образ → Push в GitLab Registry
   └── Создаёт YAML конфигурацию (lab-config.yaml)

2. Преподаватель загружает конфигурацию через Frontend
   ↓
   Frontend → Backend Platform (POST /api/v1/labs)
   ↓
   Backend Platform → Minio (сохранение lab-config.yaml в bucket: lab-configs/)
   ↓
   Backend Platform → PostgreSQL (сохранение метаданных: lab_id, название, описание)

3. Преподаватель запускает лабораторную работу для группы студентов
   ↓
   Frontend → Backend Platform (POST /api/v1/labs/{id}/start, body: {student_ids: [...]})
   ↓
   Backend Platform → Backend Infrastructure (POST /infra/v1/deploy, body: {lab_id, student_ids})
   ↓
   Backend Infrastructure → RabbitMQ (отправка задач в очередь lab.create)

4. Celery Worker обрабатывает задачи
   ↓
   Celery Worker → RabbitMQ (получение задачи)
   ↓
   Celery Worker → Minio (скачивание lab-config.yaml)
   ↓
   Celery Worker → K8s API (создание ресурсов для каждого студента):
       ├── Создание Pod (образ из GitLab Registry)
       ├── Создание Service (NodePort для SSH)
       ├── Создание NetworkPolicy (изоляция)
       └── Создание PVC (persistent storage)
   ↓
   Celery Worker → RabbitMQ (отправка уведомления в очередь student.notifications)
       └── Payload: {student_id, ssh_host, ssh_port, ssh_credentials}

5. Backend Platform получает уведомления
   ↓
   Backend Platform → PostgreSQL (обновление статуса: "running")
   ↓
   Backend Platform → WebSocket → Frontend (real-time обновление для преподавателя)

6. Студент получает доступ к лабораторной работе
   ↓
   Студент → Frontend (видит уведомление "Лаба доступна")
   ↓
   Студент → Получает SSH credentials (host, port, password)
   ↓
   Студент → SSH клиент (подключение к лабораторной работе)
       ssh student123@labs.ksailab.local -p 30456
   ↓
   Студент работает в изолированном окружении

7. Завершение лабораторной работы
   ↓
   Преподаватель → Frontend (POST /api/v1/labs/{id}/stop)
   ↓
   Backend Platform → Backend Infrastructure (POST /infra/v1/delete)
   ↓
   Backend Infrastructure → Celery Worker (задача в очередь lab.delete)
   ↓
   Celery Worker:
       ├── K8s API: извлечение PVC данных студента
       ├── Архивация volume → tar.gz
       ├── Minio: загрузка архива в bucket: lab-volumes/
       ├── K8s API: удаление Pod, Service, NetworkPolicy, PVC
       └── PostgreSQL: обновление статуса "stopped"

Proxmox
├── VM GitLab (4 CPU, 8 GB) → Арендованный VPS Hetzner €6/мес
├── VM Database (4 CPU, 8 GB) → Локальный Proxmox
└── VM K8s Single-Node (12 CPU, 16 GB) → Локальный Proxmox

Proxmox
├── VM GitLab (4 CPU, 8 GB)
├── VM Database (8 CPU, 16 GB) → Увеличение для БД
├── VM K8s-Control-Plane (4 CPU, 4 GB)
├── VM K8s-Worker-1 (8 CPU, 16 GB)
└── VM K8s-Worker-2 (8 CPU, 16 GB)

Multi-Cloud
├── Hetzner: GitLab VM
├── Proxmox (локальный): Database VM (конфиденциальные данные)
└── Yandex Cloud: Managed K8s Cluster (автоскейлинг)