Per Default läuft ein Virtualisierungshost sinnvollerweise ohne Powersafe.
Im Homelab ist das aber eventuell sinnvoll.

• cat /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor  - zeigt Powermodus für jede einzelne CPU
  Proxmox Default: performance
• cat /sys/devices/system/cpu/cpu*/cpufreq/scaling_cur_freq  - zeigt Frequenz für jede einzelne CPU
• echo "powersave" | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor  - setzt Governor = powersafe  (ggf. nicht bootfest, in Crontab eintragen)
• alle CPU Scaling Werte erklärt
• siehe Powersafe, CPU Governor (Homeserver)

• HD-Seriennummern und Slots notieren! (falls RAID ausfällt)
• Installer: Optionen: ZFS-RAID + HDs wählen, HD-Size für System (rpool) festlegen (100GB), ashift= 12
• "Datastore behalten" wie VMWare kennt Proxmox nicht, der Installer macht die System-Partitions platt und "vergisst" die anderen Pools.
  Beim Neuinstallieren werden also alle VMs in rpool (sda3+sdb3) gelöscht!
  ZFS-Pools auf anderen Partitionen können per zpool import wieder eingebunden werden, wenn man die wichtigsten cfg-Dateien hat.
  /etc/pve/storage.cfg (notfalls manuell) wieder herstellen (enthält die Datastores für die GUI)
  Für VMs: /etc/pve/qemu-server, für Container /etc/pve/lcx - wieder herstellen, enthält die Configs der VMs
  Anleitung ZFS-Pool Import
  -> keine VMs auf rpool (local) planen, nur das System!

• Proxmox erstellt 3 Partitions (cfdisk /dev/sda): Legacy BIOS Boot (1MB), EFI Boot-System (512MB), ZFS/Proxmox-RAID 'rpool' (Rest bzw. Setup:HDSize)
  Partition 1 und 2 sind kein RAID!  (UEFI-Partition nach jedem größeren Update synchronisieren)
  • Boot-Loader auf allen Boot-Partitionen synchronisieren:
  • update-grub  - Aktualisierung der Grub Loader
  • grub-install /dev/sdb  - Installation des Grub-Loaders auf Laufwerk sdb
  • update-initramfs -u  - aktualisiert die Grub-Infos auf diesen HDs
  Partition 3 (ZFS-RAID) /dev/sda3 und /dev/sdb3 kann nicht direkt booten

  ZFS RAID-1:

  

  >>cfdisk  (sda, ZFS)

  

  >> lsblk  (sda und sdb)

  
• Software Defined Network (SDN): wird im Cluster organisiert, VLANs pro VM oder (besser) pro Bridge; Firewall pro VM
  1) vmbr0 -> VLAN-Aware = ON, Server neu starten
  2) pro VM/CT -> Netzwerk: VLAN-Tag setzen
  - in VM/CT ggf. geänderte IP konfigurieren
  3) zum PVE kommen vom Switch gebündelte VLAN-Trunk-Ports
  Strategie: Ports= BOND, Switche= VLAN, VMs= Firewall
  
  
• Proxmox WEB-GUI: <ip>:8006
• Proxmox SSH-Konsole: ssh root@<ip>

Management-Zugriff auf Hosts muß also vor dem Aktivieren der Firewall gewährt werden!
-> Regel im Datacenter: Ingoing, Accept, Interface: LanBridge (vmbr0), TCP, Destination(s)= IPs der Hosts, Ports: 22 (SSH), 8006 (NoVNC), 3128 (Spice)
(wird inzwischen per Default über NonBlockingRules gelöst)

Firewall steht per Default auf:
- In: DROP
- Out: Accept

Sollte man sich vor die Tür setzen:
Host-Shell: nano /etc/pve/firewall/cluster.fw  -> enable: 1  -> auf 0 setzen
Host-Shell: pve-firewall stop

Firewallregeln werden nicht im PBS gesichert.
Unbedingt /etc -Ordner des Hostes sichern!

Firewall aktivieren in:

• Datacenter (Regeln für Datacenter <-> Hosts))
• Host (Host-Management, Ping, SMB, kein Effekt auf VM)
• VM
• Netzwerkkarte der VM
  Alle Firewalls wirken auch auf die untergeordneten Instanzen.

Security Gruppen für gleichartige VMs im Datacenter anlegen.
Regeln in der Gruppe erstellen.
Insert: Security Group -> Gruppe hinzu fügen.

IPSet - Regeln für Listen von spezielle IPs bzw. IP-Bereichen

Aliases - Regeln für einzelne spezielle IP (Router o.ä.) oder IP-Bereich (LAN..)

Aliases und IPSets können in Firewall-Regeln als Source oder Destination eingesetzt werden.

Beispiele:

• ICMP IN - von allen Verwaltungs-PC zu gewünschten Hosts und VMs
• SSH IN, TCP Port 22 - von allen Verwaltungs-PC zu gewünschten Hosts und VMs
• NoVNC IN, TCP Port 8006 - von allen Verwaltungs-PC zu gewünschten Hosts und VMs
• NoVNC IN, TCP Port 8007 - von allen Verwaltungs-PC zu Proxmox Backup Server
• Spice IN, TCP Port 3128 - von allen Verwaltungs-PC zu gewünschten Hosts und VMs
• RDP IN, TCP Port 3389 - von allen gewünschten PC zu gewünschten VMs
• SNMP IN, UDP 161 + 162 - vom Monitoring-Server zu allen gewünschten Hosts und VMs

Bsp.: VM darf nur ins Internet, aber nicht zu anderen Geräten im LAN
- Out - Accept - Destination= Gateway
- Out - Reject - Destination= LocalNet

• Proxmox Backup-Server benötigt nur ACCEPT-IN zwischen PVE-Host und PBS-Server (ggf. NAS)
• Veeam Backup Server benötigt Zugriff auf alle zu sichernden VMs

PVE Default Rules: https://pve.proxmox.com/wiki/Firewall#pve_firewall_default_rules

• ZFS nutzt per Default viel RAM als Cache (->viel RAM einbauen!)
• möglichst keine Consumer SSD/NVME verwenden, weil deren Cache zu gering ist und sie zu viel beschrieben werden
• 2 kleine SSD (256GB) für System (rpool) verwenden, große NVMe und HDD für die VM (RPOOL wird bei Neuinstallation immer gelöscht, andere Pools können importiert werden)
• RAID-1 oder RAID-10 für VMs nehmen
• ZFS ohne Hardware-RAID (direkter Datenzugriff!), LVM mit Hardware-Controller
• Booten von Software-RAID (ZFS) ggf. über HBA (Boot-Partition ist kein RAID)
• ZFS ist LVM vorzuziehen
  - hat keine Schreiblücke und benötigt keinen Akku-gepufferten Cache
  - flexible Software-RAID Level
  - Copy on write, Komprimierung, Checksummierung, Scrubbing
  - HA Cluster nur mit ZFS möglich
• NVME-Cache bringt viel
• Proxmox supportet Speichertypen

zur Bedienung der VM.

QEMU Treiber:

• Qemu Guest Tools immer installieren + aktivieren! (VM Optionen und in der VM!)
• verbessert Leistung und Überwachung, flüssiger, Shutdown, Snapshots, qm-Befehle u.a.
• QEMU Treiber sind erforderlich u.a. für Backup Server (Snapshot, qm-Befehle)

noVNC-Konsole:

• Default VM-Konsole, einfach, browserbasierend, Fenster, keine Zwischenablage, kein Sound, teils ruckelige Grafik
• keine LAN-Verbindung zur VM erforderlich
• Mauszeiger reagiert in noVNC Konsole auch mit Qemu Guest Tools sehr träge (kein Vergleich zu VMWorkstation- oder ESXi-Konsole)

Spice-Konsole:

• Vollbild (VirtIO-GPU), Sound (Audiogerät hinzu fügen), im Wirts-PC "virt-viewer" inst.
• Zwischenablage in beide Richtungen, ggf. muß spice-vdagent (spice-guest-agent) bzw. Virt-Manager im Client installiert werden (Qemu Guest reicht nicht).
• Clipboard für VM nachträglich aktivieren: qm set <vmid> -vga <displaytype> clipboard=vnc
• VMs mit aktiviertem VNC-Clipboard lassen sich aktuell nicht Live migrieren! (v.8)
• Display: Spice oder VirtIO-GPU, USB (USB-Device: Spice Port)
• keine LAN-Verbindung zur VM erforderlich
• siehe Proxmox WiKi SPICE
• VirtIO CD ISO zum Mount in Client: https://logiqlinux.com/de/manuals/hrpc-proxmox-ve/creating-a-new-virtual-machine/installing-virtio-drivers/
• Linux Debian: (sudo apt install spice-vdagent, sudo systemctl start spice-vdagent, sudo systemctl enable spice-vdagent)
• Windows: spice-guest-tools
• All-OS: Virt-Manager
• Spice Fenster Focus verlassen: [Strg]-[Alt]-R

RDP-Konsole, Rustdesk, VNC usw.

• Installation der jeweiligen Server-Komponente in der VM erforderlich
• Sound, Zwischenablage, gute Grafik, Vollbild
• Voraussetzung: LAN-Verbindung zur VM

• eindeutige ID wird ab 100 hoch gezählt
  - mehrere Hosts im Cluster düfen nicht die gleiche ID nutzen
  - ID läßt sich nur durch backup + Restore ändern
  - je nach PVE Version werden gelöschte ID ggf. weiter blockiert (sonst kann z.Bsp. Backup History alte und neue VM nicht unterscheiden)
• Spice-Guest bei Installation anhaken (VNC Zwischenablage..) -> dann muss der QEMU Guest Agent auch in der VM installiert werden!
  (siehe Abschnitt Spice und QEMU)
  PVE -> Storage local -> ISO-Images -> Download from URL
  Suche: proxmox windows drivers stable -> Download-Link kopieren in URL oben, Query URL -> lädt virtio-win.iso (Treiber-CD)
  (https://fedorapeople.org/groups/virt/virtio-win/direct-downloads/latest-virtio/virtio-win.iso)
  • Windows Installation: zusätzliches Laufwerk für VirtIO-Treiber hinzu fügen (CD2 = virtio-win.iso)
  • Windows7: virtio-win-0.1.173-4.iso
• Firmware:
  Default =SeaBIOS - altes BIOS
  OVMF (UEFI) - erforderlich für Win11, erstellt EFI-Boot Disk
  - "Pre Enrol Key" speichert MS Zertifikate und aktiviert Secure Boot (kann deaktiviert werden im OVMF Boot-Menu der VM)
• TPM - erstellt Storage für virtuelles TPM 2.0 (Hardware-unabhängig, wird mit der VM gesichert und im Cluster verschoben)
• Disk Controler -> "VirtIO SCSI Device" ist Best Practice!
  - Windows nimmt IDE, wenn man nicht zusätzliche VirtIO Treiber mit installiert
  - nach Migration Controler aktualisieren!
  1. temporäres VirtIO SCSI Gerät (kleine HD) installieren
  2. VirtIO Treiber in VM installieren
  3. migrierten Controler in SCSI (VirtIO SCSI) ändern
  Sollte bei der VirtIO Treiber-Installation kein VirtIO SCSI-Gerät vorhanden sein, wird kein VirtIO SCSI-Treiber in den Bootprozess integriert und das Laufwerk wäre nach der Umstellung nicht bootfähig.
• Disk: "Discard", "SSD Emulation" und "IO thread" anhaken, no Cache (nachträglich: qm guest cmd <vmid> fstrim)
• CPU: Sockets nicht höher setzen als physisch im Host vorhanden
  - Typ generisch (x86-64-v2-AES) am performantesten
• LAN: virtuelle Hardware nicht E-1000 (1GB) o.ä., sondern virtuelle Proxmox-Hardware (virtio) mit 100 GB/s nehmen!

• UK: Proxmox wichtige Befehle, Pfade und Dateien
• UK: Proxmox Backup Server (PBS)
• UK: Proxmox Firewall
• UK: Proxmox Cluster und HA Storage
• UK: Linux KVM
• UK: Samba / SMB-Freigaben
• Proxmox konfigurieren, Postfix, Fail2ban usw. https://decatec.de/home-server/proxmox-ve-installation-und-grundkonfiguration/
• Proxmox VE Helper Scripts (Microcode Updates, Datacenter Manager, Host Backup...)
• Proxmox PVE Host Sicherung auf Proxmox PBS und forum.proxmox.com (Erklärung + Restore)
• UK: Linux Basics

Kernel-Based Virtual Machine (KVM) ist eine Open Source-Virtualisierungstechnologie, die im Linux® Kernel integriert ist.

• Bare Metal-Hypervisor vom Typ 1 (wie ESXi, VM-Ressourcen werden vom Hypervisor direkt für die Hardware eingeplant)
• erfordert Virtualisierungsfunktion der CPU,  (grep -Ec '(vmx|svm)' /proc/cpuinfo) Antwort muss > 0 sein, ggf. im BIOS aktivieren
• erfordert VM-Emulation wie QEMU (LibVirt bzw. Proxmox)
• Open Source Enterprise Virtualisierer, Frontend+Bundle mit KVM-VM und LXC-Container Virtualisierung, ZFS auf Debian-Basis
• Gast-VM: Windows 2000, XP/2003, Vista/2008, 7/2008R2, 8/2012(R2), 10/2016/2019, 11/2022, Linux, Solaris und verschiedene BSD-Varianten auf Intel und AMD x64-Basis
• Gast-Container: Ubuntu, Debian, Fedora, OpenSuse u.a. Linux
• Filesystem: LVM (ext4) oder besser ZFS
• TPM-Support (kein Zwang), Snapshots, Clones, Backups, Templates, Live-Migration zwischen 2 Hosts, Thin-provisioned Storage
• Enterprise Support und Repository buchbar
• ohne Subscription Lizenz: Betrieb + Update über Community Repository im nichtkommerziellen Bereich möglich
• 04/2024: Proxmox 8.2 mit Importschnittstelle für VMWare ESX (Rechenzentrum -> Storage -> ESXi)
• 11/2025: Proxmox 9.1 Container mit Templates per Pull from OCI Registry (aus Docker u.a.)

Der Proxmox VE-Server kann nicht mit der eigenen Backup-Funktion oder dem Proxmox Backup Server gesichert werden.

Backup-Strategien:

• /etc/cron.daily (Cronjob)
• VM herunter fahren (qm shutdown...)
• Snapshot
• VM starten
• Snapshot weg sichern (repl)
• PBS ermöglicht Backup ohne Shutdown
• keine Backups, Hyperfil oder Auslagerungsdatei auf produktive Volumes legen (mit Snapshot)
• keine Backups auf "Local-Store" legen, denn das ist der PVE

Allgemeines

• möglich wären Linux Backup-Lösungen
• der PVE-Server ist schnell wieder installiert
• der Installer macht das System (RPOOL) platt!
• alle wichtigen Config-Files vorher(!) sichern
• möglichst keine VMs auf RPOOL sichern

Backup Replication einfach und trojanersicher (SysOps) mit pull, geht auch remote in LAN/WAN

• zfs create -o com.sun:autosnapshot=false backup/repl (data, clone, rpooldata)  - auf neuem Volume anlegen
• zfs set com.sun:autosnapshot=false backup  - ganzer Datenträger ohne Autobackup
• gihub.com bashclub: bashclub-zfs-push-pull  -> Link kopieren
• git clone <link>  - installiert
• chmod +x 02pull bashclub-zfs  - ausführbar machen
• cp bashclub-zfs /usr/bin/  - kopiere an bessere Stelle
• nano 02pull - editieren
  Scriptpaht='/usr/bin'
  Sourcehost='localhost'
  DestPath='backup/repl'
• Trojanersicher ist das initiiert vom Remote Backup Server aus. Auf den Systemen läuft zfs send / zfs receive mit Prüfsumme.

Backup PVE-Host (3 Kopien)

• PVE: zfs list  - suche geeigneten Storage für Backups (Bsp: /hd-vol3/Backups)
• PVE: touch /home/pve-backup.sh  - erstelle Backup-Script
• PVE: nano /home/pve-backup.sh
  #!/bin/bash
# PVE - Backup

# Definiere destinationdir und Logfile
DEST="/hd-vol3/Backups/host1"
LOG="/hd-vol2/daten2/Uwe/logfiles/backup_monat_PVE-Host--PVE.log"

echo "*** Backup PVE-Host nach $DEST-kopie1" &> "$LOG"
echo `date` &>> "$LOG"

# lösche kopie3
if [ -d "$DEST-kopie3" ]
then
echo " Lösche $DEST-kopie3" &>> "$LOG"
rm -r "$DEST-kopie3"
fi

# Verschiebe kopie2 -> kopie3
if [ -d "$DEST-kopie2" ]
then
echo " Move $DEST-kopie2 -> $DEST-kopie3" &>> "$LOG"
mv "$DEST-kopie2" "$DEST-kopie3"
fi

# Verschiebe &DEST-kopie1 in kopie2
if [ -d "$DEST-kopie1" ]
then
echo " Move $DEST-kopie1 -> $DEST-kopie2" &>> "$LOG"
mv "$DEST-kopie1" "$DEST-kopie2"
fi

# erstelle $DEST
echo " Erstelle $DEST-kopie1" &>> "$LOG"
mkdir "$DEST-kopie1"

# r - recursiv
# h - human readable
rsync -rptgoh --progress --stats "/etc/" "$DEST-kopie1"etc &>> "$LOG"
rsync -rptgoh --progress --stats "/home/" "$DEST-kopie1"home &>> "$LOG"
rsync -rptgoh --progress --stats "/boot/" "$DEST-kopie1"boot &>> "$LOG"
rsync -rptgoh --progress --stats "/root/" "$DEST-kopie1"root &>> "$LOG"
# Dumps nicht mit sichern
rsync -rptgoh --exclude='lib/vz/dump/' --progress --stats "/var/" "$DEST-kopie1"var &>> "$LOG"
• Script per Cronjob im gewünschten Intervall ausführen

• DMZ-Strategie: zweite OPNsense im Proxmox für geschützte VMs (Performance, Single-Point-of-failure), DMZ-Bridge ohne zweite Firewall
  Skizze: Baribal Studios
• Routing (manuell): ip route add 10.10.10.0/24 via 192.168.1.10 dev vmbr0  (Firewall nicht vergessen)
• Routing (dauerhaft): /etc/network/interfaces  (enthält alle Interfaces und Bridges)
  post-up ip route add 10.10.10.0/24 via 192.168.1.10 dev vmbr0
  
  
• zpool status - zeigt RAID-Status  (ZPOOL ist der RAID-Teil von ZFS)
• neuen Pool erstellen: einfach über Proxmox-GUI  (Mirror, shift=12), leere Partitionen auswählen (mit cfdisk erstellen)
• zpool list - zeigt Pool- Fragmente, Deduplizierung, (CAP soll nicht über 80% gehen!) - ggf. Autosnapshoots verkleinern
• zpool set autotrim=on rpool  - Autotrim anschalten! Wichtiger Platz- und Leistungsgewinn.
• zpool trim rpool  - führt TRIM manuell aus, nur zur Kontrolle, Anzeige mit zpool status
• cd /dev/disk/by-id/ -> ls -l zeigt HDs mit Seriennummer und logischem Name (Bsp: sdb3), wichtig bei HD-Defekt
• Datacenter / Storage / lokal-zfs: Blocksize auf 16k + ThinProv. ändern (ist jetzt DEFAULT), sonst ist Overhead riesig
  - jede danach angelegte VM bekommt per Default 16k - Blöcke
• zfs list  - zeigt Partitionen + Mountpoints
  
  • /rpool/ROOT/pve-1  = '/' = Proxmox-Partition
• E-Mail Alarmierung ist rudimentär (Postfix), besser Monitoring  (CheckMK-Plugins)
• Vollständige Conf einer VM: cat /etc/pve/qemu-server/101.conf
• Windows gibt gelöschten Speicherplatz deutlich verlangsamt wieder frei -> SSD-Trim (HD -> Tools -> Optimieren) regelmäßig planen
• Proxmox-User mit Two Factor -> TOTP absichern
  • PAM-User sind lokale Linux-User (meiste besser)
  • Proxmox-User sind User des Proxmox Datastore
• ssh-keygen  - Schlüsselpaar erzeugen
  
  Snapshots
• bei ZFS: ggf. Bashclub-ZFS Postinstall-Script ausführen, wechselt auf no-subscription-repository und schaltet Warnung ab, installiert Tools, konfiguriert Cache, Autosnapshots, Config-Backup, Systemaktualisierung  (Swap ab 95%, Mailer, Snapshots festlegen!! [Monate - Wochen - Tage - Viertelstunden], blocksize=16k)
• danach: GUI Updates Refresh / Rebooten
• Autosnapshot vererbt sich per Default
• zfs set com.sun:auto-snapshot=false <VMSTORE>  - Dateisystem nicht AutoSnapshoten
  
• zfs set sync=disabled rpool  - SYNC ausschalten
• zfs set com.sun:auto-snapshot=true <VMSTORE>/<VM>  - nur einzelne VM SnapShoten
• zfs list -t snapshot (zfs get written) - listet alle Snapshots auf
• zfs list -t snapshot | grep pve-1  - listet alle Snapshots der Proxmox-Partition auf
• Snapshots per cd anzeigen: /VMSTORE/<VMNAME> cd /.zfs/snapshot/ → ls -alh
• zfs rollback -r rpool/ROOT/pve-1@zfs-auto-snap_hourly-2023-05-27-1158  -> Rollback des angegebenen Snapshots
  so kann Proxmox und jede einzelne VM wieder hergestellt werden
• sollte sich auch die VM-Konfig geändert haben, extra /pve/ Snapshot holen. PBE Backup Server sichert auch die VM-Konfig.
• Proxmox Update: niemals via apt upgrade!! Nur über Proxmox-GUI oder so:
  • apt update  (Paketquellen updaten)
  • apt dist-upgrade  (Pakete mit ihren Abhängigkeiten installieren)
  • REBOOT nach jedem Kernel-Update
• Upgrade v8 -> v9: https://pve.proxmox.com/wiki/Upgrade_from_8_to_9
  
  
• ZFS-RAID löschen:
  • zfs list  - zeigt Pools
  • nano /etc/pve/storage.cfg  - Eintrag löschen
  • zpool desroy <pool>
  
  RAID-Cache mit schneller SSD oder NVM (sdc) erstellen
• es können mehrere Cache Laufwerke pro Pool angegeben werden
• zpool add -n hd-pool cache sdc sdd
  
• zpool iostat -v 1  - zeigt Befüllung des Cache
  
  Fehler: 1 ZFS RAID-HD (bsp: sda) gestorben oder ich will 2. HD zufügen
  
• RAID ist degraded, man merkt das nicht (Monitoring!!)
• zpool status zeigt RAID-Status (degraded)
• HD/SSD wechseln (darf auch größer sein)
• zpool set autoexpand=on rpool  - schaltet Autoexpand an
• sgdisk /dev/sdb -R /dev/sda  - überträgt (repliziert) Partitionen von sdb auf sda
• lsblk  - zeigt Partitionen an
• cfdisk /dev/sda  - gpt-Partition, Linux Filesystem, wenn neue HD sda größer ist, Proxmox-Partition sda3 resizen auf volle HD-Größe
• sgdisk -G /dev/sda  - erstellt neue GUID für die neue HD
• proxmox-boot-tool clean  - entfernt ID der defekten HD aus der Bootkonfig
• proxmox-boot format /dev/sda2  - formatiert Boot-Partition mit Windows Dateisystem (sda1 + sda2)
• proxmox-boot-tool init /dev/sda2  - überträgt Bootpartition auf neue HD
• proxmox-boot-tool status  - gelegentlich prüfen, muß wieder 2 HDs zum Booten haben
• zpool status   - zeigt immer noch, dass rpool DEGRADED ist (HD REMOVED), d.h. neue sda3 hat noch keine Daten
• (zpool replace rpool sda3  - Daten werden auf neue Partition repliziert)
• ls -althr /dev/disk/by-id/ zeigt HDs mit Seriennummer und logischem Name (Bsp: ata-Gigastone_SSD_GSTGGGHABK2406260460-part2 -> ../../sdb2)
• zpool attach rpool sdb3 ata-Gigastone_SSD_GSTGGGHABK2406260460-part2
  -> füge neue HD (sdb2) über ID (wichtig beim Umstecken der HD!!) zum rpool (zu funktionierender Platte sdb3, ggf. auch als ID) hinzu
• zpool status   - jetzt Online, resilvering
• zpool status -v [pool] - zeigt genauen Status des Resilvering an
  
  Notfall-Recovery bei defektem Proxmox Bootsystem
• Intallation Proxmox von CD auf beliebigen anderen Datenträger ohne ZFS inst. (sonst hätten wir 2x RPOOL) (gute Datenplatten raus ziehen)
• zfs list  - keine Volumes da   (HD wieder rein)
• zpool import -fa  - importiert alle ZFS-Pools
• Kopieren storage.cfg, qemu-server (/rpool/pveconf/)
• System läuft (ohne SSH-Keys, Autosnapshot usw)
• siehe auch Thomas Krenn WiKi
  
  neue HD hinzufügen, ohne die Alte zu löschen (Backup o.ä.)
• zpool attach rpool sdb3 <neue HD>  - statt REPLACE kann man mit ATTACH weitere HDs hinzufügen
• zpool status  - zeigt dann 3 HD im RAID an
• nun kann man 1 HD entnehmen und aus dem RAID entfernen:
• zpool detach rpool sdb3  - löscht HD aus RAID-Konfig
• proxmox-boot-tool clean  - entfernt ID der entfernten HD aus der Bootkonfig
• bootet man jetzt nur von der entnommen sdb, würde sie immer noch melden dass die beiden anderen HD fehlen
  
  separaten ISO-Pool erstellen (NVMe-RAID ist dafür zu schade)
  Bsp: ZFS-Pool heißt "hd-pool" und soll Dataset "ISOs" bekomme und ein Directory Storage "ISOs"
• zfs create hd-pool/ISOs  - Dataset erzeugen
• zfs destroy hd-pool/ISOs - Dataset löschen
• zfs set compression=zstd hd-pool/ISOs  - ZSTD-Kompression für weniger Platzverschwendung
• zfs set relatime=on hd-pool/ISOs  - ggf bei SSD: unnötige Writes vermeiden
• zfs set quota=100G hd-pool/ISOs  - ggf. Quota auf 100GB setzen
• pvesm add dir ISOs --content iso --is_mountpoint yes --shared 0 --path "/hd-pool/ISOs"  - Directory Storage für ISOs anlegen
  (Pool für VMs: Content= images), auch manuell mit nano /etc/pve/storage.cfg
  
  VM erstellen:
• siehe Abschnitt "VM einrichten"
• Windows Installation findet keine Festplatte -> Treiber laden -> vioscsi -> win10
• von CD virto-win.iso 'virto-win-guest-tools' installieren -> installiert alle fehlenden Treiber
• QEMU Guest Agent installieren
  • Windows: virto-win.iso, Verzeichnis guest-agent
  • Linux: apt-get install qemu-guest-agent , systemctl start qemu-guest-agent
  Danach zeigt die VM unter Übersicht die IP, Meldung "kein Agent" verschwindet, qm-Befehle gehen, Shutdown über GUI geht.
  
• im Host Qemu Guest aktivieren: qm set <vid> --agent 1
  Test: qm agent <vid> ping
• ggf. Spice oder RDP aktivieren
  
  Hochlastige VM optimieren, Auslagerungsdatei ohne Snapshot
  
• powercfg -h off  - Hyperfil off
• zfs create -o com.sun:autosnapshot=false rpool/swap  - erstellt Verzeichnis, in dem keine Autosnapshots gemacht werden
• Proxmox Datacenter -> Stoarage -> Add -> ID: rpool-swap, ZFS-Pool auswählen, Content= Disk Image, 16k Block Size
• VM -> Hardware -> Add HD -> Bus: SCSI, Storage: rpool-swap, Size: 8GB, SSD-Emulation, Discard
• Windows Datenträgerverwaltung: Datenträger initialisieren, LW-Buchstabe
• Windows Systemeigenschaften -> Leistungsoptionen -> Auslagerungsdatei ändern in Swap-LW
  
  ZFS-HD einer Windows-VM vergrößern
• HD in Proxmox vergrößern: VM -> Hardware -> Harddisk -> Disk Action: Resize
• in Windows hindert die Widerherstellungspartition am Vergrößern von LW C:
• Proxmox: lsblk, Widerherstellungspartition identifizieren
  
• cfdisk /dev/cd16
  Windows RE (546MB) löschen (nicht hier Resizen!)
• HD in Windows Datenträgerverwaltung vergrößern
• ggf. in /etc/pve/qemu-server/100.conf anpassen, sonst wird das weiter falsch angezeigt
  
  USB-Stick in VM durchreichen
• USB-Stick an Host stecken, Stick erscheint im Host unter "Disks"
• USB-Device in VM hinzu fügen, "Use USB Vendor/Device ID"
• Stick auswählen, fertig

1) manuell importieren

• vmdk, vhdx, raw, qcow2, ovf > mounten (Kopieren mit winscp) im Original nach mnt/pve/nfsstore
• zvols, lvm, usb, hdd, ssd (phys. Geräte)
• qm importdisk 100 /mnt/hypervfreigabe/dc.vhdx local-zfs  - importiert und konvertiert automatisch
• ova: entpacken von ovf, mf, vmdk, nvram

2) OVA -Datei

• VMWare Workstation oder ESX: Export als OVA (möglichst vorher VMWare Tools deinstallieren)
• WinSCP: Dateien auf Proxmox übertragen
• qm importovf 101 bitnami-wordpresspro-5.1.1-0-linux-debian-9-x86_64.ovf local-zfs
• bei UEFI-VM: BIOS auf UEFI setzen (qm set 101 --bios ovmf)
• Treiber von SCSI auf SATA ändern (sed -i 's/scsi/sata/g' /etc/pve/qemu-server/101.conf)
  Quelle: Krenn AG WIKI
• ESX.vmdk von Proxmox Shell aus importieren
• Disk als IDE-LW hinzu fügen

3) physische Systeme, manuell

• physische Systeme: mit VMWare Converter oder Clonezilla Festplatten erzeugen
• VM in Proxmox neu einrichten, HDs hinzu fügen (unused disk: discard + add)
• VMWare Tools deinstallieren
• virtio-win.iso installieren, QEMU-Guest installieren

4) Clonezilla (physisch oder virtuell)

• clonezilla Empfangsmodus auf neu erstellter, leerer VM
• clonezilla booten auf PC
• Übertragung komfortabel über Netzwerkmodus (Client + Server)

5) VMWare ESX per Proxmox Import Agent (neu 2024)

• ab Proxmox 8.2 mit Importschnittstelle für ESXi Host v. 6.5 - 8 (Datacenter -> Storage -> ESX)
• ESXi Datastore in Proxmox einbinden und VM importieren
  (Praxistest: LAN 1 Gb/s schafft ca. 300 GB pro Stunde)
• Assistent erkennt (je nach Ausgangs-VM) Controllertyp, CPU, RAM, HD automatisch
• Advanced: VirtIO Treiber CD einbinden
• VM muß aus sein, ESX-Tools möglichst vorher deinstallieren, Snapshots löschen
• Meldungen beim Import beachten:
  
  
  Ablaufbeschreibung:
• https://forum.proxmox.com/threads/new-import-wizard-available-for-migrating-vmware-esxi-based-virtual-machines.144023/
• https://www.thomas-krenn.com/de/wiki/ESXi_VM_Importer_-_Proxmox_VE_Storage_Plugin?xtxsearchselecthit=1

Nach dem Import
Treiber für HD auf VirtIO umstellen, LAN neu hinzu fügen, Qemu Guest Agent inst.

• VM starten, Funktion prüfen, herunter fahren
• Snapshot erstellen
  
  ggf. Controller in vioscsi ändern:
• Dummy-HD (1GB) mit SCSI-Controller einbinden
• Optionen: Qemu Guest aktivieren, VM starten
• virtIO Treiber installieren, VM herunter fahren
• Dummy-HD löschen
• SATA-HD "Detach"
• ADD "Unused Disk", SCSI-Bus, Discard + SSD emulation anhaken
• Bootreihenfolge auf SCSI ändern, booten

• Netzwerkkarte auf VirtIO ändern, passende VMBR und VLAN konfigurieren
• Gerätemanager prüfen
  
  
• vio-Treiber in nicht startendes Windows per CMD integrieren:
  - virt-IO -CD "einlegen"
  - System reparieren - > Eingabeaufforderung
  - Windows-Laufwerk (x:) und VirtIO-Laufwerk (d:) suchen
  - drvload d:\vioscsi\2k22\amd64\vioscsi.inf -> erfolgreich geladen
  - dism /image:x:\ /add-driver /driver:d:\vioscsi\2k22\vioscsi.inf  -> Operation successfully

• NAS:  NFSv3 aktivieren, Standard UNIX Berechtigungen
• NFS-Freigabe, NFS-Berechtigungen: IP, Berechtigungen= r+w, Squash= Keine Zuordnung, Sicherheit: sys, Benutzern Zugriff auf Unterordner erlauben
• Proxmox PBS:
  CIFS -> schlechtere Wahl
  - apt install cift-utils - Vorbereitung
  - mkdir /mnt/backup-nas  - erstellt permanenten Mountpount für NAS
  - nano /etc/samba/.smbcreds - Zugangsdaten für SMB-Laufwerk ablegen (NAS)
  - mount -t cifs -o credentials=/etc/samba/.smbcreds,uid=0,gid=0 //192.168.99.200/Backup /mnt/backup-nas
    -> temporär. danach in /etc/fstab:
  - //192.168.99.222/Backup/PBS /mnt/backup-nas cifs vers=3.0,credentials=/etc/samba/.smbcreds,uid=0,gid=0,defaults 0 0
  -> siehe SMB / NFS/ CIFS
  NFS (besser)
  - mkdir -p /mnt/backup-nas  - erstellt permanenten Mountpount für NAS
  - mount <ip>:/volume1/backup /mnt/backup-nas  - mountet NAS in o.g. Mountpoint (temporär)
  - nano /etc/fstab - neue Zeile für automat. Mounten nach Neustart einfügen:
    "<ip>:/volume1/backup /mnt/backup-nas nfs defaults 0 0"  - NFS
  - reboot PBS
  - chmod -R u+rwX,g+rX,o+rX /mnt/backup-nas
• Kontrolle mit df -h
  
• PBS: Add Datastore: Name=PBS-NAS, Backing Path= /mnt/backup-nas, root@pam, Datastore= wie PBS, Prune-Options setzen (dauert einige Minuten)
  
• Datastore-Config steht in /etc/proxmox-backup/datastore.cfg
• Proxmox VE: Add Proxmox Backup Server (wie oben), Datastore= backup-nas
• PBS: Prune- / GC- und Verifizierungs-Job + Zeitplan für jeden Datastore erstellen, Optionen -> Benachrichtigung bei Fehler
• PBS selbst kann nicht auf Storage des PBS gesichert werden!

Backup auf NAS ohne Proxmox Backup Server
Direktes Backup von Proxmox VE ist einfach einzurichten, kann allerdings keine Dateiwiederherstellung, Incrementials oder Deduplizierung.
Sinnvoll für Backup des PBS-Servers.

• Backup auf NAS / SMB oder NFS:
  • NAS: SMB3 oder NFS-Freigabe + Nutzer anlegen
  • Proxmox VE: Rechenzentrum -> Storage -> Hinzufügen: SMB/CIFS oder NFS, Freigabe eintragen, Inhalt: VZDump Backup-Datei

• UK: Backup Virtual Environment Server (PVE)
• UK: Backup des Proxmox PVE Host
• UK: wichtige Befehle (Linux/Proxmox/ZFS)
• UK: Linux KVM Übersicht

• Client-/Server, PBS empfohlen als getrennter Server! Sonst Sicherungsstrategie für PBS erforderlich.
  - physischer PBS kann auch als CEPH-Quorum genutzt werden
  - auf phys. PBS kann auch gleichzeitig PVE für Not-Restore installiert werden (Krenn-WiKi)
  - PBS kann direkt auf PVE-Host installiert werden
  - PBS kann als VM betrieben werden
• PBS kann speichern auf lokalen Storage des (physischen) PBS oder external mount storage (Bsp. NAS)
  (NAS in PBS einbinden, Backups auf NAS)
• PBS-Server selbst sichern: nur System-HD per PVE sichern (ggf. Backup-Haken in HD2 raus) auf "local" oder "NAS" (geht nicht auf PBS-Storage)
• PBS läßt sich auch auf (größeren) Synology NAS als VM (Virtual Machine Manager) einrichten
• Veeam Backup kann (2025) ProxmoxVM, auch PVE-Host, aber keine LXC-Container

• PBS einrichten: https://pbs.proxmox.com/docs/installation.html
  • OS: Debian/Linux 6.x
  • erste HD für System (pro TB zu sichernde Quellen => 1 GB Storage), empfohlen: NVMe
  • ggf. zweite HD für Backups (groß, preiswerter Speicher) -> Storage -> unused Disk -> ZFS
  • alternativ: NAS in PBS einbinden (unten)
  - Qemu-Client anhaken oder nachinstallieren
  • Certificates: Lets Encrypt aktivieren
• WEB-GUI: https://<ip-or-dns-name>:8007 (alternativ CLI und REST API)
• ggf. Subscription für Enterprise-Repository, sonst Administration -> Repositorys  (Enterprise deaktivieren, No-Subscription Repo hinzufügen)
• SMTP-Maileinstellungen über Postfix als MTA (Konfig. per CLI)
• bei mehreren Clustern: getrennte ID-Bereiche verwenden oder Namespace pro Cluster erstellen
• PBS mit Proxmox VE verknüpfen:
  • PBS: Speicher / Initialisiere Disk(2), Erstelle ZFS, Name: backup-pool, ggf. RAID, erstellen -> Pool erscheint unter Datastore
  • Proxmox VE: Rechenzentrum / Storage -> Hinzufügen -> Proxmox Backup Server
    ID= backup-pool (Bezeichnung im PVE), Server= PBS-IP, Benutzer= root@pam, Knoten= auswählen (mehrere Server möglich), Datastore=backup-pool (Name im PBS), Fingerprint aus PBS Dashboard (Show Fingerprint)
    -> unter Storage erscheint der backup-pool des PBS
  Nun kann der Backup-Server direkt aus dem Proxmox VE gesteuert werden.
• Hinweis: Backups funktionieren nur, wenn der Qemu-Guest läuft! (apt-get install qemu-guest-agent)
• Hinweis: PBS-Server kann nicht auf Storage des PBS gesichert werden! (NAS für PBS-Backup direkt am PVE einbinden)
• Hinweis: PBS kann nicht den PVE-Host sichern! Strategie siehe unten.
• Backup automatisch: Rechenzentrum -> Backup -> Hinzufügen: Zeitplan, VMs, Storage wählen  (PBS nicht auf Storage des PBS!)
• PBS-Backup kann beliebig zurück gespielt oder per Dateiwiederherstellung geöffnet werden
• 09/2024: ab Veeam Version 12.2 unterstützt Veeam Proxmox VE Backups (Enterprise + Community, FileBackup, VolumeBackup usw), auch PVE-Host (Linux), aber keine LXC-Container, keine Replikation-Jobs
• Volume-Backup (falls nicht alle Volumes der VM gesichert werden sollen):
  - VM Hardware -> einzelne HD auswählen -> Advanced -> Haken bei BACKUP raus

Stop Mode (VM)

• geringer Ausfallzeit, hohe Datenkonsistenz
• VM wird sauber herunter gefahren
• VM startet in pausiertem Mode
• QEMU erstellt Snapshot -> Backup des Snapshot beginnt
• VM "resumed" und startet vollständig, das Backup läuft im Hintergrund weiter

Stop Mode (Container)

• lange Ausfallzeit, hohe Datenkonsistenz
• schaltet den Container aus
• hängt Mountpoints des Container an den Host
• File-Backup
• aushängen des Mointpoints, Neustart es Containers

Snapshot Mode (VM)

• geringste Ausfallzeit mit geringem Risiko für Inkonsistenzen
• deutlicher Performance-Verlust beim Snapshot
• Live-Backup bei laufender VM
• wenn QEMU-Guest läuft, sinkt das Risiko:
  - Caching und Puffer wird zurück geschrieben und geleert
  - VSS Shadow Copy sichert Anwendungen wie SQL-Server, Exchange Server o.ä. konsistent

Snapshot Mode (Container)

• geringe Ausfallzeit, geringes Risiko für Inkonsistenzen
• Container pausiert (suspend)
• Snapshot des Container-Volumes
• Container wird fortgesetzt
• Backup des Snapshot erfolgt im Hintergrund
• Snapshot wird gelöscht

Suspend Mode (VM)

• lange Ausfallzeit, hohe Datenkonsistenz
• für VM wenig sinnvoll, Stop Mode ist besser
• VM wird in pausierten Mode versetzt
• Backup der suspend VM erfolgt
• VM wird erst nach dem Backup wieder gestartet

Suspend Mode (Container)

• geringe Ausfallzeit, kein Risiko für Inkonsistenzen, hoher TEMP Speicherbedarf
• RSYNC kopiert Daten des Containers zur Laufzeit auf temp. Speicherplatz
• Container hält kurz an
• RSYNC sichert Differenz (alle Dateien die sich zur Laufzeit nicht sichern ließen)
• Container wird fortgesetzt
• TEMP-Backup erfolgt im Hintergrund

Proxmox VE hat bereits ein eigenes, integriertes Full-Backup (Snapshot / Suspend / Stop) mit Image-Vollbackup, Image-Restore, Scheduler.
Benötigt man aber Filerestore, Incementalbackup, Deduplizierung usw., ist der PBS die erste Wahl.

Proxmox VE Backup (onboard)

• erstellt Backups im Virtual Machine Archive Format (VMA) (/var/lib/vz/dump/vzdump-quemu-100-2025_08_09-00_00_00.vma.zst)
• Backup-File besteht aus Header, Meta- und Konfigdateien (incl. Firewall), Image (bei Containern das gesamte Dateisystem)
• ausschließlich Vollbackups
• Proxmox-eigenes Programm "vzdump"  (GUI oder Console)
• HookScripts vor/nach Jobs lassen sich nur auf der Console konfigurieren (DB-Transaktionen, Notification, Cleanup-Jobs...)
  - pro Job: /etc/pve/jobs.cfg
  - global: /etc/vzdump-conf

Proxmox Backup Server (PBS)

• Enterprise Datacenter Backupserver (PBS) (Open Source)
  - zur Sicherung von VM, Containern und physischen Linux Hosts, auch mehrere Proxmox VE Hosts
    (Incrementell, VolumeBackup, File-Restore, Deduplizierung, Checksum, Verschlüsselung, Remote Datastore Synchronisation)
  - kein Backup von PBS- oder PVE-Hosts (PBS-VM kann vom PVE gesichert werden, aber nicht auf PBS-Storage)
  - Nutzerverwaltung ("Datastore User" für Backup), 2FA, Anbindung an AD oder LDAP
• Deduplizierung
  - Backups werden in Blöcke (Junks) aufgeteilt
  - Junks werden auf dem Speicherpool global dedupliziert (also nicht nur pro VM)
  - erhebliche Platzeinsparung (bis 70%), höhere Geschwindigkeit
• Backup clientseitige Verschlüsselung (stört Deduplizierung nicht) mit Encryption Key pro PVE-Cluster (separat sichern!)
• Verify-Jobs zum Prüfen der Backups, Pruning (vor GC) löscht Metadaten, Garbage Collection löscht abgelaufene Backups per Default und GUI
• Tape Backup: LTO-Unterstützung, Aufbewahrungsrichtlinien, Bandbibliotheken, Barcode für Librarys
• ab PBS 3.3: Push Sync für Backups (Ransomware-sicher)
  - Sync-Jobs (Push / Pull) zwischen 2 PBS auf Datastore-Ebene
  - Backups lassen sich zwischen PBS-Instanzen dedupliziert abgleichen, bandbreiteneffizient auch über WAN
  - Übertragungszeitfenster können definiert werden

• VMWare nach Kernel-Update Module neu erzeugen: sudo vmware-modconfig --console --install-all
• VMWare deinstallieren: (sudo) vmware-installer -u vmware-workstation

• System aktualisieren: (sudu) apt-get update && apt-get upgrade
• ggf. Voraussetzungen erfüllen: (sudo) apt-get install gcc build-essential
• VMWare Bundle herunter laden: wget https://download3.vmware.com/software/wkst/file/VMware-Workstation-Full-16.2.3-19376536.x86_64.bundle
• Recht zum Ausführen setzen: chmod a+x VMware-Workstation-Full-16.2.3-19376536.x86_64.bundle
• Bundle installieren: (sudo) ./VMware-Workstation-Full-16.2.3-19376536.x86_64.bundle
• VMWare starten: vmware

VMWare Workstation 16 unter Ubuntu 22.04:
https://www.itzgeek.com/how-tos/linux/ubuntu-how-tos/how-to-install-vmware-workstation-16-pro-on-ubuntu-22-04-ubuntu-20-04.html

• UK: Proxmox PVE Virtualisierer
• UK: Proxmox Befehle und Tips

Beide HA Speicheranbindungen funktionieren bei Proxmox immer mit einer Downtime beim Desaster Recovery.
Die Live Migration von VM ist möglich, selbst bei lokalem Storage.

• Datacenter mit 2 Nodes + lokalen Storages (mehr als 2 Nodes -> CEPH)
• lokales File- und Block-Storage
• bessere Performance gegenüber CEPH (Zugriff lokal)
• asynchrone Verteilung auf alle Storage
• für Datenbanken nicht geeignet, besser DB-Cluster oder CEPH
• ZFS Pool muß auf beiden Storages identisch heißen -> Storage wird repliziert
  rpool = lokales System
  vm-pool = für VMs
• VM erstellen, dann Replication einrichten (Bsp. alle 5 min)
  -> Container wird in definierter Zeit repliziert
  -> HA wird pro VM definiert
    More (rechts) -> Manage HA -> HA aktivieren
• HA wartet 2 min. (Zeit fest!) bei Serververlust
  -> dann startet VM auf 2. Host
  -> Downtime = 2 min. immer beim HA-Wechsel
• drittes Quorum erforderlich, Mehrheit hat gültigen Storage
  Quorum ist nur in Shell sichtbar (pvecm status)
• Datacenter: HA zeigt Status
• HA-Gruppen: Priorität des Hostes für VM definieren
• laufende VM können live zwischen den Hosts migriert werden
• laufende CT können nicht migriert werden

Installation:

• Management-Port fest auf IP legen
  - vmbr0 Config-Bridge löschen
• Corosync (Cluster-Netzwerk) direkt auf ein Interface legen
  2. Netzwerkkarte sinnvoll (ggf. GUI-Netz)
• falls möglich Ports bündeln
  - Linux Bond, Mode= LACP oder Balance
• Bond für Storage ohne Switch (performanter)
• VM-LAN: Linux Bridge vmbr0 -> Port oder Bond zuweisen
  (VLAN aware, keine IP)
• PVE1: Join Info kopieren
• PVE2: Join Cluster
  - Netzwerke wählen
• PVE3 für Quorum
  - Quorum auf Debian Mini-PC  (apt install corosync-qdevice /em)
  - physischer PBS-Server gut als Quorum geeignet

• verteilte open source Storage Lösung (File, Block, Object-Storage)
• bessere Redundanz und Datensicherheit gegenüber ZFS
• CEPH Netzwerk Latenz darf 9ms nicht überschreiten! (10..25 Gb/s)
  -> CEPH geht nicht über mehrere Standorte
  -> CEPH hat vergleichsweise hohe Latenz
• synchrone Verteilung auf alle Storage
• selbstheilend
• gutes Dashboard im PVE
• Update-Installation wie PVE Updates
• läuft auf Standard-Hardware, keine Hersteller-Liste
• Subscription- (mit PVE Subscription) oder NoSubscription Updates
• HDs zufügen / verschiedene HD-Größen / Hosts zufügen
• RADOS Block Device für PVE VMs
• PVE Client verhandelt mit CEPH und speichert auf einen Datenträger
  CEPH synchronisiert Daten selbständig auf (min. 2) weitere Kopien
• CEPH wird über PVE pro Host installiert
• eigenes, performantes Netzwerk verwenden! (25 Gb/s) - (Public Network + Cluster Network gemeinsam)
  -> Full Meshed Network for 3x CEPH (=keine Switche, spart ca. 35.000,-)
• CEPH Monitor für Host2 + Host3 nachinstallieren, Host1 wird automatisch installiert
• CEPH Manager für Host2 oder 3 installieren, 2x Manager genügt
• CEPH OSD = Datenträger, nur NVMe/ SSD, alle Datenträger pro Host hinzu fügen  (OSD zu phys. HD dokumentieren)
• CEPH Pools anlegen, Size=3 (Anzahl der Replikate), Min.Size=2 (sonst geht CEPH down)
• CEPH / DephFS: 3x Metadaten Server pro Host erstellen
• VM: Storage Move-to: CEPH-Pool
• CEPH / OSD: Global Flags (noaut usw.) setzen für Wartung

Grundvoraussetzungen:

• min. 3 Ceph-Server
  3x CEPH (immer ungerade Anzahl) Monitor für Quorum, Client-Management
  CEPH Manager (Monitoring-Daten, Schnittstelle für ext. Monitoring)
• min. 4x OSD (Datenträger) pro Cluster, gleiche Anzahl pro Host empfohlen
• ausschließlich Einsatz von Flash statt HDs
• Implementierung eines Monitoringsystems für Disk- und Poolauslastung

Proxmox Remote Migration

• Migration von VM oder LXC von einem Host auf einen anderen über das Netzwerk
• kein Cluster erforderlich, verteilte Standorte und getrennte Systeme möglich
• Berechtigung über API-Token
• Anleitung: https://www.thomas-krenn.com/de/wiki/Proxmox_Remote_Migration?xtxsearchselecthit=1
  
  

Proxmox Datacenter Server

• Verwaltung von mehreren Proxmox VE oder PBS-Servern
• Server müssen nicht im selben Cluster sein
• Vertrauensstellung wird durch Fingerprint hergestellt (PVE: Zertifikate -> pve-ssl.pem)

Cluster (ermöglicht Livemigration, Hochverfügbarkeit, gemeinsame Oberfläche)
-> Datacenter -> Cluster (Cluster erstellen, weitere Hosts beitreten)

• zentrales Management: Single web interface allows you to manage all servers in the cluster
• Nodes mit selber Version, Hosts mit gleichem CPU-Vendor erforderlich (kein Mischbetrieb AMD - Intel)
• VM Live-Migration: move virtual machines between physical servers without interrupting their service (99ms).
• VM Replication: Replicate virtual machines for backup and disaster recovery purposes (nur ZFS).
• High Availability (HA): With features like shared storage or replication, you can automatically restart virtual machines on another node if one server fails.
  (1 Min. Umschaltzeit, ohne zentralen Storage wird die letzte Replication-Kopie genutzt)
• Cluster-wide Firewall
• ungerade Anzahl an Host erforderlich (Corosync Quorum), wichtig wenn man HA nutzt
  (Lösung: zusätzliches QDevice (auf Raspberry, Backup-Server...), oder höhere Votes für einen Host festlegen)
• IDs dürfen im Cluster nur einmal vorhanden sein -> hinzu gefügter Host sollte leer sein
• ZFS erforderlich (also kein RAID-Controller + LVM)
• NTP Zeit muß synchron sein
• LANs (empfohlen):
  - Corosync - PVE-Cluster
  - Ceph - Storage
  - vmbr0 - VMs
• Cluster synchronisiert /pve/ Konfigurationen
• fügt 2 oder mehr Proxmox-Hosts zu einer Oberfläche hinzu, auch ohne zentralen oder replizierten Storage (2 Instanzen bilden "Mehrheit")
• mit zentralem Storage können VM im laufenden Betrieb verschoben werden (HA, Failover)
• auch ohne zentralem Storage geht Livemigration im Cluster (entsprechend langsam), Server-Sync (Bsp. minütlich)
• dediziertes (schnelles!) Storage-Netz für ZFS Sync
• Achtung: VMs dürfen keine gleichen Namen (101) haben! Am Besten leeren Host hinzu fügen. Sync. Storage-Pools müssen gleichen Namen haben.
• https://pve.proxmox.com/wiki/Cluster_Manager
• CEPH (empfohlen) ist ein selbstheilender, sich selbst verwaltender, frei skalierbarer Speicher über mehrere Geräte hinweg (Open Source Software)
  - min. 3 Server
  - min. 4 Datenträger je Server
  - dediziertes Storage-LAN (min. 25 Gb/s bei NVMe)

• UK: wichtige Befehle (Linux/Proxmox/ZFS)
• UK: Proxmox PVE Server
• https://www.redhat.com/de/topics/virtualization/what-is-KVM
• KVM Management Tools: https://www.linux-kvm.org/page/Management_Tools
• KVM Community: https://www.linux-kvm.org/page/Main_Page
• Windows in KVM: https://www.makeuseof.com/create-windows-virtual-machine-in-linux-with-kvm/
• Anleitung dt.: https://docs.linuxmuster.net/en/stable/appendix/install-on-kvm/index.html
• https://docs.linuxfabrik.ch/software/kvm.html
• Hot-Backup mit virtnbdbackup utility for libvirt: https://github.com/abbbi/virtnbdbackup
• VMWare in Proxmox konvertieren (vor Proxmox 8.2): https://pve.proxmox.com/wiki/Migrate_to_Proxmox_VE#Migration

Volle KVM/Qemu-Virtualisierung, Verwaltung mehrerer VMs

• egrep -c '(vmx|svm)' /proc/cpuinfo  - Virtualisierung verfügbar? muss "0" ergeben
• sudo apt install qemu-kvm qemu-system qemu-utils python3 python3-pip libvirt-clients libvirt-daemon-system bridge-utils virtinst libvirt-daemon virt-manager -y  - Qemu installieren
• sudo systemctl status libvirtd.service  - Dienst überprüfen
• sudo virsh net-start default  - virt. Netzwerk zuweisen
• sudo virsh net-autostart default  - Autostart
• sudo virsh net-list --all  - Status prüfen
• virt-manager  - startet Virtualisierungs-Manager GUI
• Quelle und alle Schritte: https://christitus.com/vm-setup-in-linux/

• Electron-App, nutzt KVM und Containervirtualisierung unter Linux
• guter Assistent führt per GUI durch alle Installations-Schritte
• Programm lädt und installiert auf Wunsch automatisch das Gast-(Windows)-OS per Dockur
• Anwendungen lassen sich einzeln per RDP aus dem Wirtsystem aufrufen und fühlen sich wie nativ in Linux installiert an
• Windows läuft als VM innerhalb eines Docker-Containers und kommuniziert mit dem Anwender über Winboat Guest Server per FreeRDP
• Dateisystem-Integration über durchgereichtes Verzeichnis in Netzwerkumgebung und Drag & Drop
• Windows-VM läuft auch im Browser (http://127.0.0.1:8006), aber RDP ist flüssiger
• Netzwerk ist per Default zum LAN gekapselt, hat aber Internetzugriff
• USB Passthrough (Beta) funktioniert super

Kernel-Based Virtual Machine (KVM) ist eine Open Source-Virtualisierungstechnologie, die im Linux® Kernel integriert ist.

Diese Technologie wird unter anderem genutzt bei:

• UK: Proxmox VE
• WinBoat (siehe unten)
• Linux onboard (siehe unten)

Voraussetzung: Hardware-Virtualisierungs-Unterstützung durch die CPU.

Lizenzierung nicht mehr per CPU, sondern per Core!
1 Lizenz gilt für max. physische 24 Cores (ohne HT). Dabei ist die Anzahl der physischen CPUs egal.
Vorhandene Lizenzen für VMware vSphere 6.x sind für vSphere 7 nicht gültig.
Mit aktueller Wartung lassen sich die Keys im VMWare-Portal updaten. Dabei werden die alten Keys deaktiviert.

- vSphere Lifecycle Manager vereinfacht Updates für VMware-Software und Firmware über vSphere oder REST API.
- vCenter Server wird nun auch aus vSphere Client aktualisiert.

02/2017: Still und heimlich wurde der ESXi Embedded Host Client als produktiv nutzbares Feature in ESXi 6.5 und in ESXi 6.0 U3 integriert.
Mit diesem Webclient kann man nun auf den C#-Client verzichten oder hat zumindest ein interessantes neues Werkzeug in der Hand.

- verwaltet max 3 Hosts (6 CPUs) mit einer Lizenz

- vSphere Essentials Plus erweitert die Basisfunktionen um:
  - Data Recovery
  - High Availability (HA) - Failover bei Hardware- und Systemausfall
  - vMotion - Verschieben von laufenden VMs zwischen den Hosts

Neues in Version 6.5:

- Der Update-Manager ist in der vCenter Server Appliance integriert.
- Der vSphere Client WEB arbeitet wahlweise wie gewohnt mit Flash oder nativ mit HTML5 und benötigt kein PlugIn mehr. Leider ist die HTML-Version immer noch sehr eingeschränkt.
- der ESXi ist nun per WEB-Client erreichbar.
- der vSphere C# -Client wird nicht mehr unterstützt.
- neues Filesystem VMFS6 mit neuem Snapshoot-Format.
- VM mit neuer vHardware 13 können nun bis zu 6TB RAM erhalten (4TB in V 6.0).
- Support für 512e Festplatten (Physisch 4096 Bytes, Emuliert 512 Byte). Nach wie vor KEIN Support für 4k Native!
- Der Update-Manager ist in der vCenter Server Appliance vollständig integriert. Die Windows Appliance verliert an Bedeutung.
- höhere Skalierbarkeit und Geschwindigkeit des vCenter Servers.
- verschlüsselte VMs.
- Veeam Backup unterstützt VMWare 6.5 erst ab Version 9.5 Update1 (Q1/2017)

Interessante neue Features der Version 6.0:
- USB 3.0 Unterstützung am Host und in den VMs.
- LPT und COM -Schnittstellen lassen sich jetzt in den VMs deinstallieren. Das spart Ressourcen.

Die Installation der vCenter Server Appliance funktioniert nicht mehr über OVA-Dateien. Die ISO-CD muß am Installations-PC gemountet werden.
- /vcsa/VMware Client Integration Plug-In installieren.
- vcsa-setup.html von CD starten.

Es gibt mit VMware 6 wieder einen (letzten) aktualisierten vSphere C# Client!
- Der vSphere C# Client wurde nicht aktualisiert und verliert weiter an Bedeutung. Ganz ohne ihn geht es aber immer noch nicht.
Er ersetzt noch nicht den WEB-Client, aber er wurde um diverse Funktionen erweitert.

02/2017: Still und heimlich wurde der ESXi Embedded Host Client als produktiv nutzbares Feature in ESXi 6.5 und in ESXi 6.0 U3 integriert.
Mit diesem Webclient kann man nun auf den C#-Client verzichten oder hat zumindest ein interessantes neues Werkzeug in der Hand.

- Verwaltung von HW5 - HW8-VMs im VMware 5 / 5.5 / 6 Mode.
- ReadOnly Support von HW 9 - 11.

VMware 5.5 Nutzer: vSphere Client 5.5 muß installiert bleiben.

Auch der WEB-Client punktet mit neuen Funktionen und deutlich höhrerer Performance.

NTFS 4.1 (VMWare 6):
- unterstützt Kerberos Zertifikate
- AD-Integration erforderlich!
(NFS-User im AD anlegen, User muß Vollzugriff auf Storage haben, User auf allen Hosts angeben.)

Virtual SAN (VMWare 6): - separate Lizenz!!
- min. 3 Hosts mit lokaler HD + SSD erforderlich.
- lokaler Speicher als VMotion-Speicher für alle Hosts.
- kein zentraler Storage erforderlich.

Virtual Volumes (VMWare 6):
- RAID-Level jeder VMDK individuell (virtuell) konfigurierbar.
- jede VMDK ist ein virtuelles Volume.
- arbeitet mit SAN und NAS.

Server Voraussetzungen:

SSH-Console im vSphere Client aktivieren

Klicken Sie oben auf den Tab „Configuration“
- Klicken Sie unten links unter „Software“ auf dem Punkt „Security Profile“
- Klicken Sie anschließend oben rechts auf Properties
- Klicken Sie dort auf SSH und anschließend auf Options
- Starten Sie die SSH Dienste mit „Start“. Dienst kann bei Bedarf automatisch mit Host gestartet werden.

SSH in der Firewall aufmachen

Dann ist die Anmeldung per WinSCP (File Protocol = "SCP") oder Putty (SSH) auf den Host möglich.

Passwort ändern

passwd root
(ggf. Root-Berechtigung erhalten: su- )

ESXTOP - Anzeigen der Prozesse

• erfordert TPM 2.0 und Secure Boot, sonst daurehaft Warnmeldung "Alarm für TPM-Hostnachweis"

Einen virtuellen Datenträger zu verkleinern ist keine triviale Aufgabe und kann den Datenträger der VM irreparabel beschädigen. Wegen der damit verbundenen Risiken hat VMware diese Option aus dem vSphere Client entfernt und bietet sie auch nicht in den
VM-Einstellungen der Workstation.

Mit den mitgelieferten VMWare Tools kann dies realisiert werden. Im Programmordner von VMware Workstation ist das Tool “vmware-vdiskmanager” zu finden.

- virtuelle Maschine beenden.
- alle Snapshoots löschen (sonst schlägt der Vorgang fehl).
- Name der gesuchten Festplatte ermitteln.
- Administrative Kommandozeile, in den Programmordner (“cd \prog*\vm*\vm*“) hangeln.
- zum verkleinern der Festplatte folgenden Befehl ausführen:

Das funktioniert nur mit dynamischen Festplatten. Wurde der Speicher fest zugewiesen (preallocated), muss die Festplatte vorher konvertiert werden. Während des Vorgangs reduziert sich die Größe zugleich.

Der numerische Wert hinter dem Parameter -t ist ein festgelegter Wert aus den folgenden Plattentypen:

   0 : einzelne dynamische Festplatte    1 : dynamische Festplatte zu je 2 GB gestückelt    2 : einzelne Festplatte mit fest zugewiesener Größe (preallocated)    3 : einzelne Festplatte mit fest zugewiesener Größe (preallocated) zu je 2 GB gestückelt

Nach der Konvertierung muss die alte Festplatte entfernt, die neue eingefügt werden.

Andere Lösung: Quelle mit Imagebackup sichern, leeres Ziel mit gewünschter Größe erstellen, Image zurück sichern.

Der EVC-Mode “Enhanced vMotion Compatibility” definiert den gemeinsamen CPU-Befehlssatz aller VMWare-Hosts in einem Cluster und ermöglicht vMotion.

Es ist kein Mischbetrieb von AMD und INTEL im Cluster möglich.

Die Anhebung der Funktionen ist bei eingeschaltete VMs möglich.
Die Änderung wird aber in jedem Fall erst nach einem Neustart wirksam.

VMWare Tools für Windows XP, Server 2003 u.a. Download in den jeweiligen Paketen.

• Windows 7 SP1, Server 2008R2 SP1 - Server 2019: Version 11.1.5 (08/2020) - VMWare 7.0p1
• Windows Vista SP2, Server 2008 SP2, Server 2008R2 SP1 - Server 2019: Version 11.0.6 (04/2020) - VMWare 7.0
• Windows Vista SP2, Server 2008 SP2, Server 2008R2 SP1: Version 10.3.2 (09/2018) - VMWare 6.5 u3
• latest Windows Server 2000, Server 2003, Windows XP: Version 10.0.12 (10/2016) - VMWare 6.0

https://packages.vmware.com/tools/releases/

• UK: VMware Backup
• freies Patch und ISO- Repository https://esxi-patches.v-front.de/

VMWare Converter 6.3 (01/2023)

VMWare Converter 6.2 (12/2017)

Kann auf folgenden Plattformen installiert werden:

• Windows Vista SP2 (32-bit and 64-bit)
• Windows Server 2008 SP2 (32-bit and 64-bit)
• Windows 7 (32-bit and 64-bit)
• Windows Server 2008 R2 (64-bit)
• Windows 8 (32-bit and 64-bit)
• Windows Server 2012 (64-bit)
• Windows 8.1 (32-bit and 64-bit)
• Windows Server 2012 R2 (64-bit)
• Windows 10 (32-bit and 64-bit)
• Windows Server 2016 (64-bit)

Unterstützt folgende Quellen:

• Windows Vista SP2 (32-bit and 64-bit)
• Windows Server 2008 SP2 (32-bit and 64-bit)
• Windows 7 (32-bit and 64-bit)
• Windows Server 2008 R2 (64-bit)
• Windows 8 (32-bit and 64-bit)
• Windows Server 2012 (64-bit)
• Windows 8.1 (32-bit and 64-bit)
• Windows Server 2012 R2 (64-bit)
• Windows 10 (32-bit and 64-bit)
• Windows Server 2016 (64-bit)
• CentOS 6.x (32-bit and 64-bit)
• CentOS 7.0, 7.1, 7.2, 7.3, 7.4, 7.5 (64-bit)
• Red Hat Enterprise Linux 4.x (32-bit and 64-bit)
• Red Hat Enterprise Linux 5.x (32-bit and 64-bit)
• Red Hat Enterprise Linux 6.x (32-bit and 64-bit)
• Red Hat Enterprise Linux 7.0, 7.1, 7.2, 7.3, 7.4, 7.5 (64-bit)
• SUSE Linux Enterprise Server 10.x (32-bit and 64-bit)
• SUSE Linux Enterprise Server 11.x (32-bit and 64-bit)
• Ubuntu 12.04 LTS (32-bit and 64-bit)
• Ubuntu 14.04 LTS (32-bit and 64-bit)
• Ubuntu 16.04 LTS (32-bit and 64-bit)

VMWare Converter 5.2 (07/2014)

Kann auf folgenden Plattwormen installiert werden:

• Windows XP Professional SP3(32-bit and 64-bit)
• Windows Server 2003 R2 SP2 (32-bit and 64-bit)
• Windows Vista SP2(32-bit and 64-bit)
• Windows Server 2008 SP2 (32-bit and 64-bit)
• Windows Server 2008 R2 (64-bit)
• Windows 7 (32-bit and 64-bit)
• Windows 8 (32-bit and 64-bit)
• Windows Server 2012 (64-bit)

Unterstützt folgende Quellsysteme:

• Windows XP Professional SP3 (32-bit and 64-bit)
• Windows Server 2003 R2 SP2 (32-bit and 64-bit)
• Windows Vista SP2 (32-bit and 64-bit)
• Windows Server 2008 SP2 (32-bit and 64-bit)
• Windows Server 2008 R2 (64-bit)
• Windows 7 (32-bit and 64-bit)
• Windows 8 (32-bit and 64-bit)
• Windows Server 2012 (64-bit)
• Red Hat Enterprise Linux 3.x (32-bit and 64-bit)
• Red Hat Enterprise Linux 4.x (32-bit and 64-bit)
• Red Hat Enterprise Linux 5.x (32-bit and 64-bit)
• Red Hat Enterprise Linux 6.x (32-bit and 64-bit)
• SUSE Linux Enterprise Server 9.x (32-bit and 64-bit)
• SUSE Linux Enterprise Server 10.x (32-bit and 64-bit)
• SUSE Linux Enterprise Server 11.x (32-bit and 64-bit)
• Ubuntu 10.04 LTS (32-bit and 64-bit)
• Ubuntu 12.x (32-bit and 64-bit)
• Ubuntu 13.04 (32-bit and 64-bit)
• Ubuntu 13.10 (32-bit and 64-bit)

• VMware Desktop products
  • Workstation 7.x, 8.x, 9.x, and 10.x
  • Fusion 3.x, 4.x, 5.x, and 6.x
  • Player 3.x, 4.x, 5.x, and 6.x
• VMware vCenter virtual machines
  • vSphere 5.5
  • vSphere 5.1
  • vSphere 5.0
  • vSphere 4.1
  • vSphere 4.0
• Third-party backup images and virtual machines
  • Acronis True Image Echo 9.1 and 9.5, and Acronis True Image Home 10 and 11 (.tib)
  • Symantec Backup Exec System Recovery (formerly LiveState Recovery) 6.5, 7.0, 8.0, and 8.5, and LiveState Recovery 3.0 and 6.0 (.sv2i format only)
  • Norton Ghost version 10.0, 12.0, and 14.0 (.sv2i format only)
  • Parallels Desktop 2.5, 3.0, and 4.0 (.pvs and .hdd). Compressed disks are not supported
  • Parallels Workstation 2.x (.pvs). Compressed disks are not supported. Parallels Virtuozzo Containers are not supported.
  • StorageCraft ShadowProtect Desktop, ShadowProtect Server, ShadowProtect Small Business Server (SBS), ShadowProtect IT Edition, versions 2.0, 2.5, 3.0, 3.1, and 3.2 (.spf)
  • The Microsoft VHD format for the following sources:
    • Microsoft Virtual PC 2004 and Microsoft Virtual PC 2007 (.vmc)
    • Microsoft Virtual Server 2005 and 2005 R2 (.vmc)

Je nach Quellsystem kann Converter 5 in folgende Zielsystem übertragen:

• VMware vCenter virtual machines
  • ESX 4.0 and 4.1
  • ESXi 4.0, 4.1, 5.0, 5.1, and 5.5
  • vCenter Server 4.0, 4.1, 5.0, 5.1, and 5.5
• VMware Desktop virtual machines
  • VMware Workstation 7.x, 8.x, 9.x, and 10.x
  • VMware Player 3.x, 4.x, 5.x, and 6.x
  • VMware Fusion 3.x, 4.x, 5.x, and 6.x

Quelle: vmware.com/support

VMWare Converter 4.3 (08/2010)

Unterstützt neu:

• Windows 7 als Quelle
• Server 2008 als Quelle
• vSphere 4.1 als Quelle und Ziel

Nicht mehr unterstützt:

• Windows 2000
• Windows NT
• OVF-Format

Kann auf folgenden Plattformen installiert werden:

• Windows XP Professional (32-Bit und 64-Bit)
• Windows Server 2003 SP2, R2 (32-Bit und 64-Bit)
• Windows Vista (32-Bit und 64-Bit)
• Windows Server 2008 (32-Bit und 64-Bit)
• Windows Server 2008 R2 (64-Bit)
• Windows 7 (32-Bit und 64-Bit)

Unterstützt folgende Quellen:

• Physische Maschinen mit folgenden Systemen:

• Windows XP Professional (32-Bit und 64-Bit)
• Windows Server 2003 SP2, R2 (32-Bit und 64-Bit)
• Windows Vista SP1 (32-Bit und 64-Bit)
• Windows Server 2008 SP2 (32-Bit und 64-Bit)
• Windows Server 2008 R2 (64-Bit)
• Windows 7 (32-Bit und 64-Bit)
• Red Hat Enterprise Linux 2.1 (32-Bit)
• Red Hat Enterprise Linux 3.0 (32-Bit und 64-Bit)
• Red Hat Enterprise Linux 4.0 (32-Bit und 64-Bit)
• Red Hat Enterprise Linux 5.0 (32-Bit und 64-Bit)
• Red Hat Linux Advanced Server 2.1 (32-Bit)
• SUSE Linux Enterprise Server 8.0
• SuSE Linux Enterprise Server 9.0 (32-Bit und 64-Bit)
• SuSE Linux Enterprise Server 10.0 (32-Bit und 64-Bit)
• SuSE Linux Enterprise Server 11.0 (32-Bit und 64-Bit)
• Ubuntu 5.x
• Ubuntu 6.x
• Ubuntu 7.x (32-Bit und 64-Bit)
• Ubuntu 8.x (32-Bit und 64-Bit)
• Ubuntu 9.x (32-Bit und 64-Bit)
• Ubuntu 10.04 (32-Bit und 64-Bit)

• VMware Desktop-Produkte
  • Workstation 5.x, 6.x und 7.x
  • Fusion 2.x und 3.x
  • Player 2.x und 3.x
  • Server 2.x
• Virtuelle VMware vCenter-Maschinen
  • vSphere 4.1
  • vSphere 4.0
  • ESX 3.0
  • ESXi 3.5 Installable und Embedded
  • ESX Server 2.5.x (wenn VirtualCenter 2.5 oder höher ESX Server verwaltet)
  • vCenter Server 2.5
• Sicherungs-Images und virtuelle Maschinen von Drittanbietern
  • Microsoft Virtual PC 2004 und Microsoft Virtual PC 2007
  • Microsoft Virtual Server 2005 und Microsoft Virtual Server 2005 R2
  • Virtuelle Hyper-V Server-Maschinen, auf denen Windows-Gastbetriebssysteme ausgeführt werden
  • Virtuelle Hyper-V Server-Maschinen, auf denen Linux-Gastbetriebssysteme ausgeführt werden
  • Acronis True Image Echo 9.1, 9.5 und Acronis True Image 10.0, 11.0 (Home-Produkt)
  • Symantec Backup Exec System Recovery (ehemals LiveState Recovery) 6.5, 7.0, 8.0 und 8.5, LiveState Recovery 3.0 und 6.0 (nur .sv2i-Dateien)
  • Norton Ghost Version 10.0, 11.0, 12.0, 13.0 und 14.0 (nur .sv2i-Dateien)
  • Parallels Desktop 2.5, 3.0 und 4.0
  • StorageCraft ShadowProtect 2.0, 2.5, 3.0, 3.1 und 3.2

Je nach ausgewählter Quelle kann Converter 4.3 in die folgenden Ziele konvertieren:

• Virtuelle VMware vCenter-Maschinen
  • ESX/ESXi 3.x, 4.0 und 4.1
  • vCenter Server 2.5, 4.0 und 4.1
• Virtuelle VMware Desktop-Maschinen
  • VMware Workstation 5.x, 6.x und 7.x
  • VMware Player 1.x, 2.x und 3.x
  • VMware Server 1.x und 2.x
  • VMware Fusion 1.x, 2.x und 3.x

Quelle: vmware.com/de/support/

Siehe passende VMWare Tools für Windows XP, Server 2003 u.a.

Physisches Windows XP konvertieren in ESXi 7.0
1. VMWare Converter 5 auf WinXP installieren
2. Physischen PC konvertieren in VM Workstation 10
3. VMWare Converter 6 auf aktuellem PC inst.
4. VM Workstation 10 - Datei konvertieren in ESXi 7.0
5. VMWare Tools 9 als ISO mounten und inst. (VMWare 5.5 Paket)

Sysinternals Disk2VHD
Robuster, einfacher Konverter physische Disk -> VHDX

• "disk2vhd.exe" auf dem zu konvertierenden PC starten (Windows)
• ggf. hardwarespezifische Treiber und Guest-Tools deinstallieren, Snapshots entfernen
• "Use VHDX" und "Use Volume Shadow Copy" wählen
• Zielspeicherort auf anderer HD wählen
• bei Bootsystemen auch die zugehörigen "System Reserved" Laufwerke wählen
• Create
• Image auf Zielhost kopieren
• neue VM erstellen, VHD einbinden

PC nach Proxmox konvertieren:
Import von ESXi, vSAN, OVF, VMDK..
https://pve.proxmox.com/wiki/Migrate_to_Proxmox_VE#Automatic_Import_of_Full_VM

Folgende Einstellung im WEB-Client erspart Angabe der Domäne bei jedem Login: Verwaltung (Administration) / SingleSignOn / Konfiguration (Config) / Identitätsquellen (IdentitySources): SSO-Domaine (Default: vsphere.local) wählen, ->Ball drücken (DefaultDomain, Als Standard festlegen)

ESX Konsole:
ALT-F1: Virtual Console
ALT-F2: GUI

Firewall ein/aus
ESX-Konsole
* esxcli network firewall get -> Status anzeigen
* esxcli network firewall set --enabled false  -> Firewall aus
* esxcli network firewall set --enabled true  -> Firewall ein
* esxcli network firewall ruleset –enabled false –ruleset-id [rulesetName]  -> schaltet einzelne Regel ein/aus
* esxcli network firewall ruleset list  -> zeigt alle aktiven und nicht aktiven Regeln
* esxcli network firewall ruleset allowedip list  -> zeigt alle Regeln mit den erlaubten IP-Adressen
* esxcli network firewall ruleset rule list -> listet Regeln und Ports auf

VMWare Konsole hat per Default keine Zwischenablage.
Aktivieren siehe Zwischenablage nutzen.

Assistent für "VM klonen" ist nur im vCenter verfügbar.
Lösung ohne vCenter über Veeam Backup oder Konsolentool VMKFSTOOLS.
Reines Kopieren der Dateien erstellt Thick Provisioning HD.

- VMXNet3 Netzwerkkarte ist bis 100% schneller als die Intel E1000E!
Ab VM HW-Version 7. Optimiert für virtuelle Maschienen, Treiber in den VMTools.

ESX Performance Monitor:
• ESXTop
• RVTools

Professionelle USB-Server: https://www.wut.de

- Grundeinstellungen: - BIOS: HT im Server aus (testen)

    BIOS: Active State Powermanagement = disable.
  BIOS: VT-d = on
- VMXNet3 Netzwerkkarte wählen.

- vCenter Hauptanmeldung: administrator@vsphere.local
  (Webclient: Verwaltung (Administration) / SingleSignOn / Config / Identity Sources: "vsphere.local" -> Ball "Default Domain" klicken.
  Dann muß man keine Domäne beim Login mehr angeben. )

- SSO Single Sign On über Webclient / Verwaltung / SSO einrichten!

- Root-PW ändern: passwd root oder in der GUI an der Konsole.
- ESXi Kommando: "vscsistats" - listet Plattenstatus und Parameter.

- Wartungsmodus aktiviert
- "mount /dev/cdrom /mnt" 
- "df" - zeigt die Geräte an
- "cd /mnt" - geht auf CD
- "ls" oder "dir" - zeigt Inhalt
- "esxupdate query" - zeigt aktuellen Update-Stand (24.9.2009 + Update01 vom 18.12.2009)
- "cd ESX-4.0.0_Update01a....."
- "esxupdate -m metadata.zip update   -> Update wird ausgeführt 
- "cd ESX400-200912001"  -> ausführen OK
- "cd ESX400-201002001"  -> ausführen OK
- "cd ESX400-201003001  -> ausführen OK

 Alle Updates erfolgreich ausgeführt.
- Wartungsmodus beendet, Server neu gestartet. 

Links:

https://labs.vmware.com/flings    Original VMWare Tools

http://www.running-system.com/if-you-prefer-the-gui-give-visualesxtop-a-try/   ESXTOP Performancetool

http://www.robware.net/  RVTools Performancemonitor

https://www.windowspro.de/virtualisierung/kostenlose-tools-fuer-vmware-esx Übersicht kostenlose VMWare Tools
http://www.vmwarearena.com/

https://blog.teamix.de/2015/03/12/vmware-vsphere-6-download-now-available/ -VMWare 6

http://www.running-system.com/vsphere-6-esxtop-quick-overview-for-troubleshooting/

http://www.windowspro.de/virtualisierung/kostenlose-tools-fuer-vmware-esx#Monitoring

Veeam Backup & Replication (US)

• leistungsstark, robust
• (---) sehr teuer
• (--) nur noch als Mietlizenz
• agentenlos, imagebasiertes Backup
• (+++) skalierbar bis Oracle, SQL, Exchange, O365, Cloud, Tape, Tapelibrary
• (+) Datendeduplizierung über den gesamten Job
• (+) Restore auf Datei-, Ordner-, Laufwerk- oder VM-Ebene
• free-ESXi wird nicht unterstützt
• Community Edition free bis 10 Workloads
• läuft nur unter Windows

Altaro Backup & Replication  (DE)

• großer Funktionsumfang
• free Edition bis 2 VMs
• free-ESXi wird nicht unterstützt
• lizenzierbar als Subscription oder Dauerlizenz
• läuft nur unter Windows Server

Novastor (DE)

• bisher keine Erfahrungen
• physische (Windows, Linux) und virtuelle Umgebungen (VMWare, Hyper-V)
• Tape Librarys

Nakivo Backup & Replication  (US)

• sichert physische und virtuelle Windows- und Linux-Systeme, die unter VMware vSphere, Microsoft Hyper-V, Nutanix AHV oder in der AWS Cloud laufen
• sichert Microsoft 365 und Oracle RMAN
• granulare Wiederherstellung von Microsoft Exchange, MSSQL und Active Directory
• automatische Komprimierung und De-Duplizierung
• Backup-to-Tape, für das auch die Virtual Tape Library von AWS
• VM-Replikation
• Ransomware-resistente WORM-Sicherung
• läuft unter Windows, Linux und auf NAS-Systemen wie Qnap, Synology und FreeNAS

AOMEI Cyber Backup (Singapur)

• für VMWare vSphere, ESXi (auch kostenlose Version) und vCenter, Hyper-V, MS SQL-Server bzw. Standalone PC und Server
• (---) Dem Programm fehlt jede Intelligenz und Robustheit. Job-Konfiguration rudimentär.
• agentenlos, imagebasiertes Backup
• free Edition: bis 3 VMs (free-ESXi unlimited), 3 Hyper-V, 3 SQL-Datenbanken (Windows), 3 PCs (Windows), 1 Server (Windows)
• WEB-GUI
• Linux-Version (2.3) recht rudimentär und praktisch unbrauchbar
• Windows-Version (3.0) deutlich umfangreicher, aber kein Vergleich mit der Robustheit von Veeam
• lizenzierbar als Subscription oder Dauerlizenz
• läuft unter Windows und Ubuntu Linux
• (-) während der Job läuft, kann er nicht editiert werden
• wenn ein Job läuft, kann er nicht für ein Restore ausgewählt werden
• (-) neue VM erscheinen erst nach "Source Device - aktualisieren" in der Backup-Liste
• (--) ein Job kann nur VMs eines Hostes enthalten
• (---) die zu sichernde Backup Devices können nachträglich im Job nicht geändert werden
• offenbar kann die Backup-VM nicht mit gesichert werden(?)
• (-) E-Mail Versand geht nur unverschlüsselt
• Bei neuen Backup-Jobs muss man manuell zuerst ein Vollbackup erstellen. Das Programm ist zu doof, das zu erkennen.
• Backup legt Verzeichnis an für jeden Job / VM / Backup
• ein neuer Job mit gleichem Namen sichert weiter in das vorhandene Verzeichnis, bietet aber die alten Restore-Points nicht an
• in der Versions-Historie werden die alten Jobs mit aufgeführt und lassen sich hier auch wieder herstelllen
• erstellt man einen neuen Job mit gleichem Namen, ist ein neues Vollbackup für alle VM erforderlich, falls eine neue VM hinzu gefügt wurde
• Installation in /opt/aomei/aomeicyberbackup/
• Default: admin / admin
• Doku: https://www.ubackup.com/enterprise/help/
• ChangeLog

• Installation path of AOMEI Cyber Backup: /opt/aomei/aomeicyberbackup
• Logfiles of AOMEI Cyber Backup (Ubuntu): /var/log/acb
• Logfiles (Windows): C:\Programmdateien (X86)\Aomei Cyber Backup\x64\
Instalation: https://www.ubackup.com/enterprise/help/install-in-linux.html

Veeam Backup kann neben virtuellen Maschinen auch physische PCs sichern.

Diese Funktion ist nur mit dem kostenpflichtigen Windows-Agent möglich.
Setzt man die Free-Edition des Agents ein, muß das Backup vom jeweiligen Client-Agent aus gesteuert werden.

Veeam Backup & Replication 10a (07/2020)

• Support für Windows 10 Build 2004 als Gast, Hypervisor oder Server
• Microsoft Exchange 2019 MetaCacheDatabase (MCDB) configurations support
• ReFS integration als Default Backup Repository

Veeam Backup & Replication 10 (02/2020)

Leistungsstarkes, zuverlässiges Backup-Programm besonders für virtuelle Umgebungen.
- Kompression und Deduplizierung
- Backup, Restore, Replikation, Copy-Jobs
- Verfügbar als Kauf- oder Mietversion

• Sockel-Preis bis 50% höher (Dauerlizenz)
• VUL-Preis bis 33% niedriger (Subscription, Abo)
• Pro-Sockel-Kunden erhalten 1 VUL-Lizenz pro Sockel (bis zu 6) dauerhaft kostenfrei
• VUL haben generell Enterprise-Funktionsumfang
• Essentials-Version: Preis gilt für 1 Sockel, Mindestverkauf 2 Sockel
• gemietete Software ist inclusive Wartung und stellt 1 Monat nach Vertragsablauf die Funktion ein

Über 100 neue Funktionen wie:

• Objekt-Storage kann richtlinienbasiert ältere Daten auf andere Storages auslagern (S3-kompatibel)
• neues leistungsstarkes NAS-Backup auf kurzfristig / langfristig / sekundär Speicher
• Backup Kopie Spiegelung
• Instant Recovery auch von physischen Servern in VMWare

• Veeam B&R Preis-Kalkulator: https://www.veeam.com/pricing-calculator
• Backup & Restore Domain Controller: Backing up Domain Controller: Best practices for AD protection (Part 1) (veeam.com)
• Patche und Updates: http://www.veeam.com/patches.html

Veeam Backup & Replication 11a (10/2021)

• Support für MS Server 2022 und MS Windows 10 Fkt. 21H1
• MS Windows 11 ready (basierend auf Pre-Releases)
• Microsoft Azure Stack HCI version 21H2 Support
• RHEL/CentOS 8.4, Ubuntu 21.04, Debian 11, SLES 15 SP3, OpenSUSE Leap 15.3, Fedora 34 Support
• VMware Cloud Director 10.3 Support
• VMware VMC 15 support
• VMware vSphere 7.0 U3 readiness based on the pre-release build
• cloudbasierte Unterstützung für AWS, Microsoft Azure und Google Cloud Platform
• Continuous Data Protection (CDP)

Veeam Backup & Replication 11 (02/2021)

• Verwendung der Backup Konsole ohne lokale Admin-Rechte
• individuelle Filter und Ansichten für die Backup Konsole
• gehärtete Linux Backup Repositorys zum Schutz vor Malware (Schutz gegen Löschen oder Überschreiben)

VBR 11 fordert per Default Verschlüsselung des Configuration Backups.

Veeam Backup & Replication 12.2 (09/2024)

• Veeam unterstützt die Virtualisierungsplattformen Nutanix AHV und Proxmox VE
  - keine LXC-Container
  - keine Replication Jobs
  
  
  
  
• Einrichtung der Proxmox VMs-Sicherung erfolgt identisch zu VMWare
• Veeam richtet eine VM als PVE-Worker ein (sinnvoll benennen, reichlich RAM + CPU)
• Lizenzwechsel VMWare -> Proxmox (!): VMWare Host löschen, Proxmox Host hinzu fügen, neu lizenzieren
  - 1 VMWare Host kostet 2 Sockets  (CPU-Sockel)
  - 1 Proxmox Host kostet 7 Instanzen (Anzahl VMs)
  -> Veeam Essentials Perpetual Lizenz lizenziert 2 Sockets oder 2 Instanzen (also kein Proxmox!)
  -> Veeam B&R Community Edition (free) unterstützt 10 VMs, Veeam B&R Essentials (kostenpflichtig) unterstützt 2 (!) Proxmox VMs!
• Backup-Zeit ist bei Proxmox nach meinem Gefühl länger als bei VMWare

Veeam Backup & Replication 12 (05/2023)
siehe: Upgrade Checklist - User Guide for VMware vSphere (veeam.com)

• "Transform Backup Chains" in Reverse Backups werden nicht unterstützt
• VMWare ESX und vCenter min. V.6.0
• Are you using File to Tape jobs? They have been reengineered for scalability and are no longer free with Veeam Backup & Replication 12. You will have a grace period of 3 months following the upgrade to Veeam Backup & Replication 12 during which your existing jobs will not consume a license.
• Veeam Backup & Replication 12 supports protecting NAS backups with Backup to Tape jobs
• Veeam Backup Essentials heisst jetzt Veeam Data Platform Essentials

Veeam Data Platform Essentials (vor V.12: Veeam Backup Essentials)

• enthält alle Features von Veeam Backup & Replication
• enthält alle Monitoring-, Reporting- und Kapazitätsplanungs-Tools von Veeam ONE
  Erhältlich sind unbefristete Lizenzen für 2 - 6 CPU-Sockel und ein- bis fünfjährige Abonnementlizenzen (Lizenzierung pro VM in 5-VM-Bundles) für bis zu 50 VMs. Die Essentials Lizenz ist limitiert auf 6 Sockel pro Firma.
• Vertrieb als "Veeam Backup Essentials Universal License" (max 50 Workloads) oder "Veeam Backup Essentials Socket License" (max. 6 CPUs).

Veeam Backup & Replication 13 (09/2025)

• Veeam Server, Proxy oder Repository Server wird jetzt als Appliance unter Rocky Linux (OVA, ISO) oder für phys. Server vorgehärtet und konfiguriert ausgeliefert
• künftige Linux-Patche werden über Veeam Updates mit ausgeliefert
• Client jetzt teilweise webbasiert (OS-unabhängig), vorläufig Vollclient nur unter Windows
• HA-Unterstützung durch dauerhafte Replizierung der PostgreSQL-Datenbank
• Community-Edition nur für Windows Version!

Tips:

• Der installierte Windows-Agent kann (logisch) nicht sein Bootlaufwerk wieder herstellen. Dafür ist das Baremetall Restore vom Recovery Medium erforderlich.
• Baremetal Restore vom Network Storage: beim Shared Folder muß der komplette Pfad zum Repository eingegeben werden, nicht nur die Freigabe!
• PC mit MBR/klassischem BIOS auf UEFI wieder herstellen (getestet):
  KB3156: MBR disk restore to UEFI system fails with "OS disk in backup uses MBR disk" warning (veeam.com)
• Agent unterstützt (auch Free-Version) mehrere routierende Backup-Ziele (Veeam Helpcenter)

Veeam Agent for Microsoft Windows (13) (2025)

    Veeam Agent v.13 läuft nicht mit Veeam B&R v.12!

Veeam Agent for Microsoft Windows (6.0) (2023)

    Veeam Agent v.6 läuft nicht mit Veeam B&R v.11!

Veeam Agent for Microsoft Windows (5.0) (2022)

- sichert physische Maschinen, einzelne Laufwerke, Verzeichnisse oder Dateien ab Windows 7 / 2008R2 bis Windows 10 / Server 2019 auf Wechseldatenträger, Laufwerke, NAS oder Veeam Backup Repository, mit lizenziertem Agent auch auf MS OneDrive.
- mit bootfähiger Wiederherstellungs-ISO, Bare Metal Recovery, Zuwachssicherung, Verschlüsselung
- Aufbewahrung nach Anzahl der Tage, Serverversion nach Anzahl der Widerherstellungspunkte
Veeam Agent für MS Windows gibt es als Free-, Workstation- und Serverversion.
Die Free-Edition sichert nicht in die Cloud und eingeschränkt in MS OneDrive.
Außerdem erlaubt sie nur einen Backup-Job sowie keine synthetischen Vollbackups.
Nur die Server-Version kann wöchentliche oder monatliche Backup-Pläne.
Mit der kostenpflichtigen Agent-Version läßt sich das Backup nicht nur vom Client, sondern in Verbindung mit Veeam B&R auch zentral steuern.
Das Backup eines physischen Servers mit der kostenlosen B&R Community-Edition ist ohne Agent-Lizenz möglich.
Die Oberfläche ist englisch.
Versionsübersicht: https://www.veeam.com/de/products-edition-comparison.html
Die älteste Version (Endpoint Backup 1.0) unterstützt Windows ab Win7 SP1.

Veeam Backup Community Edition 11/12/13

• Veeam B&R 13 Linux Edition unterstützt keine Community Edition
• kostenlos für privat und kommerzielle Nutzung
• bis zu 10 "Workloads" pro Instanz: beliebigen Kombination aus VMs, Cloud-Instanzen, physischen Servern oder Workstations
  - 1 Server
  - 1 Backup-Job
• Sicherung auf NAS, Tape (nur File2Tape), Bandbibliotheken stark eingeschränkt
  https://forums.veeam.com/tape-f29/community-edition-tape-backup-t84505.html
  https://www.veeam.com/de/virtual-machine-backup-solution-free.html
  
  

Veeam One Free - no restrictions on the number of hosts, management servers and Failover Clusters you can monitor and report
http://www.veeam.com/virtual-server-management-one-free.html

• alle Veeam-Dienste beenden mit Powershell: Get-Service Veeam* | Stop-Service -Force
• hängende Jobs, Beenden erzwingen: https://www.veeam.com/kb1727
• Postgre SQL-Datenbank verwalten/löschen: PGAdmin
• Mietlizenzen aktualisieren alle 24 Std. online ihre Lizenz und benötigen Port 443 und 80 offen.
• Logfiles in C:\ProgramData\Application Data\Veeam\Backup

Veeam Backup Dateitypen:

-.vbk Vollbackup.
-.vib Incrementelle Sicherungen nach dem Vollbackup, die sich auf die vorherige .VBK Sicherung beziehen.
-.vrb Incrementelle Sicherungen vor dem Vollbackup, die sich auf die nachfolgende .VBK Sicherung beziehen.
-.vbm enthält Backup Metadaten und beschleunigt viele Operationen (z.Bsp. Import of backup files). Dateien sind nicht erforderlich für ein Restore.

Veeam B&R Server ist nur für Windows verfügbar (v.13 auch für Linux).
Es lassen sich aber alle von VMWare/Hyper-V/Nutanix/KVM unterstützen OS sichern.

Hinweis: Nach Instant Recovery "Migrate to Production" nicht vergessen!

Veeam Backup Job - für Zweit-Backup, WAN-Backup, setzt nach Unterbrechung fort.

Alle Veeam-Dienste beenden mit Powershell: Get-Service veeam* | Stop-Service

Veeam SQL Express DB verkleinern / 10GB voll:
(C:\Program Files\Microsoft SQL Server\MSSQL13.VEEAMSQL2016\MSSQL\DATA\VeeamBackup.mdf und VeeamBackup_log.ldf)
- Veeam History (Default: 52 Wochen) kürzen
- SQL Management Studio:
  * Datenbank schrumpfen: Shrink Datenbank + Files (Veeam Dienste stoppen)
  * alte Sessions löschen: VeeamBackup / Programmability / Stored Procedures / DropStoppedOldJobSessions -> Execute Stored Procedure, Value: Tage (Bsp. 10) eintragen
  * größte Dateien suchen: VeeamBackup / Reports / Standard Reports / Disk Usage by Top Tables
  * wenn gar nichts mehr frei ist: SQL: TRUNCATE TABLE [VeeamBackup].[dbo].[Tombstones.Backups]
  * Clear Old Job Sessions KB1995: Veeam Backup & Replication console slow or unresponsive
- Removing Tapes from Catalog Removing Tapes from Catalog - User Guide for VMware vSphere (veeam.com)
  (File-to-Tape Jobs belegen sehr großen Katalog)
- ganzen Katalog verwerfen: Restore Backup-Datenbank, Katalog nicht auswählen

--> seit Version 12 unterstützt Veeam PostgreSQL (keine Größenbeschränkung, OpenSource)
- bei Neuinstallation wird PostgreSQL nun als Default vorgeschlagen
- MS SQL kann auch nachträglich in PostgreSQL geändert werden (https://www.zueschen.eu/migration-von-sql-express-zu-postgresql)