Hardware und Zugang

Es gibt 2 Server mit gleicher Hardware: hypervisor01 (1) bei rrbone und blech02 (2) im WILA.
Seit Herbst 2023 steht blech02 bei myloc in Düsseldorf.

Die 192er Adressen sind zwar private IP, aber aus dem FF@home Wartungsnetz zu erreichen.
Mit der Stromschaltleiste wird der Strom für das Gehäuse und damit zunächst für das Managementboard im Gehäuse eingeschaltet. Nun sind IPMI-Konsole und Webinterface des Managementboards nutzbar. Die Stromschaltleiste wird in Düsseldorf nicht benötigt.
Mit dem Managementboard kann dann der eigentliche Server eingeschaltet werden (im Webinterface: roter Knopf oben rechts).

Die Maschine (1) hat keine vorgeschaltete Stromschaltleiste. Macht nix, denn hypervisor01 muss sowieso durchlaufen, weil fast der ganze FF-DO auf ihn angewiesen ist.
Aber solange blech02 noch nicht im Produktivbetrieb ist, gilt: blech02 bitte komplett ausschalten, d.h. auch per Stromleiste. Das Klima (und die Stromrechnung;) werden es danken: Denn so eine Maschine verbraucht idle fast 100 Watt. Und selbst wenn der eigentliche Server aus ist, verbraucht das Managementboard immer noch 20 Watt:-(

Vom Managementboard aus kann man auf das Bootmenü und die serielle Konsole des Servers zugreifen. Damit kann man ein virtuelles Installations-Medium booten um ein OS auf dem Server zu installieren (in unserem Fall Debian/Proxmox) sowie die IP-Konfiguration im OS durchzuführen und zu prüfen. Nun (endlich:) kann man übers Netzwerk die Proxmox-GUI direkt erreichen und das Proxmox darüber weiter konfigurieren.

Stromschaltleiste

Die Stromschaltleiste hat eine GUI und ist selbsterklärend. Es können die beiden Dosen 21 und 22 geschaltet werden, der Server hat 2 Netzteile.

IP Management IPMI-Konsole

Mit der vorgeschalteten IPMI-Konsole kann der Server verwaltet werden. Als Erstes sollte der Server eingeschaltet werden, sein Schaltzustand ist oben links rot=aus oder grün=ein zu erkennen.
Die IPMI-Konsole bietet eine Serverkonsole auf Java-Basis, mit der der Bootvorgang gesteuert werden kann. Dort können auch externe Speicher mit ISO-Dateien der Proxmox-Software eingebunden werden, um sie zu installieren.
Bei der Installation sollten die beiden Platten als ZFS-Laufwerke Raid1 formatiert werden. Der Server hypervisor01 hat noch zusätzlich 2 SSD sda und sdb aus einem Vorgänger.

Netzwerk-Konfiguration mit der IPMI-Konsole

Bei der Installation von Proxmox wird auch die Netzwerkkonfiguration eingestellt, dann sollte der Zugriff auf die Proxmox-Oberfläche möglich sein. Falls das nicht der Fall ist, muss das Netzwerk über die IPMI-Konsole und dort über die bash konfiguriert werden. Die Dateien /etc/resolv.conf und /etc/network/interfaces werden im nächsten Absatz erläutert, müssen aber notfalls hier eingegeben und bearbeitet werden.

lesson learned 1

Bei der Installation von Proxmox in der IPMI-Konsole war ein Tippfehler für die DNS-ip aufgetreten, der später in der Proxmox-Oberfläche die Namensauflösung verhinderte. (91.204.56.66 statt 91.204.6.66) Das fiel erst bei der Prüfung von resolv.conf auf. Die Datei resolv.conf war während der Installation (falsch) erstellt worden. Sie wurde nachträglich korrigiert.

Proxmox-Oberfläche und ssh

Die Proxmox-Oberfläche ist nur zu erreichen, wenn die Stromschaltleiste zugeschaltet und in der IPMI-Konsole der Server eingeschaltet sind. Ein Zugang ist dann auch per ssh möglich, das Passwort entspricht dem der Proxmox-Oberfläche.

Netzwerkkonfiguration

Konfiguration hypervisor01 rrbone

Die beiden Dateien resolv.conf und interfaces:

root@hypervisor01:~# cat /etc/resolv.conf

search ffdo.de  
nameserver 195.182.2.2  
nameserver 195.182.2.22  

root@hypervisor01:~# cat /etc/network/interfaces

auto lo  
iface lo inet loopback  

auto enp65s0f0  
iface enp65s0f0 inet manual  

auto enp65s0f1  
iface enp65s0f1 inet manual  

auto bond0  
iface bond0 inet manual  
    bond-slaves enp65s0f0 enp65s0f1  
    bond-miimon 100  
    bond-mode 802.3ad  
    bond-xmit-hash-policy layer3+4  

auto vmbr0  
iface vmbr0 inet static  
    address 31.172.33.30/27  
    gateway 31.172.33.1  
    bridge-ports bond0  
    bridge-stp off  
    bridge-fd 0  

iface vmbr0 inet6 static  
    address 2a01:a700:48af::30/64  
    gateway 2a01:a700:48af::1  

auto vmbr1  
iface vmbr1 inet manual  
    bridge-ports none  
    bridge-stp off  
    bridge-fd 0  
    mtu 9000  
#FFDO INT  

Aufbau der Netzwerkkonfiguration hypervisor01

Die beiden physikalischen Schnittstellen enp65s0f0 und enp65s0f1 werden eingeschaltet und über die bond0-Schnittstelle logisch zusammengefasst, d.h. der Durchsatz wird verdoppelt. Die bond0-Schnittstelle wird über die Bridge vmbr0 mit der ip 31.172.33.30/27 und dem gateway 31.172.33.1 verbunden.

Wichtig: die Bridge ist für die Verbindung der VMs nach aussen notwendig, ohne Bridge können für die VMs keine Schnittstellen eingerichtet werden.

• Images für die VM

ISO- oder andere image-Dateien werden unter /var/lib/vz unter den jeweiligen Unterverzeichnissen z.B. …/iso abgelegt.
Eine Möglichkeit, dorthin Dateien zu kopieren, ist z.B. root@hypervisor01~ /var/lib/vz/iso# scp user@quell-ip:/tmp/dateiname zieldateiname (oder “.”, wenn gleich). Damit stehen sie bei der Erstellung einer VM zur Auswahl.

Konfiguration blech02 WiLa

Die beiden Dateien resolv.conf und interfaces:

root@blech02:~# cat /etc/resolv.conf

search ffdo.net
nameserver 91.204.6.66
nameserver 91.204.4.5
nameserver 193.43.220.130

root@blech02:~# cat /etc/network/interfaces

auto lo
iface lo inet loopback

iface eno2np1 inet manual

auto eno1np0
iface eno1np0 inet manual

# WiLa housing Subnetz
auto eno2np1.510
iface eno2np1.510 inet static
    address 91.204.5.46/25
    gateway 91.204.5.1
    vlan-rawdevice eno2np1
    dns-nameservers 91.204.6.66 91.204.4.5 193.43.220.130 193.43.220.133
    dns-namesearch ffdo.net

iface enp65s0f0np0 inet manual

iface enp65s0f1np1 inet manual

allow-hotplug vmbr0
auto vmbr0
iface vmbr0 inet manual
    bridge-ports eno1np0
    bridge-stp off
    bridge-fd 0
    bridge-vlan-aware yes
    bridge-vids 2-4094

# WiLa BGP Subnetz
allow-hotplug vmbr0.160
auto vmbr0.160
iface vmbr0.160 inet manual
    vlan-rawdevice vmbr0
    pre-up ip link set vmbr0 up
    up ip address add 91.204.4.52/28 broadcast 91.204.4.63 dev vmbr0.160

Zu der etwas unschönen Konfiguration von vmbr0.160 ist noch zu bemerken, dass zZ (Mai 2022) auf dem Proxmox-Host offenbar eine ältere Version von ifup/ifdown zu Einsatz kommt:

root@blech02:~# cat /etc/debian_version

11.3

root@blech02:~# ifup -V

ifup version 0.8.36+pve1

Aufbau der Netzwerkkonfiguration blech02

Die beiden 10-Gbit-Schnittstellen enp65s0f0 und enp65s0f1 werden zZ nicht genutzt.

Die physikalische Schnittstelle eno2np1 ist mit dem Housing-Netz des WiLa verbunden. Das VLAN 510 wird statisch konfiguriert und erhält eine Adresse des WiLa und eine default route.

Die physikalische Schnittstelle eno1np0 ist mit dem Teil des WiLa verbunden, in dem dynamisch geroutet wird. eno1np0 wird nicht selbst konfiguriert, sondern wird ein Port der Bridge vmbr0. An diese werden auch die VMs angeschlossen. Auf vmbr0 wird das VLAN 160 konfiguriert, sodass Proxmox selbst auch eine Adresse im diesem Netz erhält. Die VMs können sich autonom die VLANs auf ihrem Bridgeport konfigurieren, die sie benötigen. Dies sind bisher VLAN 160 (uplink BGP) und VLAN 2007 (OSPF zwischen FF-DO-Routern), zukünftig zB auch noch VLAN 2005 (Richtfunk Monitoring) und VLAN 2010 (B.A.T.M.A.N. mit dem Richtfunk in der Braunschweiger Str.).

Netzwerkkonfiguration einer VM auf blech02

Leider funktioniert auch hier keine einfache inet static … address Konfiguration, denn dann fehlen interessanterweise die broadcast Adressen auf den Interfaces.

root@blech02vm101:/etc/network # cat interfaces

auto lo
iface lo inet loopback
    up ip addr add 193.43.220.131/32 dev lo

# The primary network interface
# bridge mit blech02:vmbr0
auto ens18
iface ens18 inet manual

# VLAN 160: WiLa BGP Subnetz
auto ens18.160
iface ens18.160 inet static
    vlan-rawdevice ens18
    pre-up ip link set ens18 up
    up ip address add 91.204.4.54/28 broadcast 91.204.4.63 dev ens18.160

# VLAN 2007: FF-DO Layer 3 mesh (OSPF)
auto ens18.2007
iface ens18.2007 inet static
    vlan-rawdevice ens18
    pre-up ip link set ens18 up
    up ip address add 193.43.220.114/28 broadcast 193.43.220.127 dev ens18.2007

# s. /etc/tinc/wan/tinc-up ...
# nohup sh -c "sleep 5 ; ifup $INTERFACE" &
# ... um indeterministisches friendly fire zwischen den systemd units
# networking.service und tinc.service zu vermeiden:-(
# (Wer mag systemd und kennt eine saubere Loesung?)
allow-hotplug wan
iface wan inet static
    mtu 1504
    up ip address add 193.43.220.163/27 broadcast 193.43.220.191 dev wan
    up ip rule add from all iif ens18.160 lookup 1 prio 1000 || true
    up ip rule add from 91.204.4.54/32 lookup 1 prio 1010 || true

Wer’s schöner (und trotzdem reboot- und power-cycle-fest) hinkriegt, melde sich bitte. Hier die Versionsinfo (Mai 2022):

root@blech02vm101:~ # cat /etc/debian_version

11.3

root@blech02vm101:~ # ifup -V

ifupdown2:3.0.0-1

Update von Proxmox 6.3 auf 6.4 und 7.1

Update von Proxmox 6.3 auf 6.4

Das wird in der Konsole über apt update und apt-upgrade vorgenommen.

Update von Proxmox 6.4 auf 7.1

Dazu stellt Proxmox auf ihrer Webseite eine Vorgehensweise vor. Quelle: https://pve.proxmox.com/wiki/Upgrade_from_6.x_to_7.0. Da der FFDO Proxmox ohne Subscription betreibt, kann die Datei /etc/apt/sources.list.d/pve-enterprise.list gelöscht werden. Nur die Datei /etc/apt/sources.list ist (ohne Subscription) wichtig, ihr fehlt der Abschnitt

lesson learned 2

# PVE pve-no-subscription repository provided by proxmox.com,
# NOT recommended for production use
deb http://download.proxmox.com/debian/pve bullseye pve-no-subscription

der eingefügt werden muss. Solange er fehlt, fragt die Update-Routine, ob man pve wirklich löschen wolle…;)

Ist die Datei /etc/apt/sources.list vollständig, kann mit apt dist-upgrade das Update vorgenommen werden, vorher sollte noch die Version 6.4 mit apt ugrade aktualisiert werden.
Nach einem Reboot erscheint die Version Proxmox 7.1.

MAC-Adressen in Proxmox 7

In Proxmoxx 7 werden die MAC-Adressen anders festgelegt:

Linux Bridge MAC-Address Change

With Proxmox VE 7 / Debian Bullseye, a new systemd version is used, that changes how the MAC addresses of Linux  network 
bridge devices are calculated:

MACAddressPolicy=persistent was extended to set MAC addresses based on the device name. Previously addresses were 
only based on the ID_NET_NAME_* attributes, which meant that interface names would never be generated for virtual 
devices. Now a persistent address will be generated for most devices, including in particular bridges.

-- https://www.freedesktop.org/software/systemd/man/systemd.net-naming-scheme.html#v241

A unique and persistent MAC address is now calculated using the bridge name and the unique machine-id 
(/etc/machine-id), which is generated at install time. 

Also sollte die MAC-Adresse der Bridge festgelegt werden:

auto vmbr0
iface vmbr0 inet static
address 192.168.X.Y/24
hwaddress aa:bb:cc:12:34
# ... remaining options

VM in Proxmox erstellen

Beim Erstellen einer neuen VM kann das entweder durch Klonen geschehen, dann muss die IP der VM angepasst werden, oder eine völlig neue VM wird erstellt. Jedenfalls wird die VM mit der Bridge vmbr0 verbunden, und die benötigten VLANs werden dann innerhalb der VM konfiguriert.

Die Vorgabewerte können alle verwendet werden, auf jeden Fall sollte der Haken für Qemu Guest Agent aktiv gesetzt werden. Damit kann die Maschine über die Proxmox-Oberfläche und einem Rechtsklick rebootet oder ausgeschaltet werden.
Der Agent muss in der VM installiert werden, bei Debian mit: apt install qemu-guest-agent.

Jetzt können die VMs kommen…

VM serielle Schnittstelle einrichten

Der Zugang zu den VMs per serieller Schnittstelle erfolgt über die Konsole des Proxmox-Systems. Dazu muss bei der Erstellung der VM die serielle Schnittstelle bzw. müssen die seriellen Schnittstellen ttyS0 und ttyS1 angelegt werden, und in der VM muss ein Login-Prozess zu der Schnittstelle eingerichtet werden.
Die serielle Schnittstelle ist wichtig für den Fall, dass ein ssh nicht mehr geht, weil man sich die Netzwerkkonfiguration “verbogen” hat. Oder man will mit ifdown/ifup Schnittstellen neu konfigurieren und muss sie dazu ab- und wieder anschalten.

Einstellung auf Proxmox:

root@blech02:~# grep -i serial /etc/pve/nodes/blech02/qemu-server/101.conf

VM xyz: getty Prozess aktivieren:

root@blech02vm101:~# systemctl enable serial-getty@ttyS0.service
root@blech02vm101:~# systemctl start serial-getty@ttyS0.service
root@blech02vm101:~# systemctl status serial-getty@ttyS0.service ergibt
● serial-getty@ttyS0.service - Serial Getty on ttyS0
     Loaded: loaded (/lib/systemd/system/serial-getty@.service; enabled; vendor preset: enabled)
     Active: active (running) since Mon 2022-03-28 17:32:11 CEST; 2s ago
       Docs: man:agetty(8)
             man:systemd-getty-generator(8)
             http://0pointer.de/blog/projects/serial-console.html
   Main PID: 857 (agetty)
      Tasks: 1 (limit: 1132)
     Memory: 204.0K
        CPU: 2ms
     CGroup: /system.slice/system-serial\x2dgetty.slice/serial-getty@ttyS0.service
             +-857 /sbin/agetty -o -p -- \u --keep-baud 115200,57600,38400,9600 ttyS0 vt220

Testen:

root@blech02:~# qm terminal 101
starting serial terminal on interface serial0 (press Ctrl+O to exit)

blech02vm101 Login: root
Passwort: 
Linux blech02vm101 5.10.0-12-amd64 #1 SMP Debian 5.10.103-1 (2022-03-07) x86_64
[...]
root@blech02vm101:~# tty
/dev/ttyS0  

Abgekündigte Repositories für Updates oder Installationen verfügbar machen

Dazu in /etc/apt/sources.list alles auskommentieren und auf das Archiv verweisen:

deb http://archive.debian.org/debian/ jessie main
deb-src http://archive.debian.org/debian/ jessie main

Vorgehen, wenn keine qwertz-Tastatur auf einer VM installiert wurde

Bei Fragen nach der Signaturverifikation diese verneinen.
Installieren von console-data:

#apt-get install console-data  

dann die richtige Tastatur auswählen

Bash-history vervollständigen

Das Paket bash-completion erweitert die Unterstützung der bash zur automatischen Vervollständigung von Dateinamen,
Befehlsnamen und Variablen um eine große Anzahl von Befehlen (z.B. pacman) und deren Optionen.

Bei Fragen nach der Signaturverifikation diese verneinen.

#apt-get install bash-completion  

Installieren von etckeeper

Eine Versionierung von Konfigurationsverzeichnissen mit etckeeper ist aus Dokumentations- und Backup-Sicht sinnvoll.
Damit werden alle Änderungen an Konfigurationsdateien mitprotokolliert und versioniert, außerdem können
frühere Versionen im Fehlerfall wieder hergestellt werden.

#apt install etckeeper