xvm-host-setup-notes

   1
   2 In the Dell PowerEdge SC1435 servers delivered July 2008,
   3 there are several BIOS settings that need to be frobbed on setup.
   4
   5 in the setup screen at F2:
   6 - CPU -> Virtualization Technology: on
   7 - Boot Sequence: disable NIC
   8 - Integrated Devices -> Embedded Gb NIC: turn off PXE
   9 - Serial Communication:
  10   - Serial Communication: On with Console Redirection via COM2
  11   - External Serial Connector: COM1
  12   - Failsafe Baud Rate: 57600
  13   - Remote Terminal Type: VT100/VT220
  14   - Redirection After Boot: Disabled
  15
  16 New Supermicros:
  17 - Advanced -> "Wait for 'F1' If Error" -> Disabled
  18 - Advanced -> Power Button Function -> 4 Seconds Override
  19 - Advanced -> PCIe/PnP -> Load Onboard LAN N Option Rom -> Disabled
  20 - Advanced -> Serial Port -> SOL -> Redirection After BIOS Post -> BootLoader
  21 - Advanced -> Serial Port -> COM -> Console Redirection -> Enabled
  22 - Advanced -> Serial Port -> COM -> Redirection After BIOS Post -> BootLoader
  23 - Advanced -> PCIe -> Disable all OPROMS
  24 - IPMI -> BMC Network Configuration
  25 - Boot order: USB Hard Disk, Removable, Hard Disk, UEFI Shell
  26
  27 New debian installer:
  28  - 1000M for /boot in raid1 of sda1, sdb1
  29  - rest for LVM in raid1 of sda2, sdb2
  30   - 100G /
  31   - 64G swap
  32  - install a vanilla kernel, not xen;
  33    will install xen hypervisor from backports in our later custom install
  34
  35 in the setup screen for remote management, at Ctrl-E:
  36 - Turn on IPMI over LAN
  37 - IP is (main IP) =~ s/18.181.0/10.5.128/
  38   e.g. 10.5.128.221 for citadel-station == 18.181.0.221
  39 - netmask is 255.255.0.0
  40 - Set the password to the XVM root
  41
  42 All of these settings are reflected on all 8 servers in the production
  43 cluster.
  44
  45 In the debian installer:
  46  - 500M for /boot in raid1 of sda1, sdb1
  47  - rest for LVM in raid1 of sda2, sdb2
  48   - 50G /
  49   - 25G swap
  50  - install a vanilla kernel, not xen;
  51    will install xen hypervisor from backports in our later custom install.
  52
  53
  54 Currently allocated backend IPs:
  55
  56 10.5.128.16 c-s
  57 10.5.128.17 a-s
  58 10.5.128.18 s-m
  59 10.5.128.19 a-m
  60 10.5.128.20 d-o
  61 10.5.128.21 g-d
  62 10.5.128.22 b-f
  63 10.5.128.23 m-a (not installed)
  64
  65 10.5.128.128 RAID group portal
  66 10.5.128.129 RAID device/management
  67
  68 10.5.128.221 c-s IPMI
  69 10.5.128.222 a-s IPMI
  70 10.5.128.223 s-m IPMI
  71 10.5.128.224 a-m IPMI
  72 10.5.128.225 d-o IPMI
  73 10.5.128.226 g-d IPMI (currently unplugged)
  74 10.5.128.227 b-f IPMI
  75 10.5.128.228 m-a IPMI (not configured)
  76 18.4.58.231 new c-s IPMI
  77 18.4.58.232 new a-s IPMI
  78 18.4.58.233 new s-m IPMI
  79 18.4.58.234 new a-m IPMI
  80
  81
  82 10.6.128.16 c-s
  83 10.6.128.17 a-s
  84 10.6.128.18 s-m
  85 10.6.128.19 a-m
  86 10.6.128.20 d-o
  87 10.6.128.21 g-d
  88 10.6.128.22 b-f
  89 10.6.128.23 m-a (not installed)
  90
  91 10.6.128.129 RAID device/management
  92
  93 10.6.128.229 g-d IPMI (temporary hardware)
  94
  95
  96 Precise hosts:
  97
  98 Copy /etc/invirt/conf.d/iscsi from another prod host before trying to
  99 start iscsi (possibly before installing xvm-host)
 100
 101 After installing xen:
 102 /etc/default/grub (note the commenting out!):
 103 GRUB_DEFAULT=2
 104 #GRUB_HIDDEN_TIMEOUT=0
 105 #GRUB_HIDDEN_TIMEOUT_QUIET=true
 106 GRUB_TIMEOUT=10
 107 GRUB_DISTRIBUTOR=`lsb_release -i -s 2> /dev/null || echo Debian`
 108 GRUB_CMDLINE_LINUX="console=hvc0 earlyprintk=xen nosplash"
 109 GRUB_CMDLINE_XEN="loglvl=all guest_loglvl=all com2=115200,8n1 console=com2,vga"
 110 GRUB_DISABLE_OS_PROBER="true"
 111
 112 update-grub
 113
 114 ln -s /usr/share/qemu-linaro /usr/share/qemu
 115
 116 Change /etc/hostname to the host's FQDN
 117
 118 /etc/sysctl.conf (yes, you need all three):
 119 net.ipv4.conf.eth0.rp_filter = 0
 120 net.ipv4.conf.eth1.rp_filter = 0
 121 net.ipv4.conf.all.rp_filter = 0
 122
 123 Comment out in /etc/init.d/clvm:
 124 # if [ ! -f /etc/cluster/cluster.conf ]; then
 125 #       log_failure_msg "clvmd: cluster not configured. Aborting."
 126 #       exit 0
 127 # fi
 128
 129 # if ! cman_tool status >/dev/null 2>&1; then
 130 #       log_failure_msg "clvmd: cluster is not running. Aborting."
 131 #       exit 0
 132 # fi
 133
 134
 135 On boot, you'll need to run /usr/lib/xvm-iscsi-connect to bring up
 136 iscsi. Multipath will come up automatically along with that.
 137
 138 Make sure corosync is running before starting clvmd (I know, obvious, but still)
 139