xvm-host-setup-notes

   1
   2 In the Dell PowerEdge SC1435 servers delivered July 2008,
   3 there are several BIOS settings that need to be frobbed on setup.
   4
   5 in the setup screen at F2:
   6 - CPU -> Virtualization Technology: on
   7 - Boot Sequence: disable NIC
   8 - Integrated Devices -> Embedded Gb NIC: turn off PXE
   9 - Serial Communication:
  10   - Serial Communication: On with Console Redirection via COM2
  11   - External Serial Connector: COM1
  12   - Failsafe Baud Rate: 57600
  13   - Remote Terminal Type: VT100/VT220
  14   - Redirection After Boot: Disabled
  15
  16 New Supermicros:
  17 - Advanced -> "Wait for 'F1' If Error" -> Disabled
  18 - Advanced -> Power Button Function -> 4 Seconds Override
  19 - Advanced -> PCIe/PnP -> Load Onboard LAN N Option Rom -> Disabled
  20 - Advanced -> Serial Port -> SOL -> Redirection After BIOS Post -> BootLoader
  21 - Advanced -> Serial Port -> COM -> Console Redirection -> Enabled
  22 - Advanced -> Serial Port -> COM -> Redirection After BIOS Post -> BootLoader
  23 - Advanced -> PCIe -> Disable all OPROMS
  24 - IPMI -> BMC Network Configuration
  25 - Boot order: USB Hard Disk, Removable, Hard Disk, UEFI Shell
  26
  27 New debian installer:
  28  - 1000M for /boot in raid1 of sda1, sdb1
  29  - rest for LVM in raid1 of sda2, sdb2
  30   - 100G /
  31   - 64G swap
  32  - install a vanilla kernel, not xen;
  33    will install xen hypervisor from backports in our later custom install
  34
  35 in the setup screen for remote management, at Ctrl-E:
  36 - Turn on IPMI over LAN
  37 - IP is (main IP) =~ s/18.181.0/10.5.128/
  38   e.g. 10.5.128.221 for citadel-station == 18.181.0.221
  39 - netmask is 255.255.0.0
  40 - Set the password to the XVM root
  41
  42 All of these settings are reflected on all 8 servers in the production
  43 cluster.
  44
  45 In the debian installer:
  46  - 500M for /boot in raid1 of sda1, sdb1
  47  - rest for LVM in raid1 of sda2, sdb2
  48   - 50G /
  49   - 25G swap
  50  - install a vanilla kernel, not xen;
  51    will install xen hypervisor from backports in our later custom install.
  52
  53
  54 Currently allocated backend IPs:
  55
  56 10.5.128.16 c-s
  57 10.5.128.17 a-s
  58 10.5.128.18 s-m
  59 10.5.128.19 a-m
  60 10.5.128.20 d-o
  61 10.5.128.21 g-d
  62 10.5.128.22 b-f
  63 10.5.128.23 m-a (not installed)
  64
  65 10.5.128.128 RAID group portal
  66 10.5.128.129 RAID device/management
  67
  68 10.5.128.221 c-s IPMI
  69 10.5.128.222 a-s IPMI
  70 10.5.128.223 s-m IPMI
  71 10.5.128.224 a-m IPMI
  72 10.5.128.225 d-o IPMI
  73 10.5.128.226 g-d IPMI (currently unplugged)
  74 10.5.128.227 b-f IPMI
  75 10.5.128.228 m-a IPMI (not configured)
  76 18.4.58.231 new c-s IPMI
  77 18.4.58.232 new a-s IPMI
  78 18.4.58.233 new s-m IPMI
  79 18.4.58.234 new a-m IPMI
  80 18.4.58.235 new d-o IPMI
  81 18.4.58.236 new g-d IPMI
  82 18.4.58.237 new b-f IPMI
  83 18.4.58.238 new m-a IPMI
  84
  85
  86 10.6.128.16 c-s
  87 10.6.128.17 a-s
  88 10.6.128.18 s-m
  89 10.6.128.19 a-m
  90 10.6.128.20 d-o
  91 10.6.128.21 g-d
  92 10.6.128.22 b-f
  93 10.6.128.23 m-a (not installed)
  94
  95 10.6.128.129 RAID device/management
  96
  97 10.6.128.229 g-d IPMI (temporary hardware)
  98
  99
 100 Precise hosts:
 101
 102 Copy /etc/invirt/conf.d/iscsi from another prod host before trying to
 103 start iscsi (possibly before installing xvm-host)
 104
 105 After installing xen:
 106 /etc/default/grub (note the commenting out!):
 107 GRUB_DEFAULT=2
 108 #GRUB_HIDDEN_TIMEOUT=0
 109 #GRUB_HIDDEN_TIMEOUT_QUIET=true
 110 GRUB_TIMEOUT=10
 111 GRUB_DISTRIBUTOR=`lsb_release -i -s 2> /dev/null || echo Debian`
 112 GRUB_CMDLINE_LINUX="console=hvc0 earlyprintk=xen nosplash"
 113 GRUB_CMDLINE_XEN="loglvl=all guest_loglvl=all com2=115200,8n1 console=com2,vga"
 114 GRUB_DISABLE_OS_PROBER="true"
 115
 116 update-grub
 117
 118 ln -s /usr/share/qemu-linaro /usr/share/qemu
 119
 120 Change /etc/hostname to the host's FQDN
 121
 122 /etc/sysctl.conf (yes, you need all three):
 123 net.ipv4.conf.eth0.rp_filter = 0
 124 net.ipv4.conf.eth1.rp_filter = 0
 125 net.ipv4.conf.all.rp_filter = 0
 126
 127 Comment out in /etc/init.d/clvm:
 128 # if [ ! -f /etc/cluster/cluster.conf ]; then
 129 #       log_failure_msg "clvmd: cluster not configured. Aborting."
 130 #       exit 0
 131 # fi
 132
 133 # if ! cman_tool status >/dev/null 2>&1; then
 134 #       log_failure_msg "clvmd: cluster is not running. Aborting."
 135 #       exit 0
 136 # fi
 137
 138
 139 On boot, you'll need to run /usr/lib/xvm-iscsi-connect to bring up
 140 iscsi. Multipath will come up automatically along with that.
 141
 142 Make sure corosync is running before starting clvmd (I know, obvious, but still)
 143
 144 Copy /etc/init/ttyhvc0.conf from another new host
 145
 146 On another XVM host, run ipmitool -I lanplus -U ADMIN -H <address of
 147 new machine's ipmi> shell
 148 user list
 149 user set password <ID of ADMIN user>
 150 Change the password to the XVM root password
 151 exit
 152
 153 Serial console: from another XVM host run ipmitool -I lanplus -U ADMIN
 154 -H <address of new machine's ipmi> shell
 155 sol activate
 156
 157 To bring up the iSCSI backend, you'll need to ping:
 158 ping 18.4.{58,59}.{128,129}