xvm-host-setup-notes

   1
   2 In the Dell PowerEdge SC1435 servers delivered July 2008,
   3 there are several BIOS settings that need to be frobbed on setup.
   4
   5 in the setup screen at F2:
   6 - CPU -> Virtualization Technology: on
   7 - Boot Sequence: disable NIC
   8 - Integrated Devices -> Embedded Gb NIC: turn off PXE
   9 - Serial Communication:
  10   - Serial Communication: On with Console Redirection via COM2
  11   - External Serial Connector: COM1
  12   - Failsafe Baud Rate: 57600
  13   - Remote Terminal Type: VT100/VT220
  14   - Redirection After Boot: Disabled
  15
  16 New Supermicros:
  17 - Advanced -> "Wait for 'F1' If Error" -> Disabled
  18 - Advanced -> Power Button Function -> 4 Seconds Override
  19 - Advanced -> PCIe/PnP -> Load Onboard LAN N Option Rom -> Disabled
  20 - Advanced -> Serial Port -> SOL -> Redirection After BIOS Post -> BootLoader
  21 - Advanced -> Serial Port -> COM -> Console Redirection -> Enabled
  22 - Advanced -> Serial Port -> COM -> Redirection After BIOS Post -> BootLoader
  23 - Advanced -> PCIe -> Disable all OPROMS
  24 - IPMI -> BMC Network Configuration
  25 - Boot order: USB Hard Disk, Removable, Hard Disk, UEFI Shell
  26
  27 New debian installer:
  28  - 1000M for /boot in raid1 of sda1, sdb1
  29  - rest for LVM in raid1 of sda2, sdb2
  30   - 100G /
  31   - 64G swap
  32  - install a vanilla kernel, not xen;
  33    will install xen hypervisor from backports in our later custom install
  34
  35 in the setup screen for remote management, at Ctrl-E:
  36 - Turn on IPMI over LAN
  37 - IP is (main IP) =~ s/18.181.0/10.5.128/
  38   e.g. 10.5.128.221 for citadel-station == 18.181.0.221
  39 - netmask is 255.255.0.0
  40 - Set the password to the XVM root
  41
  42 All of these settings are reflected on all 8 servers in the production
  43 cluster.
  44
  45 In the debian installer:
  46  - 500M for /boot in raid1 of sda1, sdb1
  47  - rest for LVM in raid1 of sda2, sdb2
  48   - 50G /
  49   - 25G swap
  50  - install a vanilla kernel, not xen;
  51    will install xen hypervisor from backports in our later custom install.
  52
  53
  54 Currently allocated backend IPs:
  55
  56 10.5.128.16 c-s
  57 10.5.128.17 a-s
  58 10.5.128.18 s-m
  59 10.5.128.19 a-m
  60 10.5.128.20 d-o
  61 10.5.128.21 g-d
  62 10.5.128.22 b-f
  63 10.5.128.23 m-a (not installed)
  64
  65 10.5.128.128 RAID group portal
  66 10.5.128.129 RAID device/management
  67
  68 10.5.128.221 c-s IPMI
  69 10.5.128.222 a-s IPMI
  70 10.5.128.223 s-m IPMI
  71 10.5.128.224 a-m IPMI
  72 10.5.128.225 d-o IPMI
  73 10.5.128.226 g-d IPMI (currently unplugged)
  74 10.5.128.227 b-f IPMI
  75 10.5.128.228 m-a IPMI (not configured)
  76 18.4.58.231 new c-s IPMI
  77 18.4.58.232 new a-s IPMI
  78 18.4.58.233 new s-m IPMI
  79 18.4.58.234 new a-m IPMI
  80
  81
  82 10.6.128.16 c-s
  83 10.6.128.17 a-s
  84 10.6.128.18 s-m
  85 10.6.128.19 a-m
  86 10.6.128.20 d-o
  87 10.6.128.21 g-d
  88 10.6.128.22 b-f
  89 10.6.128.23 m-a (not installed)
  90
  91 10.6.128.129 RAID device/management
  92
  93 10.6.128.229 g-d IPMI (temporary hardware)
  94
  95
  96 Precise hosts:
  97
  98 Copy /etc/invirt/conf.d/iscsi from another prod host before trying to
  99 start iscsi (possibly before installing xvm-host)
 100
 101 After installing xen:
 102 /etc/default/grub (note the commenting out!):
 103 GRUB_DEFAULT=2
 104 #GRUB_HIDDEN_TIMEOUT=0
 105 #GRUB_HIDDEN_TIMEOUT_QUIET=true
 106 GRUB_TIMEOUT=10
 107 GRUB_DISTRIBUTOR=`lsb_release -i -s 2> /dev/null || echo Debian`
 108 GRUB_CMDLINE_LINUX="console=hvc0 earlyprintk=xen nosplash"
 109 GRUB_CMDLINE_XEN="loglvl=all guest_loglvl=all com2=115200,8n1 console=com2,vga"
 110 GRUB_DISABLE_OS_PROBER="true"
 111
 112 update-grub
 113
 114 ln -s /usr/share/qemu-linaro /usr/share/qemu
 115
 116 Change /etc/hostname to the host's FQDN
 117
 118 /etc/sysctl.conf (yes, you need all three):
 119 net.ipv4.conf.eth0.rp_filter = 0
 120 net.ipv4.conf.eth1.rp_filter = 0
 121 net.ipv4.conf.all.rp_filter = 0
 122
 123 Comment out in /etc/init.d/clvm:
 124 # if [ ! -f /etc/cluster/cluster.conf ]; then
 125 #       log_failure_msg "clvmd: cluster not configured. Aborting."
 126 #       exit 0
 127 # fi
 128
 129 # if ! cman_tool status >/dev/null 2>&1; then
 130 #       log_failure_msg "clvmd: cluster is not running. Aborting."
 131 #       exit 0
 132 # fi
 133
 134
 135 On boot, you'll need to run /usr/lib/xvm-iscsi-connect to bring up
 136 iscsi. Multipath will come up automatically along with that.
 137
 138 Make sure corosync is running before starting clvmd (I know, obvious, but still)
 139
 140 Copy /etc/ttyhvc0.conf from another new host
 141
 142 On another XVM host, run ipmitool -I lanplus -U ADMIN -H <address of
 143 new machine's ipmi> shell
 144 user list
 145 user set password <ID of ADMIN user>
 146 Change the password to the XVM root password
 147 exit
 148
 149 Serial console: from another XVM host run ipmitool -I lanplus -U ADMIN
 150 -H <address of new machine's ipmi> shell
 151 sol activate
 152