Split main.py in four.
authorEric Price <ecprice@mit.edu>
Sun, 21 Oct 2007 05:35:13 +0000 (01:35 -0400)
committerEric Price <ecprice@mit.edu>
Sun, 21 Oct 2007 05:35:13 +0000 (01:35 -0400)
svn path=/trunk/web/; revision=209

templates/controls.py [new file with mode: 0644]
templates/getafsgroups.py
templates/main.py
templates/validation.py [new file with mode: 0644]
templates/webcommon.py [new file with mode: 0644]

diff --git a/templates/controls.py b/templates/controls.py
new file mode 100644 (file)
index 0000000..5311dd9
--- /dev/null
@@ -0,0 +1,284 @@
+"""
+Functions to perform remctls.
+"""
+
+from sipb_xen_database import Machine, Disk, Type, NIC, CDROM, ctx, meta
+import validation
+from webcommon import CodeError, InvalidInput
+import random
+import subprocess
+import sys
+import time
+import re
+
+# ... and stolen from xend/uuid.py
+def randomUUID():
+    """Generate a random UUID."""
+
+    return [ random.randint(0, 255) for _ in range(0, 16) ]
+
+def uuidToString(u):
+    """Turn a numeric UUID to a hyphen-seperated one."""
+    return "-".join(["%02x" * 4, "%02x" * 2, "%02x" * 2, "%02x" * 2,
+                     "%02x" * 6]) % tuple(u)
+# end stolen code
+
+def kinit(username = 'tabbott/extra', keytab = '/etc/tabbott.keytab'):
+    """Kinit with a given username and keytab"""
+
+    p = subprocess.Popen(['kinit', "-k", "-t", keytab, username],
+                         stderr=subprocess.PIPE)
+    e = p.wait()
+    if e:
+        raise CodeError("Error %s in kinit: %s" % (e, p.stderr.read()))
+
+def checkKinit():
+    """If we lack tickets, kinit."""
+    p = subprocess.Popen(['klist', '-s'])
+    if p.wait():
+        kinit()
+
+def remctl(*args, **kws):
+    """Perform a remctl and return the output.
+
+    kinits if necessary, and outputs errors to stderr.
+    """
+    checkKinit()
+    p = subprocess.Popen(['remctl', 'black-mesa.mit.edu']
+                         + list(args),
+                         stdout=subprocess.PIPE,
+                         stderr=subprocess.PIPE)
+    v = p.wait()
+    if kws.get('err'):
+        return p.stdout.read(), p.stderr.read()
+    if v:
+        print >> sys.stderr, 'Error', v, 'on remctl', args, ':'
+        print >> sys.stderr, p.stderr.read()
+        raise CodeError('ERROR on remctl')
+    return p.stdout.read()
+
+def lvcreate(machine, disk):
+    """Create a single disk for a machine"""
+    remctl('web', 'lvcreate', machine.name,
+           disk.guest_device_name, str(disk.size))
+    
+def makeDisks(machine):
+    """Update the lvm partitions to add a disk."""
+    for disk in machine.disks:
+        lvcreate(machine, disk)
+
+def bootMachine(machine, cdtype):
+    """Boot a machine with a given boot CD.
+
+    If cdtype is None, give no boot cd.  Otherwise, it is the string
+    id of the CD (e.g. 'gutsy_i386')
+    """
+    if cdtype is not None:
+        remctl('control', machine.name, 'create', 
+               cdtype)
+    else:
+        remctl('control', machine.name, 'create')
+
+def registerMachine(machine):
+    """Register a machine to be controlled by the web interface"""
+    remctl('web', 'register', machine.name)
+
+def unregisterMachine(machine):
+    """Unregister a machine to not be controlled by the web interface"""
+    remctl('web', 'unregister', machine.name)
+
+def createVm(user, name, memory, disk, is_hvm, cdrom):
+    """Create a VM and put it in the database"""
+    # put stuff in the table
+    transaction = ctx.current.create_transaction()
+    try:
+        validation.validMemory(user, memory)
+        validation.validDisk(user, disk  * 1. / 1024)
+        validation.validAddVm(user)
+        res = meta.engine.execute('select nextval('
+                                  '\'"machines_machine_id_seq"\')')
+        id = res.fetchone()[0]
+        machine = Machine()
+        machine.machine_id = id
+        machine.name = name
+        machine.memory = memory
+        machine.owner = user.username
+        machine.administrator = user.username
+        machine.contact = user.email
+        machine.uuid = uuidToString(randomUUID())
+        machine.boot_off_cd = True
+        machine_type = Type.get_by(hvm=is_hvm)
+        machine.type_id = machine_type.type_id
+        ctx.current.save(machine)
+        disk = Disk(machine.machine_id, 
+                    'hda', disk)
+        open_nics = NIC.select_by(machine_id=None)
+        if not open_nics: #No IPs left!
+            raise CodeError("No IP addresses left!  "
+                            "Contact sipb-xen-dev@mit.edu")
+        nic = open_nics[0]
+        nic.machine_id = machine.machine_id
+        nic.hostname = name
+        ctx.current.save(nic)    
+        ctx.current.save(disk)
+        transaction.commit()
+    except:
+        transaction.rollback()
+        raise
+    registerMachine(machine)
+    makeDisks(machine)
+    # tell it to boot with cdrom
+    bootMachine(machine, cdrom)
+    return machine
+
+def getUptimes(machines=None):
+    """Return a dictionary mapping machine names to uptime strings"""
+    value_string = remctl('web', 'listvms')
+    lines = value_string.splitlines()
+    d = {}
+    for line in lines:
+        lst = line.split()
+        name, id = lst[:2]
+        uptime = ' '.join(lst[2:])
+        d[name] = uptime
+    ans = {}
+    for m in machines:
+        ans[m] = d.get(m.name)
+    return ans
+
+def parseStatus(s):
+    """Parse a status string into nested tuples of strings.
+
+    s = output of xm list --long <machine_name>
+    """
+    values = re.split('([()])', s)
+    stack = [[]]
+    for v in values[2:-2]: #remove initial and final '()'
+        if not v:
+            continue
+        v = v.strip()
+        if v == '(':
+            stack.append([])
+        elif v == ')':
+            if len(stack[-1]) == 1:
+                stack[-1].append('')
+            stack[-2].append(stack[-1])
+            stack.pop()
+        else:
+            if not v:
+                continue
+            stack[-1].extend(v.split())
+    return stack[-1]
+
+def statusInfo(machine):
+    """Return the status list for a given machine.
+
+    Gets and parses xm list --long
+    """
+    value_string, err_string = remctl('control', machine.name, 'list-long', 
+                                      err=True)
+    if 'Unknown command' in err_string:
+        raise CodeError("ERROR in remctl list-long %s is not registered" % 
+                        (machine.name,))
+    elif 'does not exist' in err_string:
+        return None
+    elif err_string:
+        raise CodeError("ERROR in remctl list-long %s:  %s" % 
+                        (machine.name, err_string))
+    status = parseStatus(value_string)
+    return status
+
+def deleteVM(machine):
+    """Delete a VM."""
+    remctl('control', machine.name, 'destroy', err=True)
+    transaction = ctx.current.create_transaction()
+    delete_disk_pairs = [(machine.name, d.guest_device_name) 
+                         for d in machine.disks]
+    try:
+        for nic in machine.nics:
+            nic.machine_id = None
+            nic.hostname = None
+            ctx.current.save(nic)
+        for disk in machine.disks:
+            ctx.current.delete(disk)
+        ctx.current.delete(machine)
+        transaction.commit()
+    except:
+        transaction.rollback()
+        raise
+    for mname, dname in delete_disk_pairs:
+        remctl('web', 'lvremove', mname, dname)
+    unregisterMachine(machine)
+
+def commandResult(user, fields):
+    start_time = 0
+    print >> sys.stderr, time.time()-start_time
+    machine = validation.testMachineId(user, fields.getfirst('machine_id'))
+    action = fields.getfirst('action')
+    cdrom = fields.getfirst('cdrom')
+    print >> sys.stderr, time.time()-start_time
+    if cdrom is not None and not CDROM.get(cdrom):
+        raise CodeError("Invalid cdrom type '%s'" % cdrom)    
+    if action not in ('Reboot', 'Power on', 'Power off', 'Shutdown', 
+                      'Delete VM'):
+        raise CodeError("Invalid action '%s'" % action)
+    if action == 'Reboot':
+        if cdrom is not None:
+            out, err = remctl('control', machine.name, 'reboot', cdrom,
+                              err=True)
+        else:
+            out, err = remctl('control', machine.name, 'reboot',
+                              err=True)
+        if err:
+            if re.match("Error: Domain '.*' does not exist.", err):
+                raise InvalidInput("action", "reboot", 
+                                   "Machine is not on")
+            else:
+                print >> sys.stderr, 'Error on reboot:'
+                print >> sys.stderr, err
+                raise CodeError('ERROR on remctl')
+                
+    elif action == 'Power on':
+        if validation.maxMemory(user, machine) < machine.memory:
+            raise InvalidInput('action', 'Power on',
+                               "You don't have enough free RAM quota "
+                               "to turn on this machine.")
+        bootMachine(machine, cdrom)
+    elif action == 'Power off':
+        out, err = remctl('control', machine.name, 'destroy', err=True)
+        if err:
+            if re.match("Error: Domain '.*' does not exist.", err):
+                raise InvalidInput("action", "Power off", 
+                                   "Machine is not on.")
+            else:
+                print >> sys.stderr, 'Error on power off:'
+                print >> sys.stderr, err
+                raise CodeError('ERROR on remctl')
+    elif action == 'Shutdown':
+        out, err = remctl('control', machine.name, 'shutdown', err=True)
+        if err:
+            if re.match("Error: Domain '.*' does not exist.", err):
+                raise InvalidInput("action", "Shutdown", 
+                                   "Machine is not on.")
+            else:
+                print >> sys.stderr, 'Error on Shutdown:'
+                print >> sys.stderr, err
+                raise CodeError('ERROR on remctl')
+    elif action == 'Delete VM':
+        deleteVM(machine)
+    print >> sys.stderr, time.time()-start_time
+
+    d = dict(user=user,
+             command=action,
+             machine=machine)
+    return d
+
+def resizeDisk(machine_name, disk_name, new_size):
+    remctl("web", "lvresize", machine_name, disk_name, new_size)
+
+def renameMachine(machine, old_name, new_name):
+    for disk in machine.disks:
+        remctl("web", "lvrename", old_name, 
+               disk.guest_device_name, new_name)
+    remctl("web", "moveregister", old_name, new_name)
+    
index c98f708..2086ccb 100644 (file)
@@ -39,7 +39,10 @@ def checkAfsGroup(user, group, cell):
 
 def checkLockerOwner(user, locker, verbose=False):
     """
-    checkLockerOwner(user, locker) returns True if and only if user administers locker
+    checkLockerOwner(user, locker) returns True if and only if user administers locker.
+
+    If verbose is true, instead return the reason for failure, or None
+    if there is no failure.
     """
     p = subprocess.Popen(["fs", "whichcell", "/mit/" + locker], 
                          stdout=subprocess.PIPE, stderr=subprocess.PIPE)
@@ -61,6 +64,8 @@ def checkLockerOwner(user, locker, verbose=False):
         if entry[1] == "rlidwka":
             if entry[0] == user or (entry[0][0:6] == "system" and 
                                     checkAfsGroup(user, entry[0], cell)):
+                if verbose:
+                    return None
                 return True
     if verbose:
         return "You don't have admin bits on /mit/" + locker
index d7b557f..ab70cdd 100755 (executable)
@@ -5,15 +5,10 @@ import base64
 import cPickle
 import cgi
 import datetime
-import getafsgroups
 import hmac
 import os
-import random
-import re
 import sha
 import simplejson
-import string
-import subprocess
 import sys
 import time
 from StringIO import StringIO
@@ -41,27 +36,10 @@ if __name__ == '__main__':
 sys.path.append('/home/ecprice/.local/lib/python2.5/site-packages')
 
 from Cheetah.Template import Template
-from sipb_xen_database import *
-
-class MyException(Exception):
-    """Base class for my exceptions"""
-    pass
-
-class InvalidInput(MyException):
-    """Exception for user-provided input is invalid but maybe in good faith.
-
-    This would include setting memory to negative (which might be a
-    typo) but not setting an invalid boot CD (which requires bypassing
-    the select box).
-    """
-    def __init__(self, err_field, err_value, expl=None):
-        MyException.__init__(self, expl)
-        self.err_field = err_field
-        self.err_value = err_value
-
-class CodeError(MyException):
-    """Exception for internal errors or bad faith input."""
-    pass
+from sipb_xen_database import Machine, CDROM, ctx, connect
+import validation
+from webcommon import InvalidInput, CodeError, g
+import controls
 
 def helppopup(subj):
     """Return HTML code for a (?) link to a specified help topic"""
@@ -69,25 +47,6 @@ def helppopup(subj):
             '&amp;simple=true" target="_blank" ' + 
             'onclick="return helppopup(\'' + subj + '\')">(?)</a></span>')
 
-class Global(object):
-    """Global state of the system, to avoid duplicate remctls to get state"""
-    def __init__(self, user):
-        self.user = user
-
-    def __get_uptimes(self):
-        if not hasattr(self, '_uptimes'):
-            self._uptimes = getUptimes(Machine.select())
-        return self._uptimes
-    uptimes = property(__get_uptimes)
-
-    def clear(self):
-        """Clear the state so future accesses reload it."""
-        for attr in ('_uptimes', ):
-            if hasattr(self, attr):
-                delattr(self, attr)
-
-g = None
-
 class User:
     """User class (sort of useless, I admit)"""
     def __init__(self, username, email):
@@ -139,237 +98,20 @@ class Defaults:
 
 
 
-default_headers = {'Content-Type': 'text/html'}
-
-# ... and stolen from xend/uuid.py
-def randomUUID():
-    """Generate a random UUID."""
-
-    return [ random.randint(0, 255) for _ in range(0, 16) ]
-
-def uuidToString(u):
-    """Turn a numeric UUID to a hyphen-seperated one."""
-    return "-".join(["%02x" * 4, "%02x" * 2, "%02x" * 2, "%02x" * 2,
-                     "%02x" * 6]) % tuple(u)
-
-MAX_MEMORY_TOTAL = 512
-MAX_MEMORY_SINGLE = 256
-MIN_MEMORY_SINGLE = 16
-MAX_DISK_TOTAL = 50
-MAX_DISK_SINGLE = 50
-MIN_DISK_SINGLE = 0.1
-MAX_VMS_TOTAL = 10
-MAX_VMS_ACTIVE = 4
-
-def getMachinesByOwner(user, machine=None):
-    """Return the machines owned by the same as a machine.
-    
-    If the machine is None, return the machines owned by the same
-    user.
-    """
-    if machine:
-        owner = machine.owner
-    else:
-        owner = user.username
-    return Machine.select_by(owner=owner)
-
-def maxMemory(user, machine=None, on=True):
-    """Return the maximum memory for a machine or a user.
-
-    If machine is None, return the memory available for a new 
-    machine.  Else, return the maximum that machine can have.
-
-    on is whether the machine should be turned on.  If false, the max
-    memory for the machine to change to, if it is left off, is
-    returned.
-    """
-    if not on:
-        return MAX_MEMORY_SINGLE
-    machines = getMachinesByOwner(user, machine)
-    active_machines = [x for x in machines if g.uptimes[x]]
-    mem_usage = sum([x.memory for x in active_machines if x != machine])
-    return min(MAX_MEMORY_SINGLE, MAX_MEMORY_TOTAL-mem_usage)
-
-def maxDisk(user, machine=None):
-    machines = getMachinesByOwner(user, machine)
-    disk_usage = sum([sum([y.size for y in x.disks])
-                      for x in machines if x != machine])
-    return min(MAX_DISK_SINGLE, MAX_DISK_TOTAL-disk_usage/1024.)
-
-def cantAddVm(user):
-    machines = getMachinesByOwner(user)
-    active_machines = [x for x in machines if g.uptimes[x]]
-    if len(machines) >= MAX_VMS_TOTAL:
-        return 'You have too many VMs to create a new one.'
-    if len(active_machines) >= MAX_VMS_ACTIVE:
-        return ('You already have the maximum number of VMs turned on.  '
-                'To create more, turn one off.')
-    return False
-
-def haveAccess(user, machine):
-    """Return whether a user has adminstrative access to a machine"""
-    if user.username == 'moo':
-        return True
-    if user.username in (machine.administrator, machine.owner):
-        return True
-    if getafsgroups.checkAfsGroup(user.username, machine.administrator, 
-                                  'athena.mit.edu'): #XXX Cell?
-        return True
-    if getafsgroups.checkLockerOwner(user.username, machine.owner):
-        return True
-    return owns(user, machine)
-
-def owns(user, machine):
-    """Return whether a user owns a machine"""
-    if user.username == 'moo':
-        return True
-    return getafsgroups.checkLockerOwner(user.username, machine.owner)
+DEFAULT_HEADERS = {'Content-Type': 'text/html'}
 
 def error(op, user, fields, err, emsg):
     """Print an error page when a CodeError occurs"""
     d = dict(op=op, user=user, errorMessage=str(err),
              stderr=emsg)
-    return Template(file='error.tmpl', searchList=[d]);
+    return Template(file='error.tmpl', searchList=[d])
 
 def invalidInput(op, user, fields, err, emsg):
     """Print an error page when an InvalidInput exception occurs"""
     d = dict(op=op, user=user, err_field=err.err_field,
              err_value=str(err.err_value), stderr=emsg,
              errorMessage=str(err))
-    return Template(file='invalid.tmpl', searchList=[d]);
-
-def validMachineName(name):
-    """Check that name is valid for a machine name"""
-    if not name:
-        return False
-    charset = string.ascii_letters + string.digits + '-_'
-    if name[0] in '-_' or len(name) > 22:
-        return False
-    for x in name:
-        if x not in charset:
-            return False
-    return True
-
-def kinit(username = 'tabbott/extra', keytab = '/etc/tabbott.keytab'):
-    """Kinit with a given username and keytab"""
-
-    p = subprocess.Popen(['kinit', "-k", "-t", keytab, username],
-                         stderr=subprocess.PIPE)
-    e = p.wait()
-    if e:
-        raise CodeError("Error %s in kinit: %s" % (e, p.stderr.read()))
-
-def checkKinit():
-    """If we lack tickets, kinit."""
-    p = subprocess.Popen(['klist', '-s'])
-    if p.wait():
-        kinit()
-
-def remctl(*args, **kws):
-    """Perform a remctl and return the output.
-
-    kinits if necessary, and outputs errors to stderr.
-    """
-    checkKinit()
-    p = subprocess.Popen(['remctl', 'black-mesa.mit.edu']
-                         + list(args),
-                         stdout=subprocess.PIPE,
-                         stderr=subprocess.PIPE)
-    v = p.wait()
-    if kws.get('err'):
-        return p.stdout.read(), p.stderr.read()
-    if v:
-        print >> sys.stderr, 'Error', v, 'on remctl', args, ':'
-        print >> sys.stderr, p.stderr.read()
-        raise CodeError('ERROR on remctl')
-    return p.stdout.read()
-
-def lvcreate(machine, disk):
-    """Create a single disk for a machine"""
-    remctl('web', 'lvcreate', machine.name,
-           disk.guest_device_name, str(disk.size))
-    
-def makeDisks(machine):
-    """Update the lvm partitions to add a disk."""
-    for disk in machine.disks:
-        lvcreate(machine, disk)
-
-def bootMachine(machine, cdtype):
-    """Boot a machine with a given boot CD.
-
-    If cdtype is None, give no boot cd.  Otherwise, it is the string
-    id of the CD (e.g. 'gutsy_i386')
-    """
-    if cdtype is not None:
-        remctl('control', machine.name, 'create', 
-               cdtype)
-    else:
-        remctl('control', machine.name, 'create')
-
-def registerMachine(machine):
-    """Register a machine to be controlled by the web interface"""
-    remctl('web', 'register', machine.name)
-
-def unregisterMachine(machine):
-    """Unregister a machine to not be controlled by the web interface"""
-    remctl('web', 'unregister', machine.name)
-
-def parseStatus(s):
-    """Parse a status string into nested tuples of strings.
-
-    s = output of xm list --long <machine_name>
-    """
-    values = re.split('([()])', s)
-    stack = [[]]
-    for v in values[2:-2]: #remove initial and final '()'
-        if not v:
-            continue
-        v = v.strip()
-        if v == '(':
-            stack.append([])
-        elif v == ')':
-            if len(stack[-1]) == 1:
-                stack[-1].append('')
-            stack[-2].append(stack[-1])
-            stack.pop()
-        else:
-            if not v:
-                continue
-            stack[-1].extend(v.split())
-    return stack[-1]
-
-def getUptimes(machines=None):
-    """Return a dictionary mapping machine names to uptime strings"""
-    value_string = remctl('web', 'listvms')
-    lines = value_string.splitlines()
-    d = {}
-    for line in lines:
-        lst = line.split()
-        name, id = lst[:2]
-        uptime = ' '.join(lst[2:])
-        d[name] = uptime
-    ans = {}
-    for m in machines:
-        ans[m] = d.get(m.name)
-    return ans
-
-def statusInfo(machine):
-    """Return the status list for a given machine.
-
-    Gets and parses xm list --long
-    """
-    value_string, err_string = remctl('control', machine.name, 'list-long', 
-                                      err=True)
-    if 'Unknown command' in err_string:
-        raise CodeError("ERROR in remctl list-long %s is not registered" % 
-                        (machine.name,))
-    elif 'does not exist' in err_string:
-        return None
-    elif err_string:
-        raise CodeError("ERROR in remctl list-long %s:  %s" % 
-                        (machine.name, err_string))
-    status = parseStatus(value_string)
-    return status
+    return Template(file='invalid.tmpl', searchList=[d])
 
 def hasVnc(status):
     """Does the machine with a given status list support VNC?"""
@@ -381,93 +123,9 @@ def hasVnc(status):
             return 'location' in d
     return False
 
-def createVm(user, name, memory, disk, is_hvm, cdrom):
-    """Create a VM and put it in the database"""
-    # put stuff in the table
-    transaction = ctx.current.create_transaction()
-    try:
-        if memory > maxMemory(user):
-            raise InvalidInput('memory', memory,
-                               "Max %s" % maxMemory(user))
-        if disk > maxDisk(user) * 1024:
-            raise InvalidInput('disk', disk,
-                               "Max %s" % maxDisk(user))
-        reason = cantAddVm(user)
-        if reason:
-            raise InvalidInput('create', True, reason)
-        res = meta.engine.execute('select nextval('
-                                  '\'"machines_machine_id_seq"\')')
-        id = res.fetchone()[0]
-        machine = Machine()
-        machine.machine_id = id
-        machine.name = name
-        machine.memory = memory
-        machine.owner = user.username
-        machine.administrator = user.username
-        machine.contact = user.email
-        machine.uuid = uuidToString(randomUUID())
-        machine.boot_off_cd = True
-        machine_type = Type.get_by(hvm=is_hvm)
-        machine.type_id = machine_type.type_id
-        ctx.current.save(machine)
-        disk = Disk(machine.machine_id, 
-                    'hda', disk)
-        open_nics = NIC.select_by(machine_id=None)
-        if not open_nics: #No IPs left!
-            raise CodeError("No IP addresses left!  "
-                            "Contact sipb-xen-dev@mit.edu")
-        nic = open_nics[0]
-        nic.machine_id = machine.machine_id
-        nic.hostname = name
-        ctx.current.save(nic)    
-        ctx.current.save(disk)
-        transaction.commit()
-    except:
-        transaction.rollback()
-        raise
-    registerMachine(machine)
-    makeDisks(machine)
-    # tell it to boot with cdrom
-    bootMachine(machine, cdrom)
-
-    return machine
-
-def validMemory(user, memory, machine=None, on=True):
-    """Parse and validate limits for memory for a given user and machine.
-
-    on is whether the memory must be valid after the machine is
-    switched on.
-    """
-    try:
-        memory = int(memory)
-        if memory < MIN_MEMORY_SINGLE:
-            raise ValueError
-    except ValueError:
-        raise InvalidInput('memory', memory, 
-                           "Minimum %s MB" % MIN_MEMORY_SINGLE)
-    if memory > maxMemory(user, machine, on):
-        raise InvalidInput('memory', memory,
-                           'Maximum %s MB' % maxMemory(user, machine))
-    return memory
-
-def validDisk(user, disk, machine=None):
-    """Parse and validate limits for disk for a given user and machine."""
-    try:
-        disk = float(disk)
-        if disk > maxDisk(user, machine):
-            raise InvalidInput('disk', disk,
-                               "Maximum %s G" % maxDisk(user, machine))
-        disk = int(disk * 1024)
-        if disk < MIN_DISK_SINGLE * 1024:
-            raise ValueError
-    except ValueError:
-        raise InvalidInput('disk', disk,
-                           "Minimum %s GB" % MIN_DISK_SINGLE)
-    return disk
-
 def parseCreate(user, fields):
     name = fields.getfirst('name')
-    if not validMachineName(name):
+    if not validation.validMachineName(name):
         raise InvalidInput('name', name, 'You must provide a machine name.')
     name = name.lower()
 
@@ -476,10 +134,10 @@ def parseCreate(user, fields):
                            "Name already exists.")
     
     memory = fields.getfirst('memory')
-    memory = validMemory(user, memory, on=True)
+    memory = validation.validMemory(user, memory, on=True)
     
     disk = fields.getfirst('disk')
-    disk = validDisk(user, disk)
+    disk = validation.validDisk(user, disk)
 
     vm_type = fields.getfirst('vmtype')
     if vm_type not in ('hvm', 'paravm'):
@@ -496,7 +154,7 @@ def create(user, fields):
     """Handler for create requests."""
     try:
         parsed_fields = parseCreate(user, fields)
-        machine = createVm(**parsed_fields)
+        machine = controls.createVm(**parsed_fields)
     except InvalidInput, err:
         pass
     else:
@@ -513,7 +171,8 @@ def create(user, fields):
 
 
 def getListDict(user):
-    machines = [m for m in Machine.select() if haveAccess(user, m)]    
+    machines = [m for m in Machine.select() 
+                if validation.haveAccess(user, m)]    
     on = {}
     has_vnc = {}
     on = g.uptimes
@@ -525,17 +184,13 @@ def getListDict(user):
             has_vnc[m] = True
         else:
             has_vnc[m] = "ParaVM"+helppopup("paravm_console")
-    #     for m in machines:
-    #         status = statusInfo(m)
-    #         on[m.name] = status is not None
-    #         has_vnc[m.name] = hasVnc(status)
-    max_memory = maxMemory(user)
-    max_disk = maxDisk(user)
+    max_memory = validation.maxMemory(user)
+    max_disk = validation.maxDisk(user)
     defaults = Defaults(max_memory=max_memory,
                         max_disk=max_disk,
                         cdrom='gutsy-i386')
     d = dict(user=user,
-             cant_add_vm=cantAddVm(user),
+             cant_add_vm=validation.cantAddVm(user),
              max_memory=max_memory,
              max_disk=max_disk,
              defaults=defaults,
@@ -550,24 +205,6 @@ def listVms(user, fields):
     d = getListDict(user)
     return Template(file='list.tmpl', searchList=[d])
             
-def testMachineId(user, machineId, exists=True):
-    """Parse, validate and check authorization for a given machineId.
-
-    If exists is False, don't check that it exists.
-    """
-    if machineId is None:
-        raise CodeError("No machine ID specified")
-    try:
-        machineId = int(machineId)
-    except ValueError:
-        raise CodeError("Invalid machine ID '%s'" % machineId)
-    machine = Machine.get(machineId)
-    if exists and machine is None:
-        raise CodeError("No such machine ID '%s'" % machineId)
-    if machine is not None and not haveAccess(user, machine):
-        raise CodeError("No access to machine ID '%s'" % machineId)
-    return machine
-
 def vnc(user, fields):
     """VNC applet page.
 
@@ -588,7 +225,7 @@ def vnc(user, fields):
     Remember to enable iptables!
     echo 1 > /proc/sys/net/ipv4/ip_forward
     """
-    machine = testMachineId(user, fields.getfirst('machine_id'))
+    machine = validation.testMachineId(user, fields.getfirst('machine_id'))
     
     TOKEN_KEY = "0M6W0U1IXexThi5idy8mnkqPKEq1LtEnlK/pZSn0cDrN"
 
@@ -603,7 +240,7 @@ def vnc(user, fields):
     token = cPickle.dumps(token)
     token = base64.urlsafe_b64encode(token)
     
-    status = statusInfo(machine)
+    status = controls.statusInfo(machine)
     has_vnc = hasVnc(status)
     
     d = dict(user=user,
@@ -652,95 +289,11 @@ def getDiskInfo(data_dict, machine):
         data_dict['%s_size' % name] = "%0.1f GB" % (disk.size / 1024.)
     return disk_fields
 
-def deleteVM(machine):
-    """Delete a VM."""
-    remctl('control', machine.name, 'destroy', err=True)
-    transaction = ctx.current.create_transaction()
-    delete_disk_pairs = [(machine.name, d.guest_device_name) 
-                         for d in machine.disks]
-    try:
-        for nic in machine.nics:
-            nic.machine_id = None
-            nic.hostname = None
-            ctx.current.save(nic)
-        for disk in machine.disks:
-            ctx.current.delete(disk)
-        ctx.current.delete(machine)
-        transaction.commit()
-    except:
-        transaction.rollback()
-        raise
-    for mname, dname in delete_disk_pairs:
-        remctl('web', 'lvremove', mname, dname)
-    unregisterMachine(machine)
-
-def commandResult(user, fields):
-    print >> sys.stderr, time.time()-start_time
-    machine = testMachineId(user, fields.getfirst('machine_id'))
-    action = fields.getfirst('action')
-    cdrom = fields.getfirst('cdrom')
-    print >> sys.stderr, time.time()-start_time
-    if cdrom is not None and not CDROM.get(cdrom):
-        raise CodeError("Invalid cdrom type '%s'" % cdrom)    
-    if action not in ('Reboot', 'Power on', 'Power off', 'Shutdown', 
-                      'Delete VM'):
-        raise CodeError("Invalid action '%s'" % action)
-    if action == 'Reboot':
-        if cdrom is not None:
-            out, err = remctl('control', machine.name, 'reboot', cdrom,
-                              err=True)
-        else:
-            out, err = remctl('control', machine.name, 'reboot',
-                              err=True)
-        if err:
-            if re.match("Error: Domain '.*' does not exist.", err):
-                raise InvalidInput("action", "reboot", 
-                                   "Machine is not on")
-            else:
-                print >> sys.stderr, 'Error on reboot:'
-                print >> sys.stderr, err
-                raise CodeError('ERROR on remctl')
-                
-    elif action == 'Power on':
-        if maxMemory(user) < machine.memory:
-            raise InvalidInput('action', 'Power on',
-                               "You don't have enough free RAM quota "
-                               "to turn on this machine.")
-        bootMachine(machine, cdrom)
-    elif action == 'Power off':
-        out, err = remctl('control', machine.name, 'destroy', err=True)
-        if err:
-            if re.match("Error: Domain '.*' does not exist.", err):
-                raise InvalidInput("action", "Power off", 
-                                   "Machine is not on.")
-            else:
-                print >> sys.stderr, 'Error on power off:'
-                print >> sys.stderr, err
-                raise CodeError('ERROR on remctl')
-    elif action == 'Shutdown':
-        out, err = remctl('control', machine.name, 'shutdown', err=True)
-        if err:
-            if re.match("Error: Domain '.*' does not exist.", err):
-                raise InvalidInput("action", "Shutdown", 
-                                   "Machine is not on.")
-            else:
-                print >> sys.stderr, 'Error on Shutdown:'
-                print >> sys.stderr, err
-                raise CodeError('ERROR on remctl')
-    elif action == 'Delete VM':
-        deleteVM(machine)
-    print >> sys.stderr, time.time()-start_time
-
-    d = dict(user=user,
-             command=action,
-             machine=machine)
-    return d
-
 def command(user, fields):
     """Handler for running commands like boot and delete on a VM."""
     back = fields.getfirst('back')
     try:
-        d = commandResult(user, fields)
+        d = controls.commandResult(user, fields)
         if d['command'] == 'Delete VM':
             back = 'list'
     except InvalidInput, err:
@@ -758,86 +311,37 @@ def command(user, fields):
         d['result'] = result
         return Template(file='list.tmpl', searchList=[d])
     elif back == 'info':
-        machine = testMachineId(user, fields.getfirst('machine_id'))
+        machine = validation.testMachineId(user, fields.getfirst('machine_id'))
         d = infoDict(user, machine)
         d['result'] = result
         return Template(file='info.tmpl', searchList=[d])
     else:
         raise InvalidInput('back', back, 'Not a known back page.')
 
-def testAdmin(user, admin, machine):
-    if admin in (None, machine.administrator):
-        return None
-    if admin == user.username:
-        return admin
-    if getafsgroups.checkAfsGroup(user.username, admin, 'athena.mit.edu'):
-        return admin
-    if getafsgroups.checkAfsGroup(user.username, 'system:'+admin,
-                                  'athena.mit.edu'):
-        return 'system:'+admin
-    return admin
-    #raise InvalidInput('administrator', admin, 
-    #                   'You must control the group you move it to.')
-    
-def testOwner(user, owner, machine):
-    if owner in (None, machine.owner):
-        return None
-    value = getafsgroups.checkLockerOwner(user.username, owner, verbose=True)
-    if value == True:
-        return owner
-    raise InvalidInput('owner', owner, value)
-
-def testContact(user, contact, machine=None):
-    if contact in (None, machine.contact):
-        return None
-    if not re.match("^[A-Z0-9._%+-]+@[A-Z0-9.-]+\.[A-Z]{2,4}$", contact, re.I):
-        raise InvalidInput('contact', contact, "Not a valid email.")
-    return contact
-
-def testDisk(user, disksize, machine=None):
-    return disksize
-
-def testName(user, name, machine=None):
-    if name in (None, machine.name):
-        return None
-    if not Machine.select_by(name=name):
-        return name
-    raise InvalidInput('name', name, "Name is already taken.")
-
-def testHostname(user, hostname, machine):
-    for nic in machine.nics:
-        if hostname == nic.hostname:
-            return hostname
-    # check if doesn't already exist
-    if NIC.select_by(hostname=hostname):
-        raise InvalidInput('hostname', hostname,
-                           "Already exists")
-    if not re.match("^[A-Z0-9-]{1,22}$", hostname, re.I):
-        raise InvalidInput('hostname', hostname, "Not a valid hostname; "
-                           "must only use number, letters, and dashes.")
-    return hostname
-
 def modifyDict(user, fields):
     olddisk = {}
     transaction = ctx.current.create_transaction()
     try:
-        machine = testMachineId(user, fields.getfirst('machine_id'))
-        owner = testOwner(user, fields.getfirst('owner'), machine)
-        admin = testAdmin(user, fields.getfirst('administrator'), machine)
-        contact = testContact(user, fields.getfirst('contact'), machine)
-        hostname = testHostname(owner, fields.getfirst('hostname'), machine)
-        name = testName(user, fields.getfirst('name'), machine)
+        machine = validation.testMachineId(user, fields.getfirst('machine_id'))
+        owner = validation.testOwner(user, fields.getfirst('owner'), machine)
+        admin = validation.testAdmin(user, fields.getfirst('administrator'),
+                                     machine)
+        contact = validation.testContact(user, fields.getfirst('contact'),
+                                         machine)
+        hostname = validation.testHostname(owner, fields.getfirst('hostname'),
+                                           machine)
+        name = validation.testName(user, fields.getfirst('name'), machine)
         oldname = machine.name
         command = "modify"
 
         memory = fields.getfirst('memory')
         if memory is not None:
-            memory = validMemory(user, memory, machine, on=False)
+            memory = validation.validMemory(user, memory, machine, on=False)
             machine.memory = memory
  
-        disksize = testDisk(user, fields.getfirst('disk'))
+        disksize = validation.testDisk(user, fields.getfirst('disk'))
         if disksize is not None:
-            disksize = validDisk(user, disksize, machine)
+            disksize = validation.validDisk(user, disksize, machine)
             disk = machine.disks[0]
             if disk.size != disksize:
                 olddisk[disk.guest_device_name] = disksize
@@ -865,11 +369,9 @@ def modifyDict(user, fields):
         transaction.rollback()
         raise
     for diskname in olddisk:
-        remctl("web", "lvresize", oldname, diskname, str(olddisk[diskname]))
+        controls.resizeDisk(oldname, diskname, str(olddisk[diskname]))
     if name is not None:
-        for disk in machine.disks:
-            remctl("web", "lvrename", oldname, disk.guest_device_name, name)
-        remctl("web", "moveregister", oldname, name)
+        controls.renameMachine(machine, oldname, name)
     return dict(user=user,
                 command=command,
                 machine=machine)
@@ -880,10 +382,10 @@ def modify(user, fields):
         modify_dict = modifyDict(user, fields)
     except InvalidInput, err:
         result = None
-        machine = testMachineId(user, fields.getfirst('machine_id'))
+        machine = validation.testMachineId(user, fields.getfirst('machine_id'))
     else:
         machine = modify_dict['machine']
-        result='Success!'
+        result = 'Success!'
         err = None
     info_dict = infoDict(user, machine)
     info_dict['err'] = err
@@ -942,7 +444,7 @@ def badOperation(u, e):
     raise CodeError("Unknown operation")
 
 def infoDict(user, machine):
-    status = statusInfo(machine)
+    status = controls.statusInfo(machine)
     has_vnc = hasVnc(status)
     if status is None:
         main_status = dict(name=machine.name,
@@ -1005,9 +507,9 @@ def infoDict(user, machine):
         else:
             pass
             #fields.append((disp, None))
-    max_mem = maxMemory(user, machine)
-    max_disk = maxDisk(user, machine)
-    defaults=Defaults()
+    max_mem = validation.maxMemory(user, machine)
+    max_disk = validation.maxDisk(user, machine)
+    defaults = Defaults()
     for name in 'machine_id name administrator owner memory contact'.split():
         setattr(defaults, name, getattr(machine, name))
     if machine.nics:
@@ -1029,7 +531,7 @@ def infoDict(user, machine):
 
 def info(user, fields):
     """Handler for info on a single VM."""
-    machine = testMachineId(user, fields.getfirst('machine_id'))
+    machine = validation.testMachineId(user, fields.getfirst('machine_id'))
     d = infoDict(user, machine)
     return Template(file='info.tmpl', searchList=[d])
 
@@ -1055,24 +557,7 @@ def getUser():
     else:
         return User('moo', 'nobody')
 
-if __name__ == '__main__':
-    start_time = time.time()
-    fields = cgi.FieldStorage()
-    u = getUser()
-    g = Global(u)
-    operation = os.environ.get('PATH_INFO', '')
-    if not operation:
-        print "Status: 301 Moved Permanently"
-        print 'Location: ' + os.environ['SCRIPT_NAME']+'/\n'
-        sys.exit(0)
-
-    if operation.startswith('/'):
-        operation = operation[1:]
-    if not operation:
-        operation = 'list'
-
-
-
+def main(operation, user, fields):    
     fun = mapping.get(operation, badOperation)
 
     if fun not in (helpHandler, ):
@@ -1080,7 +565,7 @@ if __name__ == '__main__':
     try:
         output = fun(u, fields)
 
-        headers = dict(default_headers)
+        headers = dict(DEFAULT_HEADERS)
         if isinstance(output, tuple):
             new_headers, output = output
             headers.update(new_headers)
@@ -1110,3 +595,22 @@ if __name__ == '__main__':
         print e
         print '----'
         raise
+
+if __name__ == '__main__':
+    start_time = time.time()
+    fields = cgi.FieldStorage()
+    u = getUser()
+    g.user = u
+    operation = os.environ.get('PATH_INFO', '')
+    if not operation:
+        print "Status: 301 Moved Permanently"
+        print 'Location: ' + os.environ['SCRIPT_NAME']+'/\n'
+        sys.exit(0)
+
+    if operation.startswith('/'):
+        operation = operation[1:]
+    if not operation:
+        operation = 'list'
+
+    main(operation, u, fields)
+
diff --git a/templates/validation.py b/templates/validation.py
new file mode 100644 (file)
index 0000000..7c0c3da
--- /dev/null
@@ -0,0 +1,201 @@
+#!/usr/bin/python
+
+import getafsgroups
+import re
+import string
+from sipb_xen_database import Machine, NIC
+from webcommon import InvalidInput, g
+
+MAX_MEMORY_TOTAL = 512
+MAX_MEMORY_SINGLE = 256
+MIN_MEMORY_SINGLE = 16
+MAX_DISK_TOTAL = 50
+MAX_DISK_SINGLE = 50
+MIN_DISK_SINGLE = 0.1
+MAX_VMS_TOTAL = 10
+MAX_VMS_ACTIVE = 4
+
+def getMachinesByOwner(user, machine=None):
+    """Return the machines owned by the same as a machine.
+    
+    If the machine is None, return the machines owned by the same
+    user.
+    """
+    if machine:
+        owner = machine.owner
+    else:
+        owner = user.username
+    return Machine.select_by(owner=owner)
+
+def maxMemory(user, machine=None, on=True):
+    """Return the maximum memory for a machine or a user.
+
+    If machine is None, return the memory available for a new 
+    machine.  Else, return the maximum that machine can have.
+
+    on is whether the machine should be turned on.  If false, the max
+    memory for the machine to change to, if it is left off, is
+    returned.
+    """
+    if not on:
+        return MAX_MEMORY_SINGLE
+    machines = getMachinesByOwner(user, machine)
+    active_machines = [x for x in machines if g.uptimes[x]]
+    mem_usage = sum([x.memory for x in active_machines if x != machine])
+    return min(MAX_MEMORY_SINGLE, MAX_MEMORY_TOTAL-mem_usage)
+
+def maxDisk(user, machine=None):
+    machines = getMachinesByOwner(user, machine)
+    disk_usage = sum([sum([y.size for y in x.disks])
+                      for x in machines if x != machine])
+    return min(MAX_DISK_SINGLE, MAX_DISK_TOTAL-disk_usage/1024.)
+
+def cantAddVm(user):
+    machines = getMachinesByOwner(user)
+    active_machines = [x for x in machines if g.uptimes[x]]
+    if len(machines) >= MAX_VMS_TOTAL:
+        return 'You have too many VMs to create a new one.'
+    if len(active_machines) >= MAX_VMS_ACTIVE:
+        return ('You already have the maximum number of VMs turned on.  '
+                'To create more, turn one off.')
+    return False
+
+def validAddVm(user):
+    reason = cantAddVm(user)
+    if reason:
+        raise InvalidInput('create', True, reason)
+    return True
+
+def haveAccess(user, machine):
+    """Return whether a user has adminstrative access to a machine"""
+    if user.username == 'moo':
+        return True
+    if user.username in (machine.administrator, machine.owner):
+        return True
+    if getafsgroups.checkAfsGroup(user.username, machine.administrator, 
+                                  'athena.mit.edu'): #XXX Cell?
+        return True
+    if getafsgroups.checkLockerOwner(user.username, machine.owner):
+        return True
+    return owns(user, machine)
+
+def owns(user, machine):
+    """Return whether a user owns a machine"""
+    if user.username == 'moo':
+        return True
+    return getafsgroups.checkLockerOwner(user.username, machine.owner)
+
+def validMachineName(name):
+    """Check that name is valid for a machine name"""
+    if not name:
+        return False
+    charset = string.ascii_letters + string.digits + '-_'
+    if name[0] in '-_' or len(name) > 22:
+        return False
+    for x in name:
+        if x not in charset:
+            return False
+    return True
+
+def validMemory(user, memory, machine=None, on=True):
+    """Parse and validate limits for memory for a given user and machine.
+
+    on is whether the memory must be valid after the machine is
+    switched on.
+    """
+    try:
+        memory = int(memory)
+        if memory < MIN_MEMORY_SINGLE:
+            raise ValueError
+    except ValueError:
+        raise InvalidInput('memory', memory, 
+                           "Minimum %s MB" % MIN_MEMORY_SINGLE)
+    if memory > maxMemory(user, machine, on):
+        raise InvalidInput('memory', memory,
+                           'Maximum %s MB' % maxMemory(user, machine))
+    return memory
+
+def validDisk(user, disk, machine=None):
+    """Parse and validate limits for disk for a given user and machine."""
+    try:
+        disk = float(disk)
+        if disk > maxDisk(user, machine):
+            raise InvalidInput('disk', disk,
+                               "Maximum %s G" % maxDisk(user, machine))
+        disk = int(disk * 1024)
+        if disk < MIN_DISK_SINGLE * 1024:
+            raise ValueError
+    except ValueError:
+        raise InvalidInput('disk', disk,
+                           "Minimum %s GB" % MIN_DISK_SINGLE)
+    return disk
+            
+def testMachineId(user, machine_id, exists=True):
+    """Parse, validate and check authorization for a given user and machine.
+
+    If exists is False, don't check that it exists.
+    """
+    if machine_id is None:
+        raise InvalidInput('machine_id', machine_id, 
+                           "Must specify a machine ID.")
+    try:
+        machine_id = int(machine_id)
+    except ValueError:
+        raise InvalidInput('machine_id', machine_id, "Must be an integer.")
+    machine = Machine.get(machine_id)
+    if exists and machine is None:
+        raise InvalidInput('machine_id', machine_id, "Does not exist.")
+    if machine is not None and not haveAccess(user, machine):
+        raise InvalidInput('machine_id', machine_id,
+                           "You do not have access to this machine.")
+    return machine
+
+def testAdmin(user, admin, machine):
+    if admin in (None, machine.administrator):
+        return None
+    if admin == user.username:
+        return admin
+    if getafsgroups.checkAfsGroup(user.username, admin, 'athena.mit.edu'):
+        return admin
+    if getafsgroups.checkAfsGroup(user.username, 'system:'+admin,
+                                  'athena.mit.edu'):
+        return 'system:'+admin
+    return admin
+    
+def testOwner(user, owner, machine):
+    if owner in (None, machine.owner):
+        return None
+    value = getafsgroups.checkLockerOwner(user.username, owner, verbose=True)
+    if not value:
+        return owner
+    raise InvalidInput('owner', owner, value)
+
+def testContact(user, contact, machine=None):
+    if contact in (None, machine.contact):
+        return None
+    if not re.match("^[A-Z0-9._%+-]+@[A-Z0-9.-]+\.[A-Z]{2,4}$", contact, re.I):
+        raise InvalidInput('contact', contact, "Not a valid email.")
+    return contact
+
+def testDisk(user, disksize, machine=None):
+    return disksize
+
+def testName(user, name, machine=None):
+    if name in (None, machine.name):
+        return None
+    if not Machine.select_by(name=name):
+        return name
+    raise InvalidInput('name', name, "Name is already taken.")
+
+def testHostname(user, hostname, machine):
+    for nic in machine.nics:
+        if hostname == nic.hostname:
+            return hostname
+    # check if doesn't already exist
+    if NIC.select_by(hostname=hostname):
+        raise InvalidInput('hostname', hostname,
+                           "Already exists")
+    if not re.match("^[A-Z0-9-]{1,22}$", hostname, re.I):
+        raise InvalidInput('hostname', hostname, "Not a valid hostname; "
+                           "must only use number, letters, and dashes.")
+    return hostname
diff --git a/templates/webcommon.py b/templates/webcommon.py
new file mode 100644 (file)
index 0000000..01b820a
--- /dev/null
@@ -0,0 +1,44 @@
+"""Exceptions for the web interface."""
+
+from sipb_xen_database import Machine
+
+class MyException(Exception):
+    """Base class for my exceptions"""
+    pass
+
+class InvalidInput(MyException):
+    """Exception for user-provided input is invalid but maybe in good faith.
+
+    This would include setting memory to negative (which might be a
+    typo) but not setting an invalid boot CD (which requires bypassing
+    the select box).
+    """
+    def __init__(self, err_field, err_value, expl=None):
+        MyException.__init__(self, expl)
+        self.err_field = err_field
+        self.err_value = err_value
+
+class CodeError(MyException):
+    """Exception for internal errors or bad faith input."""
+    pass
+
+import controls
+
+class Global(object):
+    """Global state of the system, to avoid duplicate remctls to get state"""
+    def __init__(self, user):
+        self.user = user
+
+    def __get_uptimes(self):
+        if not hasattr(self, '_uptimes'):
+            self._uptimes = controls.getUptimes(Machine.select())
+        return self._uptimes
+    uptimes = property(__get_uptimes)
+
+    def clear(self):
+        """Clear the state so future accesses reload it."""
+        for attr in ('_uptimes', ):
+            if hasattr(self, attr):
+                delattr(self, attr)
+
+g = Global(None)