Borrar carpetas y archivos en Tortoise CVS Tan sencillo como darle a "Eliminar" y después a "Confirmar".