В статье "Preventing file limit denials of service" кратко рассказано про установку системных ограничений (максимальный размер файла, размер памяти для процесса, число процессов, размер core файлов, число открытых файлов и т.д.) через PAM (limits.conf) и ulimit (bash).