>> Мы как раз думаем - купить ли кучу 1U серверов
> У меня в одном боксе мускул (2Тб локальноно трафа в сутки), перловый
> бэкенд и кеширующий на диски фронт.

И во что вся эта конструкция упирается? в i/o, или в CPU?

> Но боевые эксперименты показали, что если десятерых
> клиентов, запросивших одну и ту же страницу, раздать через балансер на
> 10 отдельных "лезвий" (на каждом из которых, понятно, полная копия сервиса),
> то ждут клиенты страницу ДОЛЬШЕ, чем если бы вдесятером одновременно стукнулись
> в один большой сервак.

А чем и как балансили? LVS, например, позволяет балансить соединения на наименее прогруженные(в т.ч. по load average) ноды

> Я вам советую все, же провести эксперименты.
> Например под вмварью вы можете поднять и 10 и 50 серваков и
> сделать виртуальную "стойку".
> Начать с классики; мускул, почта, картинки, статика на выделенных серверах, пучок веб-серверов
> через балансер и нагрузить это тестовым сценарием.

Имхо, это будет плохой полигон для тестов производительности (но хорошая лаборатория для построения и виртуализированных, и не виртуализированных систем)

> Статика и несерьезно нагружающие проц скрипты очень много выгоды могут принести как
> раз при разнесении нагрузки на "лезвия".

Если у Вас все уперлось в CPU, может быть, просто стоило ставить на лезвия топовые, по MHz, CPU? меньшее число ядер не имеет значения, так как на ноду все равно идет меньшее число запросов

> нету на рынке
> более навороченных :)

Если Ваш супер-тазик x86, можно посмотреть на PowerPC :)