> хотя должно бы

отчего бы это?
есть несколько аспектов:

во-первых, epsilon - это такое минимальное положительное число, что 1.0 + epsilon != 1.0
т.е. совершенно законно, что 2.0 + epsilon == 2.0

во-вторых, следовательно, оптимисты должны писать не 2.0 + epsilon, а 2.0*(1+epsilon)

в третьих, цепочка операций может накапливать погрешность неожиданным для неопытного человека образом. Конкретно в данном случае абсолютная погрешность суммы равна 2*epsilon, но при суммировании произвольной последовательности чисел довольно просто найти поучительные примеры -

>>> 1./3 + 2./3 - 1

0.0
>>> 1./3 -1 + 2./3

-1.1102230246251565e-16
>>> 2./3 -1 + 1./3

-5.551115123125783e-17

:)