not to say
Por no decir algo peor.
To say the least.
Sería tonto, por no decir loco, hacer semejante cosa.
It would be foolish, not to say crazy, to do such a thing.