not to say
Sería tonto, por no decir loco, hacer semejante cosa.
It would be foolish, not to say crazy, to do such a thing.
Por no decir algo peor.
To say the least.