一般情况下，当双方都违约时，是需要支付违约金的。违约金是对于违约行为的一种经济制裁，旨在弥补对方的损失和维护合同的信用。当然，如果双方违约的情况相对轻微，或者违约金条款另有约定，也可能不支付违约金。具体是否需要支付违约金，需要根据具体情况来判断。