直接通知被委托人撤销。民法典合同编规定，委托人可以随时解除委托合同。委托书是由委托人出具给被委托人，因此委托人需要撤销委托书时，应当直接通知被委托人。