如果渣土车在施工单位的指导或授权下工作，压死人的责任将由施工单位承担。

在这种情况下，施工单位不仅需要对受害者的家属做出赔偿，还需要为公司的管理和安全规程进行调整和改进，以确保此类事件不再发生。

此外，如果渣土车司机或承运公司存在过错行为，他们也可能同样承担责任。