如果工厂不允许离职，你可以与工厂方面协商，并阐述你离职的原因和目的。如果协商无果，你也可以寻求法律方面的帮助，因为工厂方面的行为未必合法。

你可以咨询律师或当地的劳动监管机构，以了解你的权利和法律程序。维护自己的权益需要决心和耐心，但是不要被恐吓或威胁吓怕，保护自己的权益是每个人的责任和义务。