根据《中华人民共和国公务员法》及相关规定，公务员兼职需要获得单位同意，且兼职内容不得影响公务员履行职责；同时，公务员职务是专职性质的，不能从事与职务无关的工作，更不应当从事危险性较高、身体劳动较大的工作。因此，公务员业余时作为搬运工是不允许的。任何违反规定的行为，都有可能影响公务员的职业形象，甚至会带来一定的法律风险。

因此，公务员应当注重职业道德和法律法规的规范，遵守相关规定，不做任何可能损害公共利益和社会公共利益的事情。