如果您的银行卡在别人手里，但密码是您自己设置并且只有您知道，那么这种情况可能存在一些风险。以下是一些可能发生的情况：

1. 被盗刷：如果持卡人不诚信或者失窃后将银行卡交给他人使用，并且该人恰好知道了密码，就有可能导致被盗刷的风险。

2. 误操作：如果持卡人本意是让他人代为办理某项业务（如缴费、转账等），但由于沟通不畅或者对方操作失误而导致资金损失。

3. 法律责任：如果持卡人授权他人使用其银行卡进行违法犯罪活动（如洗钱、赌博等），则会承担相应的法律责任。

因此，在将银行卡交给他人使用时，请谨慎考虑是否必要，并尽量避免将密码告诉其他任何人。同时建议定期查看自己的账户余额和交易记录，及时发现异常情况并与银行联系处理。