人家来你家闹事，这是对方错。你反击不能算群殴。但最好不要打，一打容易出事。可以报警，请当地派出所民警来处理这件事，比较妥当。