찰스 3세 국왕과 스펜서 경, 격렬한 갈등