Házassága előtt is szép számmal fogyasztotta a szeretőit. Az első Mary Robinson volt, akinek pénzt ajánlott, ha igent mond a szeretői posztra. Maryt azonban hamar megunta, így következett Grace, ő azonban félrelépett, így következett Maria Fitzherbert akivel 26 éven át együtt is éltek. Igen ám, de az uralkodót Maria sem tudta lekötni teljesen, úgyhogy az állítólagos őrült szerelem ellenére György továbbra is „fogyasztotta” a szebbnél szebb grófhölgyeket.