Георг III любил семейную жизнь и семейные традиции, и ему не нравился дворец Сент-Джеймс, неподходящий для тихих домашних радостей. Бэкингем-Хаус был приобретен им у сэра Чарлза Шеффилда, родственника Джона Шеффилда, первого герцога Бэкингемского и Нормандского, построившего этот дом в 1703 г.
Герцог тоже не любил громкие придворные церемониалы и, имея много детей, предпочитал более удобное жилище. После того как дети выросли, особняк перешел в наследное владение королевы Шарлотты; когда она умерла, он стал называться Королевским домом.
Дом оказался комфортным для родителей Георга IV, однако не для него самого. Чтобы собрать необходимую сумму на более роскошный дворец, было решено снести Карлтон-Хаус, а на месте его и окружающих садов сделать новую застройку.
Поэтому Риджент-стрит, вместо того чтобы открываться коринфским портиком Карлтон-Хауса, широкими террасными ступенями спускалась между новыми огромными кварталами Нэша — Карлтон-Гарден и Карлтон-Хаус-Террас — в сторону Сент-Джеймсского парка.
При поддержке Георга IV Нэш и его партнеры преобразили Сент-Джеймс-парк посадили деревья, проложили лорожки, превратили канал в изящно выгнутое озеро. Когда было закончено строительство на Риджент-стрит, Нэш, которому шел уже восьмой десяток лет, задумал проект, по которому южный конец улицы должен был соединяться — посредством продления, через Хеймаркет, улицы Пэлл-Мэлл и строительства новой площади у Чаринг-Кросс — с новой дорогой, ведущей от Уайтхолла к недавней застройке в Блумсбери.
