После неудачной попытки организовать быстрый развод Генриха VIII с Екатериной Арагонской, Уолси утратил свое могущество, и дворец Йорк-Плейс, несмотря на то что принадлежал епархии Йорка, а не лично кардиналу, перешел во владение короля. Ту же судьбу разделил дворец Хэмптон-Корт.
При всем великолепии Йорк-Плейс Генрих немедленно занялся его улучшением. Он купил земли у аббата Вестминстерского и других соседей и расширил свои владения позади дворца, устроив там сады. Он решил сделать новую лестницу к реке, а поскольку строения дворца стояли по обе стороны дороги, ведущей из Лондона в Вестминстер, Генрих велел соорудить два моста через нее.
Еще большую красоту дворцу Уайтхолл, как его стали называть, придали три высокие галереи — Галерея уединения, которую перенесли из особняка Уолси в Ашере, Каменная галерея, откуда гости на королевских банкетах могли любоваться рекой, и Длинная галерея, где потолок был расписан Г. Гольбейном.
Вокруг дворца располагались четыре теннисных корта, лужайка для боулинга, арена для петушиных боев и место для состязаний всадников. Дальше на запад были видны стены красного кирпича еще одного из 13 королевских дворцов, находившихся на расстоянии однодневного путешествия от столицы.
Это был дворец Сент-Джеймс. Когда-то здесь стояла больница для прокаженных, затем на ее месте Генрих построил загородный особняк, чтобы не пользоваться старым Вестминстерским дворцом у реки, который к тому времени пришел в упадок. Этот дворец оставался важной королевской резиденцией еще во времена его отца; однако в 1512 г. там произошел пожар, и, хотя ущерб от стихии впоследствии был ликвидирован, Генриху больше по вкусу стали его другие владения — в Элтеме, Ричмонде, Виндзоре, Гринвиче; Хэмптон-Корт и Уайтхолл тоже оказались в этом списке.