К тому времени исчезла и другая знаменитая достопримечательность Лондона. Однажды во время сильного мороза в 1698 г. служанка Уайтхолл-Паласа оставила сушиться одежду своего хозяина слишком близко к жаровне с углем. Одежда загорелась, и через полчаса дворец был охвачен пламенем.
В течение всего столетия в различных местах этого огромного комплекса зданий, галерей, внутренних дворов, складов и площадок для петушиных боев, постоянно случались пожары. В ноябре после Великого пожара здесь произошел, как описывал Пипе, «ужасный пожар», дотла выжегший караульное помещение, построенное в 1649 г. и располагавшееся на месте нынешнего здания королевского конногвардейского полка Хорсгардс.
Несколько лет спустя горничная выбросила обгоревшие свечи, не потушив их до конца, в результате начался пожар, который уничтожил лабиринт старых построек вдоль реки.
Козимо III Тосканский, родственник Карла II по линии Медичи, однажды сказал об этом дворце, что это беспорядочное скопление двух тысяч тесных помещений, к тому же «плохо обставленных и без дверей». Но с тех пор дворцовый ансамбль улучшили.
Хотя брат Карла Джеймс предпочитал дворец Сент-Джеймс, он не жалел денег на перестройку Уайтхолла. Галерея уединения была заменена высоким зданием, спроектированным Реном, камины декорированы Гринлингом Гиббонсом, а потолки расписывал итальянский художник Антонио Веррио. Новую часовню тоже расписывали Гиббоне и Веррио.
Несколько лет спустя Рен построил террасу с выходом на реку стоимостью десять тысяч фунтов.
Пожар 1698 г. уничтожил половину Уайтхолла. Чудом сохранились Банкетный зал Иниго Джонса и двое ворот, построенных при Генрихе VIII. Банкетный зал уцелел и поныне; но тюдоровские ворота были позднее разрушены — Кинг-стрит-гейт в 1723 г. и Холбейн-гейт в 1759 г. (в это же время сносили все древние городские ворота, чтобы не допускать скопления транспорта в этих традиционно узких местах). С ворот Холбейн-гейт сняли два рельефа времен Римской империи и установили у въезда в город в Хэмптон-Корте.
Территория вокруг дворца Уайтхолл была отдана в аренду под частное строительство. На протяжении следующего столетия там появилось несколько больших домов: Монтегю-Хаус в 1733 г., Пелхэм-Хаус в 1755 г., Пемброук-Хаус в 1757 г., Каррингтон-Хаус в 1764 г. ив 1772 г. — Гвидир-Хаус. Первых четырех уже нет, а Гвидир-Хаус и поныне стоит неподалеку от единственной сохранившейся постройки тюдоровского дворца — кирпичного винного погреба длиной 70 футов, который за эти годы опустился на 20 футов в глубь земли. Сейчас нал этим погребом проходят лабиринто-образные коридоры здания Министерства обороны.
