Площадь Кавендиш-сквер вскоре стала центром нового фешенебельного пригорода, протянувшегося от города сетью улиц. Большинство из них, как и сама площадь, носят имена членов семьи Харли и их друзей, например Уэлбек и Уимпоул, а позднее сюда добавилось имя человека, за которого вышла замуж дочь Харли Маргарет — Уильяма Бентинка, герцога Портленда.
Более поздняя застройка Харли-Истейт происходила после 1770-х гг. К тому времени по соседству было застроено поместье очень богатого землевладельца Генри Уильяма Портмана, чей загородный дом находился в Бра-йанстоуне, в графстве Дорсет; именно в поместье Портмана, особенно на Портман-сквер, наблюдается ранний расцвет нового архитектурного стиля, связанного с именем Роберта Адама.
Ко времени Парижского мирного договора, которым закончилась в 1763 г. Семилетняя война, старое поколение архитекторов, чьей центральной фигурой был лорд Берлингтон, страстный поклонник Палладио, постепенно покидало поле своей деятельности. Все они и те, кто следовал за ними на этом поприще, претворяли в жизнь идеи Иниго Джонса, поддерживая классическую традицию при строительстве как частных домов, так и общественных зданий, и оставляя потомкам великолепные памятники архитектуры Лондона.