Вообще-то, дворец этот стоит именовать Лобковицким, ибо строился он по заказу и на деньги Яна из Лобковиц, который в 16-м веке был не абы кем, а пражским бургграфом, то бишь градоначальником (типа Собянина), а Шварценберги вступят во владение дворцом лишь в 18 веке.
Еще раньше на этом месте стояли несколько частных домов, которые сгорели во время размашистого пожара 1541 года. Удручающее пепелище портило своим видом Градчанскую площадь до тех пор, пока на него не упал глаз уже упомянутого мной Яна Лобковицкого. Мужчина уже тогда занимал какие-то важные посты в пражской администрации, поэтому и резиденция должна была быть годной, статусной. Денег у Яна было, как мух в сортире, поэтому было решено не экономить - в качестве генподрядчика выступил престижный иностранец Агостино Галли, который, несмотря на явно итальянское ФИО носил прозвище Влах.
Умели раньше мэры понтоваться!

Как мы видим, деньги были вложены с умом: макаронник с цыганской кличкой выстроил нереально красивую резиденцию. Строительство началось в 1545 году, а вскоре по городу пошел слушок - жена мэра крутит шашни с архитектором! Циничному и темпераментному Влаху было мало запустить руку в кошелек мэра - он решил пошарить и в его постели. Как часто бывает, в курсе интрижки были все, кроме мужа. Пражане мусолили подробности тайной связи за спиной своего градоначальника и мерзко хихикали вслед его карете. Но, как известно, шила не утаишь - рано или поздно оно вплывет на поверхность мешка. Видимо, кто-то из анонимусов стуканул-таки Яну Лобковицкому и тот, придя в ярость, выгнал похотливого архитектора на мороз, зажилив при этом получку и суточные. Собирая манатки, Галли шипел себе под нос гадкие эпитеты с адрес прозорливого заказчика и жаждал мести. Другой бы наплевал да побыстрее сдриснул домой; но то ли мэрша была слишком хороша, чтобы вот так ни за хер лишиться ее прелестей, то ли пикантность ситуации всколыхнула отголоски каких-то залежавшихся комплексов - Агостин отомстил и сделал это весьма изящно, Борджиа могли бы гордиться своим земляком. Он раздобыл где-то оленьи рога отменной ветвистости и в укромный час закрепил их на дворце таким образом, чтобы они были видны тем, кто проходит мимо, а хозяин, подъезжающий к парадному входу, не смог бы их заметить.
Вон они, прямо над гребнем крыши

И снова пражские обыватели насмехались над богатым, но незадачливым Яном из Лобковиц, сам Ян ходил и не мог понять, почему на него так странно косятся главбух и секретарша, а рога преспокойно висели, попирая жалкие остатки мэрского авторитета. Когда же, наконец, владелец дворца увидел это не предусмотренное планом архитектурное излишество, он лишь тяжело вздохнул и махнул рукой - пусть, мол, висит и дальше. И это было правильно. Сними он их - это породило бы лишь новый виток насмешек и издевательств.
Лобковицкий род владел рогатым дворцом недолго - в 1594 году его очередной владелец Иржи (Георг) Лобковицкий упорол какой-то немыслимый косяк, оскорбив своего кайзера Рудольфа II, и отгреб за это суровый срок с полной конфискацией имущества. Дворец с тех пор поменял много хозяев, успел побыть административным зданием, конюшней, музеем и в настоящий момент принадлежит Национальной пражской галерее.