Il est construit entre 1721 et 1723, à l’initiative du comte Frantisek Ferdinand Kinsky, archi-chancelier et grand veneur du royaume de Bohême. Son nom (Karlova) fait référence à l’empereur romain germanique Charles VI à qui il doit son ascension sociale.