Przez 23 lata, na polecenie Krzysztofa Ossolińskiego – wojewody sandomierskiego, Wawrzyniec Senes z Gryzonii budował zamek w Ujeździe. Na bramie wjazdowej umieszczono wizerunki krzyża i topora, które sprawiły, że powszechnie obiekt znany jest jako „Krzyżtopór”.
W 1655 roku, a więc w 11 lat po zakończeniu budowy opanowali go Szwedzi. Kilkakrotnie zajmowany i opuszczany zamek uległ zniszczeniu i po wojnie nie wrócił już do dawnej świetności. Zamek jest wstawiony we wnętrze pięciobocznej fortecy usytuowanej na niewielkim wzniesieniu, otoczony fosą. Obiekt miał symbolizować kalendarz: cztery wieże miały wyobrażać kwartały, pokoi było tyle ile tygodni w roku, sal ile miesięcy, a okien ile dni w roku.