Il palazzo Malatesta viene costruito nel XIV secolo sotto la collina della Rocca, nella caratteristica via dell'Ombra, dall'omonima nobile famiglia che allora governa la città. Successivamente passa ai Montefeltro, quindi alla famiglia Guazzugli (che per un breve periodo vi impianta una zecca) ed infine di proprietà comunale, che la trasforma in carcere mandamentale e magazzino. Nonostante un parziale restauro, il palazzo si trova in un imperdonabile stato di abbandono.
Sull'architrave del portone è inciso un motto:
QVICQ AGIMVS VENIT EX ALTO
che si rifà probabilmente ad un verso di una tragedia di Seneca, l'Edipo Re: "Fatis agimur: cedite fatis: non sollicitae possunt curae mutare rati stamina fusi. Quidquid patimur mortale genus, quidquid facimus venit ex alto" [È il fato che ci trascina, cedete al fato: la nostra inquietudine non può cambiare la fama del fuso destinato. Tutto ciò che noi mortali soffriamo, tutto ciò che compiamo viene dall'alto.]
