Vom bedeutenden Schloss auf einem Felsen über dem Ort sind heute nur wenige Mauerreste erhalten, darunter Zwingermauern und ein halboffener Mauerturm mit Schlüsselscharten aus dem 14. Jahrhundert.
Die Burg entstand auf Gebiet des Bamberger Bischofs, der um 1009 einen Ministerialen mit der Burg belehnte. Die Winzerer blieben bis zu ihrem Aussterben 1324 im Besitz der Anlage. Nachher sind Hartlieb und Jakob Puchperger als Besitzer genannt, dessen Tochter heiratet 1555 Ott Heinrich von Schwarzenberg aus dem Rittergeschlecht, das auch im fränkischen Hohenlandsberg und später im tschechischen Krummau saß. Ott Heinrich baute Winzer zum prächtigen Schloss aus, wie es auf dem Stich zu sehen ist. Die Schwarzenberger wurden 1566 in den erblichen Grafenstand erhoben und 1670 gar zu Reichsfürsten, sie besetzten bis in neuere Zeit immer wieder hohe politische Ämter unter anderem für den Kaiser in Wien. Karel Schwarzenberg war noch bis vor kurzem Außenminister der Republik Tschechien.
1744 wird Schloss Winzer im Österreichischen Erbfolgekrieg zerstört, danach Nutzung als Steinbruch. Ludwig I. stellt Winzer Anfang des 19. Jahrhunderts unter Denkmalschutz - zu spät, wie es scheint.
)
)