Mittelalterlich der runde Bergfried aus Buckelquadern, der Palas aus Quadern und Bruchsteinen, die Wehr- und Zwingermauern und ein Turmrest am Fuß der Burg. Die bewohnten Bauten wurden in historisierenden Formen erst 1911 eingefügt.
Herren "von Stein" sind schon im 12. Jahrhundert fassbar. Erbauer und Namensgeber der Burg war aber Altmann II. von Abensberg 1232. Der letzte Graf Niklas von Abensberg wurde 1485 vom bayerischen Herzog Christoph beseitigt, um an seine Besitzungen zu kommen. 1632 Zerstörung durch die Schweden, seither Ruine.