Die Burg Ortenburg wurde im 12. Jahrhundert gegründet. Erstmals erwähnt wird der Name in einer Traditionsnotiz von 1123, die eine Güterübertragung des damaligen Augsburger Bischofs an das Kloster Asbach dokumentiert.
Der archäologisch bedeutendste Ort des Pustertals hat tatsächlich auch etwas mit den Ortenburgern zu tun. Im 11. Jahrhundert begegnen wir dort dem Ahnherrn der Familie.
In Ortenburg ist die Abstammung der Grafenfamilie von den Kraiburgern kaum bekannt. Unter dem ersten Grafen von Kraiburg gelang der Familie ein kometenhafter Aufstieg.