De eerste versterkings locatie in Cadore lag bovenop een heuvel middenin de Ampezzo regio, bij de splitsing tussen de Boite en Piave vallei. Later werd hier de "Pieve" (kerk van het volk, van het latijnse “plebis”.) gebouwd.

Pieve werd de hoofdstad van deze regio omdat het op zo een strategisch punt lag. Het kasteel diende als controle en verdediging punt. Omdat het gebouwd was op de top van de heuvel, een heilige plaats in Romeinse tijden.

Als er gevaar was kon de bevolking schuilen binnen het kasteel. De laatste keer dat dat gebeurde was tijdens de oorlog tegen Maximilian. Uit boeken en oude documenten blijkt dat het kasteel behoorlijk fors was. Met twee verdiepingen gebouwd rond een binnenplaats. De ingang kijkt op het noord-westen.

Een prachtig stambeeld dat waarschijnlijk uit de kapel van het kasteel komt zou het werk kunnen zijn van Mino da Pisa. Voorwerpen uit de kapel, onder andere dit stambeeld, zouden behoren tot de Vecellio school, en staan op dit moment in de overgebleven kerk.

Dit kasteel was het centrum van de militaire macht in deze regio. De beroemdste persoon uit die tijd, patriarch Bertrando van Aquileia bezocht in 1347 de Cadorini. Het kasteel is vaak onder Venetiaanse invloed gekomen, ook toen het de belegering van Maximilian afsloeg in 1511.

De Italiaanse schilder Titian is in 1485 geboren in Pieve di Cadore.