Lâu đài Norman đầu tiên được xây dựng tại Lydford sớm sau khi chinh phục 1066; phần còn lại của đào đắp của nó có thể được nhìn thấy ở phía nam của nhà thờ St Petrock. Một tháp mới được xây dựng trong 1195, một chút về phía bắc của lâu đài ban đầu, có thể để sử dụng như một nhà tù. Vào khoảng thế kỷ 13, được xây dựng lại hoàn toàn. A mương đã được đào xung quanh tháp và đất xếp chồng lên chống lại tầng trệt để tạo thành một gò đất. Trên hai tầng được cải biến thành một giữ nhỏ, trong khi tầng mặt đất là đầy in cùng một lúc bailey đào đắp về phía tây bắc được xây dựng. Đến đầu thế kỷ 18 lâu đài đã trở thành bơ vơ, nhưng nó được sửa chữa, và cho tới thế kỷ phục vụ như là một nhà tù và trụ sở tòa án, trước khi bị bỏ rơi một lần nữa và có thể rơi vào hủy hoại.