Avant que la résidence soit construite, les directeurs du pénitencier de Kingston et leurs familles résidaient dans des appartements à l'intérieur du pénitencier. L’aile hébergeait également les bureaux de l’administration. Entièrement réalisée par les détenus sous la surveillance d’enseignants de métiers, la construction s’est achevée au bout de 3 ans. Le coût? Environ 9 000 $ (en dollars de 1873). Conçue selon le style vernaculaire des villas italiennes par l'architecte du pénitencier, Henry H. Horsey, elle a été construite en combinant des pierres de calcaires locales de Kingston provenant de la réserve du pénitencier, à du grès d'Ohio. À la fin du 19e siècle, la résidence a été nommée Cedarhedge, en référence aux anciennes haies de cèdres taillés le long de la route. Au dire de tous, la vie à Cedarhedge était luxueuse. À son apogée, la propriété affichait des vergers de pommiers, des serres, des vignobles et un jardin d'hiver. Des détenus jardiniers travaillaient chaque jour sur les vastes terrains de la propriété, et certaines familles résidentes sont connues pour avoir employé leurs propres domestiques, non détenus, dans la maison. La grandeur de cette maison est illustrée par au moins deux cartes postales produites pour la vente au public vers 1900.