La situation était extrêmement grave au pénitencier de Kingston, avec des évasions, des mutineries et des officiers corrompus face à sa nouvelle administration. Ponsford a réussi à relever ces défis et a imposé un régime disciplinaire rigoureux. À ce poste, le directeur Ponsford a procédé à de nombreux changements à Cedarhedge. Il ajouta la baie vitrée du deuxième étage sur la façade principale, afin de voir qui approchait de la maison par la route, au coin sud-est de la propriété. Son souhait de faire installer des salles-de-bain dans la maison a fait place à un interminable débat. Le siège a ressenti le besoin de lui rappeler qu’il s’agit d’une résidence du gouvernement et non d’un manoir de « millionnaire »! Les Ponsford étaient relativement actifs dans la vie sociale locale. En octobre 1922, Mme Ponsford recevait, à Cedarhedge, le club féminin anglican de l’Université Queen’s. Le 25 octobre 1922, un numéro du Kingston Standard annonçait que « des cotillons d’Halloween, des bougies jaunes et des fougères décoraient le grand salon et étaient utilisés dans le salon de thé. Le doyen d’Ontario et le révérend W.E.Kidd étaient présents à l’heure du thé pour accueillir les filles du collège au club anglican. » Au cours des dernières années de son administration, la population carcérale a commencé à augmenter de manière significative. Le directeur Ponsford était en congé de retraite de janvier au 31 mars 1932 et a quitté Cedarhedge en février. Aucun remplaçant été nommé lorsque la première grande émeute de l’histoire du pénitencier de Kingston eut lieu en octobre 1932. Le capitaine Ponsford est décédé le 8 juin 1946.