Le bâtiment de Rochefort domine la grande place du Château où se tenaient les foires au Moyen Age. On peut y voir encore les restes des arcades sur colonnes qui protégeaient les bancs des marchands au début du XIVème siècle. Du XVIème à la fin du XVIIIème siècle, il fut propriété de la famille de Cerjat, l’une des familles nobles les plus importantes de Moudon durant toute cette époque. C’est elle qui lui donna son nom de Rochefort, seigneurie qu’elle possédait dans la région d’Aubonne.
L’intérieur a conservé en bonne partie son aménagement de la fin du XVIème siècle. On peut y admirer notamment plusieurs vestiges du décor peint restauré en 2000, d’une grande authenticité, comme ce fragment de la scène du péché originel.
En 1595, François de Cerjat reconstruisit en partie les maisons médiévales en y ajoutant deux éléments modernes pour l’époque, un vaste couloir d’accès et une tourelle d’escalier en vis. C’est sur cette tourelle que prit place l’horloge du quartier en 1730, lorsqu’il fallut démolir le clocher de l’ancienne église Notre-Dame qui avait subsisté sur la place.