Au début du 13e siècle, une maison forte est construite, peut-être par les Comtes de Savoie, à l’angle nord-ouest de l’actuelle Maison de la Dîme.

Au 14e ou au 15e siècle, ce bâtiment est modifié pour devenir le lieu où un fonctionnaire du Comte de Savoie, le métral du vidomnat d’Aigle, juge les causes civiles et criminelles.

La grande salle de ce bâtiment est percée de quatre fenêtres dont l’une, visible depuis la terrasse du restaurant La Pinte du Paradis a pu être restituée dans son aspect d’origine.
Ces fenêtres sont condamnées, probablement dans la première moitié du 15e siècle, lorsque le bâtiment reçoit une affectation plus utilitaire

En 1587, le Gouverneur bernois Antoine Dachselhoffer reconstruit à cet emplacement un édifice plus grand devant servir de grange au château. Cet événement est rappelé, au-dessus de la porte de grange (entrée principale du bâtiment actuel), par les armes des Dachselhoffer. À l'origine, elles étaient flanquées de celles de la République de Berne qui sont martelées lors la Révolution de 1798.

La grange du château, outre l’espace pour le foin, a deux écuries, une étable, une cave, une aire pour battre le grain et divers logements, dont une chambre pour le tonnelier du Gouverneur. Elle sert en outre à recevoir une partie du produit des dîmes de la région.
La dîme est un impôt en nature perçu sur les récoltes et sur le bétail nouveau-né, que Leurs Excellences de Berne stockent pour pallier une éventuelle disette et empêcher toute spéculation.

Vendue après la Révolution vaudoise, le grange voit se succéder différents propriétaires privés pendant tout le 19e siècle. En 1913 la Commune d’Aigle acquiert une partie de l’édifice et en 1987 elle devient propriétaire de l’ensemble du bâtiment. Restaurée de 1993 à 1996 la grange du château est devenue la Maison de la Dîme qui accueille le restaurant la Pinte du Paradis avec son Cellier du Chablais et une salle de réception, la Salle des Excellences.