C’est en 1683 que les frères Charles et Pierre de Lessard se font concéder le territoire de La Seigneurie des Éboulements. Pierre Tremblay acquière celle-ci en 1710 et c’est lui qui développe véritablement les terres en accordant de nombreuses concessions. La municipalité des Éboulements est considérée comme le berceau de cette famille nombreuse. L’établissement des premiers colons se fait près du fleuve et sur le plateau. Il y fait construire un premier Manoir seigneurial, près du fleuve. Il ne reste aucun vestige des bâtiments de cette première Seigneurie. À compter de 1724, on y fabrique du goudron à partir du bois de pin et en 1790, le seigneur bâtit lui-même le moulin seigneurial (appelé moulin banal), avec ses fils. On peut visiter ce moulin dans un site magnifique, en haut d’une chute de 30 mètres, tout près de l’intersection de la route du Port (grande côte) et de la route du Fleuve, le long de la rivière du Seigneur. Un moulin à farine y est également construit.

Vers 1810, la Seigneurie est vendue à Pierre de Sales Laterrière. La famille Laterrière, longtemps associée à l’histoire des Éboulements, transformera et agrandira le Manoir. D’abord établi en 1855 sous le nom de l’Assomption-de-la-Sainte-Vierge, le village des Éboulements représente l’un des plus anciens de la région de Charlevoix. En 1859, le pouvoir municipal est instauré entraînant ainsi l’abolition du régime seigneurial. À cette époque, plus de 200 habitations se dressent le long de la côte, face au fleuve. L’agglomération se développe le long de l’actuelle route du Fleuve (362), autour de l’église et de quelques commerces. L’activité économique est principalement basée sur la construction maritime, l’agriculture et la forêt.

Aujourd’hui, la partie du haut des Éboulements a conservé son caractère agricole et forestier et plusieurs fermes sont encore très actives. On y pratique des activités d’élevage de vaches laitières, de veaux, de bœufs, de porcs et d’agneaux. L’exploitation forestière est encore le plus souvent « douce » pour assurer un rendement durable. La forêt est grande autour de la montagne, les charmes de l’arrière-pays sont bien préservés.

Le secteur de Saint-Joseph-de-la-Rive a conservé de nombreux éléments de son passé maritime, base de son économie à la fin du 19^e et au 20^e siècle. Le Musée maritime de Charlevoix est établi sur les lieux mêmes du site de la construction des goélettes. 

Les deux parties du village ont toujours été en interaction dans leur économie.  La forêt fournissait l’approvisionnement en bois pour la construction des goélettes, les produits de la culture étaient transportés par voie maritime, le fleuve fournissait les engrais (algues, poissons) pour les terres agricoles et le bétail profitait des prairies d’herbes salées de ses rivages.

Les intempéries près du fleuve ont à deux reprises détruit et endommagé l’église. Elle fut reconstruite en 1804 dans le secteur du haut des collines (à l’endroit actuel, dans le village des Éboulements), pour être détruite à nouveau lors d’un incendie et reconstruite en 1932. Une chapelle à Saint-Joseph-de-la-Rive, à l’endroit actuel, fut construite en 1910 et réservée aux villégiateurs. C’est en 1931, lorsque Saint-Joseph-de-la-Rive obtint son statut de municipalité, que la chapelle devint accessible à tous ses citoyens. Celle-ci s’est empreinte d’un décor rappelant la vie maritime intimement liée à son histoire.

Autres témoins de l’histoire : les deux cimetières.  Une visite du cimetière du village des Éboulements permet de repérer les nombreux ancêtres des Tremblay d’Amérique, des seigneurs de Sales Laterrière et de la seigneuresse de Kamouraska.  Quant à celui de Saint-Joseph-de-la-Rive, Mgr Félix-Antoine Savard, écrivain et fondateur de la papeterie Saint-Gilles, y repose.