Alojzy Fryderyk Brühl urodził się 21 czerwca 1739 r. w Dreźnie. Był najstarszym synem Henryka i Marii Anny z domu Kolowrath ((A. Hniłko, Alojzy Fryderyk von Brühl, PSB, t. III, (1937), s. 13-16.)). Od najmłodszych lat był wychowywany dość surowo. Rodzice pragnęli, aby zrobił karierę w wojsku. Jego ojciec zadbał, by nauczył się języka polskiego, a także pięciu innych języków. Studiował w Lipsku i Lejdzie, na uczelniach cieszących się w XVIII wieku doskonałą sławą. Jak każdy młody arystokrata, odbył kilka podróży po krajach i dworach europejskich. Poznał króla Anglii Jerzego II, a także carycę Elżbietę ((J. Dudziak, Alojzy Fryderyk Brühl, Zielona Góra 2010, 24.)).
W 1750 r. dzięki ojcu otrzymał w wieku 11 lat starostwo warszawskie, które miało być dobrym fundamentem pod przyszłą karierę. Z czasem Alojzy będzie posiadał jeszcze kilka innych starostw. W 1758 r. młody Brühl został po raz pierwszy posłem na sejm, podczas którego nie odegrał jednak żadnej znaczącej roli ((Tamże, 35.)). Wszystkie kolejne sejmy, na które posłował, zostały zerwane. W następnych latach pełnił funkcje dyplomatyczne ((Tamże, 37.)).
Henryk Brühl, aby umocnić pozycję syna, szukał dla niego odpowiedniej żony. Nie wszystkie rody jednak były chętne do takiego małżeństwa. Gdy Czartoryscy odmówili, postanowił związać syna z Potockimi. W 1760 r. obył się ślub Alojzego i Marianny Klementyny z Potockich ((Tamże, s. 43.)). Nie było to zbyt szczęśliwe małżeństwo, ale przyspieszyło karierę młodego magnata. W 1761 r. otrzymał urząd cześnika koronnego i order Orła Białego.
W 1762 r. Stanisław Poniatowski (przyszły król) podczas trwania sejmu zarzucił Alojzemu brak polskiego szlachectwa, przez co stronnictwo dworskie, pod przywództwem Henryka Brühla, zostało zmuszone do zerwania sejmu. Po tak fatalnym przebiegu sejmu i sporze o szlachectwo, ojciec zdecydował się scedować generalstwo artylerii na rzecz swego syna ((W. Konopczyński, Henryk von Brühl, s. 16-19.)). Niestety w roku 1763 zmarł August III Sas oraz sam minister.