Les affaires culturelles apparaissent dans les attributions des bureaux de la préfecture au XIXe siècle avec la protection des monuments antiques qui incombe au 2e Bureau (Annuaire de 1840) puis au 4e Bureau avec les musées et monuments historiques (Annuaire de 1856) ; après les réorganisations de 1864, c’est finalement la 3e Division de la Préfecture qui administre les monuments historiques, avec les travaux publics. Jusqu’à l’avènement de la IIIe République, théâtre, musique, imprimerie et librairie sont également suivis à la Préfecture mais sous l’aspect de la censure administrative (1re Division). A la fin du siècle, musées, bibliothèques et monuments historiques relèvent désormais de la 1re Division (2e Bureau) ; cette attribution s’est maintenue jusque dans l’Entre-deux-guerres, s’étoffant des écoles et sociétés de musique, des beaux-arts, de la protection des sites dans le bureau de l’administration générale (2e Bureau puis 1er Bureau de la 1re Division).

La modification de l’organigramme des services de la préfecture lors de la réforme de 1964, et sans doute sous l’influence de la création pour André Malraux d’un ministère des affaires culturelles, a promu les « affaires culturelles » au niveau d’un bureau qu’elles partagent avec les affaires scolaires (3e Bureau de la 2e Direction) ; on y retrouve les monuments historiques et les sites, mais aussi les paysages et perspectives, les affiches publicitaires et les fouilles archéologiques, le théâtre, les écoles de musique, les bibliothèques, la culture populaire, les aides aux sociétés savantes et culturelles, aux sociétés sportives et aux œuvres de jeunesse. Cette compétence du 3e Bureau de la 2e Direction est restée inchangée jusqu’aux lois de décentralisation de 1983. Le Bureau assure le secrétariat de la Commission départementale des sites, de la Commission départementale des monuments et objets d’intérêt archéologique et artistique, et de la Commission départementale des objets mobiliers.

La réorganisation de 1983 (arrêté préfectoral du 1er juillet 1983) laisse au 3e Bureau de la 2e Direction (dédié désormais à l’Environnement) l’application des lois concernant les sites, les monuments historiques, l’inventaire général, les fouilles dans un domaine plus vaste de la protection de l’environnement, et déplace dans la nouvelle Direction des Actions de l’État la gestion financière des affaires culturelles, des monuments et édifices protégés, des bibliothèques et des musées. Par la suite, le transfert de compétences vers le Conseil général ainsi que le développement de la direction régionale des affaires culturelles dans la gestion des crédits déconcentrés de l’État, ont réduit les attributions de la préfecture dans le domaine culturel où n’ont subsisté que les monuments historiques et les sites dans le 2e Bureau (Règlementation et Environnement) de la 1re Direction.