Le château de Cabrières d'Avignon est situé au cœur du village de Cabrières d'Avignon, face au Luberon. Ce château est un château du secteur nord Luberon - monts de Vaucluse.

On situe aux alentours des XII et XIIIème siècle la construction du château de Cabrières d'Avignon. On l'attribue à la famille nobilaire des Adhemar, et plus précisément au Vicomte de Cavaillon, une branche cadette des premiers Comtes héréditaires d'Orange. Cette famille, à l'orinine du château, devient les Baux-Adhemar après s'être alliée aux seigneurs des Baux dont l'étoiles est toujours portée sur les armoiries de la commune, Cabrières d'Avignon.

Au XIVe siècle, elle devient la propriété des de Chiabeau, puis, en 1490, par un mariage elle devient seigneurie de Giraud d'Ancézune. Celui-ci, pour peupler ses terres et pouvoir en tirer profit, va chercher de la main d’œuvre par de-là les frontières jusque dans le Piémont et fait ainsi venir des familles Vaudoise.

En 1545, lors des persécutions de Vaudois, l’importante communauté vaudoise choisi le lieu pour ses fortifications. Le 19 avril 1545, le siège est mis en place par les troupes de Paulin de La Garde. Celui-ci agit sous la direction du tristement célèbre seigneur d'Oppède, premier président du Parlement d'Aix, Maynier. Il ne fallut attendre que quelques jours pour obtenir la reddition. Le château de même que le village furent entièrement rasés et la population lâchement abattue ou vendue comme esclaves malgré les promesses obtenus.

Il fallut attendre la fin du XVIe siècle pour que le château soit reconstruit.

Le château est actuellement privée, tout comme ses dépendances.