A fekete harkály teljes elterjedési területén az élőhelytípusok széles skáláját foglalja el. Magyarországon hagyományosan a középhegységek bükk által dominált erdeit soroljuk a klasszikus fekete harkály élőhelyek közé. Megtelepedésükhöz két alapvető feltételnk teljesülnie kell: megfelelő táplálékellátottság, illetve néhány magas, vastagtörzsű fa jelenléte, melyben odút tudnak ácsolni.