Josef Willems est né le 12 mars 1908 à Eschweiler près d'Aix-la-Chapelle et a passé sa jeunesse dans une maison très tournée vers la musique. Après avoir obtenu son diplôme d'études secondaires, il a étudié la musique d'église et la direction d'orchestre à l'Académie de musique de Cologne et à l'école de musique de Berlin. Après avoir terminé ses études, il a d'abord travaillé dans sa ville natale et a également pris contact avec Herbert von Karajan, qui travaillait dans la ville voisine d'Aix-la-Chapelle. Willems était le claveciniste permanent de Karajan lors des concerts de l'Orchestre d'Aix-la-Chapelle. À l'automne 1937, il est nommé par Karajan candidat au poste de Kapellmeister au Stadttheater d'Aix-la-Chapelle. Peu de temps après, il dirigea des opéras célèbres. Après la fermeture de tous les théâtres allemands au cours de l'année de guerre de 1944, Willems a été enrôlé dans la Wehrmacht. Il a été enterré lors d'un attentat à la bombe et s'est retrouvé à l'hôpital. Après la fin de la guerre, Josef Willems a repris plusieurs chœurs dans la région d'Offenbach, Wiesbaden et Lohr. Pendant plus de 30 ans, il a travaillé comme chef de chœur fédéral adjoint au sein du comité de musique du Maintaler-Sängerbund. De plus, Josef Willems a travaillé comme juge dans de nombreux concours musicaux. En tant qu'employé de la Hessian Radio, il a dirigé de nombreux concerts et enregistrements de l'orchestre de la radio. Josef Willems était un musicien doué et un excellent chef de chœur. À l'âge de 48 ans, il est entré dans le service scolaire de Hesse et a pris sa retraite en tant qu'enseignant principal. Cette période était remplie de composition, de direction, de préparations de concerts et de concerts maison, et il était particulièrement fier de son "piano à queue Steinway". Le 24 septembre 1995, Josef Willems est décédé dans une clinique de Kornwestheim.