Très attiré par la nature et la religion, Hartung s'enthousiasme pour Rembrandt, Goya, Franz Hals, le Greco, puis, en 1921 et 1922, pour Corinth, Slevogt et les expressionnistes allemands, en particulier pour Oskar Kokoschka et Emil Nolde. En copiant certaines oeuvres comme le "Tres de Mayo" de Goya, l'artiste supprime progressivement l'image pour ne plus laisser apparaître qu'un jeu de taches et de tensions. En 1922, il peint toute une série d'aquarelles qui, en 1966, feront l'objet d'un album de reproductions préfacé par Will Grohmann. Celles-ci sont suivies en 1923-1924 d'une série de fusains et de sanguines.
Après un bref séjour à Berlin et aux îles Baléares, il s'installe définitivement à Paris en 1935 pour échapper au régime hitlérien avec l'aide de Christian Zervos et de Will Grohmann. Lors de son installation à Paris en 1935, il rencontre pour la première fois des artistes défenseurs comme lui de l'art abstrait, ce qui le conforte dans ses recherches menées jusqu'alors dans l'isolement. Pourtant, le détachement absolu avec le sujet de la représentation donne à ses oeuvres une identité qui les posent en décalage avec les recherches esthétiques menées par ces artistes.