Studiował w Akademii Sztuk Pięknych w Odessie. W 1916 roku wyjechał do Moskwy, by kontynuować edukację. Był zaangażowany w rewolucję i rosyjskie awangardowe ruchy artystyczne; jego mentorem był Władimir Tatlin. Studiował w rewolucyjnej moskiewskiej szkole – Wchutiemasie, gdzie poznał wielu artystów, między innymi Władimira Majakowskiego. W 1922 roku wyjechał do Berlina, a rok później do Paryża. We Francji tworzył, inspirując się kubizmem syntetycznym. Swoje prace prezentował między innymi w Galerie Zak. Podczas II wojny światowej ukrywał się wraz z rodziną u przyjaciół. W 1941 roku zmarła żona malarza i w ciągu kolejnych pięciu lat Sterling stracił wszelkie kontakty z paryskim środowiskiem artystycznym. W 1947 roku wrócił do stolicy Francji i otrzymał francuskie obywatelstwo. Odnowił też kontakty i pokazywał swoje prace w kraju i za granicą. W latach pięćdziesiątych przez trzy lata mieszkał w Szwajcarii. Wiele podróżował, między innymi do Holandii, Włoch, Hiszpanii i Izraela.