Przyszedł na świat w wielodzietnej rodzinie żydowskiej. W wieku zaledwie 14 lat dołączył do przebywającego w Paryżu brata Samuela. Pod jego okiem tworzył pierwsze kompozycje rzeźbiarskie w kości słoniowej. Na początku swego pobytu we Francji mieszkał w sławnej kolonii artystycznej La Ruche. Przyjaźnił się z Ossipem Zadkinem i Jacques’em Lipschitzem. Jego ówczesne realizacje zdradzały jednak wpływ Auguste’a Rodina. W 1916 roku podjął na krótko studia na Ecole des Beaux Art. W kolejnych latach tworzył prace utrzymane w duchu art deco oraz klasycyzmu. Po II wojnie światowej w jego sztuce nastąpił ostateczny zwrot ku abstrakcji. Lipsi chętnie tworzył wówczas monumentalne kompozycje w kamieniu i lawie wulkanicznej. Jego prace wystawiane były między innymi podczas Dokumenta II w Kassel (1959).