W młodoci wstąpił do Bundu i z tego powodu był zmuszony opuścić rodzinną Odessę. Edukację artystyczną rozpoczął w Genewie w Académie des beaux-arts. W 1910 roku zamieszkał w Paryżu, gdzie studiował w Académie Julian i w atelier Henriego Matisse’a. W Paryżu nawiązał znajomości z artystami tworzącymi na Montparnassie – z Othonem Frieszem, Amedeo Modiglianim oraz Jacques’em Lipchitzem. Feder był kolekcjonerem sztuki, fascynowały go dzieła sztuki naiwnej i tradycyjnej sztuki afrykańskiej. Jego kolekcja została skonfiskowana podczas II wojny światowej. Uwielbiał podróżować: zwiedził południe Francji, Bretanię i Hiszpanię, Palestynę, dotarł do Algierii. Ilustrował poezję i prozę, między innymi Josepha Kessela i Arthura Rimbauda, publikował swoje rysunki w prasie. Był jednym z najaktywniejszych członków Association des artistes russes (Stowarzyszenia Artystów Rosyjskich). W 1926 roku wyruszył w inspirującą podróż do Palestyny; w tym czasie stworzył wiele obrazów i rysunków. Podczas okupacji zdecydował się pozostać w Paryżu. W czerwcu 1942 roku został aresztowany i był przetrzymywany w więzieniu Cherche-Midi, a następnie w Drancy. W grudniu 1943 roku przetransportowano go do obozu w Auschwitz. 

Obrazy Federa noszą cechy kubizmu, przedstawiają paryskie weduty, portrety, sceny rodzajowe, pejzaże inspirowane podróżami oraz martwe natury.