Яков Константинович Эфрон родился в большой еврейской семье в Ковно в Виленской губернии, где его отец был строительным подрядчиком. Одним из его братьев был известный прозаик и драматург Савелий Константинович (Шеель Калманович) Эфрон (литературный псевдоним С. Литвин; 1849-1925). В юности был членом революционного общества «Земля и Воля». В воспоминаниях А.С. Эфрон высказана мысль о том, что в юности Яков Эфрон был причастен к убийству полицейского провокатора Н.В. Рейнштейна, однако современные исследователи отвергают эту теорию. В 1879 примкнул к «Чёрному переделу», где и познакомился с Елизаветой Петровной Дурново. После женитьбы на ней отошёл от революционной деятельности, посвятив себя семье.