Родился в Аргентине в семье горного инженера, доктора технических наук, профессора
Моисея Исааковича Кантора (1879-1946) и сельской учительницы, преподавателя химии Лидии Александровны Коробициной (1880-?).
С 1903 года родители Алексея Павловича были активными членами партии РСДРП(б) и участвовали в революционном движении, в 1907 году были арестованы за революционную (анархистскую) агитацию и отправлены в ссылку в Сибирь. Бежали в Аргентину. В 1913г. в Университете Ла-Платы Моисей Исаакович создал уникальную коллекцию метеоритов, стал членом Международного геологического общества. В Аргентине принимал активное участие в социалистической политической деятельности, был одним из первых членов коммунистической партии Аргентины, созданной в 1921 году.
Родители Алексея Павловича развелись, когда ему было 3-4 года. В 1924 году вместе с матерью и двумя старшими братьями вернулся в СССР. Отец Алексея Павловича приехал в СССР в 1926 году вместе со своей второй семьей - супругой Идой Исааковной Бондаревой (1887-1977), сыном
Карлом Кантором (1922-2008) и приемной дочерью (от второго брака)
Лилей Герреро (1906-1986).