Андрей Матвеев родился в 1930 году в селе Харауз Петровск-Забайкальского округа. Его отец Исак Матвеев работал забойщиком горнорудного цеха, а в начале войны отправился на фронт. Будучи старшим ребёнком в семье, десятилетний Андрей стал главой большой семьи, поскольку мама неработоспособной.