Era o quarto filho de Cecília Burle (de origem pernambucana e francesa) e de Wilhelm Marx, judeu alemão, nascido em Stuttgart e criado em Trier (cidade natal de Karl Marx, primo de seu avô).
A mãe, exímia pianista e cantora, despertou nos filhos o amor pela música e pelas plantas. Roberto a acompanhava, desde muito pequeno, nos cuidados diários com as rosas, begônias, antúrios, gladíolos, tinhorões e muitas outras espécies que plantava no seu jardim. Com a ama Ana Piascek aprendeu a preparar os canteiros e a observar a germinação das sementes do jardim e da horta.O pai era um homem culto, amante da música erudita e da literatura europeia, preocupado com a educação dos filhos, aos quais ensinou alemão, embora se dedicasse aos negócios, como comerciante de couros, num curtume que mantinha em São Paulo.
