El edificio principal en la calle Paulus Potter fue el único edificio del Museo Van Gogh, donde se encuentra tanto la colección permanente y exposiciones temporales. Ahora sólo se utiliza para la presentación de la colección permanente.

El edificio fue diseñado por Gerrit Rietveld en 1963-64, y después de su muerte, completada por sus compañeros. El museo fue inaugurado en Junio 2, 1973. Rietveld fue un miembro clave de De Stijl, un grupo de artistas progresistas y arquitectos que estaban activos en la década de 1920 y publicó su propia revista.

Desde su visión modernista Rietveld poner el énfasis en formas geométricas y luminosas, los espacios abiertos. Lo más llamativo es la escalera en el hall central, donde la luz del día a través de un gran espacio abierto para invadir y desemboca en las galerías del museo.

En 1998-99, el edificio del museo por los arquitectos Greiner Van Goor Ltd Huijten se convirtió renovado y ampliado con un ala nueva oficina.  El ala de exposiciones fue diseñado por Kisho Kurokawa, un arquitecto japonés que la cumbre internacional que actualmente pertenece.

Kurokawa era especialmente famoso por sus diseños originales para un número de museos de Japón y el aeropuerto de Kuala Lumpur. Característico de su arquitectura es el uso de formas geométricas, tales como conos, elipses y plazas, y la simbiosis entre la filosofía oriental y occidental y los principios de la arquitectura.

Para la ampliación del Museo Van Gogh salía de un diseño sobrio, perfectamente adaptado a las existentes en museos. La ampliación del museo con un edificio especial para exposiciones ha sido posible gracias a una donación de la Fundación Japón.