Diplômé avec distinction en philosophie morale, Grierson obtient une bourse d'études de la Fondation Rockfeller pour aller étudier à l'U. de Chicago où il commence ses recherches, qui dureront toute sa vie, sur l'influence des médias sur l'opinion publique. Il se rend à Hollywood afin d'étudier le cinéma et devient l'ami du cinéaste américain Robert Flaherty, dont le film obsédant Nanook of the North (v.f. Nanook) rend honneur à la survie quotidienne d'un chasseur inuit. Dans une critique d'un film de Flaherty, rédigée en 1926, il invente le terme « documentaire » pour désigner la dramatisation de la vie quotidienne de gens ordinaires.
Grierson retourne en Angleterre en 1927 et est curieux à l'idée d'utiliser les techniques de Flaherty avec des Écossais ordinaires. Dans son premier film, Drifters (1929), la représentation silencieuse de la vie rude des pêcheurs de hareng de la mer du Nord révolutionne le portrait des travailleurs au cinéma. Grierson décide de se consacrer à créer un mouvement propre à l'esthétique documentaire et ne réalise plus qu'un seul film.
En 1938, le gouvernement canadien l'invite à venir étudier la production cinématographique canadienne. Il prépare un rapport et, sur sa recommandation, le premier ministre Mackenzie King crée l'Office National de Film (ONF) au mois de mai 1939. En octobre 1939, Grierson est nommé premier commissaire de l'ONF.
Avec le déclenchement de la guerre, Grierson se sert du cinéma pour donner un sentiment de confiance et de fierté aux Canadiens. Parallèlement, il est directeur général de la Commission d'information en temps de guerre, jouissant ainsi d'un contrôle énorme sur la perception que les Canadiens ont de la guerre. Il fait venir au Canada des cinéastes de talent, notamment Norman McLaren. Avec des séries comme Canada Carries On et The World in Action, il rejoint des millions de gens dans les salles de cinéma canadiennes et américaines. En 1945, l'ONF est devenu l'un des plus grands studios cinématographiques au monde et sert partout de modèle à des institutions du même type.
En mettant l'accent sur le réalisme, Grierson exerce une influence durable sur le cinéma canadien. « L'art n'est pas un miroir, soutient-il, mais un marteau. C'est une arme à notre disposition pour voir et dire ce qui est bon, bien et beau ». Il ne croit toutefois pas que le film documentaire puisse se contenter d'être un compte rendu d'intérêt général sur les activités de la vie quotidienne; il s'agit bien plus, selon lui, d'un art visuel qui peut reproduire la beauté du monde ordinaire.
À la fin de la guerre, Grierson se lasse des bureaucrates canadiens et démissionne. Dans la panique suscitée par les présomptions entourant l'infamante affaire d'espionnage Gouzenko au Canada, Grierson est appelé à la barre d'un tribunal secret et interrogé sur son ancien secrétaire, qui est relié à ce réseau d'espionnage. Les enquêteurs en viennent alors à soupçonner Grierson, qui entretient, paraît-il, des sympathies « communistes ». Il entre à l'UNESCO à Paris, où des réalisateurs d'avenir comme Rossellini lui rendent hommage. Il ne tarde pas à sombrer presque complètement dans l'oubli au Canada. Au milieu des années 50, il retourne dans son Écosse natale, où il anime pendant 10 ans une émission d'affaires publiques, This Wonderful World.
Grierson est au bord de la ruine quand l'U. McGill l'invite comme chargé de cours en 1968. D'abord objet de curiosité, il ne tarde pas à attirer quelque 800 étudiants à ses cours. Indira Gandhi le fait venir en Inde et lui demande de trouver des moyens de faire connaître les principes de la régulation des naissances dans les villages. Atteint d'un cancer, Grierson retourne chez lui en Angleterre, où il meurt à Bath.
Élément de discorde, Grierson souscrit sincèrement au principe selon lequel « toute chose est belle tant que vous y mettez bon ordre ». Il a exercé une profonde influence sur l'histoire du cinéma en général et sur la vie culturelle canadienne en particulier.