Настоящее имя Гэндальфа — Олорин, он один из майар, младших ангелоподобных духов. В числе прочих мудрецов-истари он был избран советом Валар для отправки в Средиземье на помощь эльфам и людям и для противостояния Саурону, повелителю темных сил. Олорин поначалу отказывался от тяжелого поручения, но уступил воле своего наставника Манвэ. В Средиземье он был известен под множеством имен в том числе и как Гэндальф Серый. Хранитель Нарья, одного из Трех эльфийских Колец, вверенного ему Кирданом Корабелом по прибытии в Средиземье.

Цитата из «Сильмариллиона»:

    Самым мудрым из майар был Олорин, которого позже звали Митрандиром и Гэндальфом. Он также жил в Лориэне, но пути его часто приводили Олорина в дом Ниэнны, и от нее он познал сострадание и терпение.
    О Мелиан много рассказано в «Квента Сильмариллион», но об Олорине это повествование не говорит, потому что он хотя и любил Эльфов, но бывал среди них невидимо или же принимал облик такой же, как у них. И Эльфы не знали, откуда приходят прекрасные видения или мудрые побуждения, которые он вкладывал в их сердца. В более поздние дни он был другом всех детей Илуватара и сочувствовал их горестям. И тех, кто прислушивался к его словам, покидали отчаяние и мрачные мысли.

Гэндальф стал наиболее известен, странствуя по Средиземью и заводя знакомство с разными народами, помогая им советом. В разных частях света он получил много разных прозвищ, заменивших ему имя.

    «У меня много имен в разных странах. Митрандир среди эльфов, Таркун среди гномов; в юности на давно забытом Западе я был Олорином, на юге — Инканус, на севере — Гэндальф, а на востоке я не бываю.»

Среди хоббитов известен тем, что подарил Старику Туку волшебные алмазные запонки, которые сами застёгивались, но расстегивались только когда им прикажут. Так же известен своими чудесными фейерверками, которые он устраивал в канун Дня Середины Лета на вечеринке у Старика Тука.

Гэндальф был одним из организаторов похода отряда гномов во главе с Торином Дубощитом, к которому по его настоянию присоединился Бильбо Бэггинс к горе Эребор, описанном в повести «Хоббит». Он принимал участие в начале похода и сражался в Битве Пяти Воинств против гоблинов и варгов. Незадолго до этого, по заданию Сарумана он тайно проник в замок Дол-Гулдур, где повидал пленного, умирающего короля гномов Траина. Узнав в «Некроманте», владельце замка, возрождающегося Саурона, он на Белом совете настоял на немедленном наступлении, и принял участие в изгнании Саурона из Дол-Гулдура.

В кольце невидимости, найденном Бильбо, Гэндальф заподозрил Кольцо Всевластия. Он заставил Бильбо расстаться с кольцом и передать его племяннику Фродо. Обнаружив на кольце характерные письмена на Черном Наречии и сверившись с описаниями в архивах Гондора, Гэндальф убедил Фродо отнести кольцо в Ривенделл, обитель эльфов. Сам же отправился на встречу с Саруманом. На встрече между магами вспыхнул конфликт: Саруман сам хотел завладеть Кольцом и использовать его для достижения власти. Он также уговаривал Гэндальфа пойти на мир с Сауроном. Когда возмущенный Гэндальф отказался выдать Саруману местонахождение Кольца, Саруман заточил его на вершине башни Ортханка. Оттуда Гэндальфа спас Гваихир — предводитель гигантских орлов Манвэ, присланный его другом, третьим истари, Радагастом.

Прибыв на совет в Ривенделл, Гэндальф рассказал о предательстве Сарумана и согласился возглавить Братство Кольца, отряд, который должен отнести Кольцо к жерлу вулкана Ородруин и уничтожить его. Гэндальф провел своих спутников через подземелья Мории, где отряд столкнулся с одних из выживших демонов Мелькора — балрогом. В бою с ним волшебник упал с Морийского моста в пропасть, и спутники продолжили путь без него, решив, что Гэндальф погиб.

Однако маг выжил, и даже победил балрога ценой тяжелейших ран и ожогов. На грани смерти к нему пришло озарение и новые силы. Ему было дано право занять место падшего Сарумана во главе ордена, и отныне именоваться Гэндальф Белый. Он присоединился к освободительной борьбе народа Рохана против орков Сарумана и привел подкрепление в ключевой момент в Битве за Хельмову Падь. После чего, встретившись с Саруманом в Изенгарде, изгнал его из ордена Истари и преломил его посох.

Отправившись в Гондор, в крепость Минас-Тирит, Гэндальф помог организовать оборону города наместнику Дэнетору II. После падения и самоубийства Дэнетора II Гэндальф фактически возглавил оборону города. Приход подкреплений из Рохана и войска клятвопреступников, приведенного Арагорном, наследником Исилдура, а также гибель предводителя вражеского войска — Короля-чародея позволили выиграть битву у стен города. Однако, понимая, что главное — это уничтожение Кольца, Гэндальф вместе с Арагорном двинулся к Вратам Мордора для отвлечения внимания Тёмного Властелина на себя. После того, как Фродо и Сэм при невольной помощи Голлума уничтожили Кольцо, а Саурон исчез, участвовал в коронации Арагорна как короля Арнора и Гондора.

Закончив труды в Средиземье, Гэндальф отбыл обратно за море, в Валинор.

    Так снова наступил мир, и новая весна пришла на землю. <...>
    Все это было достигнуто большей частью благодаря советам и бдительности Митрандира, и в последние несколько дней он показал себя вождем, достойным величайшего почтения.
    Одетый в белое Митрандир мчался на коне в битву, но пока не пришло время для него покинуть страну, никто не знал, что он долго хранил красное Кольцо Огня.
    Сначала это кольцо было доверено Кирдану, но он передал его Митрандиру, зная, и откуда тот пришел, и куда вернется.
    — Возьми это кольцо, — сказал Кирдан, — так как труды твои и заботы будут тяжелыми, а оно во всем сохранит тебя от усталости. Потому что это — Кольцо Огня, и с его помощью ты, быть может, сможешь зажечь сердца древней доблестью в этом мире, который стал таким холодным. Что же касается меня, мое сердце отдано морю, и я останусь жить на серых берегах, охраняя гавани, пока не придет время уплыть последнему кораблю. Тогда я буду ждать тебя! («Сильмариллион»)