Любительское собирательство живописи, начавшееся для 24-летнего Павла Третьякова в 1856 году, быстро превратилось в семейную страсть. Собирать искусство стал и младший брат Сергей. В 1859-м Павел Михайлович купил сразу 140 работ Василия Верещагина из «Туркестанской серии». Тут уже стало понятно, что домашнее увлечение приобретает характер миссии, и братья задумались о постройке отдельного здания для коллекции.

В следующем году строительство возглавил архитектор Александр Каминский, женатый на сестре Третьяковых. В 1874 году к фамильному особняку Третьяковых в Замоскворечье было пристроено просторное двухэтажное здание, где под галерею отводилось два больших зала. К тому моменту галерея уже почти восемь лет как была открыта для посетителей — совершенно бесплатно. Теперь же для ценителей живописи был сделан отдельный вход.

Однако отведенные под галерею залы почти сразу же стали тесны для новых полотен. Трижды — в 1882, 1885 и 1892 годах — к зданию пристраивались новые залы, так что в конце концов жилой дом Третьяковых оказался взят в кольцо галереей. Третьяков-старший исповедовал принцип абсолютного гостеприимства — каждый посетитель становился его личным гостем. Но московская публика оказалась хуже, чем ее благодетель. Зимой 1891–1892 года Павел вынужден был закрыть галерею. В доме, который продолжал быть жилым для семьи Павла Михайловича, произошел ряд краж. Посетители воровали и сами картины, и кошельки других гостей. Организовать надлежащую охрану в жилом доме было немыслимо, надо было принимать решение о будущем коллекции.

6 августа 1892 года во время поездки в Петербург скоропостижно скончался младший брат Сергей. В своем завещании он писал: «Так как брат мой Павел Михайлович Третьяков выразил мне свое намерение пожертвовать городу Москве художественную коллекцию и в виду сего предоставить в собственность Московской городской думе свою часть дома…  где помещается его художественная коллекция…  то я часть этого дома, мне принадлежащую, предоставляю в собственность Московской городской думе, но с тем, чтобы Дума приняла те условия, на которые брат мой будет предоставлять ей свое пожертвование… »

Сергей владел домом в Лаврушинском переулке напополам с братом, однако сам вместе с семьей жил в собственном особняке на Пречистенском бульваре. Там же хранилась и его коллекция картин, в которую входило более ста шедевров западной живописи общей стоимостью около 500 тыс. рублей. Понятно, что завещание Сергея нельзя было выполнить до конца, пока дом в Лаврушинском переулке принадлежал брату Павлу.

Уже 31 августа 1892 года Павел Михайлович написал заявление в Московскую городскую думу с просьбой принять в дар их с братом Сергеем коллекцию произведений искусства вместе с домом в Лаврушинском переулке. В сентябре Дума с благодарностью приняла дар, а сам Павел Третьяков, назначенный тут же попечителем галереи, уехал за границу, дабы избежать суеты торжеств и восхвалений его щедрости.

Один из первых хранителей галереи Николай Мудрогель установил, что на момент передачи городу коллекция братьев Третьяковых насчитывала 1276 картин, 471 рисунок, 10 скульптур русских художников, а также 84 картины иностранных мастеров. Каталог галереи, изданный тогда же в количестве 5 тыс. экземпляров, продавался по 10 копеек за штуку и тут же разошелся. С того момента каталоги стали выпускать трижды в год тиражом 10 тыс. экземпляров.

Перед открытием галереи как городской собственности Третьяков на свои средства отремонтировал здание в Лаврушинском и пристроил к нему два зала для коллекции западного искусства брата Сергея.

Городская дума постановила, что на содержание галереи будет ежегодно выделяться 12 тыс. рублей и еще 10 тыс. уходить на приобретение новых картин. Третьяков отлично знал, что это копейки (только за «Боярыню Морозову» Сурикова он заплатил 10 тыс.), поэтому решил на городские средства покупать только маленькие картины, а большие по-прежнему на свои. При этом Третьяков «поставил условие, что останется пожизненным попечителем галереи, что будет пополнять ее по своему усмотрению и что он и семья его будут жить в доме до его смерти, а после смерти дом переходит городу; оставшиеся в живых члены семьи Третьяковых переезжают в другой дом» (Н. Мудрогель).

27 августа 1893 года галерея торжественно открылась уже как Московская городская галерея имени братьев Павла и Сергея Третьяковых. Жизнь музея, отлично налаженная еще до передачи городу, почти не изменилась. По-прежнему в 8 утра Павел Михайлович делал обход выставочных помещений, днем ездил по вернисажам и смотрел новые работы. Изменилось только одно — посетителей стало на порядок больше. «Если прежде, я помню, бывало три-пять посетителей в день, то теперь семьдесят-восемьдесят посетителей, а по праздникам — сто пятьдесят и двести, — вспоминал Николай Мудрогель. — Помню, как радовался Павел Михайлович, когда вечерами узнавал, что “сегодня было двести посетителей”. Даже переспрашивал недоверчиво:

— Неужели двести?

Он видел в этих цифрах, что цель его трудов и забот достигнута».