Ну, стандартный набор никогда не помешает...
Обязательно погуляйте в центре города (м. Охотный ряд или Тверская)... съездите на Воробьевы горы (метро с одноименным названием), по Арбату пройдитесь (хотя нынче это уже не тот Арбат, что был раньше
)
Третьяковскую галерею обязательно надо посетить, музей Изобразительных искусств им. Пушкина... но это, наверное, лучше без ребенка... для малыша это может быть утомительно...
Что касается дороговизны, то мне трудно так однозначно сказать... все зависит от уровня ваших доходов...
Детское питание можно купить во многих аптеках (например, сеть аптек 36,6), а также на детских рынках, коих в Москве несколько.
Что еще... хорошую детскую обувь производит Егорьевская фабрика детской обуви "Котофей" (их фирменный магазин находится где-то в районе м. Рязанский проспект), точный адрес не вспомню, но у них точно есть сайт в интернете, где указаны их координаты.
Обувь российского производства лично я как-то не очень жалую...
но есть сеть магазинов фабрики "Парижская коммуна" (их несколько по городу).
Сайт по доставке товаров для детей: www.mladenec.ru
Как и в любой столице мира, в центре города много карманников... особенно будьте бдительны при поездках по кольцевой линии метро в час пик.