В 1743 году село было передано графу Петру Борисовичу Шереметеву в качестве приданого дочери князя А. М. Черкасского Варвары Алексеевны. После смерти графа владельцами Поима последовательно были Николай Петрович Шереметев (сын П. Б. Шереметева, муж легендарной крепостной актрисы Прасковьи Жемчуговой) и Дмитрий Николаевич Шереметев (сын Н. П. Шереметева и П. И. Жемчуговой). К моменту освобождения крестьян в 1861 году Поимская вотчина графов Шереметевых состояла из сёл Поим, Митрофаниха, Агапово, а также деревень Богданиха, Котиха, Поганка, Топориха, Белозёриха.
Сами графы в Поиме никогда не жили. Пётр Борисович Шереметев завёл порядок, при котором крестьяне находились на оброке, в разное время платили от 2 до 3 рублей. Всю землю мужики засевали в свою пользу, барщины не знали.
В результате Крестьянской реформы крепостные Шереметевых получили по одной десятине усадебной земли на ревизскую душу («дарная» земля). Несмотря на малоземелье и отсутствие земли, крестьяне кормились, снимая в аренду на разных началах барскую землю и зарабатывая на «экономических» работах. Пензенский землеустроитель Н. Ф. Быстров в своей книге указывает:
Поим интересен в отношении землевладения. В эпоху освобождения крестьян поимцы не пожелали получить большой надел, а сели на «дарную». Рассуждали они, вероятно, так же, как и прочие крестьяне, что «зачем, мол, нам собственная земля, когда и графской много — никто её, кроме нас же, обрабатывать не станет», да и на торговлю, ремёсла свои надеялись! Вообще, землёй поимцы не дорожили: даже и после выхода на волю охотно продавали свои полоски тем из своих общественников, которые, напротив, к земле чувствовали тяготение. Следствием такого отношения к земле последняя распределилась между крестьянами весьма неравномерно: одни скупили дарственные души, набравши на двор десятин 15-20, другие совсем без земли остались.[1]
Таким образом, несмотря на крестьянскую реформу, Шереметевы сохранили за собой подавляющую часть земли. После смерти Д. Н. Шереметева вотчина досталась его младшему сыну известному меценату Александру Дмитриевичу. В 1907 году он продал половину имения в Крестьянский Поземельный Банк. При этом немало уговаривали безземельных крестьян покупать участки. Однако все увещевания ликвидаторов, землеустроителей и других начальников не имели успеха. В результате почти вся проданная часть имения отошла переселенцам из Тамбовской губернии.
