Деревня расположена в 21 км на юговосток от центра поселения деревни Демидово и в 59 км на юг от ГусьХрустального
В XIX — начале XX века деревня называлась Рылово и входила в состав Бутыльской волости Касимовского уезда Рязанской губернии, с 1926 года — в составе Палищенской волости Гусевского уезда Владимирской губернии. В 1859 году в селе числилось 17 дворов, в 1905 году — 40 дворов, в 1926 году — 60 дворов.
С 1929 года деревня входила в состав Бутыльского сельсовета Гусь-Хрустального района, с 1935 года — в составе Нармского сельсовета Курловского района, с 1963 года — в составе Гусь-Хрустального района, с 1977 года — в составе Демидовского сельсовета, с 2005 года — в составе Демидовского сельского поселения.
В 1966 году деревня Рылово была переименована в деревню Скворцово.