Die Ursprünge des Schützenwesens liegen in den unsicheren Zeiten des 17. und 18. Jahrhunderts in denen weder Staat noch Kirche die Dorfbevölkerung vor fremden Übergriffen auf Leib und Leben schützen konnten.
So wurde auch in Schwaney eine Schützenbruderschaft gegründet, um durch die Gemeinschaft der wehrfähigen Männer des Dorfes "Leib und Leben, Hab und Gut, Herrgott und Heimat in Zeiten der Bedrängnis zu verteidigen und zu schützen"
  
Aus dieser Funktion "schützen" – und nicht wie oft angenommen von "schießen" - leitet sich auch die Bezeichnung "Schütze" ab.
  
Erste urkundliche Erwähnung findet die Schwaneyer Bruderschaft im Jahre 1733 im "Brüchtenregister des Schwaneyer Samtgerichtes".
Im Jahre 1836 wurde die Bruderschaft in ihrer heutigen Form neu begründet und wird als "St. Sebastian – Schützenbruderschaft 1733 Schwaney e.V." im Vereinsregister Paderborn geführt.
  
Die Bruderschaft hat im Jahre 1921 eine eigene Halle gebaut, die 1968 neu errichtet und 1992 erheblich ausgebaut und erweitert wurde.