Alfred werd geboren in 1882 in Caribou, Maine, vlak onder de huidige grens van de Verenigde Staten en Canada. De Violette familie was afkomstig van Franse kolonisten die ver in de binnenlanden van de toenmalige Britse provincie New Brunswick, een nieuwe start wilden maken. Voorvader Francois Violet verkreeg in 1789 een stuk land aan de St John rivier en koos een strategische plek aan een zijrivier waar hij een korenmolen begon.
Al snel vormde zich een gemeenschap rondom deze molen en werd de zijrivier en de gemeenschap vernoemd naar Violette onder de naam Violette Brook. Toen in 1842 de St John rivier als internationale grens ging dienen, en de gemeenschap daarmee op Amerikaans grondgebied kwam te liggen, werd de naam veranderd in Van Buren ter ere van de achtste president van de Verenigde Staten. De zijrivier en het daaraan verbonden Violette meer bleven hun naam echter houden.
De kolonisten hadden grote gezinnen en de gemeenschap breidde snel uit. Alfred was de vijfde generatie sinds voorvader Francois. Het land rondom de St John rivier raakte snel bezet en nieuwe nederzettingen werden gesticht. Sylvaine Violette, de vader van Alfred, verliet van Buren in 1877 om zich in het 30 km zuidelijker gelegen Caribou te vestigen.
Daar werd Alfred in 1882 geboren op de boerderij in een gezin dat uiteindelijk 13 kinderen zou bevatten. De boerderij was vlakbij de doorgaande route gelegen van Van Buren naar Caribou wat later de US route 1 zou worden. De kolonisten hadden aan die weg een dochterkerk (Sacred heart Church) gebouwd van de parochie van Van Buren. Het was een bosrijke omgeving met veel aardappelteelt op de boerderijen.
Op een kaart uit 1929 is de plek van de boerderij aangegeven aan een zijweg (East road). Het betrof de bovenste helft van perceel 170 waarbij de onderste helft door een andere boer werd bewoond. Vader Sylvaine, die ook Samuel/Sam werd genoemd, kocht dit stuk grond in 1888. Vlakbij is, net zoals in Van Buren, ook een meer vernoemd naar de Violette familie : de Violette pond.
Alfred had 3 broers boven zich (Thomas, Charles en Leonard) en drie broers onder zich (Joseph, Frank en James). Hij zou later het meest intensief optrekken met oudere broers Thomas en Charles en jongere broers Joseph en Frank. Broer James was een nakomertje en broer Leonard werd kapper in Minneapolis maar moest in 1917 worden opgenomen in een psychiatrisch ziekenhuis vanwege dementie door onbehandelde syfilis waarbij hij binnen een jaar zou overlijden.
Ook al had Caribou sinds 1886 een vrij toegankelijke high school, het is niet waarschijnlijk dat Alfred deze bezocht heeft. Een van de voorwaarden was een redelijke beheersing van het Engels. En daar ontbrak het vaak aan op de kleine plattelandschooltjes met overwegend Franstalige leerlingen. Een journalist zal later optekenen dat Alfred in gebroken Engels een speech gaf.
In only one case, that of Sam Violette at North Lyndon, is money paid for transporting children and this arrangement was made to save hiring an extra teacher
Caribou annual report 1899-1900
Het was voor een boerengezin soms al een hele opgave om de kinderen de lagere school te laten volgen. In het jaarverslag van de gemeente Caribou van 1899-1900 (toen Alfred al van school was) staat dat vader Samuel een vergoeding van de gemeente Caribou kreeg om het transport naar school voor zijn kinderen te regelen.
Moeder Angelique kwam in 1911 te vallen op de boerderij waarbij ze verlamd raakte. Ze overleed in 1917. Vader Samuel woonde de laatste jaren van zijn leven in bij een van zijn dochters op een boerderij vlakbij zijn oude boerderij aan de doorgaande weg Caribou-Van Buren en overleed in 1925.