In Parijs heeft Simon zijn gitaar bij de hand en wordt straatmuzikant, iets wat in die tijd nog een echt avontuurlijke keuze betekent. Parijs wordt in deze periode bezocht door veel Engelse muzikanten. Rock-'n-rollers moeten naar Hamburg en folkies leren de echte discipline van gitaarspelen op straat, "busking", in Parijs. Simon speelt wekenlang op de straten langs de Seine en overnacht naar eigen zeggen doorgaans op banken, op straat. Een van de Engelsen die hij treft is Dave McCausland uit het graafschap Essex, waar hij folk-avonden organiseert in het Railway Hotel in Brentwood. MacCausland vertelt geestdriftig over de opkomende folk-scene in Engeland en nodigt hem uit naar Brentwood te komen.
In de herfst van 1963 keert Simon terug naar New York. Hij laat Garfunkel songs horen die hij in Frankrijk heeft geschreven, zoals "He Was My Brother". Het zijn liedjes die opvallen door harde, hoge eind-uithalen, een overblijfsel van aandacht proberen te trekken tijdens straatoptreden. Samen met Garfunkel speelt hij "He Was My Brother" nog dezelfde avond in Folk City. Die maand wordt ook de song "Bleecker Street" geschreven, samen met MacDougal Street wel de meest bekende straat van Greenwich Village. In de song regent het en lopen de mensen starend voor zich uit in een desolate, steriele omgeving. Wanneer Kennedy vermoord wordt, is dat voor Simon aanleiding om "The Sound Of Silence" te schrijven. De muziek is binnen enkele dagen geschreven, maar Simon worstelt drie maanden met de — uiteindelijk zeer fraaie, symbolisch zwaar geladen — tekst. Het wordt, zo zal blijken, een uiterst belangrijke song voor het duo.
In de lente van 1964 vliegt Simon naar Engeland, nog steeds onzeker over zijn professionele toekomst. Hij gaat optreden in Brentwood, Essex, op uitnodiging van Dave McCausland. Hij ontmoet de jonge secretaresse Kathy, die hem een zekere stabiliteit verschaft en hem tot enige songs inspireert, zoals "Kathy's Song" van het album The Sounds Of Silence. Na een maand of wat is zowel Simon als Garfunkel weer terug in New York. Garfunkel heeft zijn architectuurstudie afgebroken en concentreert zich op een leraarschap wiskunde, Simon is weer aan het werk in de muziekuitgeverij.
