La France et l’Angleterre se disputèrent Gorée de 1677 à 1815. Ensuite, la France en conserve la possession jusqu’à l’indépendance du Sénégal en 1960, à l’exception des années 1693, 1758-1763, 1779 à 1783, et 1800 à 1815 pendant lesquelles les Anglais furent maîtres de l’île.

Ce fut au cours de la période franco-anglaise que les premiers Africains libres s’installèrent sur l’Ile. Leur nombre s’accrut progressivement vers le milieu du 18e siècle, ils n’étaient encore que 66, alors qu'à la fin, ils étaient près d’un millier. Le nombre de constructions en dur suivit une progression semblable. Il n’y en avait que six en 1746, alors qu’en 1786 ce chiffre atteignait 85.

Un phénomène caractéristique régissait à l’époque la vie économique de l’île. C’était la présence de femmes de condition aisée constituant une sorte de caste les Signares. Elles s’unissaient provisoirement à des Européens dont elles prenaient le nom, qu’elles transmettaient à leurs enfants. Leur compagnon donnait à chaque enfant qu’il avait d’elles la propriété d’un captif. S’il retournait définitivement en Europe, la Signare choisissait un nouveau compagnon. Vers le milieu du 18ème siècle, les Signares ne possédaient que 13 captifs de cases alors que ce nombre atteignait près de 2 000 à la fin du siècle. Une partie de ces captifs était louée au Gouverneur qui rétribuait les Signares en barres de fer.

Quoique l’on ait souvent exagéré leur degré de prospérité, les Signares jouissaient de diverses faveurs qu’elles devaient à leurs compagnons Français, souvent aux dépens de la compagnie.

Par ailleurs, les unions entre soldats français et captives de Signares étaient fréquentes. Lorsque le Gouverneur de Rocheblave reçut l’ordre de déporter ces captives, jugées inutiles, il ne put l’exécuter car chaque soldat possédait une compagne qui aurait du être chargée de fers et conduite en Amérique.

Il existait deux captiveries, l’une d’abord située à l’intérieur puis contre le fort d’en bas et l’autre construite au pied de la montagne. Les esclaves en attente de départ y étaient enfermés et durement traités. Ils se rendaient au travail enchaînés deux par deux et étaient insuffisamment nourris.