Wszystko zaczęło się między rokiem 1060 a 1070, kiedy to włoscy kupcy z Amalfi zakupili od władającego wówczas Jerozolimą kalifa posiadłość w pobliżu Bazyliki Bożego Grobu, by na tym właśnie gruncie zbudować hospicjum dla przybywających z Europy pielgrzymów oraz kaplicę Matki Bożej Łacińskiej (rozbudowaną później w kościół). Bardzo szybko obok hospicjum powstał szpital, a pobożni kupcy utworzyli charytatywne bractwo pełniące posługę w wyżej wymienionych obiektach. Pierwszym patronem bractwa miał być św. Jan Jałmużnik (pochodzący z Cypru patriarcha Aleksandrii żyjący w VI-VII wieku), ale silne związki z Jerozolimą spowodowały, że za nowego – i już stałego – patrona bractwo uznało św. Jana Chrzciciela. To właśnie od łacińskiej formy imienia ostatniego proroka Starego Testamentu członkowie bractwa zaczęli nazywać się „joannitami”, a od Szpitala św. Jana w Jerozolimie – także „szpitalnikami”. Pierwszą konkretną strukturę wewnętrzną bractwo uzyskało jednak dopiero po zakończeniu pierwszej wyprawy krzyżowej, czyli po roku 1099, gdy Jerozolima została odzyskana z rąk muzułmanów.