Njegovo poreklo i genetski centar nalazi se na Šar planini i široj okolini gde je tradicionalno štitio i čuvao stada šarske pramenke od vukovi i mrkih medveda. Smatra se da je u prošlosti na centralni deo Balkanskog poluostrva dospeo tokom brojnih migracija stočarskog stanovništva iz Male Azije i Kavkaza gde ima i danas puno srodnih pasa. Stanovnici stočari iz Sredačke, Sirinićke i Goranske župe tokom letnjih meseci udruživali su svoja stada i izvodili na višim planinskim pašnjacima, dok su kao čuvare, zavisno od brojnosti stada, vodili sa sobom od 5 pa do čak 20 Šarplaninca. Vukovi su vremenom razvili taktiku tako što su se izdvajali iz čopora jedan ili dva vuka kako bi odvukli pse čuvare, dok je ostatak čopora predvođen alfa mužjakom napadao stado. U takvim okolnostima, najbolji psi čuvari su bili oni koji se nisu odvajali od stada i koji su slušali samo komande pastira. Prvi put je prikazan na kinološkoj izložbi u Ljubljani 1926. godine. Po ugledu na druge armije u svetu u Jugoslovenskoj vojsci javila se potreba za službenim psom. Nakon selekcije među brojnim ovčarskim psima u Jugoslaviji šarplaninac je uvršten u uži izbor. Prvi put se u vojsci koristio kao službeni pas 1928. godine, a daljim radom ocenjeno je da se radi o perspektivnom psu. To je jedna od prvih registrovanih rasa pasa u svetu. Registrovan je u FCI 1939. godine pod službenim imenom „Ilirski ovčar" i rednim brojem #041. Postojali su tip A i tip B ilirskog ovčara.
