Apabila kita telusuri secara mendalam, tampak bahwa administrasi atau manajemen, apapun bentuknya dan bagaimanapun strukturnya, sudah ada dalam setiap kebudayaan. Jadi administrasi kepegawaian sudah ada sejak dulu, meskipun pada zaman dulu sifatnya masih sangat konvensional dan cara kerjanya masih menurut tradisi. Cara kerja anak mengikuti cara kerja orang tua dan nenek moyangnya.
Administrasi sebagai seni telah dikenal sejak zaman prasejarah, sedangkan administrasi sebagai ilmu mulai dikenal pada abad keduapuluh meskipun sudah dirintis oleh F.W. Taylor, seorang manajer pada akhir abad ke-19. Manajemen kepegawaian yang merupakan salah satu cabang manajemen ilmu mulai dikenal pada permulaan abad ke-20.
Sebenarnya administrasi kepegawaian telah dipraktekkann sejak adanya hubungan antara pemimpin dengan yang dipimpin, meskipun bentuknya masih sangat sederhana. Administrasi kepegawaian sederhana ini dikenal dalam masyarakat primitive. Pimpinan masyarakat berfungsi sebagai atasan, sedangkan bawahan adalah anggota masyarakat itu. Jadi dalam masyarakat serupa ini telah dipraktekan manajemen kepegawaian dalam arti yang sempit.
Pada umumnya, masyarakat yang masih primitive sangat mematuhi norma tradisional. Baik pimpinan maupun anggota masyarakat selalu mengabdi kepada kepentingan masyarakat yang sekaligus juga merupakan harga diri dari setiap anggota masyarakat primitive itu sendiri. Oleh karena itu, tidak banyak persoalan yang timbul dan menjadi beban mental bagi pimpinan.
Dalam abad pertengahan, terjadi perubahan masyarakat. Setiap anggota masyarakat diperlakukan sebagai objek untuk kepentingan pimpinan masyarakat, maka muncullah hubungan budak dengan pemilik budak atau para tuan tanah. Untuk mencapai suatu tujuan, tuan tanah dapat memperlakukan budak miliknya sekehendak hatinya.
Budak yang sudah mempunyai keahlian sebelum penghapusan perbudakan pada tahun 1927 membebaskan diri dengan memberikan ganti kerugian kepada tuan tanah. Budak yang sudah bebas itu kemudian melahirkan suatu kelas baru dalam masyarkat yang dikenal dengan karyawan atau pekerja merdeka. Akan tetapi, para budak yang telah mempunyai status pekerja merdeka itu tetap bekerja pada tuan tanah dengan upah yang sangat rendah. Keadaan yang tidak menguntungkan para pekerja lemah itu berangsur-angsur mendorong mereka melepaskan diri dari tuan tanah dan bekerja di rumah mereka sendiri sesuai dengan keahlian masing-masin dan menjual hasil karya mereka ke masyarakat sekitar. Dalam perkembangan yang selanjutnya, mereka menggaji pekerja yang lain. dengan demikian mereka menjadi pengusaha embrio. Dalam usaha mengembangakn diri, timbullah dorongan pada para pengusaha embrio untuk saling bekerja sama. Kerja sama inilah yang disebut dengan system Gilda. Sistem Gilda ini merupakan organisasi para pengusaha yang menghasilkan barang sejenis, juga merupakan organisasi para pedagang local yang berhimpun dengan maksud menentukan kualitas yang dikehendaki untuk menghadapi saingan dari pihak yang lain. Bentuk kerja sama serupa itu pada hakikatnya sama dengan koperasi.
System Gilda yang merupakan himpunan para pekerja merdeka yang telah berkembang sebagai pengusaha embrio itu mempunyai kedudukan sebagai penentu segala macam peraturan yang berlaku bagi para pekerja merdeka yang membantunya. Para pekerja merdeka yang pada hakikatnya berstatus sebagai buruh yang bekerja pada orang lain, dala hal ini Gilda, karena keadaan ekonominya sangat lemah tidak dapat berbuat lain kecuali menerima begitu saja segala ketentuan dan peraturan yang mengikat diri mereka sekalipun peraturan itu terasa berat. Apabila Gilda atau pimpinan Gilda memerlukan pembantu atau pekerja yang lebih banyak lagi, dialah yang mengurus langsung kepada penguasa setempat.
Dale Yoder dalam bukunya Personnel Principles and Policies mengemukakan bahwa masalah manajemen yang dihadapi Gilda pada waktu itu ditandai dengan tiga karakteristik khusus yaitu:
1. Jumlah produksi dan penjualan kecil
2. Pengusaha dan pekerja saling bertemu dan berkomunikasi secara tatap muka
3. Para pekerja merupakan benih atau embrio yang kelak menjadi produsen kecil
Pada abad pertengahan, system Gilda yang memproduksi barang dagangan tangan mengalami perubahan massal ketika terjadi revolusi industry. Proses industry tidak lagi dikerjakan oleh tanga secara keseluruhan, tetapi sudah dibantu oleh mesin. Sebagai akibat system produksi secara massal, didukung perbaikan dan perluasan sarana pengangkutan yang dimungkinkan oleh perkembangan teknologi pasar pun berkembang pesat dan perusahaan besarpun bermunculan.
Sementara itu para pedagang local terdorong untuk mengadakan hubungan dagang dengan daerah lain agar dapat memenuhi kebutuhan yang lain yang diperlukan oleh perusahaan besar dan tidak dapat diperoleh dalam jumlah yang memadai di dalam suatu wilayah. Pesatnya perkembangan perusahaan yang melahirkan para pedagang antardaerah dan multinasional, akhirnya menimbulkan jajaran pemilik modal dengan jangkauan operasi internasional. mereka dikenal sebagai kaum kapitalis.
Sementara itu para pekerja merdeka yang bekerja sendiri dengan kemampuan dan keahlian yang dimilihki akhirnya menjadi bangkrut Karena tidak mampu bersaing dengan harga barang yang dihasilkan secara massal. Dalam keadaan serupa itu, sebagian besar pekerja merdeka, seperti halnya pekerja merdeka yang mendahuluinya, juga harus bekerja pada perusahaan besar dengan status yang dikenal sampai sekarang sekarang yaitu pekerja.
Perusahaan bersifat kapitalis intensif dan memproduksi barang secara massal, menempatkan posisi pengusaha menjadi lebih kuat dan besar sehingga dapat menentukan segala yang bertalian dengan faktor produksi termasuk faktor tenaga kerja. Sekalipun pekerja bebasa menawarkan tenaga, karena secara ekonomis lemah dan sangat memerlukan kesempatan kerja, praktis tingkat upah pekerja sangat tergantung pada kemurahan hati pengusaha. Bahkan dapat dikatakan bahwa tenaga pekerja hanyalah barang dagangan yang nialainya sangat tergantung pada pengusaha. Apalagi pengusaha tidak memperhatikan masalah kesehatan, keselamatan dan lingkungan para pekerja.
Keadaan ini diperparah dengan timbulnya paham Laissez Faire yang diperkenalkan Adam Smith dan para pendukungnya. Adam Smith menganjurkan agar setiap orang berbuat sekehendak hatinya, karena dengan demikian akan dapat menciptakan kemakmuran yang sebesar-besarnya. Sementara itu, teori Malthus yang menakutkan menyatakan bahwa dunia akan kelebihan penduduk dan kekurangan pangan. Teori ini justru menambah penderitaan pekerja yang sangat tergantung pada pengusaha. Akibat lebih lanjut dari paham tersebut ialah bahwa peraturan yang membatasi kewenangan pengusaha terhadap para pekerja merupakan suatu hal yang tidak menguntungkan bagi masyarakat. Dengan kata lain, tidak ada peraturan atau pengawasan dari pihak pemerintah yang berfungsi memberikan perlindungan kepada pekerja. Kegiatan organisasi pekerja pun dibatasi, bahkan dilarang sehingga sepenuhnya nasib pekerja pada waktu itu tergantung pada kemurahan hati pihak pengusaha.
Keadaan serupa itu baru berakhir di awal abad ke-20, yaitu setelah timbul perhatian yang lebih besar terhadap masalah ketenagakerjaan. Pekerja tidak lagi dinilai sebagai barang dagangan, melainkan sebagai manusia. Pekerja telah mendapatkan pengakuan dari pemerintah, sebagai manusia yang mempunyai perasaan dan keinginan yang manusiawi. Pekerja tidak lagi dianggap sebagai barang danganagn yang dapat diperjual belikan seenak hati, melainkan sebagai manusia yang harus diperhatikan keingan-keinginannya agar dapat memperoleh prestasi dan produktivitas kerja sebagaimana yang diharapkan.