Την εποχή εκείνη ο Έλγιν δεν είχε διανοηθεί τη δυνατότητα αφαίρεσης γλυπτών από την Αθηναϊκή Ακρόπολη. Όταν τα διεθνή πολιτικά γεγονότα οδήγησαν την Τουρκία σε συμμαχία με τη Μ. Βρετανία εναντίον της Γαλλίας, ο Σουλτάνος έδειξε την εύνοιά του στον Έλγιν ως βρετανό πρεσβευτή, ο οποίος και άδραξε την ευκαιρία για να ωφεληθεί προσωπικά και ν' αποκτήσει μια τεράστια συλλογή από αρχαιότητες. Τότε έστρεψε την προσοχή του στα μνημεία της Ακρόπολης (κυρίως στον Παρθενώνα), στα οποία ήταν πολύ δύσκολο να πλησιάσει κανείς και από τα οποία δεν είχε δοθεί ποτέ άδεια αφαίρεσης γλυπτών.
Ταυτόχρονα, με άφθονα δώρα προς τους Τούρκους της Κωνσταντινούπολης και της Αθήνας και με δωροδοκίες και εξαπατήσεις ο Έλγιν έπεισε τους Τούρκους προεστώτες της Αθήνας να σιωπήσουν όσο τα συνεργεία του αφαιρούσαν τα τμήματα του γλυπτού διακόσμου του Παρθενώνα που είχαν επιλέξει. Ο Έλγιν ποτέ δεν εξασφάλισε επίσημη άδεια από τον ίδιο το Σουλτάνο για την αφαίρεση του γλυπτού και αρχιτεκτονικού διακόσμου του μνημείου, αφού μόνο εκείνος είχε τη δικαιοδοσία να παραχωρήσει τέτοια άδεια.
Αντιθέτως χρησιμοποίησε με έντεχνο τρόπο μια φιλική επιστολή του Καϊμακάμη, Τούρκου αξιωματούχου, ο οποίος εκείνη την εποχή αντικαθιστούσε τον Μέγα Βεζίρη στην Κωνσταντινούπολη. Η επιστολή που του δόθηκε ανεπίσημα ως χάρη, προέτρεπε τις Τουρκικές αρχές στην Αθήνα να επιτρέψουν στα συνεργεία του Έλγιν να σχεδιάσουν, να λάβουν εκμαγεία και να διενεργήσουν ανασκαφή γύρω από τα θεμέλια του Παρθενώνα, όπου ίσως βρισκόταν θαμμένη κάποια επιγραφή ή ανάγλυφο, με τον όρο ότι δεν θα βλάπτονταν με κανένα τρόπο τα μνημεία.
Από το 1801 έως το 1804 τα συνεργεία του Έλγιν δρούσαν στην Ακρόπολη, προκαλώντας σημαντικές ζημίες στα γλυπτά και το ίδιο το μνημείο, αποσπώντας και διαμελίζοντας ένα σημαντικό μέρος (περίπου το ήμισυ) από το σωζόμενο γλυπτό διάκοσμο του Παρθενώνα, μαζί με ορισμένα αρχιτεκτονικά μέλη, όπως ένα κιονόκρανο και ένα σπόνδυλο από κίονα. Σήμερα μεταξύ Αθήνας και Λονδίνου βρίσκονται διαμελισμένα πολλά τμήματα συχνά από το ίδιο γλυπτό.
Από τους 97 σωζόμενους λίθους της ζωφόρου του Παρθενώνα, οι 56 βρίσκονται στο Λονδίνο και οι 40 στην Αθήνα. Από τις 64 σωζόμενες μετόπες, οι 48 βρίσκονται στην Αθήνα και οι 15 στο Λονδίνο. Από τις 28 σωζόμενες μορφές των αετωμάτων, οι 19 βρίσκονται στο Λονδίνο και οι 9 στην Αθήνα.
Η μεταφορά με πλοία αυτών των ανεκτίμητης αξίας αρχαιοτήτων στην Αγγλία αντιμετώπισε δυσκολίες, αφού γινόταν από λιμάνι σε λιμάνι. Ένα πλοίο βούλιαξε και τα γλυπτά, ύστερα από παρατεταμένη έκθεση στην υγρασία των διάφορων λιμανιών, έφτασαν τελικά στη Βρετανία. Στο Λονδίνο μεταφέρθηκαν σε διάφορες αποθήκες, αφού ο Λόρδος Έλγιν είχε χάσει την περιουσία του, εξαιτίας των τεράστιων ποσών που δαπάνησε για τα συνεργεία του, τη μεταφορά των γλυπτών και τις δωροδοκίες των Τούρκων αξιωματούχων, έτσι ώστε να του είναι αδύνατο να τα στεγάσει σε δικό του χώρο. Έτσι ύστερα από την υποθήκευση της συλλογής του από το Βρετανικό κράτος, αναγκάστηκε να πουλήσει τα Μάρμαρα του Παρθενώνα στη Βρετανική Κυβέρνηση, η οποία και τα μετέφερε το 1816 στο Βρετανικό Μουσείο.
Πριν από αυτήν την τελική συναλλαγή είχε ανατεθεί σε ειδική Εξεταστική Επιτροπή να μελετήσει τα στοιχεία της υπόθεσης και τα πορίσματά της τέθηκαν υπόψη του Βρετανικού Κοινοβουλίου.
Κατά τη διάρκεια της Κοινοβουλευτικής συνεδρίας που έλαβε χώρα, ακούστηκαν πολλές φωνές που εξέφρασαν σκεπτικισμό και απόρριψη για τις ενέργειες του Έλγιν. Ακόμα και σκέψεις για την επιστροφή των Μαρμάρων διατυπώθηκαν τότε για πρώτη φορά. Ισχυρές ενστάσεις ακούστηκαν και εκτός Κοινοβουλίου, με θερμότερο υποστηρικτή τους το Λόρδο Βύρωνα.