Но късо е и неговото тържество. Принуден да се бори едновременно с татарите и с гърците, които нападат България, той се вижда изместен от Ивана-Асеня III, далечен роднина на Асеневците, който похитва престола с помощта на гръцките войски. Ивайло избягва при кримския хан Ногая, за да проси помощ против враговете си. Ногай заповядва във време на едно пиршество да го убият. Мразен от народа като гръцки натрапник. Иван-Асен III се уплашва от растящото и опасно влияние на болярина Георги Тертера, куманец родом, и една нощ избягва скритом от Търново, като отнася и царското съкровище със себе си.

При велико ликуване на народа бива избран и коронясан за цар Георги Тертер, но и той не оправдава надеждите. В петата година на царуването му България изново бива погазена от свирепи татарски пълчища, предвождани от страшния Ногая, които безмилостно я опустошават. След суетни опити и унижения да запази трона си и той избягва и отива във Византия.

Тогава Ногай влазя в беззащитното Търново, обявява се български владетел, туря на престола за свой наместник един от първите и най-влиятелни боляри, Смилеца заслужил с поведението си доверието му, а сам отива в държавата си през Дунава, заплашвана от съперника му хана Токтая.

През всички тия преврати и промени па държавни глави, България бе раздирана от крамолите на болярите, разделена на партии, от които всяка се домогваше да види на престола своя претендент, за да се докопа до облагите на властта, прибягвайки за тая цел до всички средства. Някои даже викаха гръцка намеса, както за възцаряването на Ивана-Асена III. Византийското пагубно влияние растеше в царския двор при гъркините царици. Постоянни, и повечето пъти неувенчани с успех войни с гърците на лишените от пълководчески дарби владетели изнуряваха безполезно силите на народа. Липсуваше определена държавна политика. Царете, безсилни и без авторитет, напразно се стремяха да укрепят положението си, слаби да обуздаят големите болярски родове, които своеволно сваляха и дигаха династии. Някои от тия фамилии бяха успели да си изкроят иолунезависими княжества, както във Видин Шишмановците и на юг от Стара планина Елтимир. А татарските нашествия превръщаха страната в пустиня. Свободолюбивият дух у народа гаснеше заедно с любовта към отечеството. Безличната народна маса приемаше с равнодушие всеки нов господар, всяка нова промяна, ресигнирана, покорна на съдбата си. Н така, България, разкъсвана от вътрешни раздори, несигурна на границите си, окръжена с врагове, неспособна да се брани, изтощена, изгубила вяра във водителите си и в себе си — България на Крума, на Бориса, на Симеона, на Самуила, България на тримата славни Асеновци — стана данница на една татарска орда!

Смилец, преди да стане по такъв непредвиден начин владетел, беше, както се каза, един от най-видните търновски боляри. Роднински връзки го свързваха с най-силните търновски фамилии. Сам той бе оженен за дъщерята на севастократора Константина, внучка на императора Андроника II. Той бе родом от Тракия и обладаваше там обширни имоти. Богат, колкото и благочестив, Смилец даже бе съградил там манастир, чиито развалини и днес се виждат, при река Тополница, между селото Акъджа и Пазарджик. Тия развалини и днес се наричат от местните жители „Княз Смилецов манастир“.

В първата година от царуването на Константина Тиха, 1258 г., Смилец се бе преселил в Търново, дето си съгради голяма каменна къща и скоро се сближи с неговите боляри и големци. Тихо го направи един от първите си велможи. Честолюбив и с изменчив характер, Смилец обаче не му остана верен и се присъедини към ордите на тържествующий Ивайла, като заряза Тиха в най-тежките минути. Той заряза и Ивайла, когато звездата му залезе, и мина към новия владетел, Иван-Асеня III, за да напусне и него в късо време. При встъпването на престола на Георги Тертер, той стана най-предан негов привърженик и се радваше на голямо влияние, което постоянно растеше, в ущърб на Тертеровото.

Когато Тертер напусна престола си, а Ногай идеше към Търново, Смилец събра търновските боляри и народ на Марно поле, за да размислят как да срещнат хана: с оръжие или с покорство? Дълги бяха пренията, но най-после надделя Смилецовото мнение — да приемат без съпротивление татарите. Малкото войска, с която разполагаше Търново, и страхът, що бе вселил в сърцата свирепият Ногай, много спомогнаха да се вземе това малодушно решение. Изпратиха Смилеца с дарове до хана.

Смилец срещна хана недалеко от Търново, което отиваше да обсади. Ханът беше вече стар, с бяла брада и черно бузесто лице, човек, надарен със силен ум и с ратоборни инстинкти. Тоя ужасен вожд на татарски орди, опленил и опустошил Тракия и Македония, беше сега зет на гръцкия император, който чрез това сродство бе се опитал да го умири, и сват на избягалий Тертера. Страшните татарски пълчища, от които чернееше полето, влачеха подире си безконечна върволица кола, натоварена с плячка. Близостта на българската столица изостри още повече алчността на тия скиталци и те чакаха по-скоро знак да я заемат с пристъп и разграбят. Смилец падна на колене пред хана, целуна скута на червеното му джубе и моли за милост към Търново. Ногай влезе в града, посрещнат като победител с черковните хоръгви от патриарха и болярите. Той слезна в Царевец. Там обяви, че едно царство не може да остане ни един ден без цар, а от Асеневите потомци едни са измрели, а други са се разбягали, затова той остава български господар. А понеже трябваше да се върне във владенията си, той оставя на трона Смилеца, като свой заместник и данник. Това решение изненада болярите, но то не търпеше никакво възражение и биде прието покорно. Смилец целуна тогава скута на хана и края на чехъла му в знак на подчинение.

След като се споразумяха по тоя миролюбив начин, Ногай пожела да види черквата „Св. Четирийсет мъченици“. На вратата патриарх Иоаким го посрещна с кръст. Ногай много се чуди на богатите украшения, а когато съгледа на стената изображението на кир Тодоровото пленение, той поиска да узнае какво е това. Ханът изслуша внимателно историята, после каза:

— Ако да беше жив и днес Асен, навярно би ме посрещнал другояче… Но понеже аллах ви не даде други Асен, то това е явната му воля, че аз трябва да ви бъда властител.

Подир това ехидно и дебелашко разсъждение, той се качи на Трапезица. Дълго изглежда прехласнат града с неговите страшни урви, скали, чуки и Янтра, що се виеше под тях като змия, и продума на велможата си Азатин бея:

— Колко би приличало на тия височини да се белеят минарета!

След два дена замина, като остави при Смилеца Азатин бея в качество на съветник и прибирач на данъка, условен да му се плаща от васала.

При всичката унизителност на положението търновските боляри си отдъхнаха, като видяха, че са избягнали по-голяма опасност, и на първо време с благодарност гледаха на престола Смилеца, вместо самия хан.