Osman Beyin art arda elde ettiği başarılar eski dostu olan Bilecik Tekfurunu tedirgin etmeye başladı. Yükselen Osmanlı Beyliğinin bir gün kapısına dayanacağını önceden görmüştü. Ancak İnegöl ve Karacahisar Tekfurları gibi cenk etmekten ve sonunun onlar gibi olmasından endişe etti. Bunun yerine Osman Beye bir tuzak hazırladı. Oğlunu Yerhisar Tekfurunun kızı ile evlendirecek olan Bilecik Tekfuru, tertip edilecek düğüne Osman Beyi de davet etti. Amacı Osman Beyi savunmasız yakalayıp suikast düzenleyerek ortadan kaldırmaktı.
Osman Bey bu teklifi severek kabul etti. Zira Bilecik Tekfuru ile eski dostlardı ve kendisiyle daha önce hiç yüz yüze karşılaşmamışlardı. Osman Beyin bu tuzağa düşmemesi mümkün değildi. Zira düğüne askerleriyle gidemez, bu daveti de reddedemezdi. Osman Beye bu durumu Bilecik Tekfurunun hasmı olan Harmankayası Tekfuru haber verdi. Kendisine düzenlenecek süikastı haber alan Osman Bey, akıllıca bir hamle yaparak önce çok kıymetli hediyeler gönderdi ardından askerlerine kadın elbiseleri giydirip himayesindeki kadınlar gibi yanında düğüne getirdi. Ayrıca her zamanki gibi yaylaya çıkacaklarını, mallarını emanet yine kalede himaye edilmek üzere gönderdiğini haber verdi. Yine kadın kılığına girmiş ve keçelerle gizlenmiş askerlerini kalenin içerisine soktu. Böylece hem düğün esnasında doğrudan Tekfuru zaptedecek hem de kaleyi içerden kuşatacaktı. Düğüne geldiği esnada kadınlarının rahat etmeleri için ayrı bir yerde oturmalarını rica etti. Böylece kadın olmadıklarının anlaşılması ihtimalini ortadan kaldırdı.
Düğün devam ederken Osman bey birden aya kalktı ve atına binerek uzaklaştı. Bilecik Tekfuru, kendisine düzenlenecek suikastin farkına vardığını ve bunun için kaçtığını düşünerek peşine düştü. Bir süre Bilecik Tekfurunu peşinden sürükleyip Kaldıravık denen bir mevkie geldiklerinde tekfuru tuzak içindeki tuzağa çekmiş oldu ve Tekfuru kendi kılıcıyla bizzat öldürdü. Bu esnada da katırlarla gizlenerek kaleye giren askerler düğün olması hasebiyle içeride pek kimse bulunmayan kaleyi kolayca zapt ettiler. Düğünde bulunan askerler ise düğün yerinde cenk ederek Bizans askerlerini bertaraf etti. Osman Bey, zekice bir hamleyle uyguladığı üç adımlık planını başarıyla tamamladı ve Bilecik Tekfurluğunu kolay yoldan fethetmiş oldu. Bilecik Tekfurundan destek alan İnegöl Tekfurunu zapt etmesi içinde Turgut Alp adındaki askerini vazifelendirerek İnegöl’e gönderdi.
