Hei ada! Sebagai pembekal pengubah, saya telah mendapat banyak soalan tentang bagaimana pengekodan kedudukan digunakan dalam pengubah. Jadi, saya fikir saya akan mengambil sedikit masa untuk memecahkannya untuk anda dengan cara yang mudah difahami.
Mula -mula, mari kita bincangkan tentang apa yang pengubah. Jika anda berada di dunia elektrik seperti saya, pengubah adalah peranti yang memindahkan tenaga elektrik antara dua atau lebih litar melalui induksi elektromagnet. Tetapi dalam konteks pembelajaran mesin, pengubah adalah sejenis seni bina rangkaian saraf yang benar -benar baik untuk mengendalikan data berurutan, seperti teks. Ia diperkenalkan di dalam kertas "Perhatian adalah semua yang anda perlukan" dan sejak itu menjadi ruji dalam tugas pemprosesan bahasa semulajadi.
Sekarang, pengekodan kedudukan. Dalam pengubah, data input biasanya merupakan urutan token, seperti kata -kata dalam ayat. Tetapi inilah perkara itu: Senibina Transformer itu sendiri tidak mempunyai apa -apa yang dibina - dalam cara memahami susunan token ini. Tidak seperti beberapa seni bina rangkaian saraf lain seperti Rangkaian Neural Berulang (RNNs) yang memproses data secara berurutan, pengubah memproses semua token dalam urutan secara serentak. Di situlah pengekodan posisi masuk.
Pengekodan kedudukan adalah cara untuk menyuntik maklumat kedudukan setiap token dalam urutan ke dalam model. Mereka ditambah kepada embeddings input token. Idea ini adalah untuk memberikan model rasa di mana setiap token terletak dalam urutan.
Salah satu cara yang biasa untuk menjana pengekodan kedudukan adalah menggunakan fungsi sinus dan kosinus. Pengekodan kedudukan untuk token pada kedudukan (POS) dalam urutan dan dimensi (i) dikira seperti berikut:
Untuk dimensi walaupun ((i = 2k)):
(Pe _ {(pos, 2k)} = \ sin \ left (\ frac {pos} {10000^{\ frac {2k} {d_ {model}}} \ right))
Untuk dimensi ganjil ((i = 2k + 1)):
(Pe _ {(pos, 2k+1)} = \ cos \ left (\ frac {pos} {10000^{\ frac {2k} {d_ {model}}} \ right))
Di sini, (D_ {Model}) adalah dimensi embeddings model. Pendekatan ini mempunyai beberapa kelebihan. Pertama, ia membolehkan model untuk mempelajari kedudukan relatif antara token. Sebagai contoh, perbezaan antara pengekodan kedudukan dua token bergantung hanya pada kedudukan relatif mereka, bukan pada kedudukan mutlak mereka dalam urutan. Kedua, ia adalah komputasi yang cekap dan boleh mengendalikan urutan panjang sewenang -wenangnya.
Jadi, bagaimanakah pengubah menggunakan pengekodan kedudukan ini? Nah, selepas pengekodan kedudukan dijana, mereka hanya ditambah elemen - bijak untuk embeddings token. Jadi, jika (e_ {pos}) adalah pengekodan kedudukan untuk token pada kedudukan (pos) dan (t_ {pos}) adalah token embedding, input ke pengekod pengubah atau lapisan penyahkod untuk token itu adalah (i_ {pos} = t_ {pos}+e_ {pos}).
Sebaik sahaja input dengan maklumat kedudukan dimasukkan ke dalam pengubah, mekanisme perhatian diri boleh mula berfungsi. Mekanisme perhatian diri membolehkan model untuk menimbang kepentingan token yang berbeza dalam urutan apabila memproses setiap token. Dengan pengekodan kedudukan, model kini boleh mengambil kira bukan sahaja makna semantik token tetapi juga kedudukan mereka dalam urutan.
Katakan anda sedang menjalankan tugas terjemahan teks. Tanpa pengekodan kedudukan, model mungkin berjuang untuk memahami urutan kata yang betul dalam satu ayat. Sebagai contoh, dalam bahasa Inggeris, ayat "anjing mengejar kucing" mempunyai makna yang berbeza dari "kucing mengejar anjing". Pengekodan kedudukan membantu model membezakan antara kedua -dua urutan yang berbeza dan menghasilkan terjemahan yang lebih tepat.
Dalam perniagaan Transformer Elektrik, kami juga berurusan dengan pelbagai jenis transformer untuk memenuhi pelbagai keperluan. Contohnya, kami mempunyai167 KVA Transformer Pole Telefon. Jenis pengubah ini direka untuk dipasang di tiang telefon dan sesuai untuk aplikasi pengedaran voltan rendah tertentu.
Kami juga menawarkan20kV Tiga Minyak Fasa - Transformer Pengedaran Tenggelam. Transformer ini digunakan dalam sistem kuasa tiga fasa dan direndam dalam minyak untuk penebat dan penyejukan yang lebih baik. Dan jika anda mencari sesuatu dengan penarafan voltan yang lebih rendah, kamiMinyak 10kv - Transformer pengedaran yang direndamadalah pilihan yang hebat. Mereka digunakan secara meluas dalam rangkaian pengedaran tempatan.
Sekarang, jika anda berada di pasaran untuk Transformers, sama ada untuk penyelidikan pembelajaran mesin anda atau infrastruktur elektrik anda, kami di sini untuk membantu. Kami mempunyai pelbagai transformer berkualiti tinggi untuk dipilih. Pasukan pakar kami boleh membantu anda dalam memilih pengubah yang tepat untuk keperluan khusus anda. Jangan teragak -agak untuk mendapatkan konsultasi dan mari memulakan perbualan mengenai keperluan anda. Kami bersedia untuk bekerjasama dengan anda untuk mencari penyelesaian terbaik.
Rujukan:
- Vaswani, A., Shazer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, An, ... & Polosukhin, I. (2017). Perhatian adalah semua yang anda perlukan. Kemajuan dalam sistem pemprosesan maklumat saraf,