TOKYO, 24 Apr 2024 – (JCN Newswire) – NEC Corporation (NEC; TSE: 6701) telah memperluas layanan AI generatif “NEC cotomi” dengan pengembangan “NEC cotomi Pro” dan “NEC cotomi Light,” dua Model Bahasa Besar AI generatif berkecepatan tinggi baru (LLM) yang menampilkan data dan arsitektur pelatihan yang diperbarui.
Dengan pesatnya perkembangan AI generatif dalam beberapa tahun terakhir, berbagai organisasi telah mempertimbangkan dan memverifikasi transformasi bisnis menggunakan LLM. Ketika skenario aplikasi spesifik muncul, ada kebutuhan untuk menyediakan model dan format yang memenuhi kebutuhan pelanggan dalam hal waktu respons, koordinasi data bisnis, perlindungan informasi, dan aspek keamanan lainnya selama implementasi dan operasi.
NEC cotomi Pro dan NEC cotomi Light yang baru dikembangkan adalah model berkecepatan tinggi dan berkinerja tinggi yang memberikan kinerja tinggi yang sama dengan LLM global, tetapi lebih dari sepuluh kali kecepatan.
Umumnya, untuk meningkatkan kinerja LLM, model perlu dibuat lebih besar, tetapi ini memperlambat kecepatan operasi. Namun, NEC telah berhasil meningkatkan kecepatan dan kinerja dengan pengembangan metode dan arsitektur pelatihan baru yang canggih.
“NEC cotomi Pro” mencapai kinerja yang sebanding dengan model global tingkat atas seperti “GPT-4” dan “Claude 2,” dengan waktu respons sekitar 87% lebih cepat daripada GPT-4 menggunakan infrastruktur dua unit pemrosesan grafis (GPU). Selain itu, “NEC cotomi Light” yang lebih cepat memiliki tingkat kinerja yang sama dengan model global seperti “GPT-3.5-Turbo,” tetapi dapat memproses sejumlah besar permintaan dengan kecepatan tinggi dengan infrastruktur sekitar 1 hingga 2 GPU, memberikan kinerja yang cukup untuk banyak tugas.
Secara khusus, dalam sistem pengambilan dokumen internal menggunakan teknik yang disebut RAG, sistem mencapai tingkat respons yang benar lebih tinggi dari GPT-3.5 tanpa fine-tuning dan tingkat respons yang benar lebih tinggi dari GPT-4 setelah fine-tuning, dengan waktu respons yang sekitar 93% lebih cepat.
Fitur NEC cotomi Pro dan NEC cotomi Light1. Throughput tinggi untuk berbagai tugas
Baik “NEC cotomi Pro” dan “NEC cotomi Light” memiliki kekuatan pemrosesan tingkat tinggi yang berada di tingkat atas secara global dalam hal pengetahuan dan kemampuan untuk menangani berbagai tugas, seperti peringkasan dokumen, penalaran logis, dan jawaban pertanyaan.
Perbandingan tolok ukur “ELYZA Tasks 100” (2 grafik teratas) dan “MT-Bench Jepang” (grafik bawah)
Secara khusus, NEC mengkonfirmasi kinerja tingkat atas, tidak hanya di Jepang tetapi juga secara global, dalam dua tolok ukur yang biasa digunakan untuk mengukur kinerja LLM secara keseluruhan: “ELYZA Tasks 100” dan “Japanese MT-Bench.” NEC cotomi Pro memberikan hasil lebih dari lima kali lebih cepat daripada GPT-4 (*) pada server standar dengan dua GPU. Selain itu, ia mengungguli kecepatan model seperti “Gemini 1.0 Pro” dan menunjukkan kinerja yang sebanding dengan Claude 2 dan GPT-4. Pada saat yang sama, “NEC cotomi Light” memberikan hasil yang lebih dari 15 kali lebih cepat daripada GPT-4 sambil mengungguli model besar seperti “LLaMA2-70B” dan menunjukkan kinerja yang sebanding dengan GPT-3.5-Turbo.
2. Kecepatan tinggi
Selain kinerja tinggi selama inferensi, waktu (kecepatan) antara mengirim permintaan dan menerima respons juga penting untuk aplikasi praktis LLM. NEC cotomi Pro dan NEC cotomi Light telah mencapai pemrosesan kecepatan tinggi yang 87% hingga 93% lebih cepat daripada GPT-4 dengan dua GPU standar. Ini telah dicapai berkat inovasi arsitektur yang telah meningkatkan kinerja dan kecepatan, serta kamus bahasa Jepang yang besar (untuk tokenisasi) dalam model. Inovasi ini tidak hanya meningkatkan kecepatan inferensi, tetapi juga meningkatkan jumlah akses simultan dan mengurangi waktu pelatihan yang diperlukan untuk penyempurnaan. Selain itu, peningkatan kecepatan tambahan dapat dilakukan dengan meningkatkan jumlah GPU menjadi 4 atau 8, memungkinkan konstruksi yang fleksibel untuk memenuhi kebutuhan setiap aplikasi.
Dengan memanfaatkan model yang mencapai kekuatan pemrosesan tinggi dengan kecepatan tinggi dan akses massal, dimungkinkan untuk secara signifikan mempersingkat waktu respons aplikasi bisnis yang memanfaatkan AI generatif dan meningkatkan pengalaman pengguna. Selain itu, daya pemrosesan yang tinggi dapat secara signifikan meningkatkan kinerja setelah menyempurnakan data individu untuk setiap perusahaan. Ke depan, NEC akan terus memperkuat kerja sama dengan mitra dan menyediakan layanan AI yang aman, terjamin, dan andal berdasarkan jajaran cotomi NEC yang diperluas, dengan tujuan membantu pelanggan memecahkan berbagai tantangan kompleks.
(*)Eksperimen memberikan presisi perhitungan 16-bit dalam lingkungan GPU yang dilengkapi dengan dua L40sShare
Tentang NEC Corporation
NEC Corporation telah memantapkan dirinya sebagai pemimpin dalam integrasi teknologi TI dan jaringan sambil mempromosikan pernyataan merek “Mengatur dunia yang lebih cerah.” NEC memungkinkan bisnis dan masyarakat untuk beradaptasi dengan perubahan cepat yang terjadi di masyarakat dan pasar karena memberikan nilai-nilai sosial keselamatan, keamanan, keadilan dan efisiensi untuk mempromosikan dunia yang lebih berkelanjutan di mana setiap orang memiliki kesempatan untuk mencapai potensi penuh mereka. Untuk informasi lebih lanjut, kunjungi NEC di https://www.nec.com.
Hak Cipta 2024 JCN Newswire. Seluruh hak cipta. www.jcnnewswire.com
