Android Neural Networks API (NNAPI), Android cihazlarda makine öğrenimine yönelik yoğun hesaplamalı işlemler çalıştırmak için tasarlanmış bir Android C API'sidir. NNAPI, nöral ağlar oluşturup eğiten TensorFlow Lite ve Caffe2 gibi daha üst düzey makine öğrenimi çerçevelerine temel bir işlevsellik katmanı sağlamak için tasarlanmıştır. API, Android 8.1 (API düzeyi 27) veya sonraki sürümleri çalıştıran tüm Android cihazlarda kullanılabilir.
NNAPI, Android cihazlardan gelen verileri önceden eğitilmiş, geliştirici tarafından tanımlanmış modellere uygulayarak çıkarımı destekler. Çıkarım örnekleri arasında görüntüleri sınıflandırmak, kullanıcı davranışını tahmin etmek ve bir arama sorgusu için uygun yanıtları seçmek yer alır.
Cihaz üzerinde çıkarım birçok avantaj sağlar:
- Gecikme: Bir ağ bağlantısı üzerinden istek göndermenize ve yanıt beklemenize gerek yoktur. Örneğin bu, bir kameradan gelen ardışık kareleri işleyen video uygulamaları için kritik olabilir.
- Kullanılabilirlik: Uygulama, ağ kapsamı dışındayken bile çalışır.
- Hız: Nöral ağ işlemeye özel yeni donanım tek başına genel amaçlı bir CPU'ya göre önemli ölçüde daha hızlı bilgi işlem sağlar.
- Gizlilik: Veriler Android cihazından dışarı çıkmaz.
- Maliyet: Tüm hesaplamalar Android cihazda gerçekleştirildiğinde sunucu çiftliğine gerek yoktur.
Geliştiricilerin göz önünde bulundurması gereken bazı ödünler de vardır:
- Sistem kullanımı: Nöral ağların değerlendirilmesi çok fazla işlem gerektirir ve bu da pil gücü kullanımını artırabilir. Uygulamanız açısından sorun yaratıyorsa pil sağlığını izlemeyi düşünmelisiniz. Bu, özellikle de uzun süren hesaplamalarda geçerlidir.
- Uygulama boyutu: Modellerinizin boyutuna dikkat edin. Modeller birkaç megabayt yer kaplayabilir. APK'nızda büyük modelleri paket haline getirmek kullanıcılarınızı fazla etkileyecekse, uygulama yüklendikten sonra modelleri indirmeyi, daha küçük modeller kullanmayı veya hesaplamalarınızı bulutta çalıştırmayı düşünebilirsiniz. NNAPI, modelleri bulutta çalıştırma işlevi sağlamaz.
NNAPI'nin nasıl kullanılacağına dair bir örnek görmek için Android Neural Networks API örneğine bakın.
Neural Networks API'nin çalışma zamanını anlama
NNAPI'nin, geliştiricilerin modellerini cihaz dışında eğitip Android cihazlara dağıtmasını sağlayan makine öğrenimi kitaplıkları, çerçeveler ve araçlar tarafından çağrılması amaçlanmıştır. Uygulamalar genellikle doğrudan NNAPI'yi değil, bunun yerine daha üst seviye makine öğrenimi çerçevelerini kullanır. Bu çerçeveler, desteklenen cihazlarda donanım hızlandırmalı çıkarım işlemleri gerçekleştirmek için NNAPI'yi kullanabilir.
Android'in nöral ağ çalışma zamanı, uygulamanın gereksinimlerine ve Android cihazdaki donanım özelliklerine bağlı olarak, hesaplama iş yükünü özel nöral ağ donanımı, grafik işleme birimleri (GPU'lar) ve dijital sinyal işlemcileri (DSP'ler) dahil olmak üzere mevcut cihaz işlemcilerine etkili bir şekilde dağıtabilir.
Özel satıcı sürücüsü bulunmayan Android cihazlarda NNAPI çalışma zamanı, istekleri CPU'da yürütür.
Şekil 1'de NNAPI için üst düzey sistem mimarisi gösterilmektedir.
Neural Networks API programlama modeli
NNAPI kullanarak hesaplamalar yapmak için öncelikle gerçekleştirilecek hesaplamaları tanımlayan bir yönlendirilmiş grafik oluşturmanız gerekir. Bu hesaplama grafiği, giriş verilerinizle (örneğin, bir makine öğrenimi çerçevesinden aktarılan ağırlıklar ve yanlılıklar) birleştirildiğinde NNAPI çalışma zamanı değerlendirmesi için model oluşturur.
NNAPI, dört ana soyutlama kullanır:
- Model: Matematiksel işlemlerin ve eğitim sürecinden öğrenilen sabit değerlerin hesaplama grafiği. Bu işlemler nöral ağlara özeldir. Bunlar 2 boyutlu (2D) dönüşüm, mantıksal (sigmoid) etkinleştirme, düzeltilmiş doğrusal (ReLU) aktivasyon ve daha fazlasını içerir. Model oluşturma eşzamanlı bir işlemdir.
Başarılı bir şekilde oluşturulduktan sonra ileti dizileri ve derlemelerde yeniden kullanılabilir.
NNAPI'de bir model,
ANeuralNetworksModel
örneği olarak temsil edilir. - Derleme: NNAPI modelini alt düzey kodda derlemeye yönelik bir yapılandırmayı temsil eder. Derleme oluşturmak eşzamanlı bir işlemdir. Başarılı bir şekilde oluşturulduktan sonra, iş parçacığı ve yürütme işlemlerinde yeniden kullanılabilir. NNAPI'de her derleme bir
ANeuralNetworksCompilation
örneği olarak temsil edilir. - Bellek: Paylaşılan belleği, bellek eşlenmiş dosyaları ve benzer bellek arabelleklerini temsil eder. Bellek arabelleği kullanmak, NNAPI çalışma zamanının verileri sürücülere daha verimli bir şekilde aktarmasını sağlar. Uygulamalar genellikle bir model tanımlamak için gereken her tensörü içeren bir paylaşılan bellek arabelleği oluşturur. Yürütme örneği için giriş ve çıkışları depolamak amacıyla bellek arabellekleri de kullanabilirsiniz. NNAPI'de her bellek arabelleği bir
ANeuralNetworksMemory
örneği olarak temsil edilir. Yürütme: Bir NNAPI modelini bir giriş grubuna uygulamak ve sonuçları toplamak için kullanılan arayüz. Yürütme eşzamanlı veya eşzamansız olarak gerçekleştirilebilir.
Eşzamansız yürütmede birden fazla iş parçacığı aynı yürütmeyi bekleyebilir. Bu yürütme tamamlandığında tüm iş parçacıkları serbest bırakılır.
NNAPI'de her yürütme, bir
ANeuralNetworksExecution
örneği olarak temsil edilir.
Şekil 2'de temel programlama akışı gösterilmektedir.
Bu bölümün geri kalanında, NNAPI modelinizi hesaplama gerçekleştirmek, modeli derlemek ve derlenen modeli yürütmek için ayarlama adımları açıklanmaktadır.
Eğitim verilerine erişim sağlama
Eğitilen ağırlıklar ve ağırlıklandırmalarla ilgili verileriniz muhtemelen bir dosyada saklanır. NNAPI çalışma zamanının bu verilere verimli bir şekilde erişmesini sağlamak için ANeuralNetworksMemory_createFromFd()
işlevini çağırıp açılan veri dosyasının dosya tanımlayıcısını ileterek bir ANeuralNetworksMemory
örneği oluşturun. Ayrıca, bellek koruma bayraklarını ve paylaşılan bellek bölgesinin dosyada başladığı yeri belirlemek için de bir değer belirtirsiniz.
// Create a memory buffer from the file that contains the trained data
ANeuralNetworksMemory* mem1 = NULL;
int fd = open("training_data", O_RDONLY);
ANeuralNetworksMemory_createFromFd(file_size, PROT_READ, fd, 0, &mem1);
Bu örnekte tüm ağırlıklarımız için yalnızca bir ANeuralNetworksMemory
örneği kullansak da birden fazla dosya için birden fazla ANeuralNetworksMemory
örneği kullanmak mümkündür.
Yerel donanım arabellekleri kullan
Model girişleri, çıkışlar ve sabit işlem gören değerleri için yerel donanım arabellekleri kullanabilirsiniz. Belirli durumlarda NNAPI hızlandırıcı, sürücünün verileri kopyalamasına gerek kalmadan AHardwareBuffer
nesnelerine erişebilir. AHardwareBuffer
birçok farklı yapılandırmaya sahiptir ve her NNAPI hızlandırıcı bu yapılandırmaların tümünü desteklemeyebilir. Bu sınırlama nedeniyle, ANeuralNetworksMemory_createFromAHardwareBuffer
referans dokümanlarında listelenen kısıtlamalara bakın ve AHardwareBuffer
kullanan derlemelerin ve yürütmelerin beklendiği gibi davrandığından emin olmak için hızlandırıcıyı belirtmek için cihaz atamasını kullanarak hedef cihazlarda önceden test yapın.
NNAPI çalışma zamanının bir AHardwareBuffer
nesnesine erişmesine izin vermek için aşağıdaki kod örneğinde gösterildiği gibi ANeuralNetworksMemory_createFromAHardwareBuffer
işlevini çağırıp AHardwareBuffer
nesnesini ileterek bir ANeuralNetworksMemory
örneği oluşturun:
// Configure and create AHardwareBuffer object AHardwareBuffer_Desc desc = ... AHardwareBuffer* ahwb = nullptr; AHardwareBuffer_allocate(&desc, &ahwb); // Create ANeuralNetworksMemory from AHardwareBuffer ANeuralNetworksMemory* mem2 = NULL; ANeuralNetworksMemory_createFromAHardwareBuffer(ahwb, &mem2);
NNAPI'nin artık AHardwareBuffer
nesnesine erişmesi gerekmediğinde karşılık gelen ANeuralNetworksMemory
örneğini serbest bırakın:
ANeuralNetworksMemory_free(mem2);
Not:
AHardwareBuffer
öğesini yalnızca tamponun tamamı için kullanabilirsiniz.ARect
parametresiyle kullanamazsınız.- NNAPI çalışma zamanı, arabelleği boşaltmaz. Yürütmeyi planlamadan önce giriş ve çıkış arabelleklerinin erişilebilir olduğundan emin olmanız gerekir.
- Senkronizasyon sınırı dosya tanımlayıcıları desteklenmez.
- Tedarikçi firmaya özel biçimlere ve kullanım bitlerine sahip bir
AHardwareBuffer
için önbelleğin temizlenmesinden istemcinin mi yoksa sürücünün mi sorumlu olduğunu belirlemek tedarikçi firma uygulamasına bağlıdır.
Model
Model, NNAPI'da hesaplamanın temel birimidir. Her model, bir veya daha fazla işlenen ve işlemle tanımlanır.
İşlem görenler
İşlem görenler, grafiği tanımlamak için kullanılan veri nesneleridir. Bunlar arasında modelin giriş ve çıkışları, bir işlemden diğerine akan verileri içeren ara düğümler ve bu işlemlere geçirilen sabit değerler dahildir.
NNAPI modellerine eklenebilecek iki tür işlem gören vardır: skalarlar ve tensörler.
Skaler, tek bir değeri temsil eder. NNAPI, boole, 16 bit kayan nokta, 32 bit kayan nokta, 32 bit tam sayı ve imzalanmamış 32 bit tam sayı biçimlerinde skaler değerleri destekler.
NNAPI'daki çoğu işlem tensörleri içerir. Tensörler, n boyutlu dizilerdir. NNAPI, 16 bit kayan nokta, 32 bit kayan nokta, 8 bit ölçülmüş, 16 bit ölçülmüş, 32 bit tam sayı ve 8 bit boole değerlerine sahip tensörleri destekler.
Örneğin, Şekil 3, iki işlem içeren bir modeli temsil eder: Toplama işleminin ardından bir çarpma işlemi yapılır. Model bir giriş tensörü alır ve bir çıkış tensörü üretir.
Yukarıdaki modelin yedi işleneni vardır. Bu işlenenler, modele eklendikleri sıranın diziniyle örtülü olarak tanımlanır. Eklenen ilk işlenenin dizini 0, ikincisinin dizini 1 ve bu şekilde devam eder. İşlem görenler 1, 2, 3 ve 5, sabit işlenenlerdir.
İşlem görenleri hangi sırayla eklediğiniz önemli değildir. Örneğin, model çıkış işleneni eklenen ilk öğe olabilir. Önemli olan, bir işlenenden bahsederken doğru dizin değerinin kullanılmasıdır.
İşlem görenlerin türleri vardır. Bunlar, modele eklendiğinde belirtilir.
İşlem gören bir modelin hem girişi hem çıkışı olarak kullanılamaz.
Her işlem gören bir model girişi, sabit bir değer veya tam olarak bir işlemin çıkış işleneni olmalıdır.
İşlem görenlerin kullanımı hakkında ek bilgi için İşlem görenler hakkında daha fazla bilgi bölümüne bakın.
İşlemler
İşlem, gerçekleştirilecek hesaplamaları belirtir. Her işlem aşağıdaki öğelerden oluşur:
- işlem türü (ör. toplama, çarpma, evrişim),
- işlemin giriş için kullandığı işlenenlerin dizinlerinin listesi ve
- işlemin çıkış için kullandığı işlem görenlerin dizin listesi.
Bu listelerdeki sıra önemlidir. Her işlem türünün beklenen girişleri ve çıkışları için NNAPI API referansına bakın.
İşlemi eklemeden önce, bir işlemin tükettiği veya modele ürettiği işlenenleri eklemeniz gerekir.
İşlemleri hangi sırayla eklediğiniz önemli değildir. NNAPI, işlemlerin yürütülme sırasını belirlemek için işlenenlerin ve işlemlerin hesaplama grafiğinde oluşturulan bağımlılıklardan yararlanır.
NNAPI'nın desteklediği işlemler aşağıdaki tabloda özetlenmiştir:
API düzeyi 28'de bilinen sorun: Android 9 (API düzeyi 28) ve sonraki sürümlerde kullanılabilen ANEURALNETWORKS_PAD
işlemine ANEURALNETWORKS_TENSOR_QUANT8_ASYMM
tensörleri iletirken NNAPI'den alınan çıkış, TensorFlow Lite gibi daha üst düzey makine öğrenimi çerçevelerinin çıktısıyla eşleşmeyebilir. Bunun yerine yalnızca ANEURALNETWORKS_TENSOR_FLOAT32
değerini iletmeniz gerekir.
Bu sorun, Android 10 (API düzeyi 29) ve sonraki sürümlerde çözülmüştür.
Model oluşturma
Aşağıdaki örnekte, şekil 3'te bulunan iki işlemli modeli oluşturuyoruz.
Modeli oluşturmak için aşağıdaki adımları izleyin:
Boş bir model tanımlamak için
ANeuralNetworksModel_create()
işlevini çağırın.ANeuralNetworksModel* model = NULL; ANeuralNetworksModel_create(&model);
ANeuralNetworks_addOperand()
yöntemini çağırarak işlenenleri modelinize ekleyin. Veri türleri,ANeuralNetworksOperandType
veri yapısı kullanılarak tanımlanır.// In our example, all our tensors are matrices of dimension [3][4] ANeuralNetworksOperandType tensor3x4Type; tensor3x4Type.type = ANEURALNETWORKS_TENSOR_FLOAT32; tensor3x4Type.scale = 0.f; // These fields are used for quantized tensors tensor3x4Type.zeroPoint = 0; // These fields are used for quantized tensors tensor3x4Type.dimensionCount = 2; uint32_t dims[2] = {3, 4}; tensor3x4Type.dimensions = dims;
// We also specify operands that are activation function specifiers ANeuralNetworksOperandType activationType; activationType.type = ANEURALNETWORKS_INT32; activationType.scale = 0.f; activationType.zeroPoint = 0; activationType.dimensionCount = 0; activationType.dimensions = NULL;
// Now we add the seven operands, in the same order defined in the diagram ANeuralNetworksModel_addOperand(model, &tensor3x4Type); // operand 0 ANeuralNetworksModel_addOperand(model, &tensor3x4Type); // operand 1 ANeuralNetworksModel_addOperand(model, &activationType); // operand 2 ANeuralNetworksModel_addOperand(model, &tensor3x4Type); // operand 3 ANeuralNetworksModel_addOperand(model, &tensor3x4Type); // operand 4 ANeuralNetworksModel_addOperand(model, &activationType); // operand 5 ANeuralNetworksModel_addOperand(model, &tensor3x4Type); // operand 6Uygulamanızın eğitim sürecinden elde ettiği ağırlıklar ve ağırlıklar gibi sabit değerlere sahip işlenenler için
ANeuralNetworksModel_setOperandValue()
veANeuralNetworksModel_setOperandValueFromMemory()
işlevlerini kullanın.Aşağıdaki örnekte, Eğitim verilerine erişim sağlama bölümünde oluşturduğumuz bellek arabelleğine karşılık gelen eğitim veri dosyasından alınan sabit değerler belirledik.
// In our example, operands 1 and 3 are constant tensors whose values were // established during the training process const int sizeOfTensor = 3 * 4 * 4; // The formula for size calculation is dim0 * dim1 * elementSize ANeuralNetworksModel_setOperandValueFromMemory(model, 1, mem1, 0, sizeOfTensor); ANeuralNetworksModel_setOperandValueFromMemory(model, 3, mem1, sizeOfTensor, sizeOfTensor);
// We set the values of the activation operands, in our example operands 2 and 5 int32_t noneValue = ANEURALNETWORKS_FUSED_NONE; ANeuralNetworksModel_setOperandValue(model, 2, &noneValue, sizeof(noneValue)); ANeuralNetworksModel_setOperandValue(model, 5, &noneValue, sizeof(noneValue));Hesaplamak istediğiniz yönlendirilmiş grafikteki her işlem için
ANeuralNetworksModel_addOperation()
işlevini çağırarak işlemi modelinize ekleyin.Bu çağrının parametreleri olarak uygulamanız şunları sağlamalıdır:
- işlem türü
- giriş değerlerinin sayısı
- giriş işlenenleri için dizin dizisi
- çıkış değerlerinin sayısı
- çıkış işlenenleri için dizin dizisi
Bir işlenenin, aynı işlemin hem girişi hem de çıkışı için kullanılamayacağını unutmayın.
// We have two operations in our example // The first consumes operands 1, 0, 2, and produces operand 4 uint32_t addInputIndexes[3] = {1, 0, 2}; uint32_t addOutputIndexes[1] = {4}; ANeuralNetworksModel_addOperation(model, ANEURALNETWORKS_ADD, 3, addInputIndexes, 1, addOutputIndexes);
// The second consumes operands 3, 4, 5, and produces operand 6 uint32_t multInputIndexes[3] = {3, 4, 5}; uint32_t multOutputIndexes[1] = {6}; ANeuralNetworksModel_addOperation(model, ANEURALNETWORKS_MUL, 3, multInputIndexes, 1, multOutputIndexes);ANeuralNetworksModel_identifyInputsAndOutputs()
işlevini çağırarak modelin hangi işlenenleri giriş ve çıkış olarak ele alması gerektiğini belirleyin.// Our model has one input (0) and one output (6) uint32_t modelInputIndexes[1] = {0}; uint32_t modelOutputIndexes[1] = {6}; ANeuralNetworksModel_identifyInputsAndOutputs(model, 1, modelInputIndexes, 1 modelOutputIndexes);
İsteğe bağlı olarak,
ANEURALNETWORKS_TENSOR_FLOAT32
'inANeuralNetworksModel_relaxComputationFloat32toFloat16()
yöntemini çağırarak IEEE 754 16 bit kayan nokta biçimi kadar düşük bir aralık veya hassasiyetle hesaplanmasına izin verilip verilmeyeceğini belirtin.Modelinizin tanımını tamamlamak için
ANeuralNetworksModel_finish()
numaralı telefonu arayın. Hiç hata yoksa bu işlev,ANEURALNETWORKS_NO_ERROR
sonuç kodunu döndürür.ANeuralNetworksModel_finish(model);
Bir model oluşturduktan sonra bunu istediğiniz sayıda derleyebilir ve her derlemeyi istediğiniz sayıda çalıştırabilirsiniz.
Kontrol akışı
Bir NNAPI modeline denetim akışı eklemek için aşağıdakileri yapın:
İlgili yürütme alt grafiklerini (
IF
ifadesi içinthen
veelse
alt grafikleri,WHILE
döngüsü içincondition
vebody
alt grafikleri) bağımsızANeuralNetworksModel*
modelleri olarak oluşturun:ANeuralNetworksModel* thenModel = makeThenModel(); ANeuralNetworksModel* elseModel = makeElseModel();
Kontrol akışını içeren model içinde bu modellere başvuran işlenenler oluşturun:
ANeuralNetworksOperandType modelType = { .type = ANEURALNETWORKS_MODEL, }; ANeuralNetworksModel_addOperand(model, &modelType); // kThenOperandIndex ANeuralNetworksModel_addOperand(model, &modelType); // kElseOperandIndex ANeuralNetworksModel_setOperandValueFromModel(model, kThenOperandIndex, &thenModel); ANeuralNetworksModel_setOperandValueFromModel(model, kElseOperandIndex, &elseModel);
Kontrol akışı işlemini ekleyin:
uint32_t inputs[] = {kConditionOperandIndex, kThenOperandIndex, kElseOperandIndex, kInput1, kInput2, kInput3}; uint32_t outputs[] = {kOutput1, kOutput2}; ANeuralNetworksModel_addOperation(model, ANEURALNETWORKS_IF, std::size(inputs), inputs, std::size(output), outputs);
Derleme
Derleme adımı, modelinizin hangi işlemcilerde yürütüleceğini belirler ve ilgili sürücülerden yürütmeye hazırlanmalarını ister. Buna, modelinizin üzerinde çalışacağı işlemcilere özel makine kodu oluşturmak da dahil olabilir.
Model derlemek için aşağıdaki adımları uygulayın:
Yeni bir derleme örneği oluşturmak için
ANeuralNetworksCompilation_create()
işlevini çağırın.// Compile the model ANeuralNetworksCompilation* compilation; ANeuralNetworksCompilation_create(model, &compilation);
İsteğe bağlı olarak, hangi cihazlarda yürütüleceğini açıkça seçmek için cihaz atamasını kullanabilirsiniz.
İsteğe bağlı olarak, çalışma zamanının pil gücü kullanımından çalıştırma hızı arasında nasıl denge kuracağını etkileyebilirsiniz. Bu işlemi
ANeuralNetworksCompilation_setPreference()
numaralı telefonu arayarak yapabilirsiniz.// Ask to optimize for low power consumption ANeuralNetworksCompilation_setPreference(compilation, ANEURALNETWORKS_PREFER_LOW_POWER);
Belirtebileceğiniz tercihler şunlardır:
ANEURALNETWORKS_PREFER_LOW_POWER
: Uygulamayı pil tüketimini en aza indirecek şekilde yürütmeyi tercih edin. Bu, sık yürütülen derlemeler için tercih edilir.ANEURALNETWORKS_PREFER_FAST_SINGLE_ANSWER
: Daha fazla güç tüketimine neden olsa bile mümkün olduğunca hızlı bir şekilde tek bir yanıt döndürmeyi tercih edin. Bu, varsayılan ayardır.ANEURALNETWORKS_PREFER_SUSTAINED_SPEED
: Kameradan gelen ardışık karelerin işlenmesinde olduğu gibi, ardışık karelerin işleme hızını en üst düzeye çıkarmayı tercih edin.
İsteğe bağlı olarak,
ANeuralNetworksCompilation_setCaching
yöntemini çağırarak derlemeyi önbelleğe almayı ayarlayabilirsiniz.// Set up compilation caching ANeuralNetworksCompilation_setCaching(compilation, cacheDir, token);
cacheDir
içingetCodeCacheDir()
kullanın. Belirtilentoken
, uygulama içindeki her model için benzersiz olmalıdır.ANeuralNetworksCompilation_finish()
yöntemini çağırarak derleme tanımını tamamlayın. Hata yoksa bu işlev,ANEURALNETWORKS_NO_ERROR
sonuç kodunu döndürür.ANeuralNetworksCompilation_finish(compilation);
Cihaz bulma ve atama
Android 10 (API düzeyi 29) ve sonraki sürümleri çalıştıran Android cihazlarda NNAPI, makine öğrenimi çerçeve kitaplıklarının ve uygulamalarının kullanılabilir cihazlar hakkında bilgi almasına ve yürütme için kullanılacak cihazları belirlemesine olanak tanıyan işlevler sağlar. Kullanılabilir cihazlar hakkında bilgi, uygulamaların bilinen uyumsuzlukları önlemek için cihazdaki sürücülerin tam sürümlerini almasına olanak tanır. Uygulamalara, bir modelin farklı bölümlerini hangi cihazların çalıştıracağını belirtme olanağı sağlayarak uygulamalar, dağıtıldıkları Android cihaz için optimize edilebilir.
Cihaz bulma
Kullanılabilir cihaz sayısını öğrenmek için ANeuralNetworks_getDeviceCount
değerini kullanın. Her cihazda bir ANeuralNetworksDevice
örneğini bu cihaza referans olarak ayarlamak için ANeuralNetworks_getDevice
kullanın.
Cihaz referansınız olduğunda, aşağıdaki işlevleri kullanarak o cihazla ilgili ek bilgi edinebilirsiniz:
ANeuralNetworksDevice_getFeatureLevel
ANeuralNetworksDevice_getName
ANeuralNetworksDevice_getType
ANeuralNetworksDevice_getVersion
Cihaz ataması
Bir modelin hangi işlemlerinin belirli cihazlarda çalıştırılabileceğini keşfetmek için ANeuralNetworksModel_getSupportedOperationsForDevices
aracını kullanın.
Yürütme işlemi için hangi hızlandırıcıların kullanılacağını kontrol etmek amacıyla ANeuralNetworksCompilation_create
yerine ANeuralNetworksCompilation_createForDevices
yöntemini çağırın.
Elde edilen ANeuralNetworksCompilation
nesnesini normal şekilde kullanın.
Sağlanan model, seçili cihazlar tarafından desteklenmeyen işlemler içeriyorsa işlev bir hata döndürür.
Birden fazla cihaz belirtilirse çalışmanın cihazlar arasında dağıtılmasından çalışma zamanı sorumludur.
Diğer cihazlara benzer şekilde, NNAPI CPU uygulaması nnapi-reference
adına ve ANEURALNETWORKS_DEVICE_TYPE_CPU
türüne sahip bir ANeuralNetworksDevice
ile temsil edilir. ANeuralNetworksCompilation_createForDevices
çağrısı yapılırken, model derleme ve yürütme başarısızlıklarını işlemek için CPU uygulaması kullanılmaz.
Bir modeli belirtilen cihazlarda çalışabilecek alt modellere bölmek bir uygulamanın sorumluluğudur. Manuel bölümlendirme yapması gerekmeyen uygulamalar, modeli hızlandırmak için mevcut tüm cihazları (CPU dahil) kullanmak için daha basit olan ANeuralNetworksCompilation_create
yöntemini çağırmaya devam etmelidir. Model, ANeuralNetworksCompilation_createForDevices
kullanarak belirttiğiniz cihazlar tarafından tam olarak desteklenemediyse ANEURALNETWORKS_BAD_DATA
döndürülür.
Model bölümlendirme
Model için birden fazla cihaz mevcut olduğunda NNAPI çalışma zamanı, çalışmayı cihazlara dağıtır. Örneğin, ANeuralNetworksCompilation_createForDevices
adlı iş ortağına birden fazla cihaz sağlandıysa çalışma dağıtılırken belirtilen tüm cihazlar dikkate alınır. CPU cihazı listede yoksa CPU yürütmesinin devre dışı bırakılacağını unutmayın. ANeuralNetworksCompilation_create
kullanılırken CPU dahil mevcut tüm cihazlar dikkate alınır.
Dağıtım, modeldeki işlemlerin her biri için kullanılabilir cihazlar listesinden seçim yapılarak, işlemi destekleyen ve istemci tarafından belirtilen yürütme tercihine bağlı olarak en iyi performansı (ör. en hızlı yürütme süresi veya en düşük güç tüketimi) bildirerek yapılır. Bu bölümlendirme algoritması, farklı işlemciler arasındaki IO'dan kaynaklanan olası verimsizlikleri hesaba katmaz. Bu nedenle, birden fazla işlemci belirtirken (ANeuralNetworksCompilation_createForDevices
kullanılırken açıkça veya ANeuralNetworksCompilation_create
kullanılarak dolaylı olarak) ortaya çıkan uygulamanın profilini çıkarmak önemlidir.
Modelinizin NNAPI tarafından nasıl bölümlendiğini anlamak için bir mesaj için Android günlüklerine bakın (ExecutionPlan
etiketiyle bilgi düzeyinde):
ModelBuilder::findBestDeviceForEachOperation(op-name): device-index
op-name
, grafikteki işlemin açıklayıcı adı; device-index
ise cihaz listesindeki aday cihazın dizinidir.
Bu liste, ANeuralNetworksCompilation_createForDevices
için sağlanan girdidir veya ANeuralNetworksCompilation_createForDevices
kullanılıyorsa ANeuralNetworks_getDeviceCount
ve ANeuralNetworks_getDevice
kullanan tüm cihazlar üzerinden yinelenirken döndürülen cihazların listesidir.
Mesaj (ExecutionPlan
etiketiyle bilgi düzeyinde):
ModelBuilder::partitionTheWork: only one best device: device-name
Bu mesaj, device-name
cihazında tüm grafiğin hızlandırıldığını gösterir.
Uygulama
Yürütme adımı, modeli bir giriş grubuna uygular ve hesaplama çıkışlarını uygulamanızın ayırdığı bir veya daha fazla kullanıcı arabelleğine ya da bellek alanına depolar.
Derlenmiş bir modeli yürütmek için şu adımları izleyin:
Yeni bir yürütme örneği oluşturmak için
ANeuralNetworksExecution_create()
işlevini çağırın.// Run the compiled model against a set of inputs ANeuralNetworksExecution* run1 = NULL; ANeuralNetworksExecution_create(compilation, &run1);
Uygulamanızın, hesaplama için giriş değerlerini nerede okuduğunu belirtin. Uygulamanız, sırasıyla
ANeuralNetworksExecution_setInput()
veyaANeuralNetworksExecution_setInputFromMemory()
yöntemini çağırarak bir kullanıcı arabelleğinden veya ayrılmış bellek alanındaki giriş değerlerini okuyabilir.// Set the single input to our sample model. Since it is small, we won't use a memory buffer float32 myInput[3][4] = { ...the data... }; ANeuralNetworksExecution_setInput(run1, 0, NULL, myInput, sizeof(myInput));
Uygulamanızın çıkış değerlerini nereye yazdığını belirtin. Uygulamanız sırasıyla
ANeuralNetworksExecution_setOutput()
veyaANeuralNetworksExecution_setOutputFromMemory()
yöntemini çağırarak bir kullanıcı arabelleğine veya ayrılmış bellek alanına çıkış değerleri yazabilir.// Set the output float32 myOutput[3][4]; ANeuralNetworksExecution_setOutput(run1, 0, NULL, myOutput, sizeof(myOutput));
ANeuralNetworksExecution_startCompute()
işlevini çağırarak yürütmeyi başlayacak şekilde planlayın. Hata yoksa bu işlev,ANEURALNETWORKS_NO_ERROR
sonuç kodunu döndürür.// Starts the work. The work proceeds asynchronously ANeuralNetworksEvent* run1_end = NULL; ANeuralNetworksExecution_startCompute(run1, &run1_end);
Yürütme işleminin tamamlanmasını beklemek için
ANeuralNetworksEvent_wait()
işlevini çağırın. Yürütme başarılı olduysa bu işlev,ANEURALNETWORKS_NO_ERROR
sonuç kodunu döndürür. Bekleme, yürütmeyi başlatandan farklı bir iş parçacığında yapılabilir.// For our example, we have no other work to do and will just wait for the completion ANeuralNetworksEvent_wait(run1_end); ANeuralNetworksEvent_free(run1_end); ANeuralNetworksExecution_free(run1);
İsteğe bağlı olarak, yeni bir
ANeuralNetworksExecution
örneği oluşturmak için aynı derleme örneğini kullanarak, derlenen modele farklı bir giriş grubu uygulayabilirsiniz.// Apply the compiled model to a different set of inputs ANeuralNetworksExecution* run2; ANeuralNetworksExecution_create(compilation, &run2); ANeuralNetworksExecution_setInput(run2, ...); ANeuralNetworksExecution_setOutput(run2, ...); ANeuralNetworksEvent* run2_end = NULL; ANeuralNetworksExecution_startCompute(run2, &run2_end); ANeuralNetworksEvent_wait(run2_end); ANeuralNetworksEvent_free(run2_end); ANeuralNetworksExecution_free(run2);
Eşzamanlı yürütme
Eşzamansız yürütme, iş parçacıklarını oluşturmak ve senkronize etmek için zaman harcar. Ayrıca, gecikme çok değişken olabilir. İş parçacığının bilgilendirilmesi veya çalıştırılması ile nihayetinde CPU çekirdeğine bağlanması arasında geçen en uzun gecikme 500 mikrosaniyeye kadar çıkabilir.
Gecikmeyi iyileştirmek için bunun yerine bir uygulamayı, çalışma zamanına eşzamanlı bir çıkarım çağrısı yapmaya yönlendirebilirsiniz. Bu çağrı, çıkarım başladıktan sonra geri dönmek yerine, yalnızca bir çıkarım tamamlandığında döndürülür. Uygulama, çalışma zamanına eşzamansız bir çıkarım çağrısı için ANeuralNetworksExecution_startCompute
yerine ANeuralNetworksExecution_compute
yöntemini çağırarak çalışma zamanına eşzamanlı bir çağrı yapar. ANeuralNetworksExecution_compute
çağrısı ANeuralNetworksEvent
almaz ve ANeuralNetworksEvent_wait
ile eşlenmez.
Seri çekim yürütmeler
NNAPI, Android 10 (API düzeyi 29) ve sonraki sürümleri çalıştıran Android cihazlarda ANeuralNetworksBurst
nesnesi üzerinden seri işlem yürütmeleri destekler. Seri çekim yürütmeleri, aynı derlemenin hızlı bir şekilde gerçekleştirilen yürütme dizisidir. Örneğin, bir kamera çekimi karelerinde veya ardışık ses örneklerinde çalışırlar. ANeuralNetworksBurst
nesnelerinin kullanılması, hızlandırıcılara kaynakların yürütmeler arasında yeniden kullanılabileceğini ve hızlandırıcıların patlama süresince yüksek performanslı durumda kalması gerektiğini gösterdiğinden yürütmeleri hızlandırabilir.
ANeuralNetworksBurst
, normal yürütme yolunda yalnızca küçük bir değişiklik yapar. Aşağıdaki kod snippet'inde gösterildiği gibi ANeuralNetworksBurst_create
kullanarak seri çekim nesne oluşturursunuz:
// Create burst object to be reused across a sequence of executions ANeuralNetworksBurst* burst = NULL; ANeuralNetworksBurst_create(compilation, &burst);
Seri çekim yürütmeler eşzamanlıdır. Bununla birlikte, her çıkarımı gerçekleştirmek için ANeuralNetworksExecution_compute
kullanmak yerine, ANeuralNetworksExecution
işlevine yapılan çağrılarda aynı ANeuralNetworksBurst
değerine sahip çeşitli ANeuralNetworksExecution
nesnelerini ANeuralNetworksExecution_burstCompute
işlevine eşlersiniz.
// Create and configure first execution object // ... // Execute using the burst object ANeuralNetworksExecution_burstCompute(execution1, burst); // Use results of first execution and free the execution object // ... // Create and configure second execution object // ... // Execute using the same burst object ANeuralNetworksExecution_burstCompute(execution2, burst); // Use results of second execution and free the execution object // ...
Artık ihtiyaç duyulmadığında ANeuralNetworksBurst
nesnesini ANeuralNetworksBurst_free
ile serbest bırakın.
// Cleanup ANeuralNetworksBurst_free(burst);
Eşzamansız komut sıraları ve sınırlanmış yürütme
NNAPI, Android 11 ve sonraki sürümlerde eşzamansız yürütmeyi ANeuralNetworksExecution_startComputeWithDependencies()
yöntemi aracılığıyla programlamak için ek bir yöntem destekler. Bu yöntemi kullandığınızda yürütme, değerlendirmeyi başlatmadan önce tüm bağlı etkinliklerin sinyalini bekler. Yürütme tamamlandığında ve çıkışlar tüketilmeye hazır olduğunda döndürülen etkinlik için sinyal gönderilir.
Yürütme işlemini hangi cihazların yönettiğine bağlı olarak etkinlik bir senkronizasyon sınırı ile desteklenebilir. Etkinliği beklemek ve yürütmenin kullandığı kaynakları kurtarmak için ANeuralNetworksEvent_wait()
yöntemini çağırmanız gerekir. Senkronizasyon çitlerini ANeuralNetworksEvent_createFromSyncFenceFd()
ile bir etkinlik nesnesine içe aktarabilir ve ANeuralNetworksEvent_getSyncFenceFd()
kullanarak bir etkinlik nesnesindeki senkronizasyon sınırlarını dışa aktarabilirsiniz.
Dinamik olarak boyutlandırılmış çıkışlar
Çıkış boyutunun giriş verilerine bağlı olduğu (yani, model yürütme sırasında boyutun belirlenemediği) modelleri desteklemek için ANeuralNetworksExecution_getOutputOperandRank
ve ANeuralNetworksExecution_getOutputOperandDimensions
özelliklerini kullanın.
Aşağıdaki kod örneğinde bunun nasıl yapılacağı gösterilmektedir:
// Get the rank of the output uint32_t myOutputRank = 0; ANeuralNetworksExecution_getOutputOperandRank(run1, 0, &myOutputRank); // Get the dimensions of the output std::vector<uint32_t> myOutputDimensions(myOutputRank); ANeuralNetworksExecution_getOutputOperandDimensions(run1, 0, myOutputDimensions.data());
Temizle
Temizleme adımı, işlemleriniz için kullanılan dahili kaynakların serbest bırakılmasını sağlar.
// Cleanup ANeuralNetworksCompilation_free(compilation); ANeuralNetworksModel_free(model); ANeuralNetworksMemory_free(mem1);
Hata yönetimi ve CPU yedeği
Bölümlendirme sırasında hata oluşursa sürücü bir (a parçası) modeli derleyemezse veya sürücü derlenmiş (bir parça) modeli çalıştıramazsa NNAPI, bir veya daha fazla işlemin kendi CPU uygulamasına geri dönebilir.
NNAPI istemcisi, işlemin optimize edilmiş sürümlerini (örneğin, TFLite) içeriyorsa CPU yedeğinin devre dışı bırakılması ve hataların istemcinin optimize edilmiş işlem uygulamasıyla ele alınması avantajlı olabilir.
Android 10'da, derleme ANeuralNetworksCompilation_createForDevices
kullanılarak gerçekleştirilirse CPU yedeği devre dışı bırakılır.
Android P'de sürücüdeki yürütme başarısız olursa NNAPI yürütmesi tekrar CPU'ya geçer.
Bu durum, Android 10'da ANeuralNetworksCompilation_createForDevices
yerine ANeuralNetworksCompilation_create
kullanıldığında da geçerlidir.
İlk yürütme işlemi bu tek bölüm için geri alınır ve bu da başarısız olursa CPU'da modelin tamamını yeniden dener.
Bölümlendirme veya derleme başarısız olursa modelin tamamı CPU üzerinde denenir.
Bazı işlemlerin CPU'da desteklenmediği ve bu tür durumlarda derlemenin veya yürütmenin geri çekilmek yerine başarısız olduğu durumlar vardır.
CPU yedeğini devre dışı bıraktıktan sonra bile modelde CPU için planlanmış işlemler olabilir. CPU, ANeuralNetworksCompilation_createForDevices
tarafından sağlanan işlemciler listesindeyse ve bu işlemleri destekleyen tek işlemci veya bu işlemler için en iyi performansı talep eden işlemciyse birincil (yedek olmayan) yürütücü olarak seçilir.
CPU yürütmesi yapılmadığından emin olmak için nnapi-reference
öğesini cihaz listesinden hariç tutarken ANeuralNetworksCompilation_createForDevices
kullanın.
Android P'den başlayarak, debug.nn.partition
özelliğini 2 olarak ayarlayarak HATA AYIKLAMA derlemelerinde yürütme sırasında yedeği devre dışı bırakmak mümkündür.
Bellek alanları
NNAPI, Android 11 ve sonraki sürümlerde opak hafızalar için ayırıcı arayüzler sağlayan bellek alanlarını destekler. Bu, uygulamaların cihazda yerel anıları yürütme işlemleri arasında iletmesine olanak tanır. Böylece NNAPI, aynı sürücüde ardışık yürütmeler gerçekleştirirken verileri gereksiz yere kopyalamaz veya dönüştürmez.
Bellek alanı özelliği, çoğunlukla sürücüde dahili olan ve istemci tarafına sık erişmeye ihtiyaç duymayan tensörler için tasarlanmıştır. Bu tür tensörlere örnek olarak dizi modellerindeki durum tensörleri verilebilir. İstemci tarafında sık CPU erişimine ihtiyaç duyan tensörler için bunun yerine paylaşılan bellek havuzlarını kullanın.
Opak bellek tahsis etmek için aşağıdaki adımları uygulayın:
Yeni bir bellek açıklayıcısı oluşturmak için
ANeuralNetworksMemoryDesc_create()
işlevini çağırın:// Create a memory descriptor ANeuralNetworksMemoryDesc* desc; ANeuralNetworksMemoryDesc_create(&desc);
ANeuralNetworksMemoryDesc_addInputRole()
veANeuralNetworksMemoryDesc_addOutputRole()
çağırarak istenen tüm giriş ve çıkış rollerini belirtin.// Specify that the memory may be used as the first input and the first output // of the compilation ANeuralNetworksMemoryDesc_addInputRole(desc, compilation, 0, 1.0f); ANeuralNetworksMemoryDesc_addOutputRole(desc, compilation, 0, 1.0f);
İsteğe bağlı olarak,
ANeuralNetworksMemoryDesc_setDimensions()
yöntemini çağırarak bellek boyutlarını belirtin.// Specify the memory dimensions uint32_t dims[] = {3, 4}; ANeuralNetworksMemoryDesc_setDimensions(desc, 2, dims);
ANeuralNetworksMemoryDesc_finish()
çağrısı yaparak açıklayıcı tanımını tamamlayın.ANeuralNetworksMemoryDesc_finish(desc);
Açıklayıcıyı
ANeuralNetworksMemory_createFromDesc()
'e ileterek dilediğiniz kadar anı tahsis edin.// Allocate two opaque memories with the descriptor ANeuralNetworksMemory* opaqueMem; ANeuralNetworksMemory_createFromDesc(desc, &opaqueMem);
Artık ihtiyacınız kalmadığında bellek açıklayıcıyı boşaltın.
ANeuralNetworksMemoryDesc_free(desc);
İstemci, oluşturulan ANeuralNetworksMemory
nesnesini ANeuralNetworksMemoryDesc
nesnesinde belirtilen rollere göre yalnızca ANeuralNetworksExecution_setInputFromMemory()
veya ANeuralNetworksExecution_setOutputFromMemory()
ile kullanabilir. Ofset ve uzunluk bağımsız değişkenleri, tüm belleğin kullanıldığını belirtmek için 0 olarak ayarlanmalıdır. İstemci ayrıca ANeuralNetworksMemory_copy()
kullanarak belleğin içeriğini açık bir şekilde ayarlayabilir veya çıkarabilir.
Belirtilmemiş boyut veya sıralama rolleriyle opak anılar oluşturabilirsiniz.
Bu durumda, temel sürücü tarafından desteklenmiyorsa bellek oluşturma işlemi ANEURALNETWORKS_OP_FAILED
durumunda başarısız olabilir. İstemcinin, Ashmem veya BLOB modu AHardwareBuffer
tarafından desteklenen yeterince büyük bir arabellek tahsis ederek yedek mantık uygulaması önerilir.
NNAPI'nin artık opak bellek nesnesine erişmesi gerekmediğinde karşılık gelen ANeuralNetworksMemory
örneğini serbest bırakın:
ANeuralNetworksMemory_free(opaqueMem);
Performans ölçme
Yürütme süresini ölçerek veya profil oluşturarak uygulamanızın performansını değerlendirebilirsiniz.
Yürütme süresi
Çalışma zamanı boyunca toplam yürütme süresini belirlemek istediğinizde eşzamanlı yürütme API'sini kullanabilir ve çağrı için geçen süreyi ölçebilirsiniz. Daha düşük bir yazılım yığını düzeyinde toplam yürütme süresini belirlemek istediğinizde, aşağıdaki bilgileri edinmek için ANeuralNetworksExecution_setMeasureTiming
ve ANeuralNetworksExecution_getDuration
araçlarını kullanabilirsiniz:
- bir hızlandırıcıda (ana makine işlemcisinde çalışan sürücüde değil) yürütme süresini ölçer.
- hızlandırıcıdaki süre de dahil olmak üzere sürücüdeki yürütme süresidir.
Sürücüdeki yürütme süresi, çalışma zamanının kendisi ve çalışma zamanının sürücüyle iletişim kurabilmesi için gereken IPC gibi ek yükleri hariç tutar.
Bu API'ler bir sürücünün veya hızlandırıcının çıkarımı gerçekleştirmek için harcadığı süre yerine, muhtemelen bağlam değişikliği nedeniyle kesintiye uğrayan süre yerine gönderilen iş ile tamamlanan iş etkinlikleri arasındaki süreyi ölçer.
Örneğin, çıkarım 1 başlarsa sürücü 2. çıkarımı gerçekleştirmek için çalışmayı durdurur, daha sonra devam edip 1. çıkarımı tamamlarsa çıkarım 1 için çalıştırma süresi, 2. çıkarımı gerçekleştirmek için işin durdurulduğu süreyi içerir.
Bu zamanlama bilgileri, çevrimdışı kullanım için telemetri toplayan bir uygulamanın üretim dağıtımında faydalı olabilir. Zamanlama verilerini kullanarak uygulamayı daha yüksek performans gösterecek şekilde değiştirebilirsiniz.
Bu işlevi kullanırken aşağıdakileri göz önünde bulundurun:
- Zamanlama bilgilerini toplamanın bir performans maliyeti olabilir.
- NNAPI çalışma zamanında ve IPC'de harcanan süre hariç olmak üzere, yalnızca bir sürücü kendi içinde veya hızlandırıcıda harcanan süreyi hesaplayabilir.
- Bu API'leri yalnızca
numDevices = 1
ileANeuralNetworksCompilation_createForDevices
ile oluşturulmuş birANeuralNetworksExecution
ile kullanabilirsiniz. - Zamanlama bilgilerini raporlayabilmek için sürücüye gerek yoktur.
Android Systrace ile uygulamanızın profilini oluşturun
NNAPI, Android 10'dan itibaren uygulamanızın profilini çıkarmak için kullanabileceğiniz systrace etkinliklerini otomatik olarak oluşturur.
NNAPI Kaynağı, uygulamanız tarafından oluşturulan sistem etkinliklerini işlemek ve model yaşam döngüsünün farklı aşamalarında (Hazırlık, Hazırlık, Derleme Yürütme ve Sonlandırma) ve uygulamaların farklı katmanlarında harcanan süreyi gösteren bir tablo görünümü oluşturmak için bir parse_systrace
yardımcı programıyla birlikte sunulur. Uygulamanızın bölündüğü katmanlar şunlardır:
Application
: ana uygulama koduRuntime
: NNAPI Çalışma ZamanıIPC
: NNAPI Çalışma Zamanı ile Sürücü kodu arasındaki işlemler arası iletişimDriver
: Hızlandırıcı sürücüsü işlemi.
Profil oluşturma analiz verilerini oluşturma
$ANDROID_BUILD_TOP konumundaki AOSP kaynak ağacını incelediğinizi ve hedef uygulama olarak TFLite görüntü sınıflandırma örneğini kullandığınız varsayıldığında, NNAPI profil oluşturma verilerini aşağıdaki adımları uygulayarak oluşturabilirsiniz:
- Android systrace'i aşağıdaki komutla başlatın:
$ANDROID_BUILD_TOP/external/chromium-trace/systrace.py -o trace.html -a org.tensorflow.lite.examples.classification nnapi hal freq sched idle load binder_driver
-o trace.html
parametresi, izlerin trace.html
içine yazılacağını belirtir. Kendi uygulamanızın profilini oluştururken org.tensorflow.lite.examples.classification
öğesini uygulama manifestinizde belirtilen işlem adıyla değiştirmeniz gerekir.
Bu işlem, kabuk konsollarınızdan birini meşgul tutar. Komutun etkileşimli bir şekilde enter
sonlandırılmasını beklediğinden komutu arka planda çalıştırmayın.
- Sistem izleme toplayıcı başlatıldıktan sonra uygulamanızı başlatın ve karşılaştırma testinizi çalıştırın.
Örneğimizde, Image Classification uygulamasını Android Studio'dan veya uygulama zaten yüklenmişse doğrudan test telefonunuzun kullanıcı arayüzünden başlatabilirsiniz. Bazı NNAPI verileri oluşturmak için uygulama yapılandırma iletişim kutusunda NNAPI'yi hedef cihaz olarak seçerek uygulamayı NNAPI'yi kullanacak şekilde yapılandırmanız gerekir.
Test tamamlandığında, 1. adımdan itibaren etkin olan konsol terminalinde
enter
tuşuna basarak sistemi sonlandırın.Kümülatif istatistikler oluşturmak için
systrace_parser
yardımcı programını çalıştırın:
$ANDROID_BUILD_TOP/frameworks/ml/nn/tools/systrace_parser/parse_systrace.py --total-times trace.html
Ayrıştırıcı aşağıdaki parametreleri kabul eder:
- --total-times
: bir katmanda harcanan toplam süreyi gösterir ve buna, bir temel katmana yapılan çağrıda yürütülmeyi beklerken harcanan süre de dahildir.
- --print-detail
: systrace'ten toplanan tüm etkinlikleri yazdırır
- --per-execution
: tüm aşamalardaki istatistikler yerine (yürütme sürelerine göre) yalnızca yürütmeyi ve alt aşamalarını yazdırır
- --json
: çıktıyı JSON biçiminde oluşturur
Çıkış örneği aşağıda gösterilmiştir:
===========================================================================================================================================
NNAPI timing summary (total time, ms wall-clock) Execution
----------------------------------------------------
Initialization Preparation Compilation I/O Compute Results Ex. total Termination Total
-------------- ----------- ----------- ----------- ------------ ----------- ----------- ----------- ----------
Application n/a 19.06 1789.25 n/a n/a 6.70 21.37 n/a 1831.17*
Runtime - 18.60 1787.48 2.93 11.37 0.12 14.42 1.32 1821.81
IPC 1.77 - 1781.36 0.02 8.86 - 8.88 - 1792.01
Driver 1.04 - 1779.21 n/a n/a n/a 7.70 - 1787.95
Total 1.77* 19.06* 1789.25* 2.93* 11.74* 6.70* 21.37* 1.32* 1831.17*
===========================================================================================================================================
* This total ignores missing (n/a) values and thus is not necessarily consistent with the rest of the numbers
Toplanan etkinlikler tam bir uygulama izlemeyi temsil etmiyorsa ayrıştırıcı başarısız olabilir. Özellikle, bir bölümün sonunu işaretlemek için oluşturulan sistem izleme etkinlikleri, ilişkili bir bölüm başlangıç etkinliği olmadan izlemede bulunuyorsa başarısız olabilir. Bu durum genellikle, sistem izleme toplayıcısını başlattığınızda önceki profil çıkarma oturumuna ait bazı etkinlikler oluşturuluyorsa ortaya çıkar. Bu durumda, profil oluşturma işlemini tekrar çalıştırmanız gerekir.
Uygulama kodunuz için systrace_parser çıkışına istatistik ekleyin
parse_systrace uygulaması, yerleşik Android systrace işlevine dayanır. Özel etkinlik adlarıyla systrace API'yi (Java için, yerel uygulamalar için) kullanarak uygulamanızdaki belirli işlemler için izler ekleyebilirsiniz.
Özel etkinliklerinizi Uygulama yaşam döngüsünün aşamalarıyla ilişkilendirmek için etkinlik adınızın başına aşağıdaki dizelerden birini ekleyin:
[NN_LA_PI]
: Başlatma için uygulama düzeyinde etkinlik[NN_LA_PP]
: Hazırlık için uygulama düzeyinde etkinlik[NN_LA_PC]
: Derleme için uygulama düzeyinde etkinlik[NN_LA_PE]
: Yürütme için uygulama düzeyinde etkinlik
Execution
aşaması için bir runInferenceModel
bölümü ve NNAPI izlemelerinde dikkate alınmayacak başka bölümler preprocessBitmap
içeren Application
katmanı ekleyerek TFLite resim sınıflandırma örnek kodunu nasıl değiştirebileceğinize dair bir örneği aşağıda bulabilirsiniz. runInferenceModel
bölümü, nnapi systrace ayrıştırıcı tarafından işlenen systrace etkinliklerinin bir parçası olur:
Kotlin
/** Runs inference and returns the classification results. */ fun recognizeImage(bitmap: Bitmap): List{ // This section won’t appear in the NNAPI systrace analysis Trace.beginSection("preprocessBitmap") convertBitmapToByteBuffer(bitmap) Trace.endSection() // Run the inference call. // Add this method in to NNAPI systrace analysis. Trace.beginSection("[NN_LA_PE]runInferenceModel") long startTime = SystemClock.uptimeMillis() runInference() long endTime = SystemClock.uptimeMillis() Trace.endSection() ... return recognitions }
Java
/** Runs inference and returns the classification results. */ public ListrecognizeImage(final Bitmap bitmap) { // This section won’t appear in the NNAPI systrace analysis Trace.beginSection("preprocessBitmap"); convertBitmapToByteBuffer(bitmap); Trace.endSection(); // Run the inference call. // Add this method in to NNAPI systrace analysis. Trace.beginSection("[NN_LA_PE]runInferenceModel"); long startTime = SystemClock.uptimeMillis(); runInference(); long endTime = SystemClock.uptimeMillis(); Trace.endSection(); ... Trace.endSection(); return recognitions; }
Hizmet kalitesi
Android 11 ve sonraki sürümlerde NNAPI, uygulamaların ilgili modellerinin göreli önceliklerini, belirli bir modeli hazırlamak için beklenen maksimum süreyi ve belirli bir hesaplamayı tamamlamak için beklenen maksimum süreyi belirtmesine olanak tanıyarak uygulamanın daha iyi hizmet kalitesi (HK) elde etmesini sağlar. Android 11, uygulamaların eksik yürütme son tarihleri gibi hataları anlamasını sağlayan ek NNAPI sonuç kodlarını da sunar.
İş yükünün önceliğini ayarlama
Bir NNAPI iş yükünün önceliğini ayarlamak için ANeuralNetworksCompilation_finish()
çağrısı yapmadan önce ANeuralNetworksCompilation_setPriority()
numaralı telefonu arayın.
Teslim tarihleri belirleme
Uygulamalar hem model derleme hem de çıkarım için son tarihler belirleyebilir.
- Derleme zaman aşımını ayarlamak için
ANeuralNetworksCompilation_finish()
çağrısından önceANeuralNetworksCompilation_setTimeout()
numarasını arayın. - Çıkarım zaman aşımını ayarlamak için derlemeyi başlatmadan önce
ANeuralNetworksExecution_setTimeout()
çağrısı yapın.
İşlem görenler hakkında daha fazla bilgi
Aşağıdaki bölümde, işlenenlerin kullanımıyla ilgili ileri düzey konular ele alınmaktadır.
Nicelleştirilmiş tensörler
Nicelleştirilmiş tensör, n boyutlu bir kayan nokta değerleri dizisini temsil etmenin kompakt bir yoludur.
NNAPI, 8 bit asimetrik sayısallaştırılmış tensörleri destekler. Bu tensörlerde her hücrenin değeri 8 bitlik bir tam sayı ile temsil edilir. Ölçek ve sıfır puan değeri tensörle ilişkilendirilir. Bunlar, 8 bitlik tam sayıları temsil edilen kayan nokta değerlerine dönüştürmek için kullanılır.
Formül şöyledir:
(cellValue - zeroPoint) * scale
Burada sıfırPoint değeri 32 bitlik bir tam sayı, ölçek ise 32 bitlik bir kayan nokta değeridir.
32 bitlik kayan nokta değerlerinin tensörleriyle karşılaştırıldığında, 8 bitlik tensörlerin iki avantajı vardır:
- Eğitilen ağırlıklar 32 bit tensör boyutunun dörtte birini kullandığından uygulamanız daha küçüktür.
- Hesaplamalar çoğu zaman daha hızlı yürütülebilir. Bunun nedeni, bellekten getirilmesi gereken veri miktarının daha az olması ve TTP'ler gibi işlemcilerin tamsayı matematiği yapma konusundaki verimliliğidir.
Bir kayan nokta modelini nicelleştirilmiş bir modele dönüştürmek mümkün olsa da, deneyimimiz, nicelenmiş bir modeli doğrudan eğiterek daha iyi sonuçlar elde edildiğini göstermiştir. Aslında nöral ağ, her bir değerin artan ayrıntı düzeyini telafi etmeyi öğrenir. Ölçülen her tensör için ölçek vezeroPoint değerleri eğitim sürecinde belirlenir.
NNAPI'de, ANeuralNetworksOperandType
veri yapısının tür alanını ANEURALNETWORKS_TENSOR_QUANT8_ASYMM
olarak ayarlayarak ölçülmüş tensör türlerini tanımlarsınız.
Bu veri yapısında tensörün ölçeğini ve zeroPoint değerini de belirtirsiniz.
NNAPI, 8 bit asimetrik nicelenmiş tensörlere ek olarak aşağıdakileri destekler:
CONV/DEPTHWISE_CONV/TRANSPOSED_CONV
işlemine ağırlıkları göstermek için kullanabileceğinizANEURALNETWORKS_TENSOR_QUANT8_SYMM_PER_CHANNEL
.QUANTIZED_16BIT_LSTM
'in dahili durumu için kullanabileceğinizANEURALNETWORKS_TENSOR_QUANT16_ASYMM
.ANEURALNETWORKS_TENSOR_QUANT8_SYMM
,ANEURALNETWORKS_DEQUANTIZE
için bir giriş olabilir.
İsteğe bağlı işlenenler
ANEURALNETWORKS_LSH_PROJECTION
gibi birkaç işlem, isteğe bağlı işlenenler alır. Modelde isteğe bağlı işlenenin çıkarıldığını belirtmek için ANeuralNetworksModel_setOperandValue()
işlevini çağırın. Arabellek için NULL
ve uzunluk için 0 iletin.
İşlenenin mevcut olup olmadığıyla ilgili karar her yürütme için değişiyorsa ANeuralNetworksExecution_setInput()
veya ANeuralNetworksExecution_setOutput()
işlevlerini kullanarak işlenenin atlandığını belirtirsiniz ve arabellek için NULL
, uzunluk için 0 değerini aktarırsınız.
Sıralaması bilinmeyen tensörler
Android 9 (API düzeyi 28), bilinmeyen boyutların model işlenenlerini ancak bilinen sıralamayı (boyut sayısı) kullanıma sundu. Android 10 (API düzeyi 29), ANeuralNetworksOperandType içinde gösterildiği gibi bilinmeyen sıralamaya sahip tensörleri kullanıma sundu.
NNAPI karşılaştırması
NNAPI karşılaştırmasını AOSP'de platform/test/mlts/benchmark
(karşılaştırma uygulaması) ve platform/test/mlts/models
(modeller ve veri kümeleri) üzerinde bulabilirsiniz.
Karşılaştırma, gecikme ve doğruluğu değerlendirir ve sürücüleri, aynı modeller ve veri kümeleri için CPU'da çalışan Tensorflow Lite kullanılarak yapılan işle karşılaştırır.
Karşılaştırmayı kullanmak için aşağıdakileri yapın:
Bilgisayarınıza bir hedef Android cihaz bağlayın, bir terminal penceresi açın ve cihaza adb aracılığıyla erişilebildiğinden emin olun.
Birden fazla Android cihaz bağlıysa hedef cihaz
ANDROID_SERIAL
ortam değişkenini dışa aktarın.Android'in üst düzey kaynak dizinine gidin.
Şu komutları çalıştırın:
lunch aosp_arm-userdebug # Or aosp_arm64-userdebug if available ./test/mlts/benchmark/build_and_run_benchmark.sh
Karşılaştırma çalışmasının sonunda, sonuçları
xdg-open
öğesine iletilen bir HTML sayfası olarak sunulur.
NNAPI günlükleri
NNAPI, sistem günlüklerinde yararlı teşhis bilgileri oluşturur. Günlükleri analiz etmek için logcat yardımcı programını kullanın.
debug.nn.vlog
özelliğini (adb shell
kullanarak) boşluk, iki nokta veya virgülle ayrılmış aşağıdaki değer listesine ayarlayarak belirli aşamalar veya bileşenler için ayrıntılı NNAPI günlük kaydını etkinleştirin:
model
: Model oluşturmacompilation
: Model yürütme planının oluşturulması ve derlemeexecution
: Model yürütmecpuexe
: NNAPI CPU uygulamasını kullanarak işlemleri yürütmemanager
: NNAPI uzantıları, mevcut arayüzler ve özelliklerle ilgili bilgilerall
veya1
: Yukarıdaki tüm öğeler
Örneğin, tam ayrıntılı günlük kaydını etkinleştirmek için adb shell setprop debug.nn.vlog all
komutunu kullanın. Ayrıntılı günlük kaydını devre dışı bırakmak için adb shell setprop debug.nn.vlog '""'
komutunu kullanın.
Etkinleştirildikten sonra ayrıntılı günlük kaydı, aşama veya bileşen adına ayarlanmış bir etiketle INFO düzeyinde günlük girişleri oluşturur.
NNAPI API bileşenleri, debug.nn.vlog
tarafından denetlenen mesajların yanı sıra, her biri belirli bir günlük etiketini kullanan çeşitli düzeylerde diğer günlük girişlerini sağlar.
Bileşenlerin listesini almak için aşağıdaki ifadeyi kullanarak kaynak ağacında arama yapın:
grep -R 'define LOG_TAG' | awk -F '"' '{print $2}' | sort -u | egrep -v "Sample|FileTag|test"
Bu ifade şu anda aşağıdaki etiketleri döndürüyor:
- Seri Geliştirme Aracı
- Geri çağırma işlevleri
- Derleme Oluşturucu
- CPU yürütücü
- Yürütme Derleme Aracı
- ExecutionBurstController
- YürütmeBurstSunucusu
- Yürütme Planı
- FibonacciSürücüsü
- Grafik Dökümü
- Dizine Eklenmiş ŞekilSarmalayıcı
- Ionİzleyici
- Yönetici
- Bellek
- MemoryUtil'ler
- MetaModel
- Model Argüman Bilgisi
- Model Oluşturucu
- Sinir Ağları
- İşlem Çözücü
- İşlemler
- İşlem Yardımcı Araçları
- Paket Bilgileri
- TokenHasher
- Tür Yöneticisi
- Yardımcı Programlar
- DoğrulamaHal
- Sürümlü Arayüzler
logcat
tarafından gösterilen günlük mesajlarının düzeyini kontrol etmek için ANDROID_LOG_TAGS
ortam değişkenini kullanın.
NNAPI günlük mesajlarının tamamını göstermek ve diğerlerini devre dışı bırakmak için ANDROID_LOG_TAGS
öğesini şu şekilde ayarlayın:
BurstBuilder:V Callbacks:V CompilationBuilder:V CpuExecutor:V ExecutionBuilder:V ExecutionBurstController:V ExecutionBurstServer:V ExecutionPlan:V FibonacciDriver:V GraphDump:V IndexedShapeWrapper:V IonWatcher:V Manager:V MemoryUtils:V Memory:V MetaModel:V ModelArgumentInfo:V ModelBuilder:V NeuralNetworks:V OperationResolver:V OperationsUtils:V Operations:V PackageInfo:V TokenHasher:V TypeManager:V Utils:V ValidateHal:V VersionedInterfaces:V *:S.
Aşağıdaki komutu kullanarak ANDROID_LOG_TAGS
değerini ayarlayabilirsiniz:
export ANDROID_LOG_TAGS=$(grep -R 'define LOG_TAG' | awk -F '"' '{ print $2 ":V" }' | sort -u | egrep -v "Sample|FileTag|test" | xargs echo -n; echo ' *:S')
Bunun yalnızca logcat
için geçerli olan bir filtre olduğunu unutmayın. Ayrıntılı günlük bilgileri oluşturmak için yine de debug.nn.vlog
özelliğini all
olarak ayarlamanız gerekir.