4. BatchNorm和NonLinearity 实现
admin
2024-03-02 03:50:14
0

[C++ 基于Eigen库实现CRN前向推理]

第三部分:TransposedConv2d实现 (含dilation)

  • 前言:(Eigen库使用记录)
  • 第一部分:WavFile.class (实现读取wav/pcm,实现STFT)
  • 第二部分:Conv2d实现
  • 第三部分:TransposedConv2d实现 (mimo,padding,stride,dilation,kernel,outpadding)
  • 第四部分:NonLinearity (Sigmoid,Tanh,ReLU,ELU,Softplus)
  • 第五部分:LSTM
  • GITHUB仓库

1. 基于Eigen实现BatchNorm2d

1.1 Layer_BatchNorm2d.h
//
// Created by Koer on 2022/10/31.
//#ifndef CRN_LAYER_BATCHNORM2D_H
#define CRN_LAYER_BATCHNORM2D_H#include "Eigen"
#include "mat.h"
#include "Eigen/CXX11/Tensor"class Layer_BatchNorm2d {
public:Layer_BatchNorm2d();Layer_BatchNorm2d(int64_t bn_ch);void LoadState(MATFile *pmFile, const std::string &state_preffix);void LoadTestState();Eigen::Tensor forward(Eigen::Tensor &input);private:int64_t channels;Eigen::Tensor weights;Eigen::Tensor bias;Eigen::Tensor running_mean;Eigen::Tensor running_var;int32_t num_batches_tracked;};#endif //CRN_LAYER_BATCHNORM2D_H
1.2 Layer_BatchNorm2d.cpp
//
// Created by Koer on 2022/10/31.
//
#include "iostream"
#include "../include/Layer_BatchNorm2d.h"Layer_BatchNorm2d::Layer_BatchNorm2d() {this->channels = 1;
}Layer_BatchNorm2d::Layer_BatchNorm2d(int64_t bn_ch) {this->channels = bn_ch;
}void Layer_BatchNorm2d::LoadState(MATFile *pmFile, const std::string &state_preffix) {std::string weight_name = state_preffix + "_weight";std::string bias_name = state_preffix + "_bias";std::string rm_name = state_preffix + "_running_mean";std::string rv_name = state_preffix + "_running_var";std::string nbt_name = state_preffix + "_num_batches_tracked";mxArray *pa = matGetVariable(pmFile, weight_name.c_str());auto *values = (float_t *) mxGetData(pa);long long dim1 = mxGetM(pa);long long dim2 = mxGetN(pa);this->weights.resize(dim1, dim2);int idx = 0;for (int i = 0; i < dim2; i++) {for (int j = 0; j < dim1; j++) {this->weights(j, i) = values[idx++];}}// std::cout << this->weights << std::endl;pa = matGetVariable(pmFile, bias_name.c_str());values = (float_t *) mxGetData(pa);dim1 = mxGetM(pa);dim2 = mxGetN(pa);this->bias.resize(dim1, dim2);idx = 0;for (int i = 0; i < dim2; i++) {for (int j = 0; j < dim1; j++) {this->bias(j, i) = values[idx++];}}// std::cout << this->bias << std::endl;pa = matGetVariable(pmFile, rm_name.c_str());values = (float_t *) mxGetData(pa);dim1 = mxGetM(pa);dim2 = mxGetN(pa);this->running_mean.resize(dim1, dim2);idx = 0;for (int i = 0; i < dim2; i++) {for (int j = 0; j < dim1; j++) {this->running_mean(j, i) = values[idx++];}}// std::cout << this->running_mean << std::endl;pa = matGetVariable(pmFile, rv_name.c_str());values = (float_t *) mxGetData(pa);dim1 = mxGetM(pa);dim2 = mxGetN(pa);this->running_var.resize(dim1, dim2);idx = 0;for (int i = 0; i < dim2; i++) {for (int j = 0; j < dim1; j++) {this->running_var(j, i) = values[idx++];}}// std::cout << this->running_var << std::endl;pa = matGetVariable(pmFile, nbt_name.c_str());auto nbt_value = (int32_t *) mxGetData(pa);this->num_batches_tracked = nbt_value[0];// std::cout << this->num_batches_tracked << std::endl;
}void Layer_BatchNorm2d::LoadTestState() {Eigen::Tensor w(1, this->channels);Eigen::Tensor b(1, this->channels);Eigen::Tensor rm(1, this->channels);Eigen::Tensor rv(1, this->channels);w.setConstant(1);b.setConstant(0);rm.setConstant(1);rv.setConstant(2);this->weights = w;this->bias = b;this->running_mean = rm;this->running_var = rv;
}Eigen::Tensor Layer_BatchNorm2d::forward(Eigen::Tensor &input) {int64_t N_CHANNEL = this->channels;const Eigen::Tensor::Dimensions &dim_inp = input.dimensions();Eigen::Tensor output(dim_inp);Eigen::Tensor cur_channel(dim_inp[0], dim_inp[2], dim_inp[3]);Eigen::Tensor cur_res(dim_inp[0], dim_inp[2], dim_inp[3]);Eigen::Tensor cur_w(dim_inp[0], dim_inp[2], dim_inp[3]);Eigen::Tensor cur_b(dim_inp[0], dim_inp[2], dim_inp[3]);Eigen::Tensor cur_mean(dim_inp[0], dim_inp[2], dim_inp[3]);Eigen::Tensor cur_var(dim_inp[0], dim_inp[2], dim_inp[3]);for (int c = 0; c < N_CHANNEL; c++) {cur_channel = input.chip(c, 1);cur_w.setConstant(this->weights(0, c));cur_b.setConstant(this->bias(0, c));cur_mean.setConstant(this->running_mean(0, c));cur_var.setConstant(this->running_var(0, c));cur_res = (cur_channel - cur_mean) / cur_var.pow(0.5) * cur_w + cur_b;output.chip(c, 1) = cur_res;}return output;
}

2. 基于Eigen实现Nonlinearity

2.1 NonLinearity.h
//
// Created by Koer on 2022/10/31.
//#ifndef CRN_NONLINEARITY_H
#define CRN_NONLINEARITY_H#include "Eigen"
#include "Eigen/CXX11/Tensor"class NonLinearity {
public:NonLinearity();Eigen::Tensor ELU(Eigen::Tensor &input, float_t alpha = 1.0);Eigen::Tensor ReLU(Eigen::Tensor &input);Eigen::Tensor Softplus(Eigen::Tensor &input, float_t beta = 1.0, float_t threshold = 20.0);};#endif //CRN_NONLINEARITY_H
2.2 NonLinearity.cpp
//
// Created by Koer on 2022/10/31.
//#include "../include/NonLinearity.h"NonLinearity::NonLinearity() {}Eigen::Tensor NonLinearity::ELU(Eigen::Tensor &input, float_t alpha) {const Eigen::Tensor::Dimensions &d = input.dimensions();Eigen::Tensor output(d);for (int i = 0; i < d[0]; i++) {for (int j = 0; j < d[1]; j++) {for (int k = 0; k < d[2]; k++) {for (int l = 0; l < d[3]; l++) {if (input(i, j, k, l) <= 0) {output(i, j, k, l) = alpha * exp(input(i, j, k, l)) - 1;} else {output(i, j, k, l) = input(i, j, k, l);}}}}}return output;
}Eigen::Tensor NonLinearity::ReLU(Eigen::Tensor &input) {const Eigen::Tensor::Dimensions &d = input.dimensions();Eigen::Tensor output(d);for (int i = 0; i < d[0]; i++) {for (int j = 0; j < d[1]; j++) {for (int k = 0; k < d[2]; k++) {for (int l = 0; l < d[3]; l++) {if (input(i, j, k, l) <= 0) {output(i, j, k, l) = 0.0;} else {output(i, j, k, l) = input(i, j, k, l);}}}}}return output;
}Eigen::Tensor NonLinearity::Softplus(Eigen::Tensor &input, float_t beta, float_t threshold) {const Eigen::Tensor::Dimensions &d = input.dimensions();Eigen::Tensor output(d);for (int i = 0; i < d[0]; i++) {for (int j = 0; j < d[1]; j++) {for (int k = 0; k < d[2]; k++) {for (int l = 0; l < d[3]; l++) {if (input(i, j, k, l) * beta <= threshold) {output(i, j, k, l) = logf(1 + expf((input(i, j, k, l) * beta)) / beta);} else {output(i, j, k, l) = input(i, j, k, l);}}}}}return output;
}

相关内容

热门资讯

怎么解除订阅安卓系统,安卓系统... 你是不是也和我一样,手机里订阅了好多服务,结果现在想解除订阅,却一头雾水?别急,今天就来手把手教你如...
安卓系统停用怎么开启,轻松恢复... 亲爱的手机控们,你是否曾经遇到过安卓系统突然停用的情况,让你手忙脚乱,不知所措?别担心,今天就来教你...
安卓系统电池健康度,电池健康度... 你有没有发现,你的安卓手机最近是不是有点儿不给力了?电池续航能力大不如前,充电速度也慢了不少?别急,...
安卓系统按键怎么截图,安卓系统... 你是不是也和我一样,有时候想截个图分享给朋友,却发现安卓手机的截图功能有点神秘呢?别急,今天就来手把...
购票系统安卓源代码,架构设计与... 你有没有想过,那些我们每天离不开的购票系统,它们背后的秘密是什么呢?今天,就让我带你一探究竟,揭开购...
安卓手机系统后台测试,深度解析... 你有没有发现,你的安卓手机后台总是悄悄地忙碌着?别小看了这些后台程序,它们可是手机系统稳定运行的关键...
安卓系统重启的图标,解锁设备新... 手机突然重启,是不是心里有点慌?别急,今天就来和你聊聊安卓系统重启的图标,让你一眼就能认出它,再也不...
车载智慧屏安卓系统,智能出行新... 你有没有发现,现在的车载智慧屏越来越智能了?尤其是那些搭载了安卓系统的,简直就像是个移动的小电脑,不...
安卓系统连上网权限,解锁设备无... 你有没有发现,你的安卓手机里有些应用总是偷偷连上网?别小看这个小小的网络权限,它可是能影响你隐私、消...
安卓谷歌操作系统,探索安卓谷歌... 你知道吗?在智能手机的世界里,有一个操作系统可是无人不知、无人不晓,那就是安卓谷歌操作系统。它就像一...
安卓系统手写%怎样调出,具体实... 你有没有遇到过这种情况:在使用安卓手机的时候,突然想用手写输入法来记录一些灵感或者重要信息,可是怎么...
安卓手机重置 系统设置,轻松恢... 手机用久了是不是感觉卡顿得厉害?别急,今天就来教你怎么给安卓手机来个大变身——重置系统设置!想象你的...
win如何安装安卓系统,Win... 哇,你有没有想过,让你的Win系统也能玩转安卓应用?没错,就是那种在手机上轻松自如的安卓系统,现在也...
苹果qq和安卓系统,跨平台体验... 你有没有发现,现在手机市场上,苹果和安卓的较量可是越来越激烈了呢!咱们就来聊聊这个话题,看看苹果QQ...
显示最好的安卓系统,探索最新旗... 你有没有想过,为什么安卓系统那么受欢迎呢?它就像一个魔法盒子,里面装满了各种神奇的魔法。今天,就让我...
安卓app怎么降级系统,系统版... 你有没有发现,有时候安卓手机的系统更新后,新功能虽然炫酷,但老系统用起来更顺手呢?别急,今天就来教你...
雷军脱离安卓系统,引领科技变革... 你知道吗?最近科技圈可是炸开了锅,因为我们的雷军大大竟然宣布要脱离安卓系统,这可真是让人大跌眼镜啊!...
安卓系统自动开网络,安卓系统自... 你有没有发现,手机里的安卓系统有时候会自动开启网络连接,这可真是让人又爱又恨啊!有时候,你正专心致志...
安卓系统怎样控制后台,因为服务... 手机里的安卓系统是不是感觉越来越卡了?后台程序太多,不仅耗电还影响性能。别急,今天就来教你怎么巧妙地...
安卓系统打游戏推荐,一触即达! 你有没有发现,现在手机游戏越来越好玩了?不管是休闲小游戏还是大型MMORPG,都能在手机上畅玩。但是...