ac平台使用conda搭建pytorch环境
基本步骤
本文使用的dtk版本为22.10.1,其他版本应该也可用。
启用conda
1234567module purgemodule load compiler/devtoolset/7.3.1module load mpi/hpcx/2.11.0/gcc-7.3.1module load compiler/dtk/22.10.1module load apps/anaconda3/5.2.0conda env list # 默认只有base环境
创建并启用自定义环境
123conda create -n env_name python=3.8 # env_name 为自己定义的环境名称 python版本根据需要来自行选择conda activate env_name#(env_name) [acg1fa4eq1@login05 ~]$
注:要注意安装的python版本和pytorch以及dtk的对应关系
下载并安装下面的依赖
12345678# 下面的包对应的都是 py38-dtk22.10的版本。其他版本需要自行从开发者社区中下载# 下载链接: https://cancon. ...
ac平台部署Fooocus(Stable Diffusion非官方版本)
关于Fooocus
fooocus是对 Stable Diffusion 的非官方开源实现,其可以轻松实现离线图像生成,并且部署十分方便。
https://github.com/lllyasviel/Fooocus/tree/main
下载和安装
进入Eshell,加载pytorch dtk23.04环境
123module rm compiler/rocm/2.9module load compiler/rocm/dtk-23.04module load apps/DeepLearning/PyTorch/1.13.1/pytorch-1.13.1-py3.9-dtk23.04
克隆官方仓库(这里同样是我自己创建的镜像仓库)
12git clone https://gitee.com/Cerber2ol8/Fooocus.gitcd Fooocus
克隆comfyUI的仓库
1234mkdir repositories && cd repositoriesgit clone https://gitee.com/Cerber2ol8/ComfyUI.gitmv Comf ...
ac平台部署Stable Diffusion官方版本(无webui)
ac平台部署Stable Diffusion 记录
官方版本(无webui)
sd官方仓库 https://github.com/Stability-AI/StableDiffusion
环境配置
进入Eshell,加载pytorch dtk23.04环境
123module rm compiler/rocm/2.9module load compiler/rocm/dtk-23.04module load apps/DeepLearning/PyTorch/1.13.1/pytorch-1.13.1-py3.9-dtk23.04
在登陆节点下载依赖
1pip install transformers==4.19.2 diffusers invisible-watermark
下载官方仓库
12# 超算服务器无法正常访问github,该链接为官方仓库同步镜像git clone https://gitee.com/Cerber2ol8/StableDiffusion
安装依赖
首先修改requirements.txt,否则会由于找不到合适版本的包无限循环
123#gradio==3.11 ...
4. 3d unet : 基于稀疏标注的稠密体分割学习
3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation
Abstract. This paper introduces a network for volumetric segmentation that learns from sparsely annotated volumetric images. We outline two attractive use cases of this method: (1) In a semi-automated setup, the user annotates some slices in the volume to be segmented. The network learns from these sparse annotations and provides a dense 3D segmentation. (2) In a fully-automated setup, we assume that a representative, sparse ...
资料待读列表
High-Resolution Image Synthesis with Latent Diffusion Models:https://arxiv.org/abs/2112.10752
Denoising Diffusion Probabilistic Models:https://arxiv.org/abs/2006.11239
Denoising Diffusion Implicit Models:https://openreview.net/forum?id=St1giarCHLP
ERNIE-ViLG 2.0: Improving Text-to-Image Diffusion Model with Knowledge-Enhanced Mixture-of-Denoising-Experts:https://arxiv.org/abs/2210.15257
Latent Diffusion Models原始代码项目:https://github.com/CompVis/latent-diffusion
Stable Diffusion工程优化后的项目:https://git ...
3. A Survey on Generative Diffusion Model
生成扩散模型综述
摘要: 由于深度潜在表示,抽象-深度学习在生成任务中显示出卓越的潜力。生成模型是一类可以随机生成关于某些隐含参数的观察值的模型。近年来,扩散模型凭借其能量生成能力成为一种新兴的生成模型。如今,已经取得了巨大的成就。除了计算机视觉、语音生成、生物信息学和自然语言处理外,该领域还有待探索更多的应用。然而,扩散模型有其真正的缺点,即生成过程缓慢、数据类型单一、似然度低以及无法进行降维。它们正在导致许多改进工程。本文对扩散模型的研究现状进行了综述。首先,我们阐述了两个地标性作品DDPM和DSM以及一个统一地标性作品Score SDE的主要问题。然后,针对扩散模型领域存在的问题,提出了分类改进技术;为了提高模型的速度,本文提出了各种各样的先进技术来加速扩散模型——训练计划、免训练采样、混合建模以及得分和扩散统一。针对数据结构多样化问题,提出了在连续空间、离散空间和约束空间应用扩散模型的改进技术。对于似然优化,本文提出了改进ELBO和最小化变分差距的理论方法。对于降维问题,我们提出了几种解决高维问题的技术。对于现有模型,还根据具体的NFE提供了FID score、IS和NLL的基 ...
2. PaLM-E:一种具象化的多模态语言模型
PaLM-E: An Embodied Multimodal Language Model PaLM-E:一种具象化的多模态语言模型
摘要 大型语言模型擅长处理范围广泛的复杂任务。然而,在现实世界中实现一般推理,例如,针对机器人问题,提出了基础的挑战。我们提出具身语言模型,将现实世界的连续传感器模式直接纳入语言模型,从而建立单词和感知之间的联系。我们具体化语言模型的输入是多模态句子,它们交织着视觉、连续状态估计和文本输入编码。我们端到端地训练这些编码,结合预训练的大型语言模型,用于多个具体任务,包括顺序机器人操作规划、视觉问答和字幕。我们的评估表明,PaLM-E 是一个单一的大型具身多模态模型,可以解决各种具身推理任务,来自多种观察方式,在多个实施例中,进一步展示了正迁移:该模型受益于跨互联网规模语言、视觉和视觉语言领域的多样化联合训练。我们最大的模型,具有 562B 参数的 PaLM-E-562B,除了在机器人任务上接受训练外,还是视觉语言通才,在 OK-VQA 上具有最先进的性能,并随着规模的扩大保留了通才语言能力.
1.导语
大型语言模型(LLMs)在包括对话在内的各个领 ...
云主机实现大数据
本文为分布式计算-云计算课程课程实验的记录。
本实验通过购买华为云ECS 和在华为云上选取对象存储服务OBS 服务,为后续实验提供搭建
环境基础。(华为发放的有代金券)
实验流程
本实验的基本步骤包含:购买并配置ECS;购买OBS 并获取AK、SK 信息;搭建
Hadoop 集群;搭建MapReduce 集群并验证存算分离。
实验目的
·掌握华为云上购买ECS 步骤。
·掌握华为云上选取对象存储服务OBS。
·掌握Hadoop 集群搭建。
·掌握MapReduce 实验实现存算分离。
环境准备
购买四台ECS服务器
购买一个OBS对象存储服务并创建桶
配置 Access Key 和 Secret Key
搭建Hadoop集群
命令行ssh登录服务器
12345678910C:\Users\cy>ssh [email protected] authenticity of host '124.70.xxx.xxx (124.70.xxx.xxx)' can't be established.ECDSA key fingerprint i ...
PaddleX在Windows平台的部署
本文基本参照 PaddleX官方部署方式, 只进行paddlex模型的c#端部署和验证,而不进行模型的训练相关操作。
info 目前已经具备的CUDA环境和cuDNN环境情况123456C:\Users\cy\paddle_deploy>nvcc --versionnvcc: NVIDIA (R) Cuda compiler driverCopyright (c) 2005-2022 NVIDIA CorporationBuilt on Tue_May__3_19:00:59_Pacific_Daylight_Time_2022Cuda compilation tools, release 11.7, V11.7.64Build cuda_11.7.r11.7/compiler.31294372_0
cudnn_version.h中
123#define CUDNN_MAJOR 8#define CUDNN_MINOR 6#define CUDNN_PATCHLEVEL 0
当前CUDA版本:11.7,cuDNN版本:8.6.0
需要根据实际情况进行多CUDA环境部 ...
使用yolov6进行街景字符编码识别
下载YOLOv6并安装
下载地址:https://github.com/meituan/YOLOv6.git
1git clone https://github.com/meituan/YOLOv6.git
创建指定版本的虚拟环境
1conda create -n yolov6 python=3.8
安装依赖
12cd YOLOv6pip install -r requirements.txt
数据集准备
赛题来源自Google街景图像中的门牌号数据集(The Street View House Numbers Dataset, SVHN),该数据来自真实场景的门牌号。训练集数据包括3W张照片,验证集数据包括1W张照片,每张照片包括颜色图像和对应的编码类别和具体位置;为了保证比赛的公平性,测试集A包括4W张照片,测试集B包括4W张照片。
从天池官方发的csv文件中找到对应的数据集下载链接:
file
size
link
mchar_train.zip
345.91MB
http://tianchi-competition.oss-cn-hangzhou.aliyuncs. ...





