在多个注册表之间同步 NPM 包
来源:dev.to
时间:2024-12-01 10:34:01 474浏览 收藏
学习知识要善于思考,思考,再思考!今天golang学习网小编就给大家带来《在多个注册表之间同步 NPM 包》,以下内容主要包含等知识点,如果你正在学习或准备学习文章,就都不要错过本文啦~让我们一起来看看吧,能帮助到你就更好了!
照片由 nicolas radzimski 在 unsplash 上拍摄
问题
我们的团队依靠内部 gitlab npm 注册表来管理包。这非常适合内部分发,但在某些情况下需要与外部协作者共享包。将包从内部注册表同步到外部注册表成为一项新的挑战。
我开始寻找解决方案,但像往常一样,遇到了一系列障碍,这让我的开发者斗争又掀开了新的篇章。
尝试 1:使用 http 请求模仿 npm cli
最初,我认为我可以使用原始 http 请求来处理这个问题,本质上是模仿 npm cli 在幕后所做的事情。这个想法很简单:查询源注册表中的包元数据,获取 tarball,并将其上传到目标注册表。
为什么失败:
• 过程过于复杂且脆弱。
• 它需要为每个版本手动构建整个package.json 清单。
• 每一个小失误都会导致包裹破损。
尝试 2:利用 npm-registry-sync
接下来,我发现了 npm-registry-sync,一个专为同步 npm 注册表而设计的库。这个工具几乎解决了这个问题;它可以监控更改并跨注册表复制它们。
为什么它对我不起作用:
• 它以“守护程序模式”运行,不断轮询更新。
• 在 gitlab ci 管道中,我需要一次性执行,完全由管道控制 — 不允许后台进程。
获胜解决方案:npm cli
最终,我意识到我可以坚持使用久经考验的 npm cli。步骤很简单:
- 从注册表 a 本地安装软件包。
- 重新配置 npm 以指向注册表 b。
- 将包发布到registry b。
虽然这很神奇,但需要一些额外的步骤才能使其对 ci 友好。
为多个注册表配置 npm
在 ci 管道中动态管理注册表配置有点棘手。
这是我解决的方法:
总体配置
使用 npm cli,您可以为每个注册表设置参数:
npm config set "//my.awesome.registry.com:<parameter name>=<parameter value>"
重要问题:
配置中的 url 必须排除协议 (https:)。
包到注册表关联
将特定命名空间或包与注册表关联:
npm config set "<your namespace>:registry" "<your registry url with https:>"
处理 ci 管道中的身份验证
一些注册表需要用户名/密码组合,而其他注册表则使用令牌。这是我学到的:
代币
令牌很简单,但请确保在配置身份验证 url 时剥离协议:
npm config set "//my.registry.com:_authtoken=<token>"
基本认证
生成基本的身份验证哈希(用户名:密码)需要注意细节。在某些发行版中,base64 命令具有与其他发行版不同的怪癖。
在 macos 上:
echo -n "<my username & password hash>" | base64
会给你(如预期):
d2hhdcbhcmugew91igrvaw5nighlcmu/igdvdcb5ysegc29tzsbtb3jlihrlehqgdg8gbwfrzsb0aglzihjlywxsesbyzwfsbhkgbg9uzw==
使用 docker linuxkit:
d2hhdcbhcmugew91igrvaw5nighlcmu/igdvdcb5ysegc29tzsbtb3jlihrlehqgdg8gbwfrzsb0 aglzihjlywxsesbyzwfsbhkgbg9uzw==
这是怎么回事?换行了!
在某些发行版上,wrap 参数默认设置为 76 个字符,用于格式化私钥等。
它的工作原理如下:
echo -n "<my username & password hash>" | base64 --wrap 0
echo -n 非常重要。如果省略,echo 会在字符串末尾添加换行符,这将操纵您的哈希值。
完成的脚本
将它们放在一起,脚本可能如下所示:
#!/usr/bin/env bash # input validation if [ "$#" -ne 5 ]; then echo "usage: $0 <source-registry> <target-registry> <source-registry-token> <target-registry-username> <target-registry-password>" exit 1 fi source_registry=$1 target_registry=$2 source_registry_token=$3 target_registry_username=$4 target_registry_password=$5 echo "source_registry=$source_registry" echo "target_registry=$target_registry" echo "source_registry_token=${source_registry_token:0:10}" echo "target_registry_username=${target_registry_username}" echo "syncing from '$source_registry' to '$target_registry'..." remove_protocol() { sed -e 's/^https?://g;t' <<< "$1" } packages=( "@my-namespace/my-package" ) # info: removing the protocol (^https:) from the authtoken config is crucial. will not work without it. # auth for source registry npm config set "$(remove_protocol $source_registry):_authtoken=$source_registry_token" # --wrap 0 is super important! if omitted, it will cause the base64 to contain a line break after 76 chars! basic_auth=$(echo -n "$target_registry_username:$target_registry_password" | base64 --wrap 0) # auth for target registry npm config set "$(remove_protocol $target_registry):_auth" "$basic_auth" npm config set "$(remove_protocol $target_registry):always-auth=true" # set to source registry to fetch metadata npm config set "@my-namespace:registry" "$source_registry" for package in "${packages[@]}"; do echo "syncing '$package'..." for version in $(npm view "$package" --json | jq -r '.versions[]'); do # install locally npm install "$package@${version}" --ignore-scripts # switch to target registry npm config set "@my-namespace:registry" "$target_registry" # publish on target npm publish ./node_modules/"$package" # re-set to source registry npm config set "@my-namespace:registry" "$source_registry" done done echo "done syncing packages."
所以你可以像这样使用它:
#!/usr/bin/env bash SOURCE_REGISTRY=https://my.source.registry.com SOURCE_REGISTRY_TOKEN=abc-xyz-1234568 TARGET_REGISTRY=https://my.target.registry.com TARGET_REGISTRY_USERNAME=john_doe TARGET_REGISTRY_PASSWORD=supersecret123 sync-registries.sh $SOURCE_REGISTRY $TARGET_REGISTRY $SOURCE_REGISTRY_TOKEN $TARGET_REGISTRY_USERNAME $TARGET_REGISTRY_PASSWORD
主要经验教训
坚持使用简单的工具:
npm cli 可能不太适合这项任务,但它很可靠并且可以完成工作。注意细节:
配置身份验证,尤其是使用 base64,可能会出现微妙的特定于平台的怪癖。保持 ci 友好:
在 ci/cd 管道中工作时,避免使用守护进程或后台任务等解决方案。让流程处于管道控制之下。
在注册表之间同步 npm 包是一次令人沮丧但有益的学习经历。如果您面临类似的挑战,我希望这些课程可以帮助您更轻松地度过难关!
今天带大家了解了的相关知识,希望对你有所帮助;关于文章的技术知识我们会一点点深入介绍,欢迎大家关注golang学习网公众号,一起学习编程~
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
233 收藏
-
110 收藏
-
238 收藏
-
367 收藏
-
205 收藏
-
474 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 507次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 484次学习