使用 Infracost 控制云成本

左手的ㄟ右手 2024-03-27 12:59 62阅读 0赞

## 使用 Infracost 控制云成本 ##

*本文译自：[Taming Cloud Costs With Infracost][]*

#### 开源项目 Infracost 解析您的 Terraform 文件并为您估算成本。 ####

当我们将云与 Terraform 和[持续部署][Link 1]等 IaC 工具相结合时，我们获得了按需创建资源的近乎神奇的能力。然而，尽管云有很多好处，但它也带来了一系列困难，其中之一就是准确估算云成本。

云提供商的[成本结构复杂][Link 2]且不断变化。例如，AWS 提供[536 种类型的 EC2 Linux 机器][536 _ EC2 Linux]。其中许多具有相似的名称和功能。以“m6g.2xlarge”和“m6gd.2xlarge”为例——唯一的区别是第二个带有 SSD 驱动器，这将使账单增加 60 美元。通常，在定义基础架构时犯错误会导致您的账单在月底激增。

![在这里插入图片描述][87bdfb2a302f46d8963088af428a4e81.jpeg_pic_center]

很容易超出预算。

我们可以设置账单提醒，但不能保证它们会起作用。警报可能在周末发生或延迟，使我们在几个小时内就超出了预算。

[  
![在这里插入图片描述][580d49af01fd4efbb81153c17ab81305.jpeg_pic_center]][_580d49af01fd4efbb81153c17ab81305.jpeg_pic_center]  
那么，如何才能避免这个问题，放心使用云呢？

### 输入基础设施成本 ###

Infracost 是一个[开源项目][Link 3]，可以帮助我们了解我们如何以及在哪里花钱。它提供了实际基础设施成本的详细分类，并计算了变化如何影响它们。Infracost 基本上是`git diff`用于计费的。

Infracost 有两个版本：VSCode 插件和命令行程序。[两者做同样的事情：解析 Terraform 代码，从云定价 API][Terraform _ API]中提取当前成本价格点，并输出估算值。

![在这里插入图片描述][38a6def58a824eadb9e24ab593d80a92.jpeg_pic_center]

您可以免费使用 Infracost 定价 API 或托管您自己的 API。付费层包括一个云仪表板，用于跟踪随时间的变化。

我们可以在 IDE 中看到估算值：

![在这里插入图片描述][4ae2125d144a48329e022400db3d7601.jpeg_pic_center]

VSCode 上的实时成本估算。

或者作为拉取请求或提交中的评论：

![在这里插入图片描述][0d873fbc59024ca9870d305f4e1e6701.jpeg_pic_center]

PR 中的成本变更信息。

### 设置基础设施成本 ###

要试用 Infracost，我们需要以下内容：

*  Infracost API 密钥：您可以通过在[Infracost.io][]免费注册获得一个。
 *  安装在您机器上的[Infracost CLI][]
 *  一些 Terraform 文件

安装 CLI 工具后，运行`infracost auth login`以检索 API 密钥。现在我们准备好了。

我们要尝试的第一个命令是`infracost breakdown`. 它分析 Terraform 计划并打印出成本估算。该`--path`变量必须指向包含您的 Terraform 文件的文件夹。例如，假设我们要为“a1.medium”EC2 实例提供以下内容：

provider "aws" {
     region                      = "us-east-1"
     skip_credentials_validation = true
     skip_requesting_account_id  = true
    }
    
    resource "aws_instance" "myserver" {
     ami           = "ami-674cbc1e"
     instance_type = "a1.medium"
    
     root_block_device {
       volume_size = 100
     }
    }

按照当前费率，此实例每月运行费用为 28.62 美元：

$ infracost breakdown --path .
    
    Name                                                 Monthly Qty Unit   Monthly Cost
    
    aws_instance.myserver
    ├─ Instance usage (Linux/UNIX, on-demand, a1.medium)          730 hours        $18.62
    └─ root_block_device
      └─ Storage (general purpose SSD, gp2)                      100 GB           $10.00
    
    OVERALL TOTAL                                                                   $28.62

如果我们添加一些额外的存储（600GB 的 EBS），成本增加到 155.52 美元，如下所示：

$ infracost breakdown --path .
    
    Name                                                 Monthly Qty Unit   Monthly Cost
    
    aws_instance.myserver
    ├─ Instance usage (Linux/UNIX, on-demand, a1.medium)          730 hours        $18.62
    ├─ root_block_device
    │ └─ Storage (general purpose SSD, gp2)                      100 GB           $10.00
    └─ ebs_block_device[0]
      ├─ Storage (provisioned IOPS SSD, io1)                     600 GB           $75.00
      └─ Provisioned IOPS                                        800 IOPS         $52.00
    
    OVERALL TOTAL                                                                  $155.62

Infracost 还可以计算基于使用情况的资源，例如 AWS Lambda。让我们看看将 EC2 实例换成无服务器函数时会发生什么：

provider "aws" {
     region                      = "us-east-1"
     skip_credentials_validation = true
     skip_requesting_account_id  = true
    }
    
    resource "aws_lambda_function" "my_lambda" {
     function_name = "my_lambda"
     role          = "arn:aws:lambda:us-east-1:account-id:resource-id"
     handler       = "exports.test"
     runtime       = "nodejs12.x"
     memory_size   = 1024
    }

运行`infracost breakdown`产生 0 美元的总成本：

$ infracost breakdown --path .
    
    Name                                   Monthly Qty Unit                       Monthly Cost
    
    aws_lambda_function.my_lambda
    ├─ Requests                   Monthly cost depends on usage: $0.20 per 1M requests
    └─ Duration                   Monthly cost depends on usage: $0.0000166667 per GB-seconds
    
    OVERALL TOTAL                                                                          $0.00

这不可能是正确的，除非没有人使用我们的 Lambda 函数，这正是该工具默认假定的。我们可以通过使用文件提供估算来解决此问题。

我们可以使用以下命令创建示例使用文件：

`$ infracost breakdown --sync-usage-file --usage-file usage.yml --path .`

我们现在可以通过编辑来提供估计值`usage.yml`。以下示例包含 500 万个请求，平均运行时间为 300 毫秒：

resource_usage:
    aws_lambda_function.my_lambda:
      monthly_requests: 5000000 
      request_duration_ms: 300

我们将告诉 Infracost 使用使用文件`--usage-file`来获得正确的成本估算：

$ infracost breakdown --path . --usage-file usage.yml
    
    Name                           Monthly Qty Unit         Monthly Cost
    
    aws_lambda_function.my_lambda
    ├─ Requests                              5 1M requests         $1.00
    └─ Duration                      1,500,000 GB-seconds         $25.00
    
    OVERALL TOTAL                                                  $26.00

这样好多了。当然，只要我们的使用文件是正确的，这就是准确的。如果您不确定，您可以[将 Infracost 与云提供商集成][Infracost]并从源中提取利用率指标。

### 成本变化的 Git Diff ###

Infracost 可以通过提供`--format json`和`--out-file`选项将结果保存在 JSON 中。这为我们提供了一个文件，我们可以在源代码管理中签入并用作基线。

`$ infracost breakdown --path . --format json --usage-file usage.yml --out-file baseline.json`

我们现在可以通过运行来比较变化`infracost diff`。让我们看看如果 Lambda 执行时间从 300 毫秒变为 350 毫秒会发生什么：

$ infracost diff --path . --compare-to baseline.json --usage-file usage.yml
    
    ~ aws_lambda_function.my_lambda
     +$4.17 ($26.00 → $30.17)
    
      ~ Duration
         +$4.17 ($25.00 → $29.17)
    
    Monthly cost change for TomFern/infracost-demo/dev
    Amount:  +$4.17 ($26.00 → $30.17)
    Percent: +16%

如您所见，影响增加了 16%。

### 将 Infracost 与 CI/CD 集成 ###

我们已经了解了该工具如何帮助我们估算云成本。[这是有价值的信息，但 Infracost 在持续集成][Infracost 1]中扮演什么角色？要回答这个问题，我们必须了解是什么`infracost comment`在起作用。

comment 命令获取由 GitHub、Bitbucket 或 GitLab 生成的 JSON 文件`infracost diff`并将其内容直接发布到 GitHub、Bitbucket 或 GitLab。因此，通过在 CI 中运行 Infracost，我们可以让团队中的每个人都可以获得相关的成本信息。

![在这里插入图片描述][1f275ae5ccd948a8a1844787eeb18113.jpeg_pic_center]

Infracost 在 GitHub 提交中对成本差异发表评论。

如果您想了解如何配置 CI/CD 以在每次更新时运行 Infracost，请查看本教程：[如何在信号量上运行 Infracost][Infracost 2]。

#### 使用 Monorepos ####

如果您使用[monorepo][] ，您可能会为每个子项目拥有单独的 Terraform 文件。在这种情况下，您应该在项目的根目录下添加一个[infracost 配置文件。][infracost]这允许您指定项目名称以及 Terraform 和使用文件所在的位置。您还可以设置环境变量和其他选项。

version: 0.1
    
    projects:
      - path: dev
        usage_file: dev/infracost-usage.yml
        env:
          NODE_ENV: dev
    
      - path: prod
        usage_file: prod/infracost-usage.yml
        env:
          AWS_ACCESS_KEY_ID: ${PROD_AWS_ACCESS_KEY_ID}
          AWS_SECRET_ACCESS_KEY: ${PROD_AWS_SECRET_ACCESS_KEY}
          NODE_ENV: production

当涉及配置文件时，您必须在所有命令中替换`--path`参数 with 。`--config-file`

#### 制定政策 ####

Infracost 的另一招是[执行政策][Link 4]。`infracost diff`策略是在资源超出预算时评估输出并停止 CI 管道的规则。此功能允许经理和团队领导强制执行限制。当策略失败时，CI/CD 管道会因错误而停止，从而阻止配置基础设施。

![在这里插入图片描述][2d200c84579c4d92aa2fe18a1087135d.jpeg_pic_center]

制定政策后，Infracost 会在超出任何限制时向我们发出警告。

Infracost 使用[开放策略代理][Link 5](OPA) 实施策略，OPA 使用 Rego 语言对策略规则进行编码。

Rego 有很多功能，[值得深入研究以彻底学习它][Link 6]，但为了我们的目的，我们只需要学习几个关键字：

*  `deny[out]`定义一个新的策略规则，如果`out`对象有`failed: true`
 *  `msg`：定义策略失败时显示的错误消息。
 *  `out`：定义使策略通过或失败的逻辑。
 *  `input`: 引用生成的 JSON 对象的内容`infracost diff`

以下示例显示了当总预算超过 1,000 美元时失败的策略：

# policy.rego
    
    package infracost
    
    deny[out] {
    
        # define a variable
        maxMonthlyCost = 1000.0
    
        msg := sprintf(
            "Total monthly cost must be less than $%.2f (actual diff is $%.2f)",
            [maxMonthlyCost, to_number(input.totalMonthlyCost)],
        )
    
          out := {
            "msg": msg,
            "failed": to_number(input.totalMonthlyCost) >= maxMonthlyCost
          }
    }

这是成本差异等于或大于 500 美元时失败的另一个示例。

package infracost
    
    deny[out] {
    
      # maxDiff defines the threshold that you require the cost estimate to be below
      maxDiff = 500.0
    
      msg := sprintf(
        "Total monthly cost diff must be less than $%.2f (actual diff is $%.2f)",
        [maxDiff, to_number(input.diffTotalMonthlyCost)],
      )
    
      out := {
        "msg": msg,
        "failed": to_number(input.diffTotalMonthlyCost) >= maxDiff
      }
    }

[您可以在OPA 操场][OPA]上在线试验和尝试几个示例。要执行策略，您必须`--policy-path`在任何`infracost comment`命令中添加选项，如下所示：

curl -fsSL https://raw.githubusercontent.com/infracost/infracost/master/scripts/install.sh | sh
    checkout
    infracost diff --path . --usage-file usage.yml --compare-to baseline.json --format json --out-file /tmp/infracost-diff-commit.json
    infracost comment gi

### 结论 ###

立即启动资源的能力是一把双刃刀：Terraform 文件中的拼写错误可能是一个代价高昂的错误。在管理我们的云基础架构时保持积极主动对于坚持预算和避免月底出现令人讨厌的意外至关重要。如果您已经在使用 Terraform 进行[持续部署][Link 1]和管理服务的自动化部署，那么您不妨将 Infracost 添加到组合中，以做出更明智的决策并施加支出限制。设置只需几分钟，以后可以节省数千美元。

[Taming Cloud Costs With Infracost]: https://dzone.com/articles/infracost
[Link 1]: https://semaphoreci.com/cicd
[Link 2]: https://www.infracost.io/blog/why-are-cloud-costs-so-complex/
[536 _ EC2 Linux]: https://aws.amazon.com/ec2/pricing/on-demand/
[87bdfb2a302f46d8963088af428a4e81.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/64ef2042dd02418ab5b4cdc22d7b0987.png
[580d49af01fd4efbb81153c17ab81305.jpeg_pic_center]: https://img-blog.csdnimg.cn/580d49af01fd4efbb81153c17ab81305.jpeg#pic_center
[_580d49af01fd4efbb81153c17ab81305.jpeg_pic_center]: https://twitter.com/gergelyorosz/status/1542449611440328704
[Link 3]: https://github.com/infracost/infracost
[Terraform _ API]: https://github.com/infracost/cloud-pricing-api
[38a6def58a824eadb9e24ab593d80a92.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/96cf2709b1b448c796def7dfd2be6903.png
[4ae2125d144a48329e022400db3d7601.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/d1871feeb58f4e9b9b65892a5dc0c1e9.png
[0d873fbc59024ca9870d305f4e1e6701.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/4b2a498ef6444a0fb5ccb82ff5e020cb.png
[Infracost.io]: https://www.infracost.io/
[Infracost CLI]: https://www.infracost.io/docs/
[Infracost]: https://www.infracost.io/docs/features/usage_based_resources/#fetch-from-cloud-apis
[Infracost 1]: https://semaphoreci.com/continuous-integration
[1f275ae5ccd948a8a1844787eeb18113.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/075b3900bed341488c72153a721058d6.png
[Infracost 2]: https://semaphoreci.com/blog/infracost#how-to-run-infracost-on-semaphore
[monorepo]: https://semaphoreci.com/blog/what-is-monorepo
[infracost]: https://www.infracost.io/docs/features/config_file/
[Link 4]: https://www.infracost.io/blog/cloud-cost-policies/
[2d200c84579c4d92aa2fe18a1087135d.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/52b744cb213640e6bda93e0838f6cafb.png
[Link 5]: https://www.openpolicyagent.org/docs/latest/policy-language/
[Link 6]: https://www.openpolicyagent.org/docs/latest/policy-language/#the-basics
[OPA]: https://play.openpolicyagent.org/p/o1MLyC74CJ