DynamoDB

現在、下記の書籍でサーバレスアプリについて学習中です。 動かして学ぶ！Pythonサーバレスアプリ開発入門 この本の Chapter.7 で、Flask・PynamoDBを使用してDynamoDB localのテーブルを作成する手順があるのですが、少々詰まってしまったので、備忘のために経緯をメモに残しておきたいと思います。 はじめにお断り 今回利用したライブラリやサービスに関する簡単な紹介 Flask PynamoDB DynamoDB local 経緯・原因・対策 経緯1：flask-script を使ったところ、エラーが発生 原因：Flaskのバージョン2.0以降ではflask-scrip…

前書き 注意点 参考リンク 環境 全体像 0. 事前準備 1. CDKのプロジェクト作成 2. S3 3. DynamoDB 4. IAM Role 5. Amazon OpenSearch Service Data Access Policy Encryption Policy Network Policy 6. IAM Policy 7. Pipeline デプロイとテスト 削除 まとめ CDKの定義全体 前書き 昨年末に公開された、DynamoDBとOpenSearch Serviceのzero-ETL integrationを AWS CDK で構築する例です。 本記事は、こちらのCL…

前書き 注意点 参考リンク 環境 全体像 0. 事前準備 1. S3とDynamoDBの作成 2. PipelineのRoleを作成 3. Amazon OpenSearch Collectionの作成 Data access policiesの作成 Encryption policiesの作成 Network policiesの作成 4. Policyの作成 5. Pipelineの作成 6. テスト実行 リソースの削除 余談: ChatGPT と AWS CLI まとめ 前書き 2023年の年末に公開された、DynamoDBとOpenSearch Serviceのzero-ETL inte…

version情報 "aws-amplify": "^6.3.4", 起こったこと（長い前置き） 以下のようなamplify/date/resource.tsがあるとする。 EventテーブルのstartDateについて、a.date()という型があるのでDate型を挿入できるのかと思っていた。 import { type ClientSchema, a, defineData } from "@aws-amplify/backend"; const schema = a.schema({ //.... Event: a .model({ id: a.id().required(), star…

背景 AWS Lambda を使うと様々な処理を簡単かつサーバレスに実現することができます。お手軽に使える一方でいくつか考慮しておかないと実運用時に痛い目を見ることも沢山あります。いくつかある考慮ポイントの中で、実際にハマった冪等性の観点について少しまとめておこうと思います。 発生したこと S3にオブジェクトをPutしたのをトリガとして S3 Object Lambda でオブジェクトの種類ごとに様々な処理を行っていました。当初は冪等性を考慮した作りになっていなかったのですが、多くないオブジェクト数（10～100）でテストした限りでは特段問題なく動作していたので本番環境へデプロイしました。実際…

※3/25 17:00 内容を一部修正しました 今回のお題 Amazon DynamoDB(以下「DynamoDB」)が、リソースポリシーでのアクセス制御に対応したので、試してみた 本題 3/21(日本時間)に、DynamoDBにリソースポリシー機能が追加されたことがAWS公式より発表されました。 aws.amazon.com これにより、DynamoDBもS3やAPI Gatewayと同様に、リソースポリシーによりアクセス制御(Allow, Deny)を行うことが可能になりました。 そこで、このリソースポリシーの挙動を試してみました。 参考リンク Amazon DynamoDB now su…

先日の記事を書きながら、DynamoDBにScanした際のレスポンスにCountとScannedCountという似たような名前で同じ値を返却しているものがあることが気になっていたため、調べてみた。 Scanレスポンス 先日の記事からコピペ。"Count": 2,"ScannedCount": 2と返却されていた。 { "Count": 2, "Items": [ { "color": { "S": "yellow" }, "target": { "S": "banana" } }, { "color": { "S": "red" }, "target": { "S": "apple" } } …

初めに AWS IAM Access Analyzerとは 検出対象(リソースタイプ) 検出範囲(アナライザーの信頼ゾーン) IAM Access Analyzerの外部アクセス検出の通知システムを考えてみる 構成案 Auditアカウント メンバーアカウント アナライザーの注意点 アナライザーはリージョン単位で設定する必要がある アナライザーは、組織全体のアナライザーとAWSアカウントのアナライザーが存在する アナライザー自体は修正を行わない 終わりに 参考 初めに こんにちは、入社2年目の藤本です。 皆さんが普段利用されているAWS環境の権限管理はできているでしょうか。 管理するシステムが多…

Config マネージドルール「restricted-ssh」によってSSHのポート22を 全開放(0.0.0.0/0)しているセキュリティグループを 非準拠とみなしNON_COMPLIANTとなる。 ルールが非準拠になったら、修復アクションとしてSNSトピックに通知できる。 ルール「ebs-optimized-instance」はEBS最適化がされていないEC2インスタンスがないか確認する ルール「approved_ami_by_id」は承認されたAMI IDのリストに含まれないAMIがインスタンスで使われていないか確認する VPC デフォルトのネットワークACLはインバウンド、アウトバウン…

.entry-content img { border: 1px solid #ddd; } はじめに こんにちは！ 株式会社クロスパワー クラウドシステム開発部の N です。 この記事は連載『デジタルヒューマンと Amazon Bedrock で召喚！バーチャル事務職員』の第3回となります。 前回の記事はこちらです。 xp-cloud.jp 第3回ではチャットボットとの連続したやり取りを実現するために会話履歴機能を追加する方法について解説していきます。 目次 はじめに 目次 目的 例: 連続した会話のやり取りで齟齬が生じるケース アプリケーションの概要 会話履歴機能の追加手順 1. Dyna…

toastyは先日tokioから発表されたORMです。 tokio.rs このORMは現状開発段階のもので、まだ実用に耐えうる段階にはないとGitHubには書かれています。というか、crates.ioにはダミー用関数が用意されているだけで、プロジェクトの依存に追加したとしてもまだ何もできません。現時点で対応しているのはsqliteとDynamoDBのようで、他のデータベースないしはCassandraなどには今後対応予定とのことです。async対応しています。また、SQLとNoSQL対応しているとなると、両者を抽象してくれるなにかかと思われるかもしれませんが、両者に対する操作を抽象してくれるわけ…

はじめに 「生成AIばかり追いかけてるようじゃ無理か。基礎はね、入れとかないと。」 こんにちは、志水です。最近は自分がこう言われてるような気がするので、入れておきたいと思います。 私は「技術書典17」（オフライン開催：2024/11/03、オンライン開催：2024/11/02～2024/11/17）で発表される「AWSの薄い本の合本Vol.01」に『IAMベストプラクティスとCDKによる効率化ガイド』という章を寄稿しました。本記事では、この章の内容と、合本全体の見どころについてご紹介します。 techbookfest.org 本書の全体像と構成の意図 今回の合本は、AWSの基盤となるサービスか…

はじめに こんにちは、アプリケーションチームの山田です！ 今回は、夏に実施したインターンシップについてお届けします。 はじめに 概要 スケジュール 今年のテーマ ワークについて 要件定義 インフラ設計 サーバー開発 + クライアント開発 実施結果について 参加人数 学生さんからの感想 要件定義に対して インフラ設計に対して サーバー開発 + クライアント開発に対して 座談会について エムオーテックス採用情報について おわりに 概要 エムオーテックスでは毎年、開発本部主催のインターンシップを開催しています。 例年では夏は 5 日間 × 2 回でオンライン開催しているところを、今年は 2 日間 ×…

こんにちは。 DevOpsが好きなアプリケーションサービス部の兼安です。 本記事は「Amazon Neptuneで始める初めてのグラフDB」というテーマの連載記事の5回目です。 Amazon Neptuneで始める初めてのグラフDB① NeptuneクラスターとNotebookの作成 Amazon Neptuneで始める初めてのグラフDB② Gremlinを用いたグラフデータの基本操作 Amazon Neptuneで始める初めてのグラフDB③ Amazon NeptuneとTom Sawyer Graph Database Browserとの接続 Amazon Neptuneで始める初めてのグ…

SREの菅原です。 カンムではAWSやGCP、Datadogなど様々をIaaS・SaaSをterraformで管理しているのですが、以前は「GitHub Actionsでplan」「管理者や開発者が手元でapply」というフローになっており、terraform applyの実行が管理者や一部の権限を持った開発者に集中してしまい、インフラの変更作業の速度が落ちてしまっている状態でした。 しかし、Atlantisという「Pull Request上でterraform plan・applyを実行する」ツールを導入したことで、うまくapply権限を各開発者に委譲することができるようになったので、Atl…

kaggle小技まとめてみた(随時更新予定) Jailbreaking LLM-Controlled Robots チームに無能がいなくなる『メンバー全員で公式ドキュメントを読みあわせる』に感銘をうけた話。 生成AIスタートアップ社内での生成AI活用事例 ~バックオフィス編~ Introducing Dify Workflow File Upload: A Demo on AI Podcast Benchmarking Agentic Workflow Generation LLMOps : ΔMLOps pypdfium2 IBMのgranite3-dense(2B/8B)をColabでため…

この記事は、負荷テスト初学者向けに「 Distributed Load Testing on AWS 」を利用して、実際に負荷テストを実施する流れを解説しています。 第1回のブログにて、『負荷テストとは？』『AWS上での負荷テストの方法』について解説しています。 第2回のブログにて、「Distributed Load Testing on AWS 」を利用して、実際に負荷テストを実施するまでの試験計画までの流れを解説しています。 こんにちは！エンタープライズクラウド部クラウドコンサルティング課の日高です。 もし私のことを少しでも知りたいと思っていただけるなら、私の後輩が書いてくれた以下のブログ…

こんにちは。ディベロップメントサービス3課の千本松です。 少し前に、AWS Lambda（以下、Lambda）の再帰ループ検出がAmazon S3 （以下、S3）に対応しました。 AWS初心者にも使いやすいLambdaですが、意図しない無限ループで冷や汗をかいた経験がある方も多いのではないでしょうか。 今回のアップデートにより、S3を含む無限ループを自動的に検出して停止できるようになったので、実際に無限ループを発生させて動作を確認していきます。 aws.amazon.com Lambdaの再帰ループ検出とは 検出されるループの例 実際にやってみた①：S3のみでループを構成 Lambdaの準備 …