https://xainome-blog.pages.dev/tags/sagemaker/ Recent content in Sagemaker on Xainome Blog Hugo ja-JP Sat, 03 Aug 2024 00:00:00 +0000 https://xainome-blog.pages.dev/posts/2024/08/sagemaker-endpoint-model-management/ Sat, 03 Aug 2024 00:00:00 +0000 https://xainome-blog.pages.dev/posts/2024/08/sagemaker-endpoint-model-management/ <h2 id="awsを使用してaiモデルを複数管理する方法">AWSを使用してAIモデルを複数管理する方法</h2> <p>AWSを使用してAIのモデルを複数管理したいという話がありました。</p> <p>学習済みのモデルなので本番では推論しか使われませんが、モデルのバージョン管理を行いたいということだったので調査をしました。</p> <p>S3にモデルを置くだけでもある程度管理はできますが、SageMakerのエンドポイントを使うかもしれないということでSageMakerでの管理を調べることになりました。</p> <p>基本的な書き方はサンプルの書き方に沿ってます。<a href="https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/model-registry-models.html">こちら</a>です。</p> <h2 id="モデルのs3へのアップロード">モデルのS3へのアップロード</h2> <p>まずはモデルをS3にアップロードするところからです。</p> <pre tabindex="0"><code># tensorflowを使うのでmodel.tar.gzにモデルを固める TAR_DIR = &#39;./tmp&#39; # 一時的なモデルディレクトリ CODE_DIR = &#39;./code&#39; # infarence.py等のディレクトリ MODEL_DIR = &#39;./model&#39; # モデルディレクトリ TAR_NAME = os.path.join(TAR_DIR , &#39;model.tar.gz&#39;) with tarfile.open(TAR_NAME, mode=&#39;w:gz&#39;) as tar tar.add(MODEL_DIR) tar.add(CODE_DIR) # モデルをS3にアップロード(複数モデルをアップロードする想定) s3_uri1 = sagemaker.session.Session(default_bucket=&#39;development&#39;).upload_data( path = TAR_NAME key_prefix = &#39;image_recognition/test/model1&#39; ) s3_uri2 = sagemaker.session.Session(default_bucket=&#39;development&#39;).upload_data( path = TAR_NAME key_prefix = &#39;image_recognition/test/model2&#39; ) </code></pre><h2 id="イメージの作成">イメージの作成</h2> <p>モデルをアップロードしたら次はイメージの作成をします。イメージに関しては1イメージで複数モデル格納できますが、未調査のため一旦複数イメージを作成します。</p> <pre tabindex="0"><code>image_uri1 = sagemaker.image_uris.retrieve( framework=&#39;tensorflow&#39;, region=sagemaker.session.Session().boto_region_name, version=&#39;2.12&#39;, instance_type=&#39;ml.m5.xlarge&#39;, image_scope=inference&#39; ) image_uri2 = sagemaker.image_uris.retrieve( framework=&#39;tensorflow&#39;, region=sagemaker.session.Session().boto_region_name, version=&#39;2.12&#39;, instance_type=&#39;ml.m5.xlarge&#39;, image_scope=inference&#39; ) </code></pre><h2 id="モデルパッケージグループの作成">モデルパッケージグループの作成</h2> <p>モデルパッケージグループの作成をします。この中にモデルを複数入れることでバージョン管理を行っていきます。</p>