メインコンテンツまでスキップ
waffle.svg
Domo Knowledge Base

Amazon S3 Connector

Version 7

 

Amazon S3は、Amazon Web Servicesが提供するオンラインファイルストレージのウェブサービスです。ウェブを使用していつでも、どこからでも、どんな量のデータも保存、取得することができます。DomoのAmazon S3コネクターを使用すると、S3バケット地域からCSV、JSON、およびXMLファイルを取得することができるようになります。Amazon S3 APIの詳細については、製品ページ(http://docs.aws.amazon.com/AmazonS3/...I/Welcome.html)を参照してください。

Amazon S3コネクターとAmazon S3 Advancedコネクターはほとんど同じです。唯一の違いは、コネクターの[詳細]セクションで指定するプレフィックス文字列で始まる複数ファイルの処理方法です。標準のAmazon S3コネクターでは、変更された最新のファイルのみインポートされます。Amazon S3 Advancedコネクターでは、同じプレフィックスのファイルは同じスキーマを使用するという前提で、指定したプレフィックスを持つすべてのファイルがインポートされます。この高度なバージョンのコネクターの詳細については、「Amazon S3コネクター」を参照してください。

Amazon S3コネクターは「ファイル」コネクターです。つまり、ファイルを取得してDomoに出力します。データセンターでこのコネクターや他のファイルコネクターのページにアクセスするには、ウィンドウ上部のツールバーで[ファイル]をクリックします。

Amazon S3のアカウントには、Data Centerから接続します。このトピックでは、Amazon S3コネクターユーザーインターフェースに固有のフィールドとメニューについて説明します。DataSetの追加や更新スケジュールの設定、DataSet情報の編集に関する一般的な情報は「データコネクターを使用してDataSetを追加する」で説明しています。

主な使用事例

このコネクターは、APIが使用できない状況でフラットファイルを取得するための最善の方法です。

主なメトリクス

該当なし

社内における主な権限

  • データスペシャリスト
  • マーケティング権限
  • 財務権限
  • S3にデータを保存しているあらゆるユーザー

平均導入時間

適切なタイプのファイルがS3にあれば、1時間以内です。

使いやすさ(1~10の段階。1が「最も使いやすい」)

4

ベストプラクティス

S3に保存されたデータ、および他のS3データベースとの関係を理解していると、このコネクターを使用する上で大変役立ちます。

必要条件

Amazon S3アカウントに接続してDataSetを作成するには、以下が必要です。

  • AWSアクセスキー。これは、AWSコンソールの[セキュリティ認証情報]セクションで確認できます。IAMを使用している場合は、[ユーザー]で確認することもできます。

  • AWSシークレットキー。これはアクセスキーを作成したときに提供されたものです。新しいシークレットキーは、AWSコンソールで生成することができます。

  • ファイルを取得するAWS S3バケットの名前。

適切な権限が付与されたユーザーを作成する

DomoでS3データに接続する前に、IAM Amazonコンソールで適切な権限を有するユーザーを作成する必要があります。

IAM Amazonコンソールでユーザーを設定するには、

  1. 新規ユーザーを追加し、次のオプションを設定します。

    1. [Details]ペインの[Select AWS access type][Programmatic Access]のボックスにチェックマークを入れます。

    2. [Permissions]ペインで、[Attach existing policies directly]を選択し、[AmazonS3FullAccess]または[AmazonS3ReadOnlyAccess]のボックスにチェックマークを入れます。
      カスタマー管理ポリシーは使用できません

    3. [Review]ペインで、[Create User]をクリックします。

  2. ユーザーを作成したら、使用するアクセスキーとシークレットキーをコピーし、Domoの[認証情報]ペインに入力します。

Amazon S3アカウントに接続する

このセクションでは、Amazon S3コネクターページの[認証情報]ペインおよび[詳細]ペインのオプションについて説明します。このページの他のペインの項目である[スケジュール設定][DataSetの名前と説明]に関しては、ほとんどのタイプのコネクターで共通しています。詳細については「データコネクターを使用してDataSetを追加する」を参照してください。

[認証情報]ペイン

このペインには、Amazon S3アカウントにアクセスするための認証情報を入力するフィールドがあります。下表では、各フィールドに必要な内容を説明しています。

フィールド

説明

アクセスキー AWSアクセスキーを入力します。アクセスキーを検索する方法については、上述の「必要条件」を参照してください。
シークレットキー AWSシークレットキーを入力します。シークレットキーを検索する方法については、上述の「必要条件」を参照してください。
バケット ファイルをプルするAmazon S3バケットを入力します。

有効なAmazon S3認証情報を一度入力しておくと、いつでも同じアカウントを使用して新しいAmazon S3 DataSetを作成することができます。コネクターアカウントは、Data Centerの[アカウント]タブで管理できます。このタブの詳細については、「コネクターのユーザーアカウントを管理する」を参照してください。

[詳細]ペイン

このペインには、Domoに取り込むファイルを検索、設定するための様々なメニューがあります。

メニュー

説明

S3バケット地域

ファイルがあるS3バケット地域を選択します。

 

インポートするファイルタイプ

Domoにインポートするファイルのタイプを、CSV、JSONまたはXMLから選択します。

ファイル名はどのようにして選択しますか?

Domoがファイルを識別する方法を選択します。オプションは以下のとおりです。

完全なファイル名

ファイルへの完全パスを入力します。

部分的ファイル名

ファイル名の一部を入力し、取得したいファイル名がその文字列から始まるのか、または含んでいるのかを指定します。

FilesDiscovery

選択したバケットにあるファイルのリストが表示され、そこから希望するものを選択します。このオプションは、選択したS3バケットにあるファイルの数が100未満の場合にのみ使用できます。

プレフィックス(オプション)

結果をフィルターするためのプレフィックスを入力します。プレフィックスにより、指定したプレフィックスで始まるキーのみに結果が絞り込まれます。この標準バージョンのコネクターでは、変更された最新のファイルのみがインポートされます。高度なバージョンのコネクターでは、同じプレフィックスを持つすべてのファイルが取得されます。これは、同じプレフィックスを持つファイルは同じスキーマを使用することを前提としているためです。詳細については、「Amazon S3 Advancedコネクター」を参照してください。

完全ファイルパスを入力

希望するファイルの完全パスを入力します。

ファイル名

インポートしたいファイル名を入力します。ファイルパスはあってもなくても構いません。例:folder_name/file_name

ファイル名のマッチタイプ

取得したいファイルの名前が、[ファイル名]で入力したテキストから始まるのか、またはそれを含んでいるのかを指定します。

ファイル圧縮タイプ

取得するファイルの圧縮タイプを選択します。ファイルが圧縮されていない場合は、[なし]を選択します。

CSVファイルにヘッダーはありますか?

インポートしているCSVファイルにヘッダーがある場合は[はい]を、ない場合は[いいえ]を選択します。

ファイルのリスト

取得するファイルを選択します。

区切り文字を選択

取得するCSVファイルで使用されている区切り文字を選択します。区切り文字がリストにない場合は、[その他]を選択します。

引用文字

取得するCSVファイルを解析する引用文字を選択します。CSVの標準は二重引用符(")です。

エスケープ文字

取得するCSVファイルを解析するエスケープ文字を選択します。CSVの標準はバックスラッシュ(\)です。

大きなJSONファイルの解析を有効にしますか?

大きなJSONファイルの解析を有効にするかを指定します。

JSONテキストは、行のリーダーを必要としますか?

JSONファイルのテキストで、複数の行を読み込む必要があるかを指定します。

バックスラッシュは、エスケープする必要がありますか?

JSONファイルのテキストに、エスケープする必要のあるバックスラッシュが含まれているかを指定します。

データタグを入力

JSONまたはXMLファイルのデータのタグを入力します。

除外するフィールドを入力

JSON/XMLのインポートで除外するフィールドを、カンマで区切ったリストとして指定します。

ヘッダータグを入力

JSONまたはXMLファイルのヘッダーのタグを入力します。

データに属性を必要としますか?

XMLデータの一部として属性値を必要とするかを指定します。

XPath式を入力

XPath式を入力します。

パスワード保護されていますか?

取得するファイルがパスワードで保護されている場合は、[はい]を選択します。保護されていない場合は、[いいえ]を選択します。

ヘッダー開始行

取得するExcelファイルのヘッダー行の番号を入力します。

データ開始行

取得するExcelファイルの最初のデータ行の番号を入力します。

フッター

取得するExcelファイルのフッター行の番号を入力します。

空白行

空白行が見つかった場合に取るべきアクションを選択します。[空白行をスキップ]を選択すると、空白行がスキップされます。[最初の空白列で停止]を選択すると、空白行が見つかった列でデータのインポートが停止します。

空白の列ヘッダー

空白列ヘッダーに遭遇したときにどうするかを指定します。[空白列を追加]を選択した場合、新規の列には列名が自動的に生成されます。[最初の空白列で停止]を選択した場合、空白のヘッダーが見つかったときに、データのインポートが停止します。

その他のペイン

スケジュール設定、再試行、オプションの更新など、このページにないセクションに記載のコネクターインターフェースについては、「データコネクターを使用してDataSetを追加する」を参照してください。

トラブルシューティング

  • S3バケットにファイルが存在しており、コネクターの設定で正しいファイルタイプが指定されていることを確認します。

  • コネクターが正常にデータを取得するためには、NULL列を削除する必要があります

  • CSVファイルをインポートしようとするときに「インポートに失敗しました」エラーが発生する場合は、[引用文字]メニューのオプションを[引用文字なし]に変更することによって問題を回避できることがあります。

よくある質問

データ更新の頻度はどのくらいですか?

必要に応じて。

同一のAmazon S3アカウントを複数のDataSetに使えますか?

はい。

注意すべきAPI制限はありますか?

アカウントあたりのAmazon S3バケットが100個に制限される場合があります。

コネクターがデータを取得できないのはなぜですか?

S3バケットにファイルが存在しており、コネクターの設定で正しいファイルタイプが指定されていることを確認します。また、コネクターがデータを取得できるように、NULL列を削除します。

標準のAmazon S3コネクターとAmazon S3 Advancedコネクターとの違いは何ですか?

Amazon S3コネクターとAmazon S3 Advancedコネクターは、どちらも同じSDKを使用しています。2つのコネクターの違いは、複数のファイルを処理する方法にあります。
Amazon S3コネクターでは、Amazon S3バケットにコネクターの[詳細]セクションで指定したプレフィックスで始まる複数のファイルがある場合、最新の変更されたファイルのみインポートされます。Amazon S3 Advancedコネクターでは、同じプレフィックスのファイルは同じスキーマを使用するという前提で、指定したプレフィックスを持つすべてのファイルがインポートされます。この高度なバージョンの詳細については、「Amazon S3 Advancedコネクター」を参照してください。


DomoのAmazon S3コネクターを使用すると、S3バケット地域からCSV、JSON、およびXMLファイルを取得することができるようになります。