• 首页
  • 星球交流
  • 运营
  • 开发
  • 快讯
  • 案例
  • 商城
  • 问答AI
文章
文章用户商铺文档快讯圈子网址导航问答

{{userData.name}}已认证

文章

评论

关注

粉丝

¥{{role.user_data.money}}
{{role.user_data.credit}}
您已完成今天任务的
  • 私信列表所有往来私信

  • 财富管理余额、积分管理

  • 推广中心推广有奖励

    NEW
  • 任务中心每日任务

    NEW
  • 成为会员购买付费会员

  • 认证服务申请认证

    NEW
  • 小黑屋关进小黑屋的人

    NEW
  • 我的订单查看我的订单

  • 我的设置编辑个人资料

  • 进入后台管理

  • 运营
    • 数据库
      • Mysqldump备份与恢复(mysqlpump备份恢复)

        Mysqldump备份与恢复(mysqlpump备份恢复)

      • MySQL数据库内置help解析(SQL语句说明书)

        MySQL数据库内置help解析(SQL语句说明书)

      • Mysql数据库误删除后的数据恢复操作说明(mysql数据库不小心删了怎么恢复)

        Mysql数据库误删除后的数据恢复操作说明(mysql数据库不小心删了怎么恢复)

      • 自动检查Mysql是否存在锁表、三方回调状态,队列状态,微信推送状态

        自动检查Mysql是否存在锁表、三方回调状态,队列状态,微信推送状态

    • SEO优化
      • 如何在WordPress中使用关键词优化您的文章?

        如何在WordPress中使用关键词优化您的文章?

      • 如何在WordPress中优化SEO,让您的网站更具竞争力?

        如何在WordPress中优化SEO,让您的网站更具竞争力?

      • 蜘蛛锐减+聚名涨价~(年后第1波SEO知识分享)

        蜘蛛锐减+聚名涨价~(年后第1波SEO知识分享)

      • SEO优化网站建设,注意事项!(网站建设优化的技巧)

        SEO优化网站建设,注意事项!(网站建设优化的技巧)

    • 网站运维
      • b2主题火车头问答发布模块

        b2主题火车头问答发布模块

      • Apache 虚拟主机和反向代理配置

        Apache 虚拟主机和反向代理配置

      • b2主题php8.1频繁502解决方法

        b2主题php8.1频繁502解决方法

      • PHP安全配置加固保护wordpress运行安全

        PHP安全配置加固保护wordpress运行安全

    • 系统运维
      • 使用 Mac OS 的 Automator 自动备份 MySQL

        使用 Mac OS 的 Automator 自动备份 MySQL

      • 通过密钥登录 WordPress 服务器,让暴力破解无机可乘

        通过密钥登录 WordPress 服务器,让暴力破解无机可乘

      • Linux 运维必备 150 个命令汇总

        Linux 运维必备 150 个命令汇总

      • Linux安装mysql8.0

        Linux安装mysql8.0

  • 开发
    • WordPress开发实例
      • 解决 WordPress Gravatar 头像无法访问的方法-轻松解决头像加载问题

        解决 WordPress Gravatar 头像无法访问的方法-轻松解决头像加载问题

      • 如何在WordPress中限制搜索结果- 排除或指定特定文章、页面和分类

        如何在WordPress中限制搜索结果- 排除或指定特定文章、页面和分类

      • WordPress SEO技巧:如何设置最佳Keywords和Description

        WordPress SEO技巧:如何设置最佳Keywords和Description

      • \”掌握WordPress函数load-{$variable} action的技巧\”

        \”掌握WordPress函数load-{$variable} action的技巧\”

    • WordPress开发手册
      • default_site_option_{$option}

        default_site_option_{$option}

      • deleted_option

        deleted_option

      • default_option_{$option}

        default_option_{$option}

      • custom_header_options

        custom_header_options

  • WP入门
  • 下载WordPress
  • MOER
    • 文章归档
    • 资讯中心
    • 授权中心
    • 用户注销
投稿
!
也想出现在这里? 联系我们吧
广告
广告位
当前位置:首页>开发>其他开发实例>利用Java连接Hadoop进行编程(hadoop只支持java语言编程吗)

利用Java连接Hadoop进行编程(hadoop只支持java语言编程吗)

  • 其他开发实例
  • 22年9月3日
  • 编辑
林沐阳.𒅌s9社区官方

这篇文章主要介绍了利用Java连接Hadoop进行编程,文章围绕主题展开详细的内容介绍,具有一定的参考价值,感兴趣的小伙伴可以参考一下!

实验环境

  • hadoop版本:3.3.2
  • jdk版本:1.8
  • hadoop安装系统:ubuntu18.04
  • 编程环境:IDEA
  • 编程主机:windows

实验内容

测试Java远程连接hadoop

创建maven工程,引入以下依赖:

虚拟机的/etc/hosts配置

利用Java连接Hadoop进行编程(hadoop只支持java语言编程吗)

hdfs-site.xml配置

利用Java连接Hadoop进行编程(hadoop只支持java语言编程吗)

core-site.xml配置

利用Java连接Hadoop进行编程(hadoop只支持java语言编程吗)

启动hadoop

sbin/start-dfs.sh

主机的hosts(C:\\Windows\\System32\\drivers\\etc)文件配置

利用Java连接Hadoop进行编程(hadoop只支持java语言编程吗)

尝试连接到虚拟机的hadoop并读取文件内容,这里我读取hdfs下的/root/iinput文件内容

利用Java连接Hadoop进行编程(hadoop只支持java语言编程吗)

Java代码:

运行结果:

利用Java连接Hadoop进行编程(hadoop只支持java语言编程吗)

编程实现一个类“MyFSDataInputStream”,该类继承“org.apache.hadoop.fs.FSDataInputStream\”,要求如下: ①实现按行读取HDFS中指定文件的方法”readLine()“,如果读到文件末尾,则返回为空,否则返回文件一行的文本

思路:emmm我的思路比较简单,只适用于该要求,仅作参考。将所有的数据读取出来存储起来,然后根据换行符进行拆分,将拆分的字符串数组存储起来,用于readline返回

Java代码

测试类:

运行结果:

利用Java连接Hadoop进行编程(hadoop只支持java语言编程吗)

②实现缓存功能,即利用”MyFSDataInputStream“读取若干字节数据时,首先查找缓存,如果缓存中有所需要数据,则直接由缓存提供,否则从HDFS中读取数据

给TA打赏
共{{data.count}}人
人已打赏
java
林沐阳.𒅌
个人主页
前方的风景好,我的意思是别回头。
3783篇作品
其他开发实例

Python+OpenCV实现图像识别替换功能详解(python opencv图像二值化)

2022-9-3 17:31:23

其他开发实例

Vuex中状态管理器的使用详解(vue 状态管理)

2022-9-3 17:31:54

声明 本站上的部份代码及教程来源于互联网,仅供网友学习交流,若您喜欢本文可附上原文链接随意转载。无意侵害您的权益,请发送邮件至 [email protected] 或点击右侧 私信:林沐阳 反馈,我们将尽快处理。
1 条回复 A文章作者 M管理员

您必须登录或注册以后才能发表评论

  1. 王佳楠
    王佳楠 (来自河北省石家庄市)
    22年12月3日

    好

关于作者

林沐阳.𒅌

文章

3783

评论

98

关注

1

粉丝

64
[文章] 谈谈企业仿站–感觉太费劲了
[文章] 解决 WordPress Gravatar 头像无法访问的方法-轻松解决头像加载问题
[文章] 如何在WordPress中限制搜索结果- 排除或指定特定文章、页面和分类
[文章] WordPress SEO技巧:如何设置最佳Keywords和Description
Ta的全部动态

签到排行
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{data.mission.credit}}积分

今日签到

连续签到

签到排行

文章聚合

  • TOP1
    本站b2子主题(S9)最新版本1.6.5

    本站b2子主题(S9)最新版本1.6.5

    22年10月3日
  • TOP2
    解决黑群晖“抱歉,您所指定的面页不存在”问题(黑群晖论坛发布论坛)

    解决黑群晖“抱歉,您所指定的面页不存在”问题(黑群晖论坛发布论坛)

    22年9月11日
  • TOP3
    改变网络游戏封包WPE使用方法修改游戏数据。(wpe抓包修改游戏数据教程)

    改变网络游戏封包WPE使用方法修改游戏数据。(wpe抓包修改游戏数据教程)

    22年10月30日
  • VM映射磁盘出错”Z:\\ 不可用。“是什么原因?如何解决

    VM映射磁盘出错”Z:\\ 不可用。“是什么原因?如何解决

    22年9月8日
  • wordpress b2主题实现问答引入OpenAi智能系统

    wordpress b2主题实现问答引入OpenAi智能系统

    22年12月11日
  • 苹果激活锁破解教程(强制跳过 id 激活)

    苹果激活锁破解教程(强制跳过 id 激活)

    22年11月7日

问答

PREVNEXT
热门 最新 等待回答
没有内容
  • 个回答
    {{item.metas.reward.money}} ¥{{item.metas.reward.money}}

最新评论

PREVNEXT
  • 来自:
❯

解锁会员权限

开通会员

解锁海量优质VIP资源

立刻开通

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索
客服
  • 扫码打开当前页

  • QQ交流群

返回顶部
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分

今日签到

连续签到

  • {{item.credit}}
  • 连续{{item.count}}天
查看所有
我的优惠劵
  • ¥优惠劵
    使用时效:无法使用
    使用时效:

    之前

    使用时效:永久有效
    优惠劵ID:
    ×
    限制以下商品使用: 限制以下商品分类使用: 不限制使用:
    [{{ct.name}}]
    所有商品和商品类型均可使用
没有优惠劵可用!

购物车
  • ×
    删除
购物车空空如也!

清空购物车 前往结算
您有新的私信
没有新私信
写新私信 查看全部

专业提供WordPress网站建设,主题和插件开发、汉化、安装等服务

微信扫一扫联系我们
QQ咨询

查看所有服务项目

关于我们

一个专注于 WordPress 网站开发,PHP教学,IT 技术学习研究,网站策划运营及新媒体探索研究的自媒体社区。希望社区内容能帮助到每一个有需要的人。

用户相关

  • 用户协议

    本站的用户协议

  • 隐私政策

    本站的隐私政策

联系与合作

  • 广告合作

    与本站进行广告合作

  • 在线工单

    有什么不懂联系我们

我们的团队

  • 林沐阳.𒅌
  • 忘忧
  • 小九aini♥
Copyright © 2023 S9社区
・沪ICP备2022002876号-4
加载 21 能,功耗 0.2567 焦耳
首页专题认证
搜索菜单我的